首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
spark
相关资讯
热门
最新
后端
01-01 08:00
后端
Spark入门简介
Spark入门简介,这篇文章主要介绍了Spark的相关内容,算是对spark的初步涉猎,希望大家通过这篇文章能对spark有一定的了解,需要的朋友可以参考下。SPARKApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架,Spark,拥有Hadoo
142
后端
01-01 08:00
后端
Spark的广播变量和累加器使用方法代码示例
Spark的广播变量和累加器使用方法代码示例,这篇文章主要介绍了Spark的广播变量和累加器使用方法代码示例,文中介绍了广播变量和累加器的含义,然后通过实例演示了其用法,需要的朋友可以参考下。一、广播变量和累加器通常情况下,当向Spark操作(如map,reduce)传递一个函数时,它会在一个远程集群节点上执行,它会使用函数中所有变量的副本。这些变量被复制到所有的机器上,远程机器上并没有被更新的变
201
后端
01-01 08:00
后端
Spark自定义累加器的使用实例详解
Spark自定义累加器的使用实例详解,这篇文章主要介绍了Spark累加器的相关内容,首先介绍了累加器的简单使用,然后向大家分享了自定义累加器的实例代码,需要的朋友可以参考下。加器(accumulator)是Spark中提供的一种分布式的变量机制,其原理类似于mapreduce,即分布式的改变,然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。累加器简单使用Spark内
242
后端
01-01 08:00
后端
SparkGraphx计算指定节点的N度关系节点源码
SparkGraphx计算指定节点的N度关系节点源码,这篇文章主要介绍了SparkGraphx计算指定节点的N度关系节点源码,小编觉得挺不错的,这里分享给大家,希望给各位一个参考。直接上代码:12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565
142
后端
01-01 08:00
后端
Spark实现K-Means算法代码示例
Spark实现K-Means算法代码示例,这篇文章主要介绍了Spark实现K-Means算法代码示例,简单介绍了K-Means算法及其原理,然后通过具体实例向大家展示了用spark实现K-Means算法,需要的朋友可以参考下。K-Means算法是一种基于距离的聚类算法,采用迭代的方法,计算出K个聚类中心,把若干个点聚成K类。MLlib实现K-Means算法的原理是,运行多个K-Means算法,每个
171
后端
01-01 08:00
后端
Spark三种属性配置方式详解
Spark三种属性配置方式详解,有时间还是多学习知识比较好,这篇文章主要介绍了Spark三种属性配置方式详解,具有一定参考价值,需要的朋友可以了解下。随着Spark项目的逐渐成熟,越来越多的可配置参数被添加到Spark中来。在Spark中提供了三个地方用于配置:1、Sparkproperties:这个可以控制应用程序的绝大部分属性。并且可以通过SparkConf对象或者Java系统属性进行设置;2
122
«
1
2
3
4
5
6
»