首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
spark
相关资讯
热门
最新
后端
01-01 08:00
后端
spark-shuffle原理&调优
spark-shuffle Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂在MapReduce框架,Shuffle是连接Map和Reduce之间的桥梁,Ma...
69
代码人生
01-01 08:00
代码人生
spark 读取mysql数据
spark 读取mysql数据 spark读取mysql数据 使用SparkSession去读取mysql,将数据作为DataFrame 再根据具体的需求,使用合适的算子进行处理。 话不多说,上代码 val spark: SparkSession = SparkSession.builder().appName("readMysql").master("local[4]").get
57
后端
01-01 08:00
后端
spark 2.3迁移到3.1.2相关改动
spark core 从2.4升级到3.0 1)org.apache.spark.ExecutorPlugin 接口和相关的配置被org.apache.spark.api.plugin.SparkP...
57
代码人生
01-01 08:00
代码人生
Spark原理及源码解析【第六阶段模块四】
Spark原理及源码解析【第六阶段模块四】 简答题: 以下代码: import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object JoinDemo { def main(args: Array[String]): Unit = { val conf = new Spar
50
«
1
2
3
4
5
6
»