首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
spa
相关资讯
热门
最新
后端
01-01 08:00
后端
Spark订单量的实时统计项目
Spark订单量的实时统计项目 需求: 1.各省份营业额的实时统计2.各省份订单量的实时统计 数据: 第一步:编写Scala代码模拟KafkaProducer产生订单数据 ConstantUtils...
79
后端
01-01 08:00
后端
Spark SQL explaind中的统计信息-深入了解CBO优化
本文翻译自Statistic in Spark SQl explained[https://towardsdatascience.com/statistics-in-spark-sql-explai...
77
后端
01-01 08:00
后端
Spark原理图
为什么使用广播变量因为一个变量在Driver端定义,如果执行计算需要传递到executor的task线程中获取变量副本依次拉取执行此时造成由于变量数据量和任务的个数急剧增长的情况下,造成网络传输的瓶...
76
百科问答
01-01 08:00
百科问答
sparkling是什么意思,spar是什么意思翻译
sparkling是什么意思,spar是什么意思翻译hadoop和spark是什么关系啊? Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器
75
后端
01-01 08:00
后端
Spark SQL explaind中的统计信息-深入了解CBO优化
本文翻译自Statistic in Spark SQl explained[https://towardsdatascience.com/statistics-in-spark-sql-explai...
74
后端
01-01 08:00
后端
spark-shuffle原理&调优
spark-shuffle Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂在MapReduce框架,Shuffle是连接Map和Reduce之间的桥梁,Ma...
73
百科问答
01-01 08:00
百科问答
spacex是什么意思(spacex发展过程简介)
spacex是什么意思(spacex发展过程简介),SPACEX简介太空探索技术公司(SpaceExplorationTechnologiesCorp.,简称SpaceX)是一家私人航天制造商和太空运输公司,总部位于美国加利福尼亚州霍桑。SpaceX由企业家埃隆·马斯克于2002年创办,目标是降低太空运输的成本,并进行火星移民。SpaceX研发出“猎鹰”系列运载火箭及“龙”系列飞船,用于运送荷载至
71
代码人生
01-01 08:00
代码人生
spaCy库的基本使用
spaCy库的基本使用 spaCy库的基本使用 在做ABSA任务的时候,一个开源项目里用到这个自然语言处理工具库。 摘要出来以供学习。 关于spaCy和安装 spaCy流水线和属性 Tokenization Pos Tagging Entity Detection Dependency Parsing 名词短语 与NLTK和coreNLP的对比 1.关于spaCy
66
后端
01-01 08:00
后端
spark 2.3迁移到3.1.2相关改动
spark core 从2.4升级到3.0 1)org.apache.spark.ExecutorPlugin 接口和相关的配置被org.apache.spark.api.plugin.SparkP...
62
代码人生
01-01 08:00
代码人生
spark 读取mysql数据
spark 读取mysql数据 spark读取mysql数据 使用SparkSession去读取mysql,将数据作为DataFrame 再根据具体的需求,使用合适的算子进行处理。 话不多说,上代码 val spark: SparkSession = SparkSession.builder().appName("readMysql").master("local[4]").get
61
«
1
2
...
8
9
10
11
12
13
14
15
16
»