首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
spa
相关资讯
热门
最新
后端
01-01 08:00
后端
Spark-Core 计算基础核心(二) 概念及原理介绍
RDD介绍 概念介绍 RDD:Resilient Distributed Datasets 弹性分布式数据集 RDD是最基本的抽象数据模型,代表着一个不可变,可分区,可并行计算的逻辑集合 RDD是一...
104
后端
01-01 08:00
后端
spark-shuffle原理&调优
spark-shuffle Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂在MapReduce框架,Shuffle是连接Map和Reduce之间的桥梁,Ma...
83
后端
01-01 08:00
后端
Spark从入门到放弃—Spark SQL
简介 Spark SQL是Spark中用于结构化数据处理的一个模块。与Spark RDD API不同,Spark SQL相关接口提供了关于数据结构以及计算执行过程的更多信息。Spark SQL在内部...
159
后端
01-01 08:00
后端
Spark SQL explaind中的统计信息-深入了解CBO优化
本文翻译自Statistic in Spark SQl explained[https://towardsdatascience.com/statistics-in-spark-sql-explai...
77
后端
01-01 08:00
后端
Spark订单量的实时统计项目
Spark订单量的实时统计项目 需求: 1.各省份营业额的实时统计2.各省份订单量的实时统计 数据: 第一步:编写Scala代码模拟KafkaProducer产生订单数据 ConstantUtils...
81
后端
01-01 08:00
后端
Spark原理图
为什么使用广播变量因为一个变量在Driver端定义,如果执行计算需要传递到executor的task线程中获取变量副本依次拉取执行此时造成由于变量数据量和任务的个数急剧增长的情况下,造成网络传输的瓶...
84
后端
01-01 08:00
后端
spark 2.3迁移到3.1.2相关改动
spark core 从2.4升级到3.0 1)org.apache.spark.ExecutorPlugin 接口和相关的配置被org.apache.spark.api.plugin.SparkP...
62
后端
01-01 08:00
后端
SpaceX证实在Inspiration4任务期间有警报响起
SpaceX证实在Inspiration4任务期间有警报响起,据外媒报道,不久前,Inspiration4任务首次将全平民宇航员送入轨道。他们乘坐特殊的载人龙飞船进入轨道,该乘员舱放弃了通常用于连接国际空间站的对接硬件,而采用了一个穹顶窗,使宇航员在执行任务期间能够看到太空和地球。在穹顶窗区域,还有为这次任务配备的厕所。Inspiration4机组人员在准备任务时接受了使用太空厕所的培训。Spac
81
后端
01-01 08:00
后端
SpaceX计划在Inspiration4任务之后扩大“龙飞船”船队规模
SpaceX计划在Inspiration4任务之后扩大“龙飞船”船队规模,据外媒报道,本月早些时候,SpaceX通过其Inspriation4任务成功地将第一个全民用机组人员送入和送出轨道。虽然这次飞行遇到了一些挑战,即飞船上的厕所问题,但这次任务并没有出现问题。SpaceX现在证实,在Inspriation4任务之后,它感受到了人们对民用太空飞行的兴趣增加。鉴于兴趣的增加,SpaceX正在考虑增
88
后端
01-01 08:00
后端
SpaceX Inspiration4任务发布机组人员进入太空首日的图像
SpaceX Inspiration4任务发布机组人员进入太空首日的图像,据外媒CNET报道,周三离开地球的SpaceXInspiration4任务的机组人员已经在太空中度过了一整天,他们睡觉、吃饭,甚至还投注了体育比赛。但是,除了一个关于CrewDragon透明穹顶窗的预告视频外,我们还没有看到太多关于他们临时轨道家园的狭窄空间的情况。值得庆幸的是,Inspiration4任务官方twitter
150
«
1
2
...
6
7
8
9
10
11
12
...
15
16
»