首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
spa
相关资讯
热门
最新
代码人生
01-01 08:00
代码人生
spark streaming 使用实例:用户行为统计
spark streaming 使用实例:用户行为统计,前面我们已经做好了数据的输入以及数据的输出操作了,现在我们可以开始使用开始sparkstreaming的一些简单的使用了。这次完成的处理是对一个用户行为数据流来做分析。数据源的数据原本是一个购物网站的数据集,被我做成了重复利用的数据(循环的读取),它共有五个字段。不过这次用到的只有第3个字段(代表用户的行为分类)。这个字段的取值范围是1到4。
167
代码人生
01-01 08:00
代码人生
Spark streaming 输出数据到redis
Spark streaming 输出数据到redis,上次使用了sparkstreaming读取redis中的数据并进行处理。这次解决一下输出的问题。最简单的输出方式是使用计算的结果对象上自带的print函数,输出到运行的屏幕上。但是我运行的时候使用的是远程的分布式环境。然后用程序推送运行的。因此需要一个比较方便查看运行状况的方式。尽管sparkstreaming额外还提供了一些像saveAsTe
194
代码人生
01-01 08:00
代码人生
spark:local模式环境-搭建和使用
spark:local模式环境-搭建和使用,1/下载到官方网站去下载apachespark官网:https://spark.apache.org/downloads.html或者是清华大学镜像库:https://mirrors.tuna.tsinghua.edu.cn/复制代码2/从本地上传到linux服务器通过rz命令rzspark-3.1.1-bin-hadoop3.2.tgz复制代码3/解压
105
代码人生
01-01 08:00
代码人生
spark读取hbase数据速度(spark读取hbase提速的方法)
spark读取hbase数据速度(spark读取hbase提速的方法),简介POLARDB数据库是阿里云自研的下一代关系型云数据库,100%兼容MySQL,性能最高是MySQL的6倍,但是随着数据量不断增大,面临着单条SQL无法分析出结果的现状。X-PackSpark为数据库提供分析引擎,旨在打造数据库闭环,借助X-PackSpark可以将POLARDB数据归档至列式存储Parquet文件,一条S
186
01-01 08:00
SpaceX Crew-3发射时间再次推迟 下一发射窗口11月10日
SpaceX Crew-3发射时间再次推迟 下一发射窗口11月10日,美国国家航空航天局(NASA)周日表示,前往国际空间站的SpaceXCrew-3任务再次被推迟,这次是推迟到美国东部时间11月10日9:03分。虽然NASA原本计划在Crew-2出发前,由Crew-2宇航员迎接Crew-3团队进行换岗,但由于天气原因,航天局决定先让Crew-2返回地球,将该任务从周日推到周一,即美东时间11月8
235
百科问答
01-01 08:00
百科问答
SpaceX重型猎鹰火箭明年至少发射升空5次
SpaceX重型猎鹰火箭明年至少发射升空5次,11月4日消息,美国太空部队日前确认使用重型猎鹰火箭执行USSF-67任务,SpaceX公司旗下重型猎鹰火箭明年至少将发射升空5次。10月30日,美国太空部队司令部发言人证实,确定于2022年下半年用重型猎鹰火箭将USSF-67任务的有效载荷送入地球同步轨道。这是美国太空部队与SpaceX敲定的第三份重型猎鹰火箭合同。此前美国太空部队选择重型猎鹰火箭执
99
后端
01-01 08:00
后端
SpaceX Crew-3飞船获得厕所升级以解决尿管问题
SpaceX Crew-3飞船获得厕所升级以解决尿管问题,据CNET报道,四名宇航员将在万圣节乘坐SpaceX的载人龙飞船前往国际空间站,他们可以放心地知道飞船内的厕所得到了一次重要的升级。在有报道称全平民任务Inspiration4出现问题后,SpaceX对龙飞船的厕所进行了深入调查,发现了一个尿管的问题。SpaceX公司的WilliamGerstenmaier在周一的NASA电话会议上说:“有
116
后端
01-01 08:00
后端
SpaceX和NASA谈论安全理念和利用航天器拍摄国际空间站的计划
SpaceX和NASA谈论安全理念和利用航天器拍摄国际空间站的计划,美国宇航局(NASA)和SpaceX将在航天器以每小时17100英里的速度绕地球飞行时拍摄国际空间站(ISS)。这项工作是他们前往空间站的Crew-2任务的一部分,该任务将在宇航员在太空停留数月后于11月初返回地球时结束。不过在Crew-2返回之前,Crew-3任务将于本周六从佛罗里达州发射,NASA和SpaceX官员周一晚些时候
199
后端
01-01 08:00
后端
Spark解决SQL和RDDjoin结果不一致问题(工作实录)
Spark解决SQL和RDDjoin结果不一致问题(工作实录),问题描述:DataFrame的join结果不正确,dataframeA(6000无重复条数据)joindataframeB(220条无重复数据,由dataframeA转化而来,key值均源于dataframeA)只有200条数据,丢了20条问题验证:1,查询丢的20条数据,均无异常,不存在Null,数据不存在空格2,重新运行算法,丢1
174
后端
01-01 08:00
后端
SpaceX 完成星际飞船猛禽发动机测试,测试后使用机器狗检查现场
SpaceX 完成星际飞船猛禽发动机测试,测试后使用机器狗检查现场,北京时间10月20日早间消息,据报道,SpaceX公司的第一艘轨道级星际飞船(Starship)原型此前已经完成了第一次试验,测试后使用波士顿动力机器狗检查现场。SpaceX拉开了引擎试验活动的序幕,预计将对它进行多次试验。最新的试验也可能将标志着一些新的里程碑。星际飞船原型S20(Ship20)没有出现剧烈的颠簸和轰鸣,而是出现
90
«
1
2
...
4
5
6
7
8
9
10
...
15
16
»