首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
spark
相关资讯
热门
最新
后端
01-01 08:00
后端
Spark从入门到放弃—Spark SQL
简介 Spark SQL是Spark中用于结构化数据处理的一个模块。与Spark RDD API不同,Spark SQL相关接口提供了关于数据结构以及计算执行过程的更多信息。Spark SQL在内部...
158
后端
01-01 08:00
后端
Spark SQL explaind中的统计信息-深入了解CBO优化
本文翻译自Statistic in Spark SQl explained[https://towardsdatascience.com/statistics-in-spark-sql-explai...
76
后端
01-01 08:00
后端
Spark订单量的实时统计项目
Spark订单量的实时统计项目 需求: 1.各省份营业额的实时统计2.各省份订单量的实时统计 数据: 第一步:编写Scala代码模拟KafkaProducer产生订单数据 ConstantUtils...
79
后端
01-01 08:00
后端
Spark原理图
为什么使用广播变量因为一个变量在Driver端定义,如果执行计算需要传递到executor的task线程中获取变量副本依次拉取执行此时造成由于变量数据量和任务的个数急剧增长的情况下,造成网络传输的瓶...
81
后端
01-01 08:00
后端
spark 2.3迁移到3.1.2相关改动
spark core 从2.4升级到3.0 1)org.apache.spark.ExecutorPlugin 接口和相关的配置被org.apache.spark.api.plugin.SparkP...
61
后端
01-01 08:00
后端
Spark Ignite踩坑记录
Spark Ignite踩坑记录,简述ignite访问数据有两种模式:ThinJdbc模式;Jdbc模式和Igniteclient模式;shell客户端输出问题,不能输出全列;针对上述三个问题,我们一一说明一下详述ThinJdbc瘦客户端的模式是官网介绍的模式,这种模式类似关系型数据库jdbc的访问模式,有两个参数ignite.jdbc.distributedJoins启用分布式join的开关ig
123
后端
01-01 08:00
后端
SparkSQL电商用户画像(八)之用户画像开发(客户购买类目表)
SparkSQL电商用户画像(八)之用户画像开发(客户购买类目表),SparkSQL电商用户画像(八)之用户画像开发(客户购买类目表)--用户画像客户购买类目表createdatabaseifnotexistsgdm;createexternaltableifnotexistsgdm.itcast_gdm_user_buy_category(user_idbigint,--客户IDfirst_ca
149
后端
01-01 08:00
后端
Spark中将将数据Array或者list转为dataFrame编造数据
Spark中将将数据Array或者list转为dataFrame编造数据,Spark中将将数据Array或者list转为dataFrame编造数据其实只是为了编造数据,找了几篇都不满意。项目中使用的是schema创建,下面将简单的创建写一下。valschema=types.StructType(Array(StructField("TMNL_iD",StringType,false),//想建立几
211
后端
01-01 08:00
后端
SparkStreaming 整合 Kafka 实现精准一次消费
SparkStreaming 整合 Kafka 实现精准一次消费,SparkStreaming整合Kafka实现精准一次消费简介SparkStreaming消费Kafka实现精确一次性消费.保证消息不丢失、不重复消费.消息处理的语义AtLeastOnce(至少处理一次):消息至少被处理一次可以保证数据不丢失,但有可能存在数据重复问题。AtMostOnce(最多处理一次)消息最多被处理一次可以保证数
170
后端
01-01 08:00
后端
SparkStreaming使用mapWithState时,设置timeout()无法生效问题解决方案
SparkStreaming使用mapWithState时,设置timeout()无法生效问题解决方案,SparkStreaming使用mapWithState时,设置timeout()无法生效问题解决方案前言当我在测试SparkStreaming的状态操作mapWithState算子时,当我们设置timeout(3s)的时候,3s过后数据还是不会过期,不对此key进行操作,等到30s左右才会清除
156
«
1
2
3
4
5
6
»