首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
spark
相关资讯
热门
最新
百科问答
01-01 08:00
百科问答
spark自带的服务端口(spark 默认端口)
Spark 自端口(Spark 默认端口)探秘在浩瀚的大数据处理工具海中,Spark 以其快速、弹性、可扩展的特性脱颖而出。其自带的服务端口,作为其交互和监控的关键接口,扮演着至关重要的角色。 Spark 默认端口:7077Spark 默认使用 7077 作为其服务端口。在此端口上,您可以:- 通
2
百科问答
01-01 08:00
百科问答
spark服务器配置要求(spark客户端配置)
Apache Spark 服务器配置要求(客户端配置)Apache Spark 是一个分布式计算框架,用于大数据处理和分析。Spark 服务器和客户端之间进行通信以高效地执行任务。为了确保最佳性能和稳定性,配置 Spark 服务器和客户端至关重要。 服务器配置要求:内存 (RAM): Spark
6
百科问答
01-01 08:00
百科问答
sparkling是什么意思,spar是什么意思翻译
sparkling是什么意思,spar是什么意思翻译hadoop和spark是什么关系啊? Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器
74
代码人生
01-01 08:00
代码人生
Spark原理及源码解析【第六阶段模块四】
Spark原理及源码解析【第六阶段模块四】 简答题: 以下代码: import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object JoinDemo { def main(args: Array[String]): Unit = { val conf = new Spar
52
代码人生
01-01 08:00
代码人生
SparkSQL远程访问CDH集群Hive数据表
SparkSQL远程访问CDH集群Hive数据表 创建Maven项目添加如下依赖: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.4.0</ve
82
代码人生
01-01 08:00
代码人生
spark 读取mysql数据
spark 读取mysql数据 spark读取mysql数据 使用SparkSession去读取mysql,将数据作为DataFrame 再根据具体的需求,使用合适的算子进行处理。 话不多说,上代码 val spark: SparkSession = SparkSession.builder().appName("readMysql").master("local[4]").get
61
代码人生
01-01 08:00
代码人生
Spark 常用的读取数据api
Spark 常用的读取数据api Spark读取数据API spark.read.format("json").load(path) spark.read.format("text").load(path) spark.read.format("parquet").load(path) spark.read.format("json").option("...","...").load
108
代码人生
01-01 08:00
代码人生
spark streaming之 windowDuration、slideDuration、batchDuration?
spark streaming之 windowDuration、slideDuration、batchDuration? spark streaming 不同于sotm,是一种准实时处理系统。storm 中,把批处理看错是时间教程的实时处理。而在spark streaming中,则反过来,把实时处理看作为时间极小的批处理。 1、三个时间参数 spark streaming 中有三个关于时间的参数,分别如下: 窗口时间windowDuration?:当前窗口要统计多
104
代码人生
01-01 08:00
代码人生
Spark Web界面显示Workers未启动
Spark Web界面显示Workers未启动 项目场景: 选择Standalone模式搭建集群,并检查代码运行结果和Web页面显示 问题描述: 在写好配置文件后用start-all.sh启动该spark集群,三台机器的jps进程都正常,但web页面却没有显示workers和cpu等信息 原因分析: 查看日志文件,master的日志并没有什么异常 workers的日志显示连接不到m
91
百科问答
01-01 08:00
百科问答
spark平台基本组成(spark安装详细教程)
spark平台基本组成(spark安装详细教程)提起大数据技术,我们常常会想到大数据技术所需要的生态平台Hadoop和Spark,其中的Spark的概念及学习路线是如何的呢?一起来跟小编看看吧~ 一、Spark概念1、Spark描述Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是一种与Hadoop相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使Spark在某些工作负载方面表现得更
140
«
1
2
3
4
5
6
»