首页
博客
源码
资源
博客
源码
写文章
发布博客
发布资源
登录
X
如何采用
相关资讯
热门
最新
代码人生
01-01 08:00
代码人生
如何采用cluster模式提交spark-sql
如何采用cluster模式提交spark-sql,问题产生的背景在sparkonyarn模式的客户端,想直接通过spark-submit或spark-sql提交HQL脚本或SQL语句spark-sql不支持cluter模式,需要在本地启动driver,占用内存较大若是在一个作业调度系统中,需要减少本地内存的使用解决思路如果有sparkcoding能力,可以实现一个jar包专门接收HQL/SQL参数
128