CDH hadoop里面 yarn常用配置优化 （避免踩坑）
CDH hadoop里面 yarn常用配置优化 （避免踩坑）
CDH hadoop里面 yarn常用配置优化 （避免踩坑）
自己日常用到的yarn一些调优参数，避免同学们踩坑。如有补充，还望同学们多多留言。
1.相应的集群配置环境
128G内存，cpu为48核
2.yarn 内存配置
#表示该nodemanager节点上YARN可使用的物理内存总量 （如：128G可取 90G）
yarn.nodemanager.resource.memory-mb
#container内存范围的最小值（如：可取 2G）
yarn.scheduler.minimum-allocation-mb
#container内存范围的最大值（如：可取 90G 可与nodemanager内存总量相同）
yarn.scheduler.maximum-allocation-mb
#MR ApplicationMaster占用的内存量 （如：可取 20G 因为spark程序运行时ApplicationMaster可能会多 ）
yarn.app.mapreduce.am.resource.mb
3.yarn cpu内核配置
#该节点上YARN可使用的虚拟CPU个数与物理CPU核数数目相同 (如：可取48 )
yarn.nodemanager.resource.cpu-vcores
#单个任务可申请的最小虚拟CPU个数 (如：可取1 )
yarn.scheduler.minimum-allocation-vcores
#单个任务可申请的最大虚拟CPU个数 (如：可取48 )
yarn.scheduler.maximum-allocation-vcores
#ApplicationMaster 虚拟 CPU 内核（如：可取 10 因为spark程序运行时ApplicationMaster可能会多 ）
yarn.app.mapreduce.am.resource.cpu-vcores
鄙人才疏学浅，还请大家多多指教。
————————————————
版权声明：本文为CSDN博主「上官沐雪」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ShiHao_Li/article/details/116165634