Spark中yarn-site.xml的最小化怎么配置

这篇文章主要讲解了“Spark中yarn-site.xml的最小化怎么配置”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Spark中yarn-site.xml的最小化怎么配置”吧!

修改配置文件slaves,如下所示:

我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2,把slaves文件的内容修改为:

修改配置文件core-site.xml,如下所示:

把core-site.xml文件的内容修改为:

上述是core-site.xml文件的最小化配置

修改配置文件hdfs-site.xml,如下所示:

把hdfs-site.xml文件的内容修改为:

上述是hdfs-site.xml文件的最小化配置

修改配置文件mapred-site.xml,如下所示:

拷贝一份mapred-site.xml.template命名为mapred-site.xml,打开mapred-site.xml 

把mapred-site.xml文件的内容修改为:

上述是mapred-site.xml最小化配置

修改配置文件yarn-site.xml,如下所示:

把yarn-site.xml的内容修改为:

感谢各位的阅读,以上就是“Spark中yarn-site.xml的最小化怎么配置”的内容了,经过本文的学习后,相信大家对Spark中yarn-site.xml的最小化怎么配置这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是云搜网,小编将为大家推送更多相关知识点的文章,欢迎关注!


【AD】美国洛杉矶/香港/日本VPS推荐,回程电信CN2 GIA线路,延迟低、稳定性高、免费备份_搬瓦工

【AD】炭云:36元/年/1GB内存/20GB SSD空间/500GB流量/5Gbps端口/KVM/香港/国际线路LUMEN