资源管理调度器HadoopYarn知识点有哪些

本篇内容介绍了“资源管理调度器Hadoop Yarn知识点有哪些”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

成都创新互联公司是一家专注于成都网站建设、成都做网站与策划设计,宁化网站建设哪家好?成都创新互联公司做网站,专注于网站建设十余年,网设计领域的专业建站公司;建站业务涵盖:宁化等地区。宁化做网站价格咨询:028-86922220

从节点，每个节点上的资源和任务管理器，它需要向ResourceManager汇报本节点上的资源使用情况和各个Container的运行状态，同时接收并处理来自Application Master的Container启动/停止等各种请求

4.监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务

可以理解为Yarn中为某个节点已经申请到的资源封装的类，资源如内存、CPU等，是根据应用程序需求动态生成的，是Yarn中基本资源划分单位。一个NodeManager节点上同时存在多个Container。提交作业的每个task都运行在Container中

笔者强调：

1.Yarn并不清楚用户提交程序的运行机制，只提供运算资源的调度（用户程序向yarn申请资源，yarn负责分配资源）
2.Yarn中的主管角色是ResourceManager，具体提供运算资源的角色是NodeManager
3.Yarn与运行的用户程序完全解耦，意味着Yarn上可以运行各种类型的分布式运算程序，如Spark、MapReduce、Storm、Tez等，前提是这些技术框架中有符合Yarn规范的资源请求机制即可
4.因为Yarn不参与用户程序的执行等，使得Yarn成为一个通用的资源调度平台。企业中以前存在的各种计算引擎集群都可以整合在一个资源管理平台上，提高资源利用率
5.调度器不参与任何与具体应用程序相关的工作，如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的Application Master完成。

“资源管理调度器Hadoop Yarn知识点有哪些”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！