成都创新互联网站制作重庆分公司

如何进行FairScheduler和CapacityScheduler比较

这篇文章的内容主要围绕如何进行Fair Scheduler和Capacity Scheduler比较进行讲述,文章内容清晰易懂,条理清晰,非常适合新手学习,值得大家去阅读。感兴趣的朋友可以跟随小编一起阅读吧。希望大家通过这篇文章有所收获!

创新互联主营恩施土家网站建设的网络公司,主营网站建设方案,手机APP定制开发,恩施土家h5成都微信小程序搭建,恩施土家网站营销推广欢迎恩施土家等地区企业咨询

下面提供有关选择Capacity Scheduler的好处和性能改进的信息,以及Fair Scheduler和Capacity Scheduler之间的功能比较。

为什么需要Scheduler?

Cloudera Data Platform(CDP)在YARN群集中仅支持Capacity Scheduler

在发布CDP之前,Cloudera客户根据所使用的产品(分别是CDH或HDP)使用了两个调度程序(Fair Scheduler和Capacity Scheduler)之一。

CDP中收敛到一个调度程序是一个艰难的选择,但最终植根于我们为客户降低复杂性的意图,同时帮助我们集中精力进行未来的投资。多年来,这两个调度程序都有很大的发展,以至于Fair Scheduler从Capacity Scheduler借用了几乎所有功能,反之亦然。鉴于此,我们最终决定将您的所有YARN群集的工作负载都放在Capacity Scheduler的上面。

当前使用Fair Scheduler的群集在迁移到CDP时必须迁移到Capacity Scheduler。Cloudera提供了有关此类迁移的工具,文档和相关帮助。

使用容量计划程序的好处

以下是使用Capacity Scheduler时的一些好处:

  • 与Ranger集成

  • 节点分区/标签

  • 改进了在云原生环境中的Scheduler,例如更好的垃圾箱打包,自动扩展支持等。

  • 计划吞吐量的提高

    • 全局调度框架

    • 一次查找多个节点

  • 相似性/反相似性:仅在运行应用程序Y的那些节点上运行应用程序X,反之亦然。不要在同一节点上运行应用程序X和应用程序Y。

如何进行Fair Scheduler和Capacity Scheduler比较

调度程序性能改进

提供有关全局调度功能及其测试结果的信息。

全局计划改进带来的改进(YARN-5139)

在更改全局调度之前,YARN调度程序处于整体锁定状态,表现不佳。全局调度在很大程度上改进了YARN调度程序的内部锁定结构和线程模型。调度程序现在可以解耦放置决策并更改内部数据结构。这还可以使您一次查找多个节点,云上的自动缩放和bin-packing策略会使用这些节点。有关更多信息,请参见 设计和实现说明。

在模拟的基础上,使用全局调度功能的测试结果显示:

如何进行Fair Scheduler和Capacity Scheduler比较

这是一个具有20000个节点和47000个正在运行的应用程序的模拟环境。有关这些测试的更多信息,请参见性能报告。

YARN社区的性能测试

微软发布了Hydra:用于数据中心规模分析的联合资源管理器(Carlo等)报告,重点介绍了可伸缩性(将YARN部署到超过25万个节点,其中包括五个大型联合集群,每个集群有5万个节点)和通过使用Capacity Scheduler调度获得更高的性能(每个群集的调度程序每秒可以分配超过40k的容器)。这是世界上最大的YARN部署。

我们还看到了社区中其他公司的性能数据,这些数据与我们使用模拟器测试的结果一致(对于具有数千个节点的集群,每秒数千个容器分配)。

免责声明:上面讨论的性能数字与群集的大小,群集上运行的工作负载,队列结构,运行状况(例如节点管理器,磁盘和网络),容器搅动等有关。这通常需要对调度程序和其他群集参数进行微调,以达到理想的性能。这不是仅通过使用CDP就可以实现的保证数量。

如何进行Fair Scheduler和Capacity Scheduler比较

功能比较

随着时间的推移,两个调度程序的功能都变得相似。表中列出了当前功能列表以及两个调度程序之间的差异。

支持的功能

功能列表

Capacity Scheduler

Fair Scheduler

评论

队列

分层队列



弹性队列容量来实现更好的资源共享



队列中基于百分比的资源配置

百分比和绝对资源设置不能同时使用。


自动队列创建



用户映射(用户/组到队列的映射)



CLI / REST API支持来管理队列



在队列之间移动应用程序



创建/删除/修改动态队列



队列中的预订支持


授权

授权控制(队列中用于提交/管理/管理的ACL)



第三方ACL控制(Ranger)


应用位置

节点标签支持



Hive放置集成



节点属性支持



放置约束支持

受支持的约束在当前实施中受到限制。


节点位置



位置延迟控制



用户限制配额管理



AM资源配额管理



队列优先级

通过队列权重间接管理。


每个容器单位的最大和最小分配限制


调度

异步调度支持

调度程序之间的实现有所不同,因此不应视为等效。


多种资源类型支持(CPU,内存,GPU等)



队列排序策略(公平,FIFO等)



每个心跳有多个容器分配


抢占

队列间抢占支持



队列内抢占支持



基于预留的抢占



基于队列优先级的抢占

在做出抢占式决策时,将考虑队列权重。

应用

支持

一流的应用概念



应用优先级



应用程序超时



跨队列移动应用程序



高可用性有状态应用程序恢复


路线图中的功能

功能列表

Capacity Scheduler

Fair Scheduler

评论

队列

队列中的绝对资源配置

百分比和绝对资源设置不能同时使用。

应用位置

最大应用数量

通过AM资源配额间接管理。

调度

基于应用程序大小的公平性


从Fair Scheduler迁移到Capacity Scheduler

从CDP私有云Base 7.1版本开始,Cloudera提供fs2cs转换实用程序,它是一个CLI应用程序,并且是YARN CLI命令的一部分。该实用程序有助于从Fair Scheduler迁移到Capacity Scheduler。

感谢你的阅读,相信你对“如何进行Fair Scheduler和Capacity Scheduler比较”这一问题有一定的了解,快去动手实践吧,如果想了解更多相关知识点,可以关注创新互联网站!小编会继续为大家带来更好的文章!


分享题目:如何进行FairScheduler和CapacityScheduler比较
文章转载:http://cxhlcq.com/article/jcoigs.html

其他资讯

在线咨询

微信咨询

电话咨询

028-86922220(工作日)

18980820575(7×24)

提交需求

返回顶部