hadoop中exceedsthelimitofconcurrentxcievers错误怎么处理

本篇内容介绍了“hadoop中exceeds the limit of concurrent xcievers错误怎么处理”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

成都创新互联公司专注为客户提供全方位的互联网综合服务，包含不限于成都网站设计、成都做网站、外贸网站建设、深圳网络推广、小程序开发、深圳网络营销、深圳企业策划、深圳品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；成都创新互联公司为所有大学生创业者提供深圳建站搭建服务，24小时服务热线：028-86922220，官方网址：www.cdcxhl.com

dfs.datanode.max.transfer.threads： 默认 4096 < 2.0之前该参数为dfs.datanode.max.xcievers >
解释：Specifies the maximum number of threads to use for transferring data in and out of the DN.

表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多，而这个参数设置得过低就会有一部分文件处理不过来，就会报异常。
linux系统中所有的文件操作都被绑定到一个socket上，进一步具体可以把他看做是一个线程。而这个参数就是指定这种线程的个数。
在datanode里面有一个专门的线程组来维护这些线程，同时有一个守护线程来监视这个线程组的体量，它负责监测线程数量是否到达上线，
超过就抛出异常，则需调大 hdfs-site.xml 文件中的 dfs.datanode.max.transfer.threads 。

dfs.datanode.max.transfer.threads 参数设置过小，datanode 异常：
ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,
storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020)
:DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256

注意：dfs.datanode.max.transfer.threads 数目不能大于系统打开文件数的设置，即/etc/security/limits.conf中nofile的数值。

“hadoop中exceeds the limit of concurrent xcievers错误怎么处理”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！