Hadoop中HDFS文件读写流程是怎么样的

这篇文章主要介绍了Hadoop中HDFS文件读写流程是怎么样的，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

成都创新互联公司一直通过网站建设和网站营销帮助企业获得更多客户资源。 以"深度挖掘，量身打造，注重实效"的一站式服务，以成都做网站、网站制作、成都外贸网站建设、移动互联产品、成都全网营销服务为核心业务。十载网站制作的经验，使用新网站建设技术，全新开发出的标准网站，不但价格便宜而且实用、灵活，特别适合中小公司网站制作。网站管理系统简单易用，维护方便，您可以完全操作网站资料，是中小公司快速网站建设的选择。

一、文件读流程说明
读取操作是对于Cient端是透明操作，感觉是连续的数据流


1、Client 通过FileSystem.open(filePath)方法,去与NameNode进行RPC通信，返回该文件的部分
或全部block列表，也就是返回FSDatainputstream对象;
2、Client调用FSDatainputStream对象的read()方法;
     a. 去与第一个最近的DN进行read，读取完后会check；如果ok会关闭与当前的DN通信；check fail
     会记录失败的block+DN信息下次不会读,然后去读取第二个DN地址
     b. 第二个块最近的DN上进行读取,check后关闭与DN通信
     c. block列表读取完了，文件还没有结束，FileSystem会从NameNode获取下一批的block列表;
3、Client条用FSDatainput对象的close方法，关闭输入流;

总结
         client > filesystem.open()与NameNode进行RPC通信返回get block list
         client > 调用inputstream对象read()方法
            if ok  > 关闭DN通信调用inputstream.close()方法关闭输入流
            if fail  > 记录DN和block信息,向第二个DN去读取最后close();
       block列表read out , file over year > filesystem获取下一批block列表

二、文件写流程说明



1、Client调用FileSystem.create(filepath)方法，与NameNode进行RPC通信，check该路径的文件是否存在和是否有创建该文件权限,假如ok就创建一个新文件,但并不关联任何的block,返回一个FSDataOutputStream对象;
2、Client调用FSDataOutputStream对象的write()方法,将第一个块写入第一个DataName，依次传给第二个节点，第三个节点,第三个节点写完返回一个ack packet给第二个节点,第二个节点返回第一个节点,第一个节点返回给ack packet给FSDataOutputstream对象,意味着第一个块写完,副本数为3；后面剩余块依次这样写;
3、文件写入数据完成后，Client调用FSDataOutputStream.close()方法,关闭输出流,刷新缓存区的数据包;
4、最后调用FileSystem.complate()方法,告诉NameNode节点写入成功;

总结：File.System.create()方法 > NameNode  check(qx and exists )
         if ok > 返回 FSDataOutStream对象 | if fail > return error
        client 调用FSDataOutstream.write()方法  >  写入DN,teturn ack packet > FSDataOutStream对象
        client 调用FSDataOutstream.close()方法关闭输出流  >flush缓存
        最后FileSystem.complate() 方法  >  NameNode write ok

感谢你能够认真阅读完这篇文章，希望小编分享的“Hadoop中HDFS文件读写流程是怎么样的”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联行业资讯频道，更多相关知识等着你来学习!