Hadoop体系结构是怎么样的

小编给大家分享一下Hadoop体系结构是怎么样的，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

创新互联建站服务项目包括万山网站建设、万山网站制作、万山网页制作以及万山网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，万山网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到万山省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！

一.   Namenode

    1. 介绍

1)   是整个文件系统的管理节点

2)   它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表

3)   接收用户的操作请求

4)   文件/目录的元信息是指文件的名称、大小、修改时间等等信息

    2. hdfs文件查看

1)   查看路径：hdfs-site.xml的dfs.replication属性hadoop.tmp.dir

       
              hadoop.tmp.dir
              /usr/local/hadoop/tmp
       

查看文件

[root@chaoren hadoop]# cd /usr/local/hadoop/tmp/dfs/name/current
[root@chaoren current]# ls
edits  fsimage  fstime  VERSION

2)   fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息

3)   edits:操作日志文件

4)   fstime:保存最近一次checkpoint的时间

二.   Datanode

        1. 提供真实文件数据的存储服务。

        2. 文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是64MB，以一个256MB文件，共有256/64=4个Block.

        3. 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间

                4. Replication。多复本。默认是三个。查看hdfs-site.xml的dfs.replication属性

三.   SecondaryNameNode

    1.       HA的一个解决方案。但不支持热备。配置即可。

    2.       执行过程：从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，同时重置NameNode的edits.

    3.         默认在安装在NameNode节点上，但这样...不安全

    4.         其他

以上是“Hadoop体系结构是怎么样的”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！