怎么配置Hadoop伪分布模式并运行Wordcount

本篇内容介绍了“怎么配置Hadoop伪分布模式并运行Wordcount”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

创新互联建站长期为数千家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为山南企业提供专业的网站设计制作、成都网站设计，山南网站改版等技术服务。拥有十载丰富建站经验和众多成功案例,为您定制开发。

第四步：配置Hadoop伪分布模式并运行Wordcount示例

伪分布模式主要涉及一下的配置信息：

1. 修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；

2. 修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;

3. 修改Hadoop的MapReduce的配置文件mapred-site.xml，主要是配置JobTracker的地址和端口；

在具体操作前我们先在Hadoop目录下创建几个文件夹：

下面开始构建具体的伪分布式的过程并进行测试：

首先配置core-site.xml文件：

进入core-site.xml文件：

配置后文件的内容如下所示：

使用“:wq”命令保存并退出。

接下来配置hdfs-site.xml，打开文件：

打开后的文件：

配置后的文件：

输入“:wq”保存修改信息并退出。

接下来修改mapred-site.xml配置文件：

进入配置文件：

修改后的mapred-site.xml配置文件的内容为：

使用“:wq”命令保存并退出。

通过上面的配置，我们完成了最简单的伪分布式配置。

接下来进行hadoop的namenode格式化：

输入“Y”,完成格式化过程：

接下来启动Hadoop！

启动Hadoop，如下所示：

使用java自带的jps命令查询出所有的守护进程:

启动Hadoop！！！

接下来使用Hadoop中用于监控集群状态的Web页面查看Hadoop的运行状况，具体的页面如下：

http://localhost:50030/jobtracker.jsp    

http://localhost:50060/tasttracker.jsp   
http://localhost:50070/dfshealth.jsp    

上述Hadoop运行状态监控页面表明我们的伪分布式开发环境完全搭建成功！

 接下来我们使用新建的伪分布式平台运行wordcount程序：

首先在dfs中创建input目录：

此时创建的文件因为没有指定hdfs具体的目录，所以会在当前用户“rocky”下创建“input”目录，查看Web控制台：

执行文件拷贝操作

“怎么配置Hadoop伪分布模式并运行Wordcount”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！