使用docker部署hadoop集群的详细教程-创新互联

最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。

0. 写在前面

网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。

目标：使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群

准备：

首先要有一台内存8G以上的centos7机器，我用的是阿里云主机。

其次将jdk和hadoop包上传到服务器中。

我安装的是hadoop2.7.7。包给大家准备好了，链接：/tupian/20230522/init 提取码：vmzw。

1. 步骤

大致分以下几步：

• 安装docker
• 基础环境准备
• 配置网络，并启动docker容器
• 配置host及ssh免密登录
• 安装配置hadoop

1.1 安装docker

依次执行如下步骤安装docker。如果有docker环境的可以跳过。

yum update

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo /tupian/20230522/docker-ce.repo

yum install -y docker-ce
 
systemctl start docker

docker -v