这篇文章主要讲解了“怎么安装hdfs、hbase和opentsdb”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么安装hdfs、hbase和opentsdb”吧!
网站建设哪家好,找创新互联公司!专注于网页设计、网站建设、微信开发、小程序设计、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了通城免费建站欢迎大家使用!
配置静态IP,修改hostname
使用
ifconfig
查看当前网卡MAC地址与名称。假定网卡名称为eth0
,MAC地址为33:44:55:66:77:88
编辑/etc/sysconfig/network-scripts/ifcfg-eth0
:DEVICE="eth0" BOOTPROTO="none" ONBOOT="yes" HWADDR="33:44:55:66:77:88" NETMASK="255.255.255.0" GATEWAY="192.168.1.1" IPADDR="192.168.1.110"重启network服务:
service network restart
修改hostname:编辑/etc/sysconfig/network
文件,将hostname
一项修改为自己的hostname,需重启生效
时间同步。使用ntp同步时间后,可以使用如下命令写入硬件时间:hwclock --systohc -u
关闭防火墙,并禁止防火墙开机启动:
service iptables stop chkconfig iptables off
创建hadoop用户和组
groupadd hadoop useradd -g hadoop hadoop
调整hadoop用户的系统limits限制:编辑/etc/security/limits.conf
文件,在后面添加:
hadoop - nofile 32768 hadoop - nproc 32000
在hadoop
用户下,使用命令ulimit -a
查看改动情况。
修改机器的/etc/hosts
文件。在其中列出所有机器的IP地址与机器hostname
,以及127.0.0.1 localhost
,然后同步到所有机器上。
配置机器相互间hadoop
用户的无密码访问
切换至
hadoop
用户,进入该用户主文件夹下的.ssh
文件夹下(没有则创建) 运行命令ssh-keygen -t dsa -P ''
,确认,生成id_dsa
与id_dsa.pub
文件 将id_dsa.pub
文件改名,以便所有机器之间相互区别 将所有机器上的.pub
文件使用cat
追加到文件authorized_keys
文件中,并修改该文件权限:chmod 600 authorized_keys
将authorized_keys
同步至所有机器上hadoop
用户主目录下的.ssh
文件夹下
所有机器安装jdk
,使用yum
安装,注意相同版本
下载hadoop 2.2.0
版本,解压至目录/usr/local/hadoop
,该目录即为HADOOP_HOME
修改HADOOP_HOME
下的etc/hadoop/hadoop-env.sh
,修改其中的变量JAVA_HOME
到正确位置
修改HADOOP_HOME
下的etc/hadoop/core-site.xml
文件,在
之间加入配置。核心配置如下:
fs.defaultFS hdfs://namenode节点主机名:9000 hadoop.tmp.dir hadoop临时文件夹存放路径
修改HADOOP_HOME
下的etc/hadoop/hdfs-site.xml
文件,在
之间加入配置。核心配置如下:
dfs.datanode.data.dir hadoop临时文件夹存放路径/dfs/data dfs.namenode.name.dir hadoop临时文件夹存放路径/dfs/name dfs.replication 3
修改HADOOP_HOME
下的masters
文件夹,写入master
主机名,每个一行
修改HADOOP_HOME
下的slaves
文件夹,写入slaves
主机名,每个一行
将/usr/local/hadoop/bin
,/usr/local/hadoop/sbin
加入系统路径
使用scp
将/usr/local/hadoop
文件夹所有内容同步至所有机器中,并注意所有机器中临时文件夹的可访问性
初始化namenode
:hadoop namenode -format
启动hdfs
:start-dfs.sh
,访问http://namenode节点主机名:50070
查看结果
下载hbase 0.98.5
,解压至目录/usr/local/hbase
下
修改hbase
目录下conf/hbase-env.sh
文件,修改变量JAVA_HOME
,将变量HBASE_MANAGES_ZK
修改为true
修改conf/core-site.xml
文件,核心配置如下:
hbase.rootdir hdfs://namenode节点主机名:9000/hbase hbase.cluster.distributed true hbase.master master节点主机名:60000 hbase.zookeeper.quorum 启动zookeeper服务的主机列表,有多个用逗号隔开 hbase.zookeeper.property.dataDir zookeeper临时文件存放目录
修改conf/regionservers
文件,其中列出要启动regionserver
的主机名
将hbase
目录下bin
目录加入系统路径中
使用scp
将hbase
目录同步至所有机器中,确保临时文件夹的可访问性
启动hbase
:在主节点上start-hbase.sh
,访问http://master节点主机名:60010
查看结果
确保机器中安装了gnuplot
下载openTSDB
的rpm安装包,直接装入机器中
修改/etc/opentsdb/opentsdb.conf
文件,修改如下三项:
tsd.http.cachedir = opentsdb临时文件存放位置 tsd.http.staticroot = /usr/share/opentsdb/static/ tsd.storage.hbase.zk_quorum = 运行zookeeper机器的IP地址
在hbase
正常运行下,运行脚本env COMPRESSION=NONE HBASE_HOME=path/to/hbase /usr/share/opentsdb/tools/create_table.sh
创建表
启动tsdb:tsdb tsd
,浏览器访问当前主机的4242端口,查看结果
运行命令tsdb mkmetric proc.loadavg.1m proc.loadavg.5m
创建两个metric
,用来测试
运行如下脚本持续向数据库中写入数据,在4242监控窗口上找到相应metric,查看测试结果
#!/bin/bash set -e while true; do awk -v now=`date +%s` -v host=psyDebian \ '{ print "put proc.loadavg.1m " now " " $1 " host=" host; print "put proc.loadavg.5m " now " " $2 " host=" host }' /proc/loadavg sleep 2 done | nc -w 4 192.168.1.106 4242
感谢各位的阅读,以上就是“怎么安装hdfs、hbase和opentsdb”的内容了,经过本文的学习后,相信大家对怎么安装hdfs、hbase和opentsdb这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!