首先先不看理论,搭建起情形之后再看;
搭建伪布满式是为了参照他事他说加以考察条件,调节和测量检验方便。
Computer是win10,用的假造机VMware Workstation 12
Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8;
1.预备干活
希图工作:把JDK和Hadoop安装包上传到linux系统(hadoop客户的根目录)
系统情状:IP:192.168.80.99,
linux用户:
root/123456,hadoop/123456
主机名:node
把防火墙关闭,root施行:service iptables stop
2.jdk安装
1.在hadoop客户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf
jdk-8u65-linux-x64.tar.gz 解压完成后,在hadoop顾客的根目录有一个jdk1.8.0_65目录
2.安插情况变量,供给校勘/etc/profile文件(root客户操作)切到root客户,输入su命令 vi /etc/profile 进去编辑器后,输入i,步入vi编辑器的插入情势在profile文件最终增添
JAVA_HOME=/home/hadoop/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin |
编辑达成后,按下esc退出插入方式输入:,这个时候在左下角有三个冒号的标志
q 退出不保留
wq 保存退出
q! 强制退出
3.把改正的情状变量生效(hadoop客户操作)
执行source /etc/profile
4.奉行 java -version 查看版本,要是成功验证jdk配置成功
3.Hadoop 安装
1.在hadoop客商的根目录,解压(hadoop客商操作)
tar -zxvf hadoop-2.6.0.tar.gz
解抓实现在hadoop客商的根目录下有一个hadoop-2.6.0目录
2.改换配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop客商操作)
export JAVA_HOME=/home/hadoop/jdk1.8.0_65
3.改正配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,增加(hadoop顾客操作)
<property> <name>fs.defaultFS</name> <value>hdfs://node:9000</value> </property> |
4.改革配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,增多(hadoop客户操作)
<property> <name>dfs.replication</name> <value>1</value> </property> |
5.更换校勘配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml (hadoop客商操作),那一个文件未有,须求复制风华正茂份
cp etc/hadoop/mapred-site.xml.template
etc/hadoop/mapred-site.xml
添加
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> |
6.改革配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,增多(hadoop顾客操作)
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> |
7.更换主机名称(root客商操作),重启生效
vi /etc/sysconfig/network
改过HOSTNAME的值为客户名
8.退换/etc/hosts文件(root客商操作),增加: ip 主机名称
192.168.44.199(用自身的ip,下面讲哪些获取) node
附:查看ip地址
编辑–>设想网络编辑器
net形式,选DHCP设置,拿到ip地址开首
net设置,拿到网关
点左侧小Computer,采用 VPN Connections–>Configue VPN
选中eth0,点有侧边edit
分选IP Settings
,依照本人的ip按图改良,Address正是你的ip地址,在初阶ip地址和得了ip地址之间接选举二个就能够
9.格式化HDFS,在hadoop解压目录下,奉行如下命令:(hadoop客户操作)
bin/hdfs namenode -format
注意:格式化只可以操作二遍,假设因为某种原因,集群无法用,
必要重新格式化,需求把上一遍格式化的音信删除,在/tmp目录里推行 rm –rf *
10.起步集群,在hadoop解压目录下,推行如下命令:(hadoop客商操作,截图用机后来改进,主机为gp)
运营集群:sbin/start-all.sh
须求输入四回当前顾客的密码(通过配备ssh相互信任解除,截图用机已经安插过ssh不用输密码卡塔尔
运行后,在命令行输入jps有以下输出
闭馆集群:sbin/stop-all.sh 要求输入五遍当前客商的密码(通过配备ssh互相信任消除,笔者的同上卡塔尔(قطر
4.SSH互相信任配置(hadoop客户操作)
rsa加密方法,公钥和私钥
1.生成公钥和私钥
在命令行施行ssh-keygen,然后回车,然后会提示输入内容,什么都不用写,一路回车
在hadoop顾客根目录下,有贰个.ssh目录
id_rsa 私钥
id_rsa.pub 公钥
known_hosts 通过SSH链接到本主机,都会在这里边有记录
2.把公钥给信赖的主机(本机卡塔尔(قطر
在命令行输入ssh-copy-id 主机名称
ssh-copy-id hadoop
复制的长河中要求输入信任主机的密码
3.验证,在命令行输入:ssh 信赖主机名称
ssh hadoop
若无提醒输入密码,则陈设成功
至此,水到渠成。