1.预备工作, 1.预备干活

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

  9.格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)

公海赌船710 1

  10.启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作,截图用机后来改过,主机为gp)

  4.执行 java -version 查看版本,若是成功验证jdk配置成功

  4.举行 java -version 查看版本,尽管成功验证jdk配置成功

<property>

<name>fs.defaultFS</name>

<value>hdfs://node:9000</value>

</property>

  首先先不看理论,搭建起环境之后再看;

  5.改动修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml (hadoop用户操作),这么些文件并未,需要复制一份

    tar -zxvf hadoop-2.6.0.tar.gz

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

  root/123456,hadoop/123456

  电脑是win10,用的虚拟机VMware Workstation 12
Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8;

  6.改动配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)

 公海赌船710 2

  电脑是win10,用的杜撰机VMware Workstation 12
Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8;

  q   退出不保留

慎选IP Settings
,按照自己的ip按图修改,Address就是您的ip地址,在起先ip地址和停止ip地址之间选一个就行

  附:查看ip地址

    192.168.44.199(用自己的ip,下边讲哪些获取)  node

  4.SSH互信配置(hadoop用户操作)
  rsa加密方法,公钥和私钥
  1.生成公钥和私钥
  在命令行执行ssh-keygen,然后回车,然后会提示输入内容,什么都不要写,一路回车
  在hadoop用户根目录下,有一个.ssh目录
  id_rsa 私钥
  id_rsa.pub 公钥
  known_hosts 通过SSH链接到本主机,都会在此地有记录
  2.把公钥给信任的主机(本机)
  在命令行输入ssh-copy-id 主机名称
  ssh-copy-id hadoop
  复制的经过中需要输入信任主机的密码
  3.认证,在命令行输入:ssh 信任主机名称
  ssh hadoop
  如果没有提示输入密码,则安排成功

  2.修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)

    192.168.44.199(用自己的ip,下边讲哪些获取)  node

  主机名:node

拔取IP Settings
,依据自己的ip按图修改,Address就是你的ip地址,在开始ip地址和竣工ip地址之间选一个就行

  

  编辑–>虚拟网络编辑器

  

    bin/hdfs namenode -format

  q   退出不保留

  3.Hadoop 安装

  把防火墙关闭,root执行:service iptables stop

 公海赌船710 3

  8.修改/etc/hosts文件(root用户操作),添加: ip 主机名称

JAVA_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

  net形式,选DHCP设置,得到ip地址开首

公海赌船710 4

公海赌船710 5

  3.改动配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)

  系统环境:IP:192.168.80.99,

  准备干活:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)

   启动后,在命令行输入jps有以下输出

公海赌船710,    vi /etc/sysconfig/network

   1.在hadoop用户的根目录,解压(hadoop用户操作)

   启动后,在命令行输入jps有以下输出

  linux用户:

  linux用户:

  编辑–>虚拟网络编辑器

  执行source /etc/profile

  修改HOSTNAME的值为用户名

   解压完成在hadoop用户的根目录下有一个hadoop-2.6.0目录

  2.jdk安装

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

点右侧小电脑,选拔 VPN Connections–>Configue VPN

   至此,大功告成。

  7.修改主机名称(root用户操作),重启生效

 net设置,得到网关

  4.SSH互信配置(hadoop用户操作)
  rsa加密方法,公钥和私钥
  1.生成公钥和私钥
  在命令行执行ssh-keygen,然后回车,然后会提示输入内容,什么都无须写,一路回车
  在hadoop用户根目录下,有一个.ssh目录
  id_rsa 私钥
  id_rsa.pub 公钥
  known_hosts 通过SSH链接到本主机,都会在这里有记录
  2.把公钥给信任的主机(本机)
  在命令行输入ssh-copy-id 主机名称
  ssh-copy-id hadoop
  复制的过程中需要输入信任主机的密码
  3.验证,在命令行输入:ssh 信任主机名称
  ssh hadoop
  假诺没有指示输入密码,则配备成功

  

   至此,大功告成。

  4.改动配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)

公海赌船710 6

  8.修改/etc/hosts文件(root用户操作),添加: ip 主机名称

    vi /etc/sysconfig/network

  2.改动配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)

    bin/hdfs namenode -format

  3.把修改的环境变量生效(hadoop用户操作)

  附:查看ip地址

  

    tar -zxvf hadoop-2.6.0.tar.gz

  搭建伪分布式是为了仿效条件,调试方便。

 公海赌船710 7

  7.改动主机名称(root用户操作),重启生效

公海赌船710 8

公海赌船710 9

 net设置,得到网关

  net形式,选DHCP设置,拿到ip地址开首

  

公海赌船710 10

  首先先不看理论,搭建起环境之后再看;

公海赌船710 11

    启动集群:sbin/start-all.sh
  需要输入三遍当前用户的密码(通过安排ssh互信解决,截图用机已经布置过ssh不用输密码)

公海赌船710 12

  1.预备干活

  编辑完成后,按下esc退出插入格局输入:,这时在左下角有一个冒号的标识

  准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)

    export JAVA_HOME=/home/hadoop/jdk1.8.0_65

  10.开行集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作,截图用机后来改过,主机为gp)

点左侧小电脑,选拔 VPN Connections–>Configue VPN

JAVA_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

  1.备选干活

  4.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)

  把防火墙关闭,root执行:service iptables stop

 公海赌船710 13

  系统环境:IP:192.168.80.99,

  2.布置环境变量,需要修改/etc/profile文件(root用户操作)切到root用户,输入su命令 vi /etc/profile 进去编辑器后,输入i,进入vi编辑器的插入形式在profile文件最终添加

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

  注意:格式化只可以操作三次,倘若因为某种原因,集群无法用,
需要再度格式化,需要把上四回格式化的音讯删除,在/tmp目录里实施 rm –rf *

   1.在hadoop用户的根目录,解压(hadoop用户操作)

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

  2.布置环境变量,需要修改/etc/profile文件(root用户操作)切到root用户,输入su命令 vi /etc/profile 进去编辑器后,输入i,进入vi编辑器的插入模式在profile文件最终添加

  3.改动配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)

  root/123456,hadoop/123456

  3.Hadoop 安装

  q!   强制退出

公海赌船710 14

公海赌船710 15

  搭建伪分布式是为着模仿条件,调试方便。

  主机名:node

    export JAVA_HOME=/home/hadoop/jdk1.8.0_65

  1.在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf
jdk-8u65-linux-x64.tar.gz 解压完成后,在hadoop用户的根目录有一个jdk1.8.0_65目录

  q!   强制退出

  

   解压完成在hadoop用户的根目录下有一个hadoop-2.6.0目录

  

闭馆集群:sbin/stop-all.sh  需要输入一次当前用户的密码(通过部署ssh互信解决,我的同上)

选中eth0,点有右侧edit

  3.把修改的环境变量生效(hadoop用户操作)

    cp etc/hadoop/mapred-site.xml.template
etc/hadoop/mapred-site.xml

  编辑完成后,按下esc退出插入情势输入:,这时在左下角有一个冒号的标识

<property>

<name>fs.defaultFS</name>

<value>hdfs://node:9000</value>

</property>

  

  

公海赌船710 16

公海赌船710 17

选中eth0,点有左边edit

  注意:格式化只好操作两回,即便因为某种原因,集群不能够用,
需要再行格式化,需要把上一遍格式化的信息删除,在/tmp目录里实施 rm –rf *

  

    启动集群:sbin/start-all.sh
  需要输入四回当前用户的密码(通过安排ssh互信解决,截图用机已经部署过ssh不用输密码)

  9.格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)

  6.改动配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)

公海赌船710 18

公海赌船710 19

  执行source /etc/profile

  2.jdk安装

    添加

  修改HOSTNAME的值为用户名

  wq  保存退出

    添加

    cp etc/hadoop/mapred-site.xml.template
etc/hadoop/mapred-site.xml

  5.改动修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml (hadoop用户操作),那多少个文件没有,需要复制一份

公海赌船710 20

关闭集群:sbin/stop-all.sh  需要输入三次当前用户的密码(通过配备ssh互信解决,我的同上)

  1.在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf
jdk-8u65-linux-x64.tar.gz 解压完成后,在hadoop用户的根目录有一个jdk1.8.0_65目录

  wq  保存退出

相关文章