可为 spark用户伸张管理员权限,linux上又不可能安装qq等必须软件公海赌船710

Win10上利用子系统搭建hadoop本地开发环境及广大难题化解

服务器环境:Ubuntu15.04、jdk1.7、Hadoop2.7.1

说明

满心鼓舞的预备攻读hadoop,没悟出困难重重,具体多坑?
Hadoop对微软如此不自己,
原来打算安装在docker上可以吧,一追寻,一个科目都不曾,我???,
那装个虚拟机吧,配置范围了本人的设想,
那搞个双系统吧,linux上又不可能设置qq等必须软件,
尽管如此也可编译Hadoop源码为windows版本,不过hadoop那么多生态环境,难道我要每一个都编译?
您或许会将代码打包为jar包再发送到服务器上运行,不过那扩张了大批量的调剂工作,而且浪费了大气时日。
本人拿那windows能如何做?甚至早已想换个黑苹果(忍住了)。

估量我大微软团结也意识那样下去无法盈利,只好尽早叫上兄弟Ubuntu来填坑。
本学科利用win10自带的Ubuntu子系统来安插Hadoop运行环境。

1. 创建spark用户###\

为了隔离Hadoop和其余软件, 创建了足以登陆的 spark 用户,并动用 /bin/bash
作为 shell:

sudo useradd -m spark-s /bin/bash

设置spark用户密码:

sudo passwd spark

可为 spark用户增加管理员权限,避免计划时候蒙受有的意料之外的权杖难题:

sudo adduser hadoop sudo

添加完用户后,用户spark账户登录服务器,进行服务器配置。

要求

系统:win10(唯有win10可以安装子系统)

2. SSH登录配置####\

集群、单节点格局都亟需用到
SSH登陆
,并且布置ssh的免密码登录,在集群启动时候可以防去输入密码的难为。Ubuntu
默许已安装了 SSH client,别的还需求设置 SSH server:

sudo apt-get install openssh-server

测试使用ssh登录本机:

ssh localhost

签到成功后可以输入exit退出

公海赌船710 1

ssh登录本机

设置ssh无密码登录
安装免密码登录,生成私钥和公钥,利用 ssh-keygen
生成密钥,并将密钥参与到授权中。
转移公钥/私钥对:

ssh-keygen -t rsa -P ""

-P表示密码,-P ”
就象征空密码,也能够不用-P参数,那样就要三车回车,用-P就两遍回车。它在/home/spark下生成.ssh目录,.ssh下有id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
上边大家将公钥追加到authorized_keys中,它用户保存所有允许以方今用户地方登录到ssh客户端用户的公钥内容

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

双重利用ssh登陆localhost,就不再需求输入密码:

ssh localhost

记得退出登录,继续开展配置exit

公海赌船710 2

ssh登录本地不必要再输入密码

步骤

3. 安装Java环境###\

安装JDK:

sudo apt-get update
sudo apt-get install openjdk-7-jdk

安装成功后,使用java -version java版本

公海赌船710 3

好端端突显java版本

布署Java环境变量,如若采取方面的办法安装jdk,那么Java的装置路径应该是/usr/lib/jvm/java-7-openjdk-amd64,不过一旦不能确定,可以运用如下命令:

update-alternatives - -config java

输入结果:/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

咱俩只取前边的片段 /usr/lib/jvm/java-7-openjdk-amd64
配置.bashrc文件:

sudo vim ~/.bashrc  #如果没有vim 请另行安装vim

在文件末尾追加上面内容,然后保留

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

举行上面命,使添加的环境变量生效:

source ~/.bashrc

测试Java环境变量结果:

echo $JAVA_HOME

要是输出/usr/lib/jvm/java-7-openjdk-amd64 则意味着配置成功

第一步:安装Ubuntu子系统

打开windows商店,搜索Ubuntu,找到后点击安装,等待安装收尾即可。
安装已毕后,为了未来能加快布局速度,安装包源为阿里源

4. 配置Hadoop###\

4.1 下载安装Hadoop

Hadoop 2 可以通过
http://mirror.bit.edu.cn/apache/hadoop/common/
下载,一般选拔下载最新的安静版本,即下载 “stable” 下的
hadoop-2.x.y.tar.gz 这么些格式的文本,那是编译好的,另一个分包 src
的则是 Hadoop 源代码,需要进行编译才可拔取。
本身直接下载编译好的压缩包:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解压缩:

tar xfz hadoop-2.7.1.tar.gz

将安装包移动到usr/local/hadoop

sudo mv hadoop-2.6.0 /usr/local/hadoop

更改hadoop文件夹的持有者为spark用户

sudo chown -R spark /usr/local/hadoop

测试hadoop是或不是可用
/usr/local/hadoop/bin/hadoop version
是的呈现hadoop版本表示可用

4.2 Hadoop相关环境变量配置
打开./bashrc文件:

sudo vim ~/.bashrc

在.bashrc文件末尾添加相关环境变量:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

应用环境变量:

source ~/.bashrc

4.3 hadoop相关布置文件的配备

  1. 配置hadoop-env.sh

    sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
    

    更改JAVA_HOME为
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

  2. 配置core-site.xml

    sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml
    

    <configuration></configuration>中间进入HDFS的布署(HDFS的端口配置在9000):
    <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    </property>

  3. 配置yarn-site.xml

    sudo vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
    

    <configuration></configuration>以内进入以下内容:
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

  4. 配置mapred-site.xml
    HADOOP_HOME目录下有一个配备模板$HADOOP_HOME/etc/hadoop/mapred-site.xml.template,先拷贝到$HADOOP_HOME/etc/hadoop/mapred-site.xml。

    cp $HADOOP_HOME/etc/hadoop/mapred-site.xml{.template,}
    

编辑$HADOOP_HOME/etc/hadoop/mapred-site.xml文件:

   sudo vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

  在`<configuration></configuration>`之间加入以下内容:
   <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value>
   </property>

4.3 配置HDFS文件目录
1. 创建文件目录
如果准备将数据存放在/mnt/hdfs,方便起见,现将其设为一个环境变量:

export HADOOP_DATA_DIR=/mnt/hdfs

成立DataNode和NameNode的贮存目录,同时将那五个公文夹的主人修改为spark:

sudo mkdir -p $HADOOP_DATA_DIR/namenode
sudo mkdir -p $HADOOP_DATA_DIR/datanode
sudo chown -R spark $HADOOP_DATA_DIR

2. 配置hdfs-site.xml文件

sudo vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration></configuration>以内伸张DataNode和NameNode的计划,如下:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/mnt/hdfs/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/mnt/hdfs/datanode</value>
</property>

3. 格式化HDFS文件系统
动用下列命令格式化HDFS文件系统:

hdfs namenode -format

第二步:配置Ubuntu子系统

  • 安装主机名(不是必须的)

子系统主机名默许使用windows宿主机的名字,若是你一向没改过突显的应当是一串字符,为了方便开发,你应当修改主机名。通过设置->系统->关于->重命名这台电脑更改主机名。

  • 设置root密码

sudo passwd root
  • 设置默许登录用户

为了能有益开发,可以设置Ubuntu的默许登录用户为眼前报到win10的用户名,因为你付出时是以当下登录用户执行顺序的,所以为了防止权限难点,推荐您那样做。
例如当前自己win10的用户为manlier,那就设置默许用户为manlier,借使当前ubuntu中并未该用户,会让你创立。

在Power shell 中执行

ubuntu config --default-user <username>
  • 安装ssh服务

Ubuntu 默许安装了ssh服务,若是没有设置,执行

sudo apt-get install openssh-client
sudo apt-get install openssh-server
  • 启动ssh服务

sudo service ssh start

若果赶上难题,重新安装ssh服务

sudo apt-get purge openssh-server
sudo apt-get install openssh-server

重复运行suddo service ssh --full-restart翻开是或不是已启动成功

  • 配置ssh端口

ssh端口默许是22号端口,该端口在win10中早就被sshProxy服务占了,你能够关闭该服务。也得以通过下边的授命在Ubuntu中改变ssh端口。

修改/etc/ssh/sshd_configPort 22为任何端口

vi /etc/ssh/sshd_config

重启ssh服务

sudo service ssh --full-restart

正文选用第一种,即直接关闭sshProxy服务。若你挑选第三种,之后必要安顿Hadoop集群的ssh端口。

  • 布局免密登录

显然,Hadoop须要树立在ssh的免密服务之上,由此要求开展ssh的公钥登录配置。

修改sshd_config文件,首要更改上边几行

UsePrivilegeSeparation no
PermitRootLogin no         #如果你确实要用root方式登录的话设为yes
PasswordAuthentication yes

在Ubuntu中重启ssh服务

sudo service ssh --full-restart

执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa变更密钥,注意不要使用dsa加密,它不安全也不再被帮助。

执行ssh-copy-id -i ~/.ssh/id_rsa.pub <username>@localhost将公钥发送至Ubuntu,时期须要输入一回(之后就不须求了)用户的密码。

迄今甘休免密服务业已安插完结。运行ssh localhost翻开是或不是不要求密码登录,若出现难点,请查看输出到屏幕的日志。

5. 启动Hadoop###\

启动HDFS:

$HADOOP_HOME/sbin/start-dfs.sh

启动yarn:

$HADOOP_HOME/sbin/start-yarn.sh

HDFS和yarn的web控制台默许监听端口分别为50070和8088。可以通过浏览放访问查看运行情状。

停下命令:
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
假设一切正常,使用jps可以查阅到正在运行的Hadoop服务,在我机器上的来得结果为:

5003 SecondaryNameNode
5341 NodeManager
4798 DataNode
5182 ResourceManager
7311 Jps
4639 NameNode

第三步:安装Hadoop

在布署完ssh后,你可以平素依据法定文档中的表达,在linux环境下安装Hadoop了,这里列出首要步骤。

  • 安装JDK

Hadoop 依赖JDK,首先须求设置Java,那里安装Oracle Java 8

sudo apt-get install python-software-properties
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
  • 配置JAVA_HOME

查看JAVA安装路径

sudo update-alternatives --config java

  Selection    Path                                     Priority   Status
------------------------------------------------------------
  0            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      auto mode
* 1            /usr/lib/jvm/java-8-oracle/jre/bin/java   1081      manual mode

看到JDK路径为/usr/lib/jvm/java-8-oracle

/etc/environment中率先行添加如下内容:

JAVA_HOME="/usr/lib/jvm/java-8-oracle"

更新环境变量

source /etc/enviroment
  • 下载Hadoop并解压

cd /opt
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
tar xzvf hadoop-2.9.0.tar.gz
  • 设置HADOOP_HOME路径

/etc/environment文件中率先行添加HADOOP_HOME变量,为了输入指令时的便宜着想,你可以进入到PATH环境变量中。

HADOOP_HOME="/opt/hadoop-2.9.0"
PATH="$HADOOP_HOME/bin:..."

source /etc/environment
  • 设置JAVA_HOME路径

修改etc/hadoop/hadoop-env.sh文本中的JAVA_HOME变量

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
  • 以伪分布情势配置Hadoop

修改etc/hadoop/core-site.xml文件内容如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改etc/hadoop/hdfs-site.xml文件内容如下:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
  • 配置YARN(若你利用YARN作为资源管理器)

修改etc/hadoop/mapred-site.xml如下:

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改etc/hadoop/yarn-site.xml如下:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
  • 格式化文件系统

bin/hdfs namenode -format
  • 开启 NameNode 和 DataNode 守护过程

sbin/start-dfs.sh
  • 开启YARN

sbin/start-yarn.sh
  • 翻看是还是不是启动成功

输入jps命令,若以下进程都启动了,表明启动成功

1984 SecondaryNameNode
2212 ResourceManager
2376 Jps
1738 DataNode
1612 NameNode
2334 NodeManager
  • 开创用户目录

hadoop fs -mkdir /user
hadoop fs -mkdir /user/<username>

由来windows上的hadoop环境就搭建完结了,你能够打开localhost:50070查阅是不是启动成功。

好了,现在您能够采用idea或其余开发工具举行付出和调节了,而不用每便都打包到服务器上运行了(鼓掌)

6. 运行WordCount测试###\

单机格局安装已毕,上边通过执行hadoop自带实例WordCount验证是还是不是安装成功。
翻看HDFS根目录下的公文:

hdfs dfs -ls /

在HDFS上创建input目录:

hdfs dfs -mkdir /input

将Hadoop路径下的README.txt传到HDFS:

hdfs dfs -put $HADOOP_HOME/README.txt /input/

达成后运行如下命令,举办Word Count操作:

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount /input /output

公海赌船710 4

并未非常 ,义务履行到位

翻看总计结果:

hdfs dfs -cat /output/*

公海赌船710 5

突显出单词的总结结果

最终Hadoop单节点的安顿就水到渠成了。如有啥难点,希望大家批评指正。

广大错误

  • 用户权限难点

若您在Ubuntu中以root身份启动了hadoop,并且创办了文件,那么那些文件就属于root。而在付出环境中,你是作为其余用户运行程序的,没有权限访问该文件,要访问文件,可通过以下指令更改文件所有者:

sudo hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

OWNER:GROUP就是用户:所属组,例如更改为manlier:supergroup将文件的持有者改为了supergroup组下的manlier用户

  • datanode进程未启动

查看logs/hadoop-<username>-datanode-<hostname>.log文件检查错误。

若出现java.io.IOException: Incompatible
clusterIDs,则表明您的data进程的集群id与name进度的集群id不等同,解决办法如下:

找到您的hdfs的公文存放路径,若你未曾指定,默许为/tmp/hadoop-<username>,彻底剔除它,重新格式化文件系统,重启hadoop即可,查看切实原因

  • 出现 Unable to load native-hadoop library for your platform…

翻看当前是不是布署好了HADOOP_HOME环境变量

echo $HADOOP_HOME

一旦出口为空,你需求在/etc/enviroment文件中装置Hadoop目录:

HADOOP_HOME=your_hadoop_path

并再度更新环境变量

source /etc/enviroment

7. 参考资料###\

1. Hadoop单节点安装
2. Ubuntu14.04下安装Hadoop2.4.0
(单机情势)

3.
Hadoop设置教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

相关文章