Quantcast
Channel: CodeSection,代码区,Linux操作系统:Ubuntu_Centos_Debian - CodeSec
Viewing all articles
Browse latest Browse all 11063

每日一博 | ubuntu 14.04 下安装 Hadoop

$
0
0
一、环境准备 1、ubuntu 14.04
每日一博 | ubuntu 14.04 下安装 Hadoop
2、hadoop 2.7.2

文件较大(202M),选择一种下载方式下载。下载地址:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

3、jdk 1.7以上

安装方法(若已安装,请忽略):

http://jingyan.baidu.com/article/647f0115bb26817f2048a871.html

二、安装Hadoop 1、安装命令 sudo addgroup hadoop sudo adduser -ingroup hadoop hadoop tar xzf hadoop-2.4.0.tar.gz mv hadoop-2.7.2 /usr/local/hadoop chmod 774 /usr/local/hadoop 编辑:/etc/sudoers,为hadoop用户添加root权限。
每日一博 | ubuntu 14.04 下安装 Hadoop

切换hadoop账户登陆系统。

2、配置hadoop 1)jdk安装路径获取

首先需要获取jdk安装路径,通过以下命令获取:

update-alternatives --config java


每日一博 | ubuntu 14.04 下安装 Hadoop
2)配置.bashrc

编辑.bashrc,并添加如下配置:

export JAVA_HOME=/usr/lib/jvm/java-8-oracle export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

最后使配置立即生效:source~/.bashrc


每日一博 | ubuntu 14.04 下安装 Hadoop
3)编辑hadoop-env.sh vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh 4)修改hadoop-env.sh中jdk_home的配置
每日一博 | ubuntu 14.04 下安装 Hadoop
5)保存并退出 三、测试Hadoop

下面通过执行hadoop自带实例WordCount验证是否安装成功。

1、/usr/local/hadoop路径下创建input文件夹

2、拷贝README.txt到input

3、执行WordCount命令

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output

以上步骤命令:


每日一博 | ubuntu 14.04 下安装 Hadoop

4、执行过程


每日一博 | ubuntu 14.04 下安装 Hadoop

5、执行结果


每日一博 | ubuntu 14.04 下安装 Hadoop

说明我们的hadoop 2.7.2已经安装成功了。


Viewing all articles
Browse latest Browse all 11063

Trending Articles