Hadoop集群搭建及运行初步

Sun, 28 Jun 2015 14:18:20 +0000

一直以来对Hadoop都非常有兴趣，所以这一段时间研究可以下Hadoop集群的搭建，今天写一篇小文章，主要是当做自己的笔记，因为写Hadoop怎么搭建的太多了，好了废话不多说，下面开始正文

一、环境准备

系统环境

因为我个人比较喜欢Linux，另外很多资料都是基于Linux的，所以本文也不能例外，系统当然是Linux啦，开发是老夫最喜欢的Ubuntu，当然这个是看自己喜欢那个版本

安装JDK

运行Hadoop需要jre环境，所以如果你的机器没有装JDK，那么就装吧，Ubuntu可以用apt-get install安装，也可以到这个地方：http://www.oracle.com/technetwork/java/javase/downloads/index.html下载然后安装，我个人比较喜欢后一种，因为这么我们可以自己选择装到哪个地方，有利于我们自己配JAVA_HOME、CLASSPATH以及PATH，配置如下：


vim /etc/profile

然后在里面添加：


export JAVA_HOME=/home/jdk1.7.0_40
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$JAVA_HOME/bin:$PATH"

然后执行生效


source /etc/profile

我们可以任何目录下面测试JDK安装是否成功

实现SSH无密码登陆

因为hadoop namenode要悄悄的SSH到各datanode中去启动相应的JVM进程，所以必须实现namenode能无密码登陆到datanode所在机器

配置命令如下：


sudo apt-get install ssh
ssh-keygen -t rsa -P &#8221; -f ~/.ssh/id_rsa
cat /home/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

可以用命令：


ssh localhost

检查是否配置成功，如果有提示授权成功等字样，则表示配置成功。

二、安装Hadoop

环境准备好之后，就要开始安装Hadoop，Hadoop有很多版本，我们是以hadoop-1.2.1为基础，首先下载Hadoop，下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/，下载之后我们把它copy到/home下，解压：


tar -zxvf hadoop-1.2.1-bin.tar.gz

解压之后我们找到Hadoop的conf文件夹，下面我们的配置都将在这个文件夹下

首先要配置的文件是：hadoop-env.sh，我们打开这个文件，找到配置JVAV_HOME的那一行，把注释打开，写上我们安装的JDK的路径
配置core-site.xml，打开该文件，在文件中添加：


<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

配置hdfs-site.xml，同样添加：


<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>

配置mapred-site.xml，也是添加


<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

下面我们同样需要配置hadoop_home，同样是打开


vim /etc/profile

在里面添加：

大数据 on 分享技术带来的喜悦

Hadoop集群搭建及运行初步