Hadoop2.6.0伪分布环境搭建

用到的软件：

一、安装jdk：

1、要安装的jdk，我把它拷在了共享文件夹里面。

（用优盘拷也可以）

2、我把jdk拷在了用户文件夹下面。

（其他地方也可以，不过路径要相应改变）

3、执行复制安装解压命令：

解压完毕：

查看解压的文件夹：

4、配置环境变量：

写入如下5行代码：

使配置生效：

5、查看安装的jdk：

java -version

java

javac

二、SSH免密码登陆：

1、安装SSH：

2、是否生成 .ssh 目录：

3、如果没有生成，自己手动创建一个 .ssh 目录：

生成的 .ssh 目录：

4、生成公钥与私钥：

效果如下：

5、将公钥加入到用于认证的公钥文件中：

6、免密码登陆：

效果：

Ubuntu 免密码登陆，SSH配置完。

三、安装配置Hadoop：

1、复制安装解压Hadoop ：

解压完毕效果：

2、配置 etc/profile

3、配置 hadoop-env.sh

进入

4、修改hadoop-2.6.0文件权限为用户权限：

默认没有mapred-site.xml文件，复制mapred-site.xml.template一份，并把名字改为mapred-site.xml

5、配置下面4个重要文件：

mapred-site.xml

core-site.xml

hdfs-site.xml

yarn-site.xml

6、格式化：

格式化部分效果：

7、启动：

先启动 start-dfs.sh：

效果：

再启动 start-yarn.sh：

效果：

关闭hadoop：

（注：也可以 sbin/start-all.sh：建议分开启动。）效果一样，如下：

8、查看Web页面信息：

至此，hadoop-2.6.0伪分布配置成功。

附录：文字版

一. ubuntu下JDK的安装：

见Ubuntu中安装配置jdk。

二. ubuntu下安装ssh:

1. $ sudo apt-get install openssh-server （用此方法安装不成功，参考在Ubuntu中配置SSH）

2. 启动ssh：/etc/init.d/ssh start

3. $ ps -e | grep ssh 来验证是否启动sshserver

4. 免密码化

$ ssh-keygen -t rsa //生成密钥对

一直按Enter键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中。

$cd .ssh //进入.ssh目录

$cp id_rsa.pub authorized_keys

$ssh localhost

三. ubuntu下安装hadoop：

1. 下载hadoop-0.20.2.tar.gz，放在/opt下解压

2. 修改hadoop配置文件

conf/hadoop-env.sh 修改JAVA_HOME选项：

export JAVA_HOME=/usr/java/jdk1.6.0_24，一定记得去除前面的#

3. 伪分布式单机配置

conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
         <property>
                  <name>fs.default.name</name>
                  <value>hdfs://localhost:9000</value>
        </property>
</configuration>

conf/hdfs-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
         <property>
                  <name>dfs.replication</name>
                   <value>1</value>
         </property>

<name>dfs.name.dir</name> //为了保证每次重启不用格式化

<value>/opt/hadoop-0.20.2/rq</value> //namenode，此处设置非常重要

</property>

<value>/opt/hadoop-0.20.2/rq/data</value>

</property>
</configuration>

conf/mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
        <property>
                 <name>mapred.job.tracker</name>
                          <value>localhost:9001</value>
        </property>
</configuration>

5. 创建hdfs文件系统

$ bin/hadoop namenode -format

6. 启动hadoop

需要先启动ssh: $ /etc/init.d/ssh start

$ bin/start-all.sh

7. 在hadoop下创建test目录，然后建立file1.txt file2.txt 写入几个单词；将hadoop/test下的测试文件上传到hadoop文件系统中

$ bin/hadoop dfs -put ./test input

8. 运行wordCount例子

$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

9. 把结果从dfs上拷贝下来

$ bin/hadoop dfs -get output output

10. 查看结果