虚拟机安装hadoop教程，虚拟机安装hadoop安装详细步骤

***：本教程主要讲述虚拟机中安装Hadoop的详细步骤。首先要准备好虚拟机软件并创建合适的虚拟机环境，包括设置内存、硬盘等参数。接着在虚拟机内安装操作系统，如Linux系统。之后进行JDK的安装与配置，因为Hadoop依赖JDK。再从官方网站获取Hadoop安装包并解压到指定目录。然后对Hadoop的核心配置文件如core - site.xml、hdfs - site.xml等进行必要的修改，最后启动Hadoop相关服务以完成安装。

本文目录导读：

1. 准备工作
2. 安装Ubuntu操作系统
3. 安装Java环境
4. 安装Hadoop
5. 测试Hadoop安装

虚拟机安装Hadoop详细教程

准备工作

1、虚拟机软件选择与安装

- 这里我们以VirtualBox为例，首先从VirtualBox官方网站下载适合你操作系统的安装包，然后按照默认安装步骤进行安装，安装完成后，打开VirtualBox软件。

2、操作系统镜像准备

- 选择一个适合的Linux操作系统镜像，如Ubuntu，可以从Ubuntu官方网站下载Ubuntu Server版本的镜像文件。

3、硬件资源分配

- 在VirtualBox中创建新的虚拟机，为虚拟机分配足够的内存，建议至少2GB（如果主机内存允许），以及足够的磁盘空间，例如20GB，选择合适的网络连接方式，如桥接网络，这样虚拟机可以与主机及外部网络进行通信。

安装Ubuntu操作系统

1、创建虚拟机

- 在VirtualBox中点击“新建”，输入虚拟机名称，选择操作系统类型为Linux，版本为Ubuntu（根据你下载的镜像版本），按照向导完成虚拟机的基本设置。

2、安装操作系统

- 启动虚拟机，选择挂载之前下载的Ubuntu Server镜像文件，按照Ubuntu的安装提示进行操作，包括选择语言、设置时区、创建用户名和密码等，在安装过程中，可以选择默认的分区设置或者根据自己的需求进行自定义分区。

3、网络配置

- 安装完成后，登录到Ubuntu系统，使用命令ip addr查看网络接口名称，例如可能是eth0，编辑网络配置文件/etc/network/interfaces（对于较旧版本的Ubuntu）或者/etc/netplan/*.yaml（对于较新版本的Ubuntu），如果是使用/etc/netplan/*.yaml文件，示例配置如下：

```yaml

network:

version: 2

renderer: networkd

ethernets:

eth0:

dhcp4: yes

```

保存文件后，使用命令sudo netplan apply使网络配置生效。

安装Java环境

1、下载Java

- 由于Hadoop运行需要Java环境，从Oracle官方网站或者OpenJDK官方网站下载适合Ubuntu的Java版本，这里以OpenJDK为例，可以使用命令sudo apt - get update更新软件包列表，然后使用命令sudo apt - get install openjdk - 8 - jdk安装Java 8（如果是Hadoop 2.x版本，Java 8较为合适）。

2、设置Java环境变量

- 编辑/etc/profile文件，在文件末尾添加以下内容：

```bash

export JAVA_HOME = /usr/lib/jvm/java - 8 - openjdk - amd64

export PATH = $PATH:$JAVA_HOME/bin

```

使用命令source /etc/profile使环境变量生效，可以使用命令java - version验证Java是否安装成功。

安装Hadoop

1、下载Hadoop

- 从Hadoop官方网站（https://hadoop.apache.org/releases.html）下载适合的Hadoop版本，下载Hadoop 2.7.7版本，使用命令wget https://archive.apache.org/dist/hadoop/common/hadoop - 2.7.7/hadoop - 2.7.7.tar.gz将其下载到本地。

2、解压Hadoop

- 使用命令tar - zxvf hadoop - 2.7.7.tar.gz将下载的压缩包解压到指定目录，例如/usr/local目录下，可以使用命令mv hadoop - 2.7.7 /usr/local/hadoop将解压后的文件夹重命名为hadoop。

3、配置Hadoop环境变量

- 编辑/etc/profile文件，添加以下内容：

```bash

export HADOOP_HOME = /usr/local/hadoop

export PATH = $PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

```

使用命令source /etc/profile使环境变量生效。

4、Hadoop配置文件修改

core - site.xml

- 编辑$HADOOP_HOME/etc/hadoop/core - site.xml文件，添加以下内容：

```xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

```

hdfs - site.xml

- 编辑$HADOOP_HOME/etc/hadoop/hdfs - site.xml文件，添加以下内容：

```xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/user/hadoopdata/namenode</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/user/hadoopdata/datanode</value>

</property>

</configuration>

```

mapred - site.xml

- 从$HADOOP_HOME/etc/hadoop/mapred - site.xml.template复制一份为mapred - site.xml，然后编辑mapred - site.xml文件，添加以下内容：

```xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

```

yarn - site.xml

- 编辑$HADOOP_HOME/etc/hadoop/yarn - site.xml文件，添加以下内容：

```xml

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<property>

<name>yarn.nodemanager.aux - services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

```

5、格式化HDFS

- 使用命令hdfs namenode - format对HDFS进行格式化，这一步操作只需要在首次安装或者重新初始化Hadoop时进行。

6、启动Hadoop服务

- 启动Hadoop的所有服务，可以使用命令start - all.sh，可以使用命令jps查看启动的进程，应该能看到NameNode、DataNode、ResourceManager、NodeManager等进程。

测试Hadoop安装

1、创建测试文件

- 在本地文件系统创建一个测试文件，例如使用命令echo "Hello Hadoop"> test.txt。

2、将文件上传到HDFS

- 使用命令hdfs dfs - put test.txt /user/your - username将测试文件上传到HDFS。

3、运行MapReduce示例程序

- 运行Hadoop自带的MapReduce示例程序，如hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop - mapreduce - examples - 2.7.7.jar wordcount /user/your - username/test.txt /user/your - username/output，这个命令会对上传的test.txt文件中的单词进行计数，并将结果输出到/user/your - username/output目录下。

4、查看结果

- 使用命令hdfs dfs - cat /user/your - username/output/part - r - 00000查看MapReduce任务的结果，如果能看到正确的单词计数结果，说明Hadoop安装和配置成功。

通过以上详细步骤，我们可以在虚拟机中成功安装和配置Hadoop，并进行简单的测试，在实际应用中，可以根据具体需求进一步优化和扩展Hadoop集群的配置。