虚拟机下载hadoop，基于虚拟机环境下的Hadoop安装与配置详细步骤详解

本文详细介绍了在虚拟机环境下安装与配置Hadoop的步骤，包括虚拟机环境搭建、Hadoop下载与解压、配置环境变量、启动Hadoop服务等，旨在帮助读者快速掌握Hadoop的安装与配置。

Hadoop是一款开源的分布式计算框架,用于处理大规模数据集，在当今大数据时代，Hadoop已经成为企业级数据处理的利器，本文将详细介绍如何在虚拟机环境下下载、安装和配置Hadoop。

准备工作

1. 准备一台虚拟机,操作系统建议使用Linux（如CentOS、Ubuntu等）。

2. 下载Hadoop源码包：https://hadoop.apache.org/releases.html

3. 安装JDK：Hadoop需要Java环境支持，建议使用Java 8。

   

   图片来源于网络，如有侵权联系删除

安装步骤

解压Hadoop源码包

在虚拟机中,使用以下命令解压Hadoop源码包：

tar -zxvf hadoop-3.3.4.tar.gz

解压后,将Hadoop源码包移动到合适的位置，例如/usr/local/：

mv hadoop-3.3.4 /usr/local/hadoop

配置环境变量

编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使用以下命令使环境变量生效：

source ~/.bashrc

配置Hadoop

（1）修改hadoop-env.sh文件

在$HADOOP_HOME/etc/hadoop目录下，编辑hadoop-env.sh文件，设置JDK路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.x86_64

（2）修改core-site.xml文件

在$HADOOP_HOME/etc/hadoop目录下，编辑core-site.xml文件，配置Hadoop运行时的基本参数：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

（3）修改hdfs-site.xml文件

在$HADOOP_HOME/etc/hadoop目录下，编辑hdfs-site.xml文件，配置HDFS存储参数：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/datanode</value>
  </property>
</configuration>

（4）修改mapred-site.xml文件

图片来源于网络，如有侵权联系删除

在$HADOOP_HOME/etc/hadoop目录下，将mapred-site.xml.template文件重命名为mapred-site.xml，并编辑该文件，配置MapReduce相关参数：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

（5）修改yarn-site.xml文件

在$HADOOP_HOME/etc/hadoop目录下，编辑yarn-site.xml文件，配置YARN相关参数：

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

格式化HDFS

在Hadoop配置完成后,需要格式化HDFS文件系统，使用以下命令进行格式化：

hdfs namenode -format

启动Hadoop服务

启动Hadoop服务前,需要先启动HDFS和YARN。

（1）启动HDFS

start-dfs.sh

（2）启动YARN

start-yarn.sh

验证Hadoop安装

使用以下命令查看Hadoop进程是否正常运行：

jps

应该可以看到NameNode、DataNode、ResourceManager和NodeManager等进程。

本文详细介绍了在虚拟机环境下下载、安装和配置Hadoop的步骤，通过以上步骤，您应该已经成功安装了Hadoop，并可以开始使用它进行大数据处理了，祝您学习愉快！