虚拟机下载hadoop，虚拟机环境下Hadoop安装详解，从下载到配置，一步步带你搭建大数据平台

本文详细介绍了在虚拟机环境下安装Hadoop的步骤，包括下载、配置等全过程，旨在帮助读者一步步搭建大数据平台。

随着大数据时代的到来,Hadoop作为一款开源的大数据处理框架，被广泛应用于各个领域，本文将详细介绍在虚拟机环境下下载、安装和配置Hadoop的步骤，帮助读者快速搭建自己的大数据平台。

准备工作

1. 虚拟机软件：VMware Workstation、VirtualBox等
2. 操作系统：Linux（推荐CentOS 7）
3. Hadoop版本：本文以Hadoop 3.3.1为例
4. 网络环境：确保虚拟机与宿主机之间的网络连接正常

下载Hadoop

1. 访问Hadoop官网：https://hadoop.apache.org/
2. 下载Hadoop源码包：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
3. 将下载好的hadoop-3.3.1.tar.gz文件上传至虚拟机

安装Hadoop

1. 解压Hadoop源码包：tar -zxvf hadoop-3.3.1.tar.gz -C /opt/
2. 重命名解压后的文件夹：mv /opt/hadoop-3.3.1 /opt/hadoop
3. 配置环境变量：编辑~/.bashrc文件，添加以下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4. 使环境变量生效：source ~/.bashrc
5. 验证Hadoop安装：hadoop version

配置Hadoop

图片来源于网络，如有侵权联系删除

配置Hadoop配置文件：/opt/hadoop/etc/hadoop

（1）配置集群名称：vi core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
</configuration>

（2）配置HDFS存储目录：vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop/hdfs/datanode</value>
    </property>
</configuration>

（3）配置YARN资源管理器：vi yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

配置SSH免密登录

（1）生成密钥对：ssh-keygen -t rsa -P '' -C 'your_email@example.com' （2）将公钥复制到所有节点：ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@虚拟机IP

图片来源于网络，如有侵权联系删除

3. 格式化HDFS文件系统：hdfs namenode -format

4. 启动Hadoop服务

（1）启动HDFS：start-dfs.sh （2）启动YARN：start-yarn.sh

测试Hadoop

1. 访问HDFS Web界面：http://虚拟机IP:50070
2. 访问YARN Web界面：http://虚拟机IP:8088

至此,Hadoop在虚拟机环境下的安装和配置已经完成，你可以根据自己的需求，在Hadoop平台上进行大数据处理和分析。