虚拟机安装hadoop安装详细步骤，虚拟机环境下一站式Hadoop安装教程详解

本文详细介绍了在虚拟机环境下安装Hadoop的步骤，包括安装前准备、配置环境变量、下载Hadoop安装包、解压安装包、配置Hadoop环境变量、启动Hadoop服务等内容，是一站式Hadoop安装教程详解。

随着大数据时代的到来，Hadoop作为一款开源的大数据处理框架，在国内外得到了广泛的应用，本文将详细介绍在虚拟机环境下安装Hadoop的详细步骤,帮助读者快速上手Hadoop。

准备工作

1. 硬件环境：一台配置较高的虚拟机，建议CPU 2核以上,内存4GB以上。

   

   图片来源于网络，如有侵权联系删除

2. 软件环境： （1）操作系统：CentOS 7（64位） （2）Java环境：JDK 1.8 （3）虚拟机软件：VMware Workstation、VirtualBox等

安装步骤

配置虚拟机

（1）创建虚拟机：打开虚拟机软件，创建一个新的虚拟机，选择CentOS 7（64位）作为操作系统。

（2）分配内存和CPU：根据实际情况分配内存和CPU资源。

（3）设置网络：选择桥接模式,确保虚拟机可以访问外部网络。

（4）创建磁盘：根据需要创建至少20GB的磁盘空间。

安装JDK

（1）下载JDK：访问Oracle官网下载JDK 1.8,选择Linux版本。

（2）上传JDK：将下载的JDK文件上传到虚拟机中。

（3）解压JDK：在虚拟机中解压JDK文件，例如解压到/usr/local目录。

（4）设置环境变量：编辑/etc/profile文件,添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

（5）使环境变量生效：执行source /etc/profile命令。

安装Hadoop

（1）下载Hadoop：访问Apache Hadoop官网下载Hadoop 3.3.4版本。

（2）上传Hadoop：将下载的Hadoop文件上传到虚拟机中。

图片来源于网络，如有侵权联系删除

（3）解压Hadoop：在虚拟机中解压Hadoop文件，例如解压到/usr/local目录。

（4）配置Hadoop：

a. 修改/usr/local/hadoop/etc/hadoop/core-site.xml文件,添加以下内容：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

b. 修改/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件,添加以下内容：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

c. 修改/usr/local/hadoop/etc/hadoop/yarn-site.xml文件,添加以下内容：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

格式化HDFS

在虚拟机中执行以下命令,格式化HDFS：

hdfs namenode -format

启动Hadoop服务

（1）启动HDFS：

start-dfs.sh

（2）启动YARN：

start-yarn.sh

验证Hadoop安装

在浏览器中访问http://master:50070，查看HDFS Web界面。

在浏览器中访问http://master:8088，查看YARN Web界面。

本文详细介绍了在虚拟机环境下安装Hadoop的步骤，包括配置虚拟机、安装JDK、安装Hadoop、格式化HDFS和启动Hadoop服务，通过本文的教程，读者可以快速上手Hadoop,为后续的大数据处理工作打下基础。