虚拟机安装hadoop安装详细步骤，虚拟机环境下Hadoop集群搭建详细步骤及注意事项

在虚拟机中安装Hadoop，需依次进行环境配置、Hadoop安装包下载、解压、配置环境变量、启动Hadoop服务、配置集群，并注意网络设置、JDK版本匹配、数据目录路径等细节。搭建Hadoop集群时，需同步配置节点信息、设置分布式存储、计算环境，确保各节点间通信正常。

环境准备

1、操作系统：CentOS 7.6 x64

2、虚拟机软件：VMware Workstation 15

3、Hadoop版本：Hadoop 3.3.1

虚拟机配置

1、创建虚拟机：打开VMware Workstation，点击“创建新的虚拟机”，选择“自定义（高级）”，然后依次选择“典型”和“Linux”，在“安装操作系统”中选择“安装来自光盘映像文件的Linux”，然后点击“下一步”。

2、选择操作系统：在“选择虚拟机硬件兼容性”中，选择“Windows 7/8/10 (64位)”，然后点击“下一步”。

3、分配处理器和内存：根据实际情况分配处理器和内存，建议至少分配4GB内存。

4、创建虚拟硬盘：选择“分配一个新虚拟硬盘”，然后选择“将虚拟硬盘存储在物理磁盘上”，接着选择“固定大小”，设置虚拟硬盘大小为50GB，然后点击“下一步”。

5、分配网络：选择“桥接模式”，然后选择“桥接到物理网络适配器”，接着选择“VMnet0”，然后点击“下一步”。

6、完成创建虚拟机：点击“完成”，等待虚拟机创建完成。

虚拟机安装CentOS 7.6 x64

1、启动虚拟机，选择“安装CentOS 7.6 x64”。

2、选择语言、键盘布局等，然后点击“下一步”。

3、分区：选择“使用最小化安装”，然后点击“下一步”。

4、安装软件包：选择“基本存储设备”，然后点击“下一步”。

5、选择网络设备：选择“VMware VMnet0”，然后点击“下一步”。

6、设置主机名、root密码等，然后点击“下一步”。

7、安装完成，重启虚拟机。

安装Hadoop

1、下载Hadoop 3.3.1：访问Hadoop官网下载Hadoop 3.3.1版本，下载完成后将hadoop-3.3.1.tar.gz文件上传到虚拟机。

2、解压Hadoop：在虚拟机中打开终端，切换到上传文件的目录，执行以下命令解压Hadoop：

   tar -zxvf hadoop-3.3.1.tar.gz

3、配置环境变量：编辑.bashrc文件，添加以下内容：

   export HADOOP_HOME=/usr/local/hadoop-3.3.1
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin

然后执行以下命令使环境变量生效：

   source ~/.bashrc

4、配置Hadoop：进入Hadoop配置目录，执行以下命令创建hadoop配置文件：

   cp etc/hadoop/core-site.xml etc/hadoop/core-site.xml.bak
   cp etc/hadoop/hdfs-site.xml etc/hadoop/hdfs-site.xml.bak
   cp etc/hadoop/mapred-site.xml etc/hadoop/mapred-site.xml.bak
   cp etc/hadoop/yarn-site.xml etc/hadoop/yarn-site.xml.bak

编辑core-site.xml文件，修改以下内容：

   <configuration>
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://hadoop102:8020</value>
     </property>
   </configuration>

编辑hdfs-site.xml文件，修改以下内容：

   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>3</value>
     </property>
   </configuration>

编辑mapred-site.xml文件，修改以下内容：

   <configuration>
     <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
     </property>
   </configuration>

编辑yarn-site.xml文件，修改以下内容：

   <configuration>
     <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>hadoop102</value>
     </property>
   </configuration>

5、格式化HDFS：在虚拟机中打开终端，执行以下命令格式化HDFS：

   hdfs namenode -format

6、启动Hadoop服务：在虚拟机中打开终端，执行以下命令启动Hadoop服务：

   start-dfs.sh
   start-yarn.sh

7、验证Hadoop安装：在虚拟机中打开浏览器，访问http://hadoop102:50070/和http://hadoop102:8088/，查看HDFS和YARN是否正常运行。

注意事项

1、在配置Hadoop环境变量时，注意Hadoop安装路径是否正确。

2、在格式化HDFS时，如果出现“Error: Name node is not available”错误，请检查core-site.xml文件中的fs.defaultFS配置是否正确。

3、在启动Hadoop服务时，如果出现“java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSNamesystem”错误，请检查hadoop-3.3.1版本是否兼容虚拟机操作系统。

4、在访问Hadoop集群管理界面时，请确保防火墙已关闭或已允许相关端口（50070、8088等）。

5、在搭建Hadoop集群时，建议使用同一版本的Hadoop，避免因版本兼容问题导致集群运行不稳定。

通过以上步骤，您可以在虚拟机环境下搭建Hadoop集群，祝您搭建成功！