centos7服务器 Java和Hadoop安装教程，用VMware和finalshell

下载软件

• 下载 VMware Workstation 或 VMware Player。
• 下载 CentOS 7 ISO 镜像。

安装 VMware

• 运行 VMware 安装程序并完成安装。

创建虚拟机

• 启动 VMware，点击“创建新的虚拟机”，选择“典型”配置。
• 选择“安装程序光盘映像文件”，并指定 CentOS 7 ISO 文件。
• 设置虚拟机名称和安装位置，分配至少 20GB 磁盘空间。
• 自定义硬件配置：分配至少 2GB 内存和 2 个 CPU 核心。

安装 CentOS 7

• 启动虚拟机，选择“Install CentOS 7”。
• 选择语言和键盘布局，设置时区为上海。
• 选择“最小安装”，手动分区（根分区 / 至少 15GB，交换分区 swap 与内存大小相当）。
• 设置主机名和网络适配器，确保网络可用。
• 安装完成后重启虚拟机。

更新系统

sudo yum update -y

安装 Java

sudo yum install -y java-1.8.0-openjdk-devel

设置环境变量

• 编辑 ~/.bashrc 文件，添加以下内容：export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  export PATH=$JAVA_HOME/bin:$PATH
• 执行 source ~/.bashrc 使配置生效。

验证 Java 安装

java -version

下载 Hadoop

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

解压 Hadoop

tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop/

配置 Hadoop 环境变量

• 编辑 ~/.bash_profile 文件，添加以下内容：export HADOOP_HOME=/opt/hadoop/hadoop-3.3.5
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
• 执行 source ~/.bash_profile。

配置 Hadoop

• 进入配置目录：cd /opt/hadoop/hadoop-3.3.5/etc/hadoop
• 配置 hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
• 配置 core-site.xml<configuration>
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
  </property>
  </configuration>
• 配置 hdfs-site.xml<configuration>
  <property>
  <name>dfs.replication</name>
  <value>1</value>
  </property>
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/hadoop/hadoop-3.3.5/hdfs/namenode</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>/opt/hadoop/hadoop-3.3.5/hdfs/datanode</value>
  </property>
  </configuration>
• 配置 mapred-site.xml<configuration>
  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
  </configuration>
• 配置 yarn-site.xml<configuration>
  <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>localhost</value>
  </property>
  </configuration>
• 配置 workers 文件localhost

格式化 HDFS

hdfs namenode -format

启动 Hadoop

start-dfs.sh
start-yarn.sh

安装 FinalShell

• 下载并安装 FinalShell。

连接 CentOS 7 服务器

• 打开 FinalShell，输入服务器的 IP 地址、用户名和密码。

文件传输

• 在 FinalShell 的文件管理器中，将 JDK 和 Hadoop 压缩包拖入服务器的指定目录（如 /opt/module）。

解压文件

tar -zxvf jdk-8u202-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.3.5.tar.gz -C /opt/module/

配置环境变量

• 在 /etc/profile.d/ 下创建 my_env.sh 文件，添加 Java 和 Hadoop 的环境变量。

验证 Java

java -version

验证 Hadoop

• 访问 Hadoop 的 Web UI：
  • NameNode：http://<服务器IP>:9870。
  • ResourceManager：http://<服务器IP>:8088。