1. 硬件环境检查
在安装Hadoop之前，必须对服务器的硬件环境进行全面检查，确保满足Hadoop 3.3.4的最低要求。更多学习教程www.fgedu.net.cn
# free -h
total used free shared buff/cache available
Mem: 32G 2.1G 28G 8.5M 1.8G 29G
Swap: 16G 0B 16G
# 检查磁盘空间
# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 16G 0 16G 0% /dev
tmpfs 16G 0 16G 0% /dev/shm
tmpfs 16G 8.5M 16G 1% /run
tmpfs 16G 0 16G 0% /sys/fs/cgroup
/dev/sda1 50G 15G 36G 30% /
/dev/sdb1 500G 20G 480G 4% /data
# 检查CPU核心数
# nproc
16
# 检查系统架构
# uname -m
x86_64
2. 操作系统检查
Hadoop 3.3.4支持RHEL 7.3+、RHEL 8.0+、RHEL 9.0+等操作系统。本文以RHEL 9为例。学习交流加群风哥微信: itpux-com
# cat /etc/redhat-release
Red Hat Enterprise Linux release 9.0 (Plow)
# 检查内核版本
# uname -r
5.14.0-70.22.1.el9_0.x86_64
# 检查SELinux状态
# getenforce
Disabled
# 关闭SELinux（如未关闭）
# vi /etc/selinux/config
SELINUX=disabled
# 检查防火墙状态
# systemctl status firewalld
# 关闭防火墙（生产环境建议开放特定端口而非完全关闭）
# systemctl stop firewalld
# systemctl disable firewalld
3. 安装准备
在安装Hadoop之前，需要进行一系列准备工作，包括安装Java、配置网络和创建用户等。
# dnf install -y java-1.8.0-openjdk-devel
# 配置Java环境变量
# echo “export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk” >> ~/.bashrc
# echo “export PATH=$JAVA_HOME/bin:$PATH” >> ~/.bashrc
# source ~/.bashrc
# 创建hadoop用户
# useradd -m hadoop
# passwd hadoop
Changing password for user hadoop.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
# 配置SSH免密登录
# su – hadoop
$ ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
# 测试SSH免密登录
$ ssh localhost
4. Hadoop软件安装
现在开始安装Hadoop 3.3.4软件，按照以下步骤进行。
# su – hadoop
# 下载Hadoop安装包
$ wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
# 解压安装包
$ tar -xzf hadoop-3.3.4.tar.gz
$ mv hadoop-3.3.4 hadoop
# 配置Hadoop环境变量
$ echo “export HADOOP_HOME=$HOME/hadoop” >> ~/.bashrc
$ echo “export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH” >> ~/.bashrc
$ source ~/.bashrc
5. 数据库配置
配置Hadoop的核心配置文件。
# vi $HADOOP_HOME/etc/hadoop/core-site.xml
# 编辑hdfs-site.xml
# vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
# 编辑mapred-site.xml
# vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
# 编辑yarn-site.xml
# vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
# 创建目录
$ mkdir -p ~/tmp ~/hdfs/namenode ~/hdfs/datanode
6. 测试验证
启动Hadoop并验证功能正常。学习交流加群风哥QQ113257174
$ hdfs namenode -format
# 启动HDFS
$ start-dfs.sh
# 启动YARN
$ start-yarn.sh
# 检查服务状态
$ jps
# 访问Hadoop Web界面
# 打开浏览器，访问 http://localhost:9870 (HDFS)
# 打开浏览器，访问 http://localhost:8088 (YARN)
# 创建测试目录
$ hdfs dfs -mkdir -p /user/hadoop/test
# 上传测试文件
$ echo “Hello Hadoop” > test.txt
$ hdfs dfs -put test.txt /user/hadoop/test/
# 查看文件
$ hdfs dfs -ls /user/hadoop/test/
$ hdfs dfs -cat /user/hadoop/test/test.txt
7. 备份配置
配置Hadoop备份策略，确保数据安全。
# mkdir -p /backup/hadoop
# chown -R hadoop:hadoop /backup/hadoop
# 备份Hadoop配置
# su – hadoop -c “cp -r ~/hadoop/etc/hadoop /backup/hadoop/”
# 备份HDFS数据
# su – hadoop -c “hdfs dfs -copyToLocal /user/hadoop /backup/hadoop/”
# 配置自动备份
# 创建备份脚本
# vi /root/backup_hadoop.sh
#!/bin/bash
DATE=$(date +%Y%m%d)
BACKUP_DIR=”/backup/hadoop/$DATE”
# 创建备份目录
mkdir -p $BACKUP_DIR
# 备份Hadoop配置
cp -r /home/hadoop/hadoop/etc/hadoop $BACKUP_DIR/
# 备份HDFS数据
su – hadoop -c “hdfs dfs -copyToLocal /user/hadoop $BACKUP_DIR/”
# 给脚本添加执行权限
# chmod +x /root/backup_hadoop.sh
# 添加到crontab
# crontab -e
# 添加以下内容（每天凌晨2点执行备份）
0 2 * * * /root/backup_hadoop.sh
8. 升级迁移
Hadoop的升级和迁移过程。
# 1. 备份配置和数据
# /root/backup_hadoop.sh
# 2. 停止Hadoop服务
# su – hadoop -c “stop-yarn.sh”
# su – hadoop -c “stop-dfs.sh”
# 3. 下载新版本安装包
# su – hadoop -c “wget https://downloads.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz”
# 4. 解压安装包
# su – hadoop -c “tar -xzf hadoop-3.3.5.tar.gz”
# su – hadoop -c “mv hadoop-3.3.5 hadoop-new”
# 5. 复制配置文件
# su – hadoop -c “cp -r hadoop/etc/hadoop/* hadoop-new/etc/hadoop/”
# 6. 替换旧版本
# su – hadoop -c “mv hadoop hadoop-old”
# su – hadoop -c “mv hadoop-new hadoop”
# 7. 启动Hadoop服务
# su – hadoop -c “start-dfs.sh”
# su – hadoop -c “start-yarn.sh”
# 8. 验证升级结果
# su – hadoop -c “hadoop version”
# 从旧Hadoop集群迁移到新Hadoop集群
# 1. 备份旧集群数据
# su – hadoop -c “hdfs dfs -copyToLocal /user/hadoop /backup/hadoop-migration/”
# 2. 将备份数据复制到新集群
# scp -r /backup/hadoop-migration root@new-cluster:/backup/
# 3. 在新集群上恢复数据
# su – hadoop -c “hdfs dfs -copyFromLocal /backup/hadoop-migration /user/”
# 4. 验证迁移结果
# su – hadoop -c “hdfs dfs -ls /user/hadoop/”
9. 总结
本文详细介绍了Hadoop 3.3.4 for RHEL 9的安装、配置、升级和迁移过程。通过按照本文的步骤操作，可以成功部署Hadoop集群并确保其稳定运行。from:www.itpux.com
– 定期备份集群配置和数据，建议每天执行一次全备份
– 监控集群性能，定期检查集群日志和错误信息
– 定期更新Hadoop版本，确保系统安全性和性能
– 合理规划集群存储，避免空间不足
– 配置合适的参数，优化集群性能
– 对于生产环境，建议部署高可用集群，提高可用性和可靠性
本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html
