# 容器化部署实战
# 1. 构建Hadoop Docker镜像
[root@fgedu.net.cn ~]# vi Dockerfile
FROM ubuntu:20.04

# 安装依赖
RUN apt-get update && apt-get install -y \
openjdk-8-jdk \
wget \
ssh \
rsync \
python3

# 下载Hadoop
RUN wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz && \
tar -zxvf hadoop-3.3.6.tar.gz && \
mv hadoop-3.3.6 /opt/hadoop

# 配置环境变量
ENV JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
ENV HADOOP_HOME=/opt/hadoop
ENV PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 配置SSH
RUN ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa && \
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && \
chmod 600 ~/.ssh/authorized_keys

# 配置Hadoop
COPY core-site.xml /opt/hadoop/etc/hadoop/
COPY hdfs-site.xml /opt/hadoop/etc/hadoop/
COPY yarn-site.xml /opt/hadoop/etc/hadoop/
COPY mapred-site.xml /opt/hadoop/etc/hadoop/

# 启动服务
CMD [“/bin/bash”, “-c”, “service ssh start && /opt/hadoop/sbin/start-dfs.sh && /opt/hadoop/sbin/start-yarn.sh &&
tail -f /dev/null”]

# 构建镜像
[root@fgedu.net.cn ~]# docker build -t hadoop:3.3.6 .

# 推送镜像到Docker Hub
[root@fgedu.net.cn ~]# docker tag hadoop:3.3.6 fgedu/hadoop:3.3.6
[root@fgedu.net.cn ~]# docker push fgedu/hadoop:3.3.6

# 部署到Kubernetes
[root@fgedu.net.cn ~]# vi hadoop-k8s.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: hadoop-namenode
namespace: hadoop
spec:
serviceName: “hadoop-namenode”
replicas: 1
selector:
matchLabels:
app: hadoop-namenode
template:
metadata:
labels:
app: hadoop-namenode
spec:
containers:
– name: hadoop-namenode
image: fgedu/hadoop:3.3.6
ports:
– containerPort: 9870
– containerPort: 9000
volumeMounts:
– name: namenode-data
mountPath: /opt/hadoop/data/namenode
volumeClaimTemplates:
– metadata:
name: namenode-data
spec:
accessModes: [“ReadWriteOnce”]
resources:
requests:
storage: 10Gi
—
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: hadoop-datanode
namespace: hadoop
spec:
serviceName: “hadoop-datanode”
replicas: 3
selector:
matchLabels:
app: hadoop-datanode
template:
metadata:
labels:
app: hadoop-datanode
spec:
containers:
– name: hadoop-datanode
image: fgedu/hadoop:3.3.6
ports:
– containerPort: 9864
volumeMounts:
– name: datanode-data
mountPath: /opt/hadoop/data/datanode
volumeClaimTemplates:
– metadata:
name: datanode-data
spec:
accessModes: [“ReadWriteOnce”]
resources:
requests:
storage: 50Gi

# 部署到Kubernetes
[root@fgedu.net.cn ~]# kubectl apply -f hadoop-k8s.yaml

# 容器化部署最佳实践
# 1. 镜像管理：使用版本控制管理Docker镜像，确保镜像的可追溯性
# 2. 资源管理：合理配置容器的CPU、内存等资源，避免资源浪费
# 3. 存储管理：使用持久化存储，确保数据的持久性
# 4. 网络管理：配置合理的网络策略，确保容器之间的通信安全
# 5. 监控管理：配置容器监控，及时发现和处理问题
# 6. 安全管理：加强容器的安全配置，防止安全漏洞
# 7. 自动化管理：使用CI/CD工具实现容器的自动化部署和管理

# 容器化工具推荐
# 1. Docker：容器化平台，用于构建和运行容器
# 2. Kubernetes：容器编排平台，用于管理容器集群
# 3. Helm：Kubernetes包管理工具，用于部署和管理应用
# 4. Istio：服务网格，用于管理服务之间的通信
# 5. Prometheus：监控系统，用于监控容器和服务
# 6. Grafana：可视化工具，用于展示监控数据
# 7. CI/CD工具：Jenkins、GitLab CI、GitHub Actions等，用于自动化部署

通过Hadoop集群容器化部署的实施，可以提高部署效率和管理灵活性，降低运维成本，提高系统的可靠性和可用性。容器化部署是Hadoop集群部署的重要发展方向，需要持续关注和优化。学习交流加群风哥QQ113257174