# 克隆源码仓库
git clone https://github.com/apache/spark.git

# 进入目录
cd spark

# 编译
./build/mvn clean package -DskipTests

3.5 Docker 镜像

使用 Docker 运行 Spark：

# 拉取官方镜像
docker pull bitnami/spark

# 运行容器
docker run -d -p 8080:8080 -p 7077:7077 --name spark bitnami/spark

4. 验证步骤

下载完成后，建议验证文件完整性：

# 计算MD5哈希值
md5sum spark-3.4.1-bin-hadoop3.tgz

# 计算SHA256哈希值
sha256sum spark-3.4.1-bin-hadoop3.tgz

# 与官方提供的哈希值进行比对

5. 安装准备

5.1 系统要求

• 操作系统：Linux (推荐)、Windows、macOS
• Java：JDK 8 或更高版本
• 内存：至少 4GB RAM，生产环境建议 16GB+
• 存储：根据数据量需求，建议使用 SSD 或 HDD 阵列
• 网络：局域网环境，建议 1Gbps 以上带宽
• 依赖：Hadoop 2.7.0 或更高版本（可选，用于 HDFS 集成）

5.2 环境配置

# 设置Java环境变量
export JAVA_HOME=/path/to/java

# 设置Spark环境变量
export SPARK_HOME=/path/to/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

# 配置spark-env.sh
# 在$SPARK_HOME/conf/spark-env.sh中添加配置
export JAVA_HOME=/path/to/java
export SPARK_MASTER_HOST=localhost
export SPARK_MASTER_PORT=7077

6. 生产环境推荐

6.1 硬件配置

• Master节点：8-16核CPU，32-64GB RAM，1TB+ SSD
• Worker节点：8-16核CPU，32-64GB RAM，2TB+ HDD/SSD

6.2 集群规划

• 小型集群：3-5个节点
• 中型集群：10-50个节点
• 大型集群：50+节点

6.3 存储配置

• 使用 RAID 10 配置提高数据可靠性
• 为 HDFS 配置足够的存储空间
• 考虑使用 SSD 存储热点数据

6.4 高可用性

• 配置 Spark Master 高可用
• 使用 ZooKeeper 实现自动故障转移
• 启用 Spark Worker 自动恢复

6.5 监控与维护

• 使用 Spark Web UI 监控集群状态
• 配置 Prometheus + Grafana 监控
• 定期备份配置文件
• 设置合理的日志轮转策略

6.6 安全配置

• 启用 Kerberos 认证
• 配置 Spark 权限
• 使用 SSL 加密传输
• 定期更新密码和密钥

7. 常见问题

• 问题：启动 Spark 时出现 Java 版本错误
  解决方案：确保安装了正确版本的 JDK，并设置了正确的 JAVA_HOME 环境变量
• 问题：Worker 节点无法连接到 Master
  解决方案：检查网络连接，确保防火墙已关闭或配置了正确的端口
• 问题：Spark 应用程序执行缓慢
  解决方案：优化 Spark 配置参数，如 executor 内存和核心数