1. 产品概述
ELK 是 ElasticSearch、Logstash 和 Kibana 的组合,是一套完整的日志收集、存储、分析和可视化解决方案。它适用于日志管理、安全分析、业务监控等场景。
2. ElasticSearch
2.1 版本信息
最新版本:ElasticSearch 8.10.4 (2023年发布)
历史版本:
- ElasticSearch 8.10.3 (2023年)
- ElasticSearch 8.10.2 (2023年)
- ElasticSearch 8.10.1 (2023年)
- ElasticSearch 8.10.0 (2023年)
2.2 下载方法
- 官方网站:https://www.elastic.co/downloads/elasticsearch
- Docker 镜像:
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.10.4
3. Logstash
3.1 版本信息
最新版本:Logstash 8.10.4 (2023年发布)
学习交流加群风哥微信: itpux-com
历史版本:
- Logstash 8.10.3 (2023年)
- Logstash 8.10.2 (2023年)
- Logstash 8.10.1 (2023年)
- Logstash 8.10.0 (2023年)
3.2 下载方法
- 官方网站:https://www.elastic.co/downloads/logstash
- Docker 镜像:
docker pull docker.elastic.co/logstash/logstash:8.10.4
4. Kibana
4.1 版本信息
最新版本:Kibana 8.10.4 (2023年发布)
学习交流加群风哥QQ113257174
历史版本:
- Kibana 8.10.3 (2023年)
- Kibana 8.10.2 (2023年)
- Kibana 8.10.1 (2023年)
- Kibana 8.10.0 (2023年)
4.2 下载方法
- 官方网站:https://www.elastic.co/downloads/kibana
- Docker 镜像:
docker pull docker.elastic.co/kibana/kibana:8.10.4
5. 验证步骤
下载完成后,建议验证文件完整性:
# 计算MD5哈希值
md5sum elasticsearch-8.10.4-linux-x86_64.tar.gz
md5sum logstash-8.10.4-linux-x86_64.tar.gz
md5sum kibana-8.10.4-linux-x86_64.tar.gz
# 计算SHA256哈希值
sha256sum elasticsearch-8.10.4-linux-x86_64.tar.gz
sha256sum logstash-8.10.4-linux-x86_64.tar.gz
sha256sum kibana-8.10.4-linux-x86_64.tar.gz
# 与官方提供的哈希值进行比对
6. 安装准备
6.1 系统要求
- 操作系统:Linux (推荐)、Windows、macOS
- CPU:至少 4 核,生产环境建议 8 核以上
- 内存:至少 8GB RAM,生产环境建议 16GB+
- 存储:根据数据量需求,建议使用 SSD 或 HDD 阵列
- 网络:局域网环境,建议 1Gbps 以上带宽
- 依赖:Java 11 或更高版本(ElasticSearch 8.x 内置 JDK)
6.2 环境配置
# ElasticSearch 配置
# /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluster
node.name: es-node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
# Logstash 配置
# /etc/logstash/logstash.yml
path.data: /var/lib/logstash
path.logs: /var/log/logstash
# Kibana 配置
# /etc/kibana/kibana.yml
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"
7. 生产环境推荐
7.1 硬件配置
- ElasticSearch节点:8-16核CPU,16-64GB RAM,1TB+ SSD
- Logstash节点:4-8核CPU,8-16GB RAM,500GB+ SSD
- Kibana节点:4-8核CPU,8-16GB RAM,500GB+ SSD
- 建议至少部署 3 个 ElasticSearch 节点以实现高可用
7.2 集群规划
- 小型环境:3个 ElasticSearch 节点,1个 Logstash 节点,1个 Kibana 节点
- 中型环境:5-10个 ElasticSearch 节点,2-3个 Logstash 节点,2个 Kibana 节点
- 大型环境:10+个 ElasticSearch 节点,3+个 Logstash 节点,2+个 Kibana 节点
7.3 存储配置
- 使用 RAID 10 配置提高数据可靠性
- 为数据目录和日志目录配置独立的磁盘
- 考虑使用 SSD 存储以提高性能
7.4 高可用性
- 部署多个 ElasticSearch 节点
- 配置 Logstash 负载均衡
- 部署多个 Kibana 节点
7.5 监控与维护
- 使用 Kibana 监控集群状态
- 配置 Prometheus + Grafana 监控
- 定期备份 ElasticSearch 索引
- 设置合理的索引生命周期策略
7.6 安全配置
- 启用 X-Pack 安全功能
- 配置 SSL 加密传输
- 设置访问控制列表
- 定期更新密码和密钥
8. 常见问题
- 问题:启动 ElasticSearch 时出现内存不足错误
解决方案:调整 JVM 堆内存设置,增加服务器内存 - 问题:Kibana 无法连接到 ElasticSearch
解决方案:确保 ElasticSearch 服务正常运行,检查 Kibana 配置 - 问题:Logstash 处理速度慢
解决方案:优化 Logstash 配置,增加服务器资源,考虑使用多个 Logstash 实例
本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html
