2. 首页 > ElasticSearch教程 > 正文

ElasticSearch教程FG017-ElasticSearch集群状态监控实战

教程整理：风哥教程  |  更新时间：2026-01-01  |  教程分类：ElasticSearch教程  |  文档学习：6

内容简介：本文档风哥主要介绍ElasticSearch集群状态监控的概念、指标体系、监控工具以及在生产环境中的实战应用。通过学习本文，您将掌握如何全面监控ElasticSearch集群的健康状态、性能指标和业务指标，及时发现并解决潜在问题。风哥教程参考ElasticSearch官方文档Monitoring部分。

Part01-基础概念与理论知识

1.1 ElasticSearch集群监控概述

ElasticSearch集群监控是确保集群稳定运行的关键环节，它通过收集、分析和可视化集群的各种指标，帮助运维人员及时发现并解决问题。监控的主要目标包括：

  • 确保集群的健康状态
  • 优化集群性能
  • 预测潜在问题
  • 提高故障响应速度

1.2 监控指标体系

ElasticSearch的监控指标体系主要包括以下几个方面：

  • 集群级指标：集群健康状态、节点数量、分片分布、任务队列等
  • 节点级指标：CPU使用率、内存使用率、磁盘空间、网络流量等
  • 索引级指标：索引大小、文档数量、索引速度、搜索性能等
  • JVM指标：堆内存使用情况、垃圾回收次数和时间等
  • 查询性能指标：查询响应时间、慢查询数量、查询吞吐量等

1.3 监控工具与方案

常用的ElasticSearch监控工具包括：

  • ElasticSearch内置API：提供了丰富的监控端点
  • Kibana Monitoring：Elastic官方提供的监控可视化工具
  • Elasticsearch Exporter + Prometheus + Grafana：开源监控方案
  • Nagios/Zabbix：传统监控系统
  • Datadog：商业监控服务

Part02-生产环境规划与建议

2.1 监控架构设计

在生产环境中，建议采用以下监控架构：

  • 分层监控：从集群、节点、索引到应用层进行全方位监控
  • 集中式监控：将所有监控数据集中存储和分析
  • 多维度监控：从性能、可用性、业务三个维度进行监控
  • 自动化告警：设置合理的告警阈值，实现自动告警

2.2 监控指标选择

在生产环境中，建议重点监控以下指标：

  • 集群健康状态：集群状态（green/yellow/red）、未分配分片数
  • 节点性能：CPU使用率、内存使用率、磁盘空间、JVM堆内存使用情况
  • 索引性能：索引速度、搜索响应时间、缓存命中率
  • 系统资源：磁盘I/O、网络流量、文件描述符使用情况

2.3 告警策略制定

制定告警策略时，建议考虑以下因素：

  • 告警级别：根据问题的严重程度设置不同的告警级别（如紧急、重要、警告）
  • 告警阈值：根据实际情况设置合理的告警阈值，避免误报
  • 告警方式：邮件、短信、微信、电话等多种方式结合
  • 告警升级机制：对于未及时处理的告警，实现自动升级

Part03-生产环境项目实施方案

3.1 内置API监控

ElasticSearch提供了丰富的内置API用于监控集群状态：

# 查看集群健康状态
curl -X GET “http://192.168.1.10:9200/_cluster/health?pretty”

执行后输出：

{
“cluster_name” : “fgedu-cluster”,
“status” : “green”,
“timed_out” : false,
“number_of_nodes” : 3,
“number_of_data_nodes” : 3,
“active_primary_shards” : 15,
“active_shards” : 30,
“relocating_shards” : 0,
“initializing_shards” : 0,
“unassigned_shards” : 0,
“delayed_unassigned_shards” : 0,
“number_of_pending_tasks” : 0,
“number_of_in_flight_fetch” : 0,
“task_max_waiting_in_queue_millis” : 0,
“active_shards_percent_as_number” : 100.0
}
# 查看节点统计信息
curl -X GET “http://192.168.1.10:9200/_nodes/stats?pretty”
# 查看索引统计信息
curl -X GET “http://192.168.1.10:9200/_stats?pretty”
# 查看JVM统计信息
curl -X GET “http://192.168.1.10:9200/_nodes/stats/jvm?pretty”

3.2 Kibana监控配置

Kibana提供了内置的监控功能，配置步骤如下：

  1. 确保ElasticSearch和Kibana都已安装并运行
  2. 在ElasticSearch配置文件中启用监控：
# 编辑ElasticSearch配置文件
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

# 添加以下配置
xpack.monitoring.enabled: true
xpack.monitoring.collection.enabled: true
xpack.monitoring.elasticsearch.collection.enabled: true

  1. 在Kibana配置文件中启用监控：
# 编辑Kibana配置文件
vi /es/app/kibana-8.10.0/config/kibana.yml

# 添加以下配置
xpack.monitoring.enabled: true
xpack.monitoring.ui.container.elasticsearch.enabled: true

  1. 重启ElasticSearch和Kibana服务
  2. 登录Kibana，在左侧菜单中点击”Stack Monitoring”查看监控数据

3.3 第三方监控集成

使用Elasticsearch Exporter + Prometheus + Grafana进行监控：

  1. 安装Elasticsearch Exporter：
# 下载并安装Elasticsearch Exporter
wget https://github.com/justwatchcom/elasticsearch_exporter/releases/download/v1.5.0/elasticsearch_exporter-1.5.0.linux-amd64.tar.gz
tar -xzf elasticsearch_exporter-1.5.0.linux-amd64.tar.gz
cd elasticsearch_exporter-1.5.0.linux-amd64
./elasticsearch_exporter –es.uri=http://192.168.1.10:9200
  1. 配置Prometheus：
# 编辑Prometheus配置文件
vi /etc/prometheus/prometheus.yml

# 添加以下配置
scrape_configs:
– job_name: ‘elasticsearch’
static_configs:
– targets: [‘localhost:9114’]
scrape_interval: 15s

  1. 配置Grafana：
  2. 登录Grafana，添加Prometheus数据源
  3. 导入Elasticsearch监控模板（ID: 2322）

Part04-生产案例与实战讲解

4.1 集群健康状态监控

监控集群健康状态是最基本也是最重要的监控任务：

# 编写集群健康状态检查脚本
vi /es/app/scripts/check_cluster_health.sh

#!/bin/bash
# check_cluster_health.sh
# from:www.itpux.com.qq113257174.wx:itpux-com
# web: `http://www.fgedu.net.cn`

CLUSTER_HEALTH=$(curl -s http://192.168.1.10:9200/_cluster/health)
STATUS=$(echo $CLUSTER_HEALTH | jq -r ‘.status’)

if [ “$STATUS” != “green” ]; then
echo “Cluster health status is $STATUS, need attention!”
# 发送告警
else
echo “Cluster health status is $STATUS, everything is OK.”
fi

# 执行脚本
chmod +x /es/app/scripts/check_cluster_health.sh
/es/app/scripts/check_cluster_health.sh

执行后输出：

Cluster health status is green, everything is OK.

4.2 节点性能监控

监控节点的CPU、内存、磁盘等性能指标：

# 查看节点CPU和内存使用情况
curl -X GET “http://192.168.1.10:9200/_nodes/stats/process?pretty”

执行后输出：

{
“_nodes” : {
“total” : 3,
“successful” : 3,
“failed” : 0
},
“cluster_name” : “fgedu-cluster”,
“nodes” : {
“node1” : {
“name” : “fgedu-node1”,
“transport_address” : “192.168.1.10:9300”,
“host” : “fgedu-node1”,
“ip” : “192.168.1.10”,
“version” : “8.10.0”,
“build_flavor” : “default”,
“build_type” : “tar”,
“build_hash” : “1a822671c7b74444896024a8b6794f63471c5267”,
“roles” : [ “data”, “ingest”, “master”, “ml”, “remote_cluster_client”, “transform” ],
“attributes” : {
“ml.machine_memory” : “33554432000”,
“xpack.installed” : “true”,
“transform.node” : “true”
},
“process” : {
“timestamp” : 1680000000000,
“open_file_descriptors” : 4096,
“max_file_descriptors” : 65536,
“cpu” : {
“percent” : 10,
“total_in_millis” : 123456789
},
“mem” : {
“total_virtual_in_bytes” : 21474836480
}
}
},
“node2” : {
“name” : “fgedu-node2”,
“transport_address” : “192.168.1.11:9300”,
“host” : “fgedu-node2”,
“ip” : “192.168.1.11”,
“version” : “8.10.0”,
“build_flavor” : “default”,
“build_type” : “tar”,
“build_hash” : “1a822671c7b74444896024a8b6794f63471c5267”,
“roles” : [ “data”, “ingest”, “master”, “ml”, “remote_cluster_client”, “transform” ],
“attributes” : {
“ml.machine_memory” : “33554432000”,
“xpack.installed” : “true”,
“transform.node” : “true”
},
“process” : {
“timestamp” : 1680000000000,
“open_file_descriptors” : 4096,
“max_file_descriptors” : 65536,
“cpu” : {
“percent” : 12,
“total_in_millis” : 987654321
},
“mem” : {
“total_virtual_in_bytes” : 21474836480
}
}
},
“node3” : {
“name” : “fgedu-node3”,
“transport_address” : “192.168.1.12:9300”,
“host” : “fgedu-node3”,
“ip” : “192.168.1.12”,
“version” : “8.10.0”,
“build_flavor” : “default”,
“build_type” : “tar”,
“build_hash” : “1a822671c7b74444896024a8b6794f63471c5267”,
“roles” : [ “data”, “ingest”, “master”, “ml”, “remote_cluster_client”, “transform” ],
“attributes” : {
“ml.machine_memory” : “33554432000”,
“xpack.installed” : “true”,
“transform.node” : “true”
},
“process” : {
“timestamp” : 1680000000000,
“open_file_descriptors” : 4096,
“max_file_descriptors” : 65536,
“cpu” : {
“percent” : 8,
“total_in_millis” : 567891234
},
“mem” : {
“total_virtual_in_bytes” : 21474836480
}
}
}
}
}

4.3 索引状态监控

监控索引的大小、文档数量和性能：

# 查看索引统计信息
curl -X GET “http://192.168.1.10:9200/_stats?pretty”
# 查看特定索引的统计信息
curl -X GET “http://192.168.1.10:9200/fgedu-products/_stats?pretty”

4.4 慢查询监控

监控和分析慢查询：

# 查看慢查询日志
tail -f /es/fgdata/logs/fgedu-cluster_index_search_slowlog.log

执行后输出：

[2024-01-01T10:00:00,000][WARN ][index.search.slowlog.query] [fgedu-node1] [fgedu-products][0] took[500ms], took_millis[500], total_hits[1000], types[], stats[], search_type[QUERY_THEN_FETCH], total_shards[5], source[{“query”:{“match”:{“description”:”ElasticSearch实战指南”}}}], id[],

Part05-风哥经验总结与分享

5.1 监控最佳实践

5.2 常见问题与解决方案

5.3 性能优化建议

更多视频教程www.fgedu.net.cn

学习交流加群风哥微信: itpux-com

学习交流加群风哥QQ113257174

风哥提示：建立完善的监控体系是保证ElasticSearch集群稳定运行的关键

更多学习教程公众号风哥教程itpux_com

from ElasticSearch视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息