2. 首页 > ElasticSearch教程 > 正文

ElasticSearch教程FG042-ElasticSearch性能优化

教程整理：风哥教程  |  更新时间：2026-01-01  |  教程分类：ElasticSearch教程  |  文档学习：27

内容简介：本文档风哥主要介绍ElasticSearch性能优化的方法和最佳实践，包括JVM优化、索引优化、查询优化、缓存优化等内容。通过学习本文，您将掌握如何优化ElasticSearch集群的性能，提高系统的响应速度和稳定性。风哥教程参考ElasticSearch官方文档Performance Tuning部分。

Part01-基础概念与理论知识

1.1 性能优化概述

ElasticSearch性能优化是指通过调整系统配置、优化索引结构、改进查询语句等方式，提高ElasticSearch集群的性能和稳定性。性能优化的目标是：

  • 提高查询响应速度：减少查询延迟，提高用户体验
  • 增加索引吞吐量：提高数据写入速度
  • 提高系统稳定性：减少系统故障和崩溃
  • 降低资源消耗：减少CPU、内存、磁盘等资源的使用
  • 提高系统可扩展性：支持更大的数据量和更高的并发

1.2 性能瓶颈分析

ElasticSearch常见的性能瓶颈包括：

  • 硬件瓶颈：CPU、内存、磁盘I/O、网络带宽等
  • JVM瓶颈：堆内存不足、垃圾回收频繁等
  • 索引瓶颈：分片数不合理、索引结构设计不当等
  • 查询瓶颈：查询语句复杂、缺少索引等
  • 缓存瓶颈：缓存配置不当、缓存命中率低等
  • 集群瓶颈：节点间通信延迟、分片分配不合理等

1.3 性能优化策略

性能优化策略包括：

  • 硬件优化：选择合适的硬件配置，如SSD存储、多核CPU、足够的内存
  • JVM优化：调整JVM堆大小、垃圾回收策略等
  • 索引优化：合理设计索引结构、分片策略、映射等
  • 查询优化：优化查询语句、使用合适的查询类型、避免全表扫描
  • 缓存优化：合理配置缓存、提高缓存命中率
  • 集群优化：合理设计集群架构、分片分配策略等
  • 操作系统优化：调整操作系统参数、文件系统配置等

Part02-生产环境规划与建议

2.1 硬件选型

硬件选型建议：

  • CPU：选择多核CPU，如Intel Xeon系列，推荐8核以上
  • 内存：为ElasticSearch分配足够的内存，一般为服务器内存的50%，推荐16GB以上
  • 存储：使用SSD存储，提高I/O性能，推荐NVMe SSD
  • 网络：使用万兆网络，确保节点间通信速度，减少网络延迟
  • 磁盘容量：根据数据量和保留策略，选择合适的磁盘容量

2.2 集群架构设计

集群架构设计建议：

  • 节点数量：根据数据量和高可用性要求，建议至少3个节点
  • 分片策略：根据数据量和节点数，设置合理的分片数，一般每个分片不超过30GB
  • 副本策略：根据高可用性要求，设置合理的副本数，一般为1-2个
  • 节点角色分离：将主节点和数据节点分离，提高集群稳定性
  • 跨区域部署：在多可用区部署集群，提高容灾能力

2.3 操作系统优化

操作系统优化建议：

# 1. 调整文件描述符限制
vi /etc/security/limits.conf

# 添加以下内容
* soft nofile 65536
* hard nofile 65536

# 2. 调整虚拟内存限制
vi /etc/sysctl.conf

# 添加以下内容
vm.max_map_count=262144
fs.file-max=65536

# 3. 禁用透明大页
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 4. 调整网络参数
vi /etc/sysctl.conf

# 添加以下内容
net.core.somaxconn=65535
net.ipv4.tcp_max_syn_backlog=65535
net.ipv4.tcp_fin_timeout=30
net.ipv4.tcp_keepalive_time=300
net.ipv4.tcp_keepalive_probes=5
net.ipv4.tcp_keepalive_intvl=15

# 5. 应用系统参数
sysctl -p

Part03-生产环境项目实施方案

3.1 JVM优化

JVM优化：

# 1. 调整JVM堆大小
vi /es/app/elasticsearch-8.10.0/config/jvm.options

# 设置JVM堆大小为服务器内存的50%
-Xms8g
-Xmx8g

# 2. 调整垃圾回收策略
vi /es/app/elasticsearch-8.10.0/config/jvm.options

# 使用G1垃圾回收器
-XX:+UseG1GC
-XX:MaxGCPauseMillis=200
-XX:InitiatingHeapOccupancyPercent=75
-XX:+ParallelRefProcEnabled
-XX:G1HeapRegionSize=8m

# 3. 调整JVM内存分配
vi /es/app/elasticsearch-8.10.0/config/jvm.options

# 设置年轻代大小
-XX:NewSize=2g
-XX:MaxNewSize=2g

# 4. 启用内存锁定
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

# 添加以下内容
bootstrap.memory_lock: true

# 5. 验证JVM配置
curl -X GET “http://192.168.1.10:9200/_nodes/jvm?pretty”

3.2 索引优化

索引优化：

# 1. 合理设置分片数
# 创建索引时设置分片数
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
}
}’

# 2. 优化映射
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized/_mapping” -H “Content-Type: application/json” -d ‘{
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”,
“analyzer”: “ik_max_word”
},
“age”: {
“type”: “integer”
},
“email”: {
“type”: “keyword”
}
}
}’

# 3. 优化索引设置
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized/_settings” -H “Content-Type: application/json” -d ‘{
“index”: {
“refresh_interval”: “30s”,
“translog”: {
“durability”: “async”,
“flush_threshold_size”: “2gb”
},
“merge”: {
“policy”: {
“max_merged_segment”: “5gb”
}
}
}
}’

# 4. 使用索引模板
curl -X PUT “http://192.168.1.10:9200/_index_template/fgedu-template” -H “Content-Type: application/json” -d ‘{
“index_patterns”: [“fgedu-*”],
“priority”: 100,
“template”: {
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2,
“refresh_interval”: “30s”,
“translog”: {
“durability”: “async”,
“flush_threshold_size”: “2gb”
}
}
}
}’

3.3 查询优化

查询优化：

# 1. 优化查询语句
# 避免使用match_all查询
# 不好的查询
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“match_all”: {}
}
}’

# 好的查询，使用过滤器
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“bool”: {
“filter”: [
{
“term”: {
“age”: 25
}
}
]
}
}
}’

# 2. 使用合适的查询类型
# 使用term查询代替match查询（精确匹配）
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“term”: {
“email”: “zhangsan@example.com”
}
}
}’

# 3. 限制结果集大小
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“size”: 10,
“query”: {
“match”: {
“name”: “张三”
}
}
}’

# 4. 使用聚合缓存
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“size”: 0,
“aggs”: {
“age_stats”: {
“stats”: {
“field”: “age”
}
}
}
}’

3.4 缓存优化

缓存优化：

# 1. 优化字段数据缓存
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized/_settings” -H “Content-Type: application/json” -d ‘{
“index”: {
“fielddata”: {
“cache”: {
“size”: “20%”
}
}
}
}’

# 2. 优化索引缓存
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized/_settings” -H “Content-Type: application/json” -d ‘{
“index”: {
“memory”: {
“index_buffer_size”: “30%”
}
}
}’

# 3. 启用查询缓存
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized/_settings” -H “Content-Type: application/json” -d ‘{
“index”: {
“query”: {
“cache”: {
“enabled”: true
}
}
}
}’

# 4. 监控缓存使用情况
curl -X GET “http://192.168.1.10:9200/_nodes/stats/indices/cache?pretty”

Part04-生产案例与实战讲解

4.1 JVM优化实战

JVM优化实战：

# 1. 调整JVM堆大小
vi /es/app/elasticsearch-8.10.0/config/jvm.options

# 设置JVM堆大小为服务器内存的50%
-Xms16g
-Xmx16g

# 2. 调整垃圾回收策略
vi /es/app/elasticsearch-8.10.0/config/jvm.options

# 使用G1垃圾回收器
-XX:+UseG1GC
-XX:MaxGCPauseMillis=200
-XX:InitiatingHeapOccupancyPercent=75
-XX:+ParallelRefProcEnabled
-XX:G1HeapRegionSize=8m

# 3. 启用内存锁定
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

# 添加以下内容
bootstrap.memory_lock: true

# 4. 重启ElasticSearch
systemctl restart elasticsearch

# 5. 验证JVM配置
curl -X GET “http://192.168.1.10:9200/_nodes/jvm?pretty”

# 6. 监控垃圾回收情况
curl -X GET “http://192.168.1.10:9200/_nodes/stats/jvm/gc?pretty”

4.2 索引优化实战

索引优化实战：

# 1. 创建优化的索引
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2,
“refresh_interval”: “30s”,
“translog”: {
“durability”: “async”,
“flush_threshold_size”: “2gb”
},
“merge”: {
“policy”: {
“max_merged_segment”: “5gb”
}
}
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”,
“analyzer”: “ik_max_word”
},
“age”: {
“type”: “integer”
},
“email”: {
“type”: “keyword”
},
“address”: {
“type”: “text”,
“analyzer”: “ik_max_word”
}
}
}
}’

# 2. 插入测试数据
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_bulk” -H “Content-Type: application/json” -d ‘{
“index”: {}
{“id”: 1, “name”: “张三”, “age”: 25, “email”: “zhangsan@example.com”, “address”: “北京市朝阳区”}
{“index”: {}
{“id”: 2, “name”: “李四”, “age”: 30, “email”: “lisi@example.com”, “address”: “上海市浦东新区”}
{“index”: {}
{“id”: 3, “name”: “王五”, “age”: 35, “email”: “wangwu@example.com”, “address”: “广州市天河区”}
}’

# 3. 优化索引
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_forcemerge?max_num_segments=1”

# 4. 监控索引性能
curl -X GET “http://192.168.1.10:9200/_nodes/stats/indices?pretty”

4.3 查询优化实战

查询优化实战：

# 1. 优化查询语句
# 使用过滤器代替查询
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“bool”: {
“filter”: [
{
“range”: {
“age”: {
“gte”: 25,
“lte”: 35
}
}
}
]
}
}
}’

# 2. 使用term查询代替match查询
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“term”: {
“email”: “zhangsan@example.com”
}
}
}’

# 3. 限制结果集大小
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“size”: 10,
“query”: {
“match”: {
“name”: “张三”
}
}
}’

# 4. 使用聚合缓存
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_search” -H “Content-Type: application/json” -d ‘{
“size”: 0,
“aggs”: {
“age_stats”: {
“stats”: {
“field”: “age”
}
}
}
}’

# 5. 监控查询性能
curl -X GET “http://192.168.1.10:9200/_nodes/stats/indices/search?pretty”

4.4 缓存优化实战

缓存优化实战：

# 1. 优化字段数据缓存
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized/_settings” -H “Content-Type: application/json” -d ‘{
“index”: {
“fielddata”: {
“cache”: {
“size”: “20%”
}
}
}
}’

# 2. 优化索引缓存
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized/_settings” -H “Content-Type: application/json” -d ‘{
“index”: {
“memory”: {
“index_buffer_size”: “30%”
}
}
}’

# 3. 启用查询缓存
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized/_settings” -H “Content-Type: application/json” -d ‘{
“index”: {
“query”: {
“cache”: {
“enabled”: true
}
}
}
}’

# 4. 监控缓存使用情况
curl -X GET “http://192.168.1.10:9200/_nodes/stats/indices/cache?pretty”

# 5. 清除缓存（仅用于测试）
curl -X POST “http://192.168.1.10:9200/fgedu-optimized/_cache/clear”

Part05-风哥经验总结与分享

5.1 性能优化最佳实践

  • 硬件选型：选择合适的硬件配置，如SSD存储、多核CPU、足够的内存
  • JVM优化：调整JVM堆大小、垃圾回收策略等
  • 索引优化：合理设计索引结构、分片策略、映射等
  • 查询优化：优化查询语句、使用合适的查询类型、避免全表扫描
  • 缓存优化：合理配置缓存、提高缓存命中率
  • 集群优化：合理设计集群架构、分片分配策略等
  • 操作系统优化：调整操作系统参数、文件系统配置等
  • 监控与调优：建立完善的监控体系，及时发现和解决性能问题

5.2 常见问题与解决方案

  • 查询响应慢：优化查询语句，使用合适的查询类型，增加缓存
  • 索引速度慢：调整索引设置，如refresh_interval、translog配置等
  • 内存使用过高：调整JVM堆大小，优化缓存配置
  • CPU使用率高：优化查询语句，减少聚合操作，增加节点资源
  • 磁盘I/O高：使用SSD存储，优化索引设置，减少磁盘操作
  • 集群不稳定：合理设计集群架构，优化网络配置，增加节点资源

5.3 性能监控与调优

  • 使用监控工具：部署专业的监控工具，如Prometheus、Grafana等
  • 监控关键指标：监控查询响应时间、索引吞吐量、CPU、内存、磁盘使用等
  • 设置告警：设置合理的告警阈值，及时发现性能问题
  • 定期分析：定期分析监控数据，找出性能瓶颈
  • 持续优化：根据监控结果，持续优化系统配置
  • 性能测试：定期进行性能测试，评估系统性能

更多视频教程www.fgedu.net.cn

学习交流加群风哥微信: itpux-com

学习交流加群风哥QQ113257174

风哥提示：性能优化是一个持续的过程，需要根据实际运行情况不断调整和优化

更多学习教程公众号风哥教程itpux_com

from ElasticSearch视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息