2. 首页 > ElasticSearch教程 > 正文

ElasticSearch教程FG027-ElasticSearch冷热数据分离实战

教程整理：风哥教程  |  更新时间：2026-01-01  |  教程分类：ElasticSearch教程  |  文档学习：20

内容简介：本文档风哥主要介绍ElasticSearch冷热数据分离的概念、优势、实现方法以及最佳实践，包括节点角色配置、索引生命周期管理、数据迁移配置等内容。通过学习本文，您将掌握如何实现ElasticSearch的冷热数据分离，提高集群性能和降低存储成本。风哥教程参考ElasticSearch官方文档ILM部分。

Part01-基础概念与理论知识

1.1 冷热数据分离概述

冷热数据分离是指将不同访问频率的数据存储在不同性能的存储设备上的策略。在ElasticSearch中，通常将：

  • 热数据：最近产生的、访问频率高的数据，存储在高性能存储设备上
  • 温数据：访问频率适中的数据，存储在中等性能存储设备上
  • 冷数据：访问频率低的数据，存储在低性能、低成本存储设备上

1.2 冷热数据分离的优势

冷热数据分离的优势包括：

  • 降低存储成本：将冷数据存储在低成本存储设备上
  • 提高性能：热数据存储在高性能存储设备上，提高访问速度
  • 优化资源使用：根据数据访问频率分配资源
  • 简化管理：通过索引生命周期管理自动处理数据迁移

1.3 节点角色与数据生命周期

ElasticSearch中的节点角色与数据生命周期：

  • 热节点（Hot Node）：存储热数据，处理写入和高频查询
  • 温节点（Warm Node）：存储温数据，处理低频查询
  • 冷节点（Cold Node）：存储冷数据，处理极少查询
  • 冻结节点（Frozen Node）：存储冻结数据，几乎不查询
  • 数据生命周期：数据从热节点迁移到温节点，再到冷节点，最后可能被删除

Part02-生产环境规划与建议

2.1 硬件规划

硬件规划建议：

  • 热节点：使用高性能服务器，配备SSD存储，充足的内存和CPU
  • 温节点：使用中等性能服务器，可配备SSD或高速HDD存储
  • 冷节点：使用低成本服务器，配备大容量HDD存储

2.2 节点配置

节点配置建议：

  • 热节点：配置较高的JVM堆内存，启用更多缓存
  • 温节点：配置中等JVM堆内存
  • 冷节点：配置较小JVM堆内存，禁用部分缓存

2.3 索引策略

索引策略建议：

  • 时间序列索引：按时间创建索引，如fgedu-logs-2024.01.01
  • 索引生命周期：配置索引从热到温再到冷的生命周期
  • 分片策略：热索引使用较多分片，冷索引使用较少分片
  • 副本策略：热索引使用较多副本，冷索引使用较少副本

Part03-生产环境项目实施方案

3.1 节点角色配置

节点角色配置：

# 热节点配置
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

node.name: hot-node-1
node.attr.box_type: hot
node.roles: [data, ingest]

# 温节点配置
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

node.name: warm-node-1
node.attr.box_type: warm
node.roles: [data, ingest]

# 冷节点配置
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

node.name: cold-node-1
node.attr.box_type: cold
node.roles: [data, ingest]

3.2 索引生命周期管理

索引生命周期管理配置：

# 创建索引生命周期策略
curl -X PUT “http://192.168.1.10:9200/_ilm/policy/fgedu-logs-policy” -H “Content-Type: application/json” -d ‘{
“policy”: {
“phases”: {
“hot”: {
“actions”: {
“rollover”: {
“max_size”: “30gb”,
“max_age”: “7d”
},
“set_priority”: {
“priority”: 100
}
}
},
“warm”: {
“min_age”: “30d”,
“actions”: {
“allocate”: {
“require”: {
“box_type”: “warm”
},
“number_of_replicas”: 1
},
“set_priority”: {
“priority”: 50
}
}
},
“cold”: {
“min_age”: “90d”,
“actions”: {
“allocate”: {
“require”: {
“box_type”: “cold”
},
“number_of_replicas”: 0
},
“set_priority”: {
“priority”: 10
}
}
},
“delete”: {
“min_age”: “180d”,
“actions”: {
“delete”: {}
}
}
}
}
}’

# 创建索引模板
curl -X PUT “http://192.168.1.10:9200/_index_template/fgedu-logs-template” -H “Content-Type: application/json” -d ‘{
“index_patterns”: [“fgedu-logs-*”],
“priority”: 100,
“template”: {
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2,
“index.lifecycle.name”: “fgedu-logs-policy”,
“index.lifecycle.rollover_alias”: “fgedu-logs”
}
}
}’

# 创建初始索引
curl -X PUT “http://192.168.1.10:9200/fgedu-logs-000001” -H “Content-Type: application/json” -d ‘{
“aliases”: {
“fgedu-logs”: {
“is_write_index”: true
}
}
}’

3.3 数据迁移配置

数据迁移配置：

# 手动触发索引生命周期
curl -X POST “http://192.168.1.10:9200/fgedu-logs-*/_ilm/forcemerge”

# 查看索引生命周期状态
curl -X GET “http://192.168.1.10:9200/fgedu-logs-*/_ilm/status”

# 查看索引分配情况
curl -X GET “http://192.168.1.10:9200/_cat/shards/fgedu-logs-*?v”

3.4 监控与告警

监控与告警配置：

# 启用监控
curl -X PUT “http://192.168.1.10:9200/_cluster/settings” -H “Content-Type: application/json” -d ‘{
“persistent”: {
“xpack.monitoring.collection.enabled”: true
}
}’

# 配置Kibana监控
# 在kibana.yml中添加：
# xpack.monitoring.ui.container.elasticsearch.enabled: true

# 配置索引生命周期监控
# 在Kibana中查看索引生命周期状态

Part04-生产案例与实战讲解

4.1 冷热节点部署实战

部署冷热节点：

# 1. 准备服务器
# 热节点：192.168.1.10（SSD存储）
# 温节点：192.168.1.11（SSD存储）
# 冷节点：192.168.1.12（HDD存储）

# 2. 安装ElasticSearch
# 在每个节点上执行：
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.10.0-linux-x86_64.tar.gz
tar -xzf elasticsearch-8.10.0-linux-x86_64.tar.gz
mv elasticsearch-8.10.0 /es/app/

# 3. 配置节点角色
# 热节点配置：
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

cluster.name: fgedu-cluster
node.name: hot-node-1
node.attr.box_type: hot
node.roles: [data, ingest]
network.host: 192.168.1.10
http.port: 9200
transport.port: 9300
discovery.seed_hosts: [“192.168.1.10”, “192.168.1.11”, “192.168.1.12”]
cluster.initial_master_nodes: [“hot-node-1”]

# 温节点配置：
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

cluster.name: fgedu-cluster
node.name: warm-node-1
node.attr.box_type: warm
node.roles: [data, ingest]
network.host: 192.168.1.11
http.port: 9200
transport.port: 9300
discovery.seed_hosts: [“192.168.1.10”, “192.168.1.11”, “192.168.1.12”]

# 冷节点配置：
vi /es/app/elasticsearch-8.10.0/config/elasticsearch.yml

cluster.name: fgedu-cluster
node.name: cold-node-1
node.attr.box_type: cold
node.roles: [data, ingest]
network.host: 192.168.1.12
http.port: 9200
transport.port: 9300
discovery.seed_hosts: [“192.168.1.10”, “192.168.1.11”, “192.168.1.12”]

# 4. 启动节点
# 在每个节点上执行：
/es/app/elasticsearch-8.10.0/bin/elasticsearch -d

# 5. 验证节点状态
curl -X GET “http://192.168.1.10:9200/_cat/nodes?v”

执行后输出：

ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.1.10 20 80 5 0.10 0.15 0.10 d * hot-node-1
192.168.1.11 15 75 3 0.05 0.10 0.08 d – warm-node-1
192.168.1.12 10 60 2 0.02 0.05 0.05 d – cold-node-1

4.2 索引生命周期配置实战

配置索引生命周期：

# 1. 创建索引生命周期策略
curl -X PUT “http://192.168.1.10:9200/_ilm/policy/fgedu-logs-policy” -H “Content-Type: application/json” -d ‘{
“policy”: {
“phases”: {
“hot”: {
“actions”: {
“rollover”: {
“max_size”: “30gb”,
“max_age”: “7d”
},
“set_priority”: {
“priority”: 100
}
}
},
“warm”: {
“min_age”: “30d”,
“actions”: {
“allocate”: {
“require”: {
“box_type”: “warm”
},
“number_of_replicas”: 1
},
“set_priority”: {
“priority”: 50
}
}
},
“cold”: {
“min_age”: “90d”,
“actions”: {
“allocate”: {
“require”: {
“box_type”: “cold”
},
“number_of_replicas”: 0
},
“set_priority”: {
“priority”: 10
}
}
},
“delete”: {
“min_age”: “180d”,
“actions”: {
“delete”: {}
}
}
}
}
}’

# 2. 创建索引模板
curl -X PUT “http://192.168.1.10:9200/_index_template/fgedu-logs-template” -H “Content-Type: application/json” -d ‘{
“index_patterns”: [“fgedu-logs-*”],
“priority”: 100,
“template”: {
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2,
“index.lifecycle.name”: “fgedu-logs-policy”,
“index.lifecycle.rollover_alias”: “fgedu-logs”
}
}
}’

# 3. 创建初始索引
curl -X PUT “http://192.168.1.10:9200/fgedu-logs-000001” -H “Content-Type: application/json” -d ‘{
“aliases”: {
“fgedu-logs”: {
“is_write_index”: true
}
}
}’

# 4. 查看索引生命周期策略
curl -X GET “http://192.168.1.10:9200/_ilm/policy/fgedu-logs-policy?pretty”

4.3 数据迁移实战

数据迁移实战：

# 1. 插入测试数据
curl -X POST “http://192.168.1.10:9200/fgedu-logs/_bulk” -H “Content-Type: application/json” -d ‘{
“index”: {}
{“message”: “Test log 1”, “timestamp”: “2024-01-01T00:00:00Z”}
{“index”: {}
{“message”: “Test log 2”, “timestamp”: “2024-01-01T00:01:00Z”}
{“index”: {}
{“message”: “Test log 3”, “timestamp”: “2024-01-01T00:02:00Z”}
}’

# 2. 查看索引分配
curl -X GET “http://192.168.1.10:9200/_cat/shards/fgedu-logs-*?v”

# 3. 手动触发rollover
curl -X POST “http://192.168.1.10:9200/fgedu-logs/_rollover”

# 4. 查看新索引
curl -X GET “http://192.168.1.10:9200/_cat/indices/fgedu-logs-*?v”

4.4 监控与告警配置实战

配置监控与告警：

# 1. 启用监控
curl -X PUT “http://192.168.1.10:9200/_cluster/settings” -H “Content-Type: application/json” -d ‘{
“persistent”: {
“xpack.monitoring.collection.enabled”: true
}
}’

# 2. 配置Kibana监控
# 在kibana.yml中添加：
# xpack.monitoring.ui.container.elasticsearch.enabled: true

# 3. 查看索引生命周期状态
curl -X GET “http://192.168.1.10:9200/fgedu-logs-*/_ilm/status”

# 4. 在Kibana中查看索引生命周期状态
# 访问Kibana → Stack Management → Index Lifecycle Policies

Part05-风哥经验总结与分享

5.1 冷热数据分离最佳实践

  • 合理规划节点角色：根据数据访问频率规划节点角色
  • 优化硬件配置：为不同节点配置合适的硬件
  • 合理配置索引生命周期：根据业务需求配置数据生命周期
  • 监控数据迁移：确保数据迁移正常进行
  • 定期优化索引：对冷数据执行forcemerge操作
  • 测试数据恢复：确保冷数据可以正常恢复

5.2 常见问题与解决方案

  • 数据迁移失败：检查节点间网络连接，确保节点有足够的资源
  • 索引生命周期执行延迟：检查ILM配置，确保集群有足够的资源
  • 冷数据查询性能差：考虑使用缓存，或将频繁查询的冷数据移回温节点
  • 存储空间不足：定期清理过期数据，或增加存储容量

5.3 性能优化建议

  • 硬件优化：为热节点配置高性能存储，为冷节点配置大容量存储
  • 索引优化：对冷数据执行forcemerge，减少分片数量
  • 查询优化：针对冷数据的查询使用合适的缓存策略
  • 网络优化：确保节点间网络连接稳定
  • 监控优化：建立完善的监控体系，及时发现问题

更多视频教程www.fgedu.net.cn

学习交流加群风哥微信: itpux-com

学习交流加群风哥QQ113257174

风哥提示：冷热数据分离可以显著降低存储成本并提高集群性能

更多学习教程公众号风哥教程itpux_com

from ElasticSearch视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息