2. 首页 > ElasticSearch教程 > 正文

ElasticSearch教程FG048-ElasticSearch分表分库

教程整理：风哥教程  |  更新时间：2026-01-01  |  教程分类：ElasticSearch教程  |  文档学习：21

内容简介：本文档风哥主要介绍ElasticSearch分表分库的设计和实现，包括分表分库的概念、优势、策略、配置和管理等内容。通过学习本文，您将掌握如何使用ElasticSearch的分片机制实现分表分库，提高系统的性能和可扩展性。风哥教程参考ElasticSearch官方文档Sharding部分。

Part01-基础概念与理论知识

1.1 分表分库概述

分表分库是将数据分散存储到多个表或多个数据库中的技术，用于解决单表或单库数据量过大的问题。在ElasticSearch中，分表分库主要通过以下方式实现：

  • 索引分片：将一个索引分成多个分片，分布在不同的节点上
  • 索引别名：使用索引别名管理多个索引，实现逻辑上的分表
  • 索引模板：使用索引模板自动创建具有相同配置的索引
  • 时间序列索引：根据时间创建多个索引，如按天、按月创建索引

1.2 分表分库的优势

分表分库的优势包括：

  • 提高性能：将数据分散到多个分片或索引中，减少单个分片或索引的数据量，提高查询性能
  • 提高可扩展性：可以通过添加节点来扩展集群的存储容量和处理能力
  • 提高可用性：通过副本机制，确保数据的安全性和可靠性
  • 便于管理：可以根据业务需求，对不同的数据进行不同的管理策略
  • 优化资源利用：可以根据数据的访问模式，将数据分布到不同的节点上，优化资源利用

1.3 分表分库策略

分表分库策略包括：

  • 按时间分表：根据时间创建多个索引，如按天、按月创建索引
  • 按业务分表：根据业务类型创建多个索引，如按产品类型、用户类型创建索引
  • 按地理分表：根据地理位置创建多个索引，如按地区、国家创建索引
  • 按哈希分表：根据哈希值将数据分散到多个索引中
  • 按范围分表：根据数据范围将数据分散到多个索引中

Part02-生产环境规划与建议

2.1 分表分库规划

分表分库规划：

  • 数据量评估：评估数据量的大小和增长速度，确定分表分库的策略
  • 查询模式分析：分析查询模式，确定分表分库的方式
  • 硬件资源评估：评估硬件资源的情况，确定分片数量和分布
  • 业务需求分析：分析业务需求，确定分表分库的策略

2.2 分片策略选择

分片策略选择：

  • 索引分片：根据数据量和查询需求，合理设置分片数量
  • 副本数量：根据高可用性需求，合理设置副本数量
  • 分片分配：合理分配分片到不同的节点上，确保负载均衡
  • 分片路由：根据查询模式，优化分片路由策略

2.3 分表分库配置建议

分表分库配置建议：

  • 索引分片数量：根据数据量和节点数量，合理设置分片数量，一般建议每个分片大小不超过30GB
  • 副本数量：根据高可用性需求，合理设置副本数量，一般建议设置1-2个副本
  • 索引别名：使用索引别名管理多个索引，实现逻辑上的分表
  • 索引模板：使用索引模板自动创建具有相同配置的索引
  • 生命周期管理：使用索引生命周期管理自动管理索引的创建、滚动和删除

Part03-生产环境项目实施方案

3.1 索引分片

索引分片：

# 1. 创建索引时设置分片数量
# 创建一个具有3个分片和2个副本的索引
curl -X PUT “http://192.168.1.10:9200/fgedu-index” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“date”: {
“type”: “date”
}
}
}
}’

# 2. 查看索引分片信息
curl -X GET “http://192.168.1.10:9200/fgedu-index/_settings?pretty”

# 3. 查看分片分配情况
curl -X GET “http://192.168.1.10:9200/_cat/shards/fgedu-index?v”

# 4. 分片路由
# 查看文档的分片路由
curl -X POST “http://192.168.1.10:9200/fgedu-index/_doc/1” -H “Content-Type: application/json” -d ‘{
“id”: 1,
“name”: “张三”,
“date”: “2023-01-01”
}’

# 查看文档的分片位置
curl -X GET “http://192.168.1.10:9200/fgedu-index/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“match”: {
“id”: 1
}
},
“explain”: true
}’

3.2 索引别名

索引别名：

# 1. 创建索引别名
# 创建两个索引
curl -X PUT “http://192.168.1.10:9200/fgedu-index-202301” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“date”: {
“type”: “date”
}
}
}
}’

curl -X PUT “http://192.168.1.10:9200/fgedu-index-202302” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“date”: {
“type”: “date”
}
}
}
}’

# 创建索引别名
curl -X POST “http://192.168.1.10:9200/_aliases” -H “Content-Type: application/json” -d ‘{
“actions”: [
{
“add”: {
“index”: “fgedu-index-202301”,
“alias”: “fgedu-index”
}
},
{
“add”: {
“index”: “fgedu-index-202302”,
“alias”: “fgedu-index”
}
}
]
}’

# 2. 查看索引别名
curl -X GET “http://192.168.1.10:9200/_aliases?pretty”

# 3. 使用索引别名查询
curl -X GET “http://192.168.1.10:9200/fgedu-index/_search?pretty”

# 4. 添加新索引到别名
curl -X PUT “http://192.168.1.10:9200/fgedu-index-202303” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“date”: {
“type”: “date”
}
}
}
}’

# 添加到别名
curl -X POST “http://192.168.1.10:9200/_aliases” -H “Content-Type: application/json” -d ‘{
“actions”: [
{
“add”: {
“index”: “fgedu-index-202303”,
“alias”: “fgedu-index”
}
}
]
}’

# 5. 从别名中移除索引
curl -X POST “http://192.168.1.10:9200/_aliases” -H “Content-Type: application/json” -d ‘{
“actions”: [
{
“remove”: {
“index”: “fgedu-index-202301”,
“alias”: “fgedu-index”
}
}
]
}’

3.3 索引模板

索引模板：

# 1. 创建索引模板
curl -X PUT “http://192.168.1.10:9200/_index_template/fgedu-template” -H “Content-Type: application/json” -d ‘{
“index_patterns”: [“fgedu-index-*”],
“template”: {
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“date”: {
“type”: “date”
}
}
}
}
}’

# 2. 查看索引模板
curl -X GET “http://192.168.1.10:9200/_index_template/fgedu-template?pretty”

# 3. 创建匹配模板的索引
curl -X PUT “http://192.168.1.10:9200/fgedu-index-202304”

# 查看索引配置
curl -X GET “http://192.168.1.10:9200/fgedu-index-202304/_settings?pretty”

# 4. 更新索引模板
curl -X PUT “http://192.168.1.10:9200/_index_template/fgedu-template” -H “Content-Type: application/json” -d ‘{
“index_patterns”: [“fgedu-index-*”],
“template”: {
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 1
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“date”: {
“type”: “date”
},
“status”: {
“type”: “keyword”
}
}
}
}
}’

# 5. 删除索引模板
curl -X DELETE “http://192.168.1.10:9200/_index_template/fgedu-template”

3.4 分表分库管理

分表分库管理：

# 1. 索引生命周期管理
# 创建生命周期策略
curl -X PUT “http://192.168.1.10:9200/_ilm/policy/fgedu-policy” -H “Content-Type: application/json” -d ‘{
“policy”: {
“phases”: {
“hot”: {
“actions”: {
“rollover”: {
“max_size”: “30gb”,
“max_age”: “30d”
}
}
},
“delete”: {
“min_age”: “90d”,
“actions”: {
“delete”: {}
}
}
}
}
}’

# 2. 应用生命周期策略
# 创建初始索引
curl -X PUT “http://192.168.1.10:9200/fgedu-logs-000001” -H “Content-Type: application/json” -d ‘{
“settings”: {
“index.lifecycle.name”: “fgedu-policy”,
“index.lifecycle.rollover_alias”: “fgedu-logs”
}
}’

# 创建别名
curl -X POST “http://192.168.1.10:9200/_aliases” -H “Content-Type: application/json” -d ‘{
“actions”: [
{
“add”: {
“index”: “fgedu-logs-000001”,
“alias”: “fgedu-logs”,
“is_write_index”: true
}
}
]
}’

# 3. 手动触发滚动
curl -X POST “http://192.168.1.10:9200/fgedu-logs/_rollover” -H “Content-Type: application/json” -d ‘{
“conditions”: {
“max_age”: “7d”,
“max_size”: “30gb”
}
}’

# 4. 查看索引状态
curl -X GET “http://192.168.1.10:9200/fgedu-logs-*/_ilm/explain?pretty”

# 5. 索引清理
# 删除过期索引
curl -X DELETE “http://192.168.1.10:9200/fgedu-logs-202301*”

# 6. 索引优化
# 强制合并索引
curl -X POST “http://192.168.1.10:9200/fgedu-logs-202302/_forcemerge?max_num_segments=1”

Part04-生产案例与实战讲解

4.1 时间序列数据分表分库实战

时间序列数据分表分库实战：

# 1. 设计时间序列索引
# 创建索引模板
curl -X PUT “http://192.168.1.10:9200/_index_template/fgedu-logs-template” -H “Content-Type: application/json” -d ‘{
“index_patterns”: [“fgedu-logs-*”],
“template”: {
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“timestamp”: {
“type”: “date”
},
“level”: {
“type”: “keyword”
},
“message”: {
“type”: “text”
},
“service”: {
“type”: “keyword”
}
}
}
}
}’

# 2. 创建初始索引
curl -X PUT “http://192.168.1.10:9200/fgedu-logs-20230101” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
}
}’

# 3. 创建索引别名
curl -X POST “http://192.168.1.10:9200/_aliases” -H “Content-Type: application/json” -d ‘{
“actions”: [
{
“add”: {
“index”: “fgedu-logs-20230101”,
“alias”: “fgedu-logs”
}
}
]
}’

# 4. 插入数据
curl -X POST “http://192.168.1.10:9200/fgedu-logs/_doc” -H “Content-Type: application/json” -d ‘{
“timestamp”: “2023-01-01T12:00:00Z”,
“level”: “INFO”,
“message”: “This is a test log”,
“service”: “nginx”
}’

# 5. 创建新的日期索引
curl -X PUT “http://192.168.1.10:9200/fgedu-logs-20230102” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
}
}’

# 添加到别名
curl -X POST “http://192.168.1.10:9200/_aliases” -H “Content-Type: application/json” -d ‘{
“actions”: [
{
“add”: {
“index”: “fgedu-logs-20230102”,
“alias”: “fgedu-logs”
}
}
]
}’

# 6. 查询数据
curl -X GET “http://192.168.1.10:9200/fgedu-logs/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“range”: {
“timestamp”: {
“gte”: “2023-01-01”,
“lte”: “2023-01-02”
}
}
}
}’

4.2 业务数据分表分库实战

业务数据分表分库实战：

# 1. 设计业务数据索引
# 创建产品索引
curl -X PUT “http://192.168.1.10:9200/fgedu-products-electronics” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“price”: {
“type”: “float”
},
“category”: {
“type”: “keyword”
},
“stock”: {
“type”: “integer”
}
}
}
}’

# 创建服装索引
curl -X PUT “http://192.168.1.10:9200/fgedu-products-clothing” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“price”: {
“type”: “float”
},
“category”: {
“type”: “keyword”
},
“size”: {
“type”: “keyword”
},
“color”: {
“type”: “keyword”
},
“stock”: {
“type”: “integer”
}
}
}
}’

# 2. 创建索引别名
curl -X POST “http://192.168.1.10:9200/_aliases” -H “Content-Type: application/json” -d ‘{
“actions”: [
{
“add”: {
“index”: “fgedu-products-electronics”,
“alias”: “fgedu-products”
}
},
{
“add”: {
“index”: “fgedu-products-clothing”,
“alias”: “fgedu-products”
}
}
]
}’

# 3. 插入数据
# 插入电子产品数据
curl -X POST “http://192.168.1.10:9200/fgedu-products-electronics/_doc” -H “Content-Type: application/json” -d ‘{
“id”: 1,
“name”: “手机”,
“price”: 5000.0,
“category”: “电子产品”,
“stock”: 100
}’

# 插入服装数据
curl -X POST “http://192.168.1.10:9200/fgedu-products-clothing/_doc” -H “Content-Type: application/json” -d ‘{
“id”: 1,
“name”: “T恤”,
“price”: 100.0,
“category”: “服装”,
“size”: “M”,
“color”: “红色”,
“stock”: 200
}’

# 4. 查询数据
# 查询所有产品
curl -X GET “http://192.168.1.10:9200/fgedu-products/_search?pretty”

# 查询电子产品
curl -X GET “http://192.168.1.10:9200/fgedu-products-electronics/_search?pretty”

# 查询服装产品
curl -X GET “http://192.168.1.10:9200/fgedu-products-clothing/_search?pretty”

4.3 分表分库性能优化实战

分表分库性能优化实战：

# 1. 索引分片优化
# 查看索引分片信息
curl -X GET “http://192.168.1.10:9200/_cat/shards?v”

# 优化分片数量
# 创建索引时设置合理的分片数量
curl -X PUT “http://192.168.1.10:9200/fgedu-optimized” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
}
}’

# 2. 索引别名优化
# 使用索引别名进行查询
curl -X GET “http://192.168.1.10:9200/fgedu-index/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“range”: {
“date”: {
“gte”: “2023-01-01”,
“lte”: “2023-01-31”
}
}
}
}’

# 3. 索引模板优化
# 创建优化的索引模板
curl -X PUT “http://192.168.1.10:9200/_index_template/fgedu-optimized-template” -H “Content-Type: application/json” -d ‘{
“index_patterns”: [“fgedu-optimized-*”],
“template”: {
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 1,
“refresh_interval”: “30s”,
“translog”: {
“durability”: “async”,
“flush_threshold_size”: “2gb”
}
},
“mappings”: {
“properties”: {
“id”: {
“type”: “integer”
},
“name”: {
“type”: “text”
},
“date”: {
“type”: “date”
}
}
}
}
}’

# 4. 索引生命周期管理优化
# 创建优化的生命周期策略
curl -X PUT “http://192.168.1.10:9200/_ilm/policy/fgedu-optimized-policy” -H “Content-Type: application/json” -d ‘{
“policy”: {
“phases”: {
“hot”: {
“actions”: {
“rollover”: {
“max_size”: “30gb”,
“max_age”: “30d”
}
}
},
“warm”: {
“min_age”: “30d”,
“actions”: {
“forcemerge”: {
“max_num_segments”: 1
},
“shrink”: {
“number_of_shards”: 1
}
}
},
“delete”: {
“min_age”: “90d”,
“actions”: {
“delete”: {}
}
}
}
}
}’

# 5. 查询优化
# 使用过滤器
curl -X POST “http://192.168.1.10:9200/fgedu-index/_search” -H “Content-Type: application/json” -d ‘{
“query”: {
“bool”: {
“filter”: [
{
“range”: {
“date”: {
“gte”: “2023-01-01”,
“lte”: “2023-01-31”
}
}
}
]
}
}
}’

# 限制返回结果
curl -X POST “http://192.168.1.10:9200/fgedu-index/_search” -H “Content-Type: application/json” -d ‘{
“size”: 10,
“query”: {
“match”: {
“name”: “张三”
}
}
}’

4.4 分表分库故障处理实战

分表分库故障处理实战：

# 1. 分片分配失败处理
# 检查未分配的分片
curl -X GET “http://192.168.1.10:9200/_cat/shards?v” | grep -E “UNASSIGNED”

# 分析分片分配失败的原因
curl -X GET “http://192.168.1.10:9200/_cluster/allocation/explain?pretty”

# 尝试强制分配分片
curl -X POST “http://192.168.1.10:9200/_cluster/reroute” -H “Content-Type: application/json” -d ‘{
“commands”: [
{
“allocate”: {
“index”: “fgedu-index”,
“shard”: 0,
“node”: “node-2”,
“allow_primary”: true
}
}
]
}’

# 2. 索引损坏处理
# 检查索引状态
curl -X GET “http://192.168.1.10:9200/_cat/indices?v”

# 尝试修复索引
# 强制合并索引
curl -X POST “http://192.168.1.10:9200/fgedu-index/_forcemerge?max_num_segments=1”

# 重建索引
# 创建新索引
curl -X PUT “http://192.168.1.10:9200/fgedu-index-new” -H “Content-Type: application/json” -d ‘{
“settings”: {
“number_of_shards”: 3,
“number_of_replicas”: 2
}
}’

# 复制数据到新索引
curl -X POST “http://192.168.1.10:9200/_reindex” -H “Content-Type: application/json” -d ‘{
“source”: {
“index”: “fgedu-index”
},
“dest”: {
“index”: “fgedu-index-new”
}
}’

# 别名切换
curl -X POST “http://192.168.1.10:9200/_aliases” -H “Content-Type: application/json” -d ‘{
“actions”: [
{
“remove”: {
“index”: “fgedu-index”,
“alias”: “fgedu-index”
}
},
{
“add”: {
“index”: “fgedu-index-new”,
“alias”: “fgedu-index”
}
}
]
}’

# 3. 索引清理处理
# 删除过期索引
curl -X DELETE “http://192.168.1.10:9200/fgedu-logs-202301*”

# 清理磁盘空间
curl -X POST “http://192.168.1.10:9200/_cluster/reroute?retry_failed=true”

Part05-风哥经验总结与分享

5.1 分表分库最佳实践

  • 合理设计分片策略：根据数据量和查询需求，合理设计分片策略
  • 使用索引别名：使用索引别名管理多个索引，实现逻辑上的分表
  • 使用索引模板：使用索引模板自动创建具有相同配置的索引
  • 使用生命周期管理：使用索引生命周期管理自动管理索引的创建、滚动和删除
  • 监控分片状态：定期监控分片状态，及时发现和解决问题
  • 优化查询：使用过滤器、限制返回结果等方式优化查询性能
  • 合理配置硬件：根据分片数量和数据量，配置足够的硬件资源

5.2 常见问题与解决方案

  • 分片分配失败：检查节点状态，分析分片分配失败的原因，尝试强制分配分片
  • 索引损坏：尝试修复索引，重建索引，使用快照恢复数据
  • 性能下降：优化分片策略，优化查询，增加硬件资源
  • 磁盘空间不足：删除过期索引，清理磁盘空间，增加存储容量
  • 索引管理复杂：使用索引别名，使用索引模板，使用生命周期管理

5.3 分表分库未来发展

  • 自动分片管理：ElasticSearch将提供更智能的分片管理功能，自动调整分片数量和分布
  • 云原生支持：ElasticSearch将更好地支持云环境，提供更灵活的分表分库方案
  • 机器学习集成：ElasticSearch将集成机器学习功能，自动优化分表分库策略
  • 多租户支持：ElasticSearch将提供更好的多租户支持，实现更细粒度的分表分库
  • 实时数据处理：ElasticSearch将提供更强大的实时数据处理能力，支持更复杂的分表分库场景

更多视频教程www.fgedu.net.cn

学习交流加群风哥微信: itpux-com

学习交流加群风哥QQ113257174

风哥提示：分表分库是ElasticSearch性能优化的重要手段，需要根据业务需求合理设计和配置

更多学习教程公众号风哥教程itpux_com

from ElasticSearch视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息