大数据教程FG052-Kafka Topic与分区设计实战

本文档风哥主要介绍Kafka Topic与分区设计实战，包括Kafka Topic创建管理、Kafka分区机制原理、Kafka分区策略配置、Kafka分区重分配、Kafka副本机制等内容，风哥教程参考Kafka官方文档Basic Operations、Topic Configuration等内容，适合大数据开发运维人员在学习和测试中使用，如果要应用于生产环境则需要自行确认。更多视频教程www.fgedu.net.cn

Part01-基础概念与理论知识

1.1 Kafka Topic核心概念

Kafka Topic是消息的逻辑分类单位，类似于数据库中的表。生产者将消息发送到特定的Topic，消费者从Topic订阅并消费消息。学习交流加群风哥微信: itpux-com

Kafka Topic核心特性：

逻辑分类：Topic是消息的逻辑分类，便于管理和区分不同业务数据
多订阅者：一个Topic可以被多个消费者组同时订阅
持久化：Topic中的消息会持久化存储，支持消息回溯
分区机制：每个Topic可以分为多个Partition，实现并行处理
副本机制：每个Partition可以有多个副本，保证数据可靠性

1.2 Kafka分区机制详解

Kafka分区是Topic的物理分片，是实现高吞吐量和并行处理的核心机制：

# 分区核心概念

1. 分区数量
– 决定Topic的并行度
– 影响消费者组中消费者的最大数量
– 影响消息的负载均衡

2. 分区存储
– 每个分区是一个有序的消息队列
– 消息在分区内有序，跨分区无序
– 每个消息有唯一的偏移量（Offset）

3. 分区副本
– Leader副本：处理读写请求
– Follower副本：同步Leader数据
– ISR（In-Sync Replicas）：同步副本集合

# 分区目录结构
/bigdata/kafka-logs/
├── fgedu-orders-0/ # Topic: fgedu-orders, Partition: 0
├── fgedu-orders-1/ # Topic: fgedu-orders, Partition: 1
├── fgedu-orders-2/ # Topic: fgedu-orders, Partition: 2
├── fgedu-logs-0/ # Topic: fgedu-logs, Partition: 0
└── fgedu-logs-1/ # Topic: fgedu-logs, Partition: 1

1.3 Kafka分区策略

Kafka生产者发送消息时，可以通过分区策略决定消息发送到哪个分区：

指定分区：直接指定消息发送到特定分区
指定Key：根据Key的Hash值决定分区，相同Key的消息发送到同一分区
轮询策略：轮询所有分区，实现负载均衡
自定义策略：实现Partitioner接口自定义分区逻辑

风哥提示：分区策略的选择直接影响消息的分布和消费顺序。如果需要保证消息顺序，建议使用Key分区策略，将相关消息发送到同一分区。

Part02-生产环境规划与建议

2.1 Topic设计原则

Topic设计需要考虑以下原则：

# Topic命名规范
– 使用有意义的名称，如：fgedu-orders、fgedu-user-events
– 使用小写字母和连字符
– 避免使用特殊字符
– 建议格式：业务域-数据类型-环境

# Topic数量规划
– 按业务领域划分
– 避免过度细分
– 考虑数据保留策略
– 考虑访问权限隔离

# Topic设计示例
fgedu-orders-prod # 订单数据-生产环境
fgedu-orders-dev # 订单数据-开发环境
fgedu-user-events-prod # 用户事件-生产环境
fgedu-payment-notify-prod # 支付通知-生产环境
fgedu-log-access-prod # 访问日志-生产环境

2.2 分区数量规划

分区数量规划是Kafka性能优化的关键因素：

# 分区数量计算公式
分区数 = max(目标吞吐量 / 单分区最大吞吐量, 消费者数量)

# 分区数量建议
– 小规模集群：3-10个分区
– 中规模集群：10-30个分区
– 大规模集群：30-100个分区

# 分区数量影响因素
1. 目标吞吐量
– 生产者吞吐量
– 消费者吞吐量
– 单分区吞吐量上限

2. 消费者数量
– 分区数 >= 消费者组中消费者数量
– 多余的消费者会空闲

3. Broker数量
– 分区应均匀分布到各Broker
– 避免单个Broker负载过高

4. 文件句柄数
– 每个分区会打开多个文件
– 需要调整系统文件句柄限制

2.3 副本因子设计

副本因子决定了数据的可靠性和可用性：

# 副本因子配置
– 开发环境：1（无副本）
– 测试环境：2
– 生产环境：3（推荐）

# 副本放置策略
– 副本分布在不同Broker
– 副本分布在不同机架（如有机架感知）
– Leader选举优先级

# ISR配置
min.insync.replicas=2 # 最小同步副本数
unclean.leader.election.enable=false # 禁止非ISR副本选举为Leader

# 副本同步配置
replica.lag.time.max.ms=30000 # 副本同步超时时间
replica.fetch.min.bytes=1 # 最小拉取字节数
replica.fetch.max.bytes=1048576 # 最大拉取字节数

生产环境建议：副本因子建议设置为3，min.insync.replicas设置为2，确保在任意一个Broker故障时数据仍然可用且不丢失。学习交流加群风哥QQ113257174

Part03-生产环境项目实施方案

3.1 Topic创建与管理

3.1.1 创建Topic

# 创建Topic基本命令
$ /bigdata/app/kafka/bin/kafka-topics.sh –create \
–topic fgedu-orders \
–bootstrap-server 192.168.1.51:9092 \
–partitions 6 \
–replication-factor 3

Created topic fgedu-orders.

# 创建Topic并设置参数
$ /bigdata/app/kafka/bin/kafka-topics.sh –create \
–topic fgedu-user-events \
–bootstrap-server 192.168.1.51:9092 \
–partitions 12 \
–replication-factor 3 \
–config retention.ms=604800000 \
–config segment.bytes=1073741824 \
–config cleanup.policy=delete

Created topic fgedu-user-events.

# 查看Topic列表
$ /bigdata/app/kafka/bin/kafka-topics.sh –list \
–bootstrap-server 192.168.1.51:9092

fgedu-orders
fgedu-user-events
fgedu-test-topic

3.1.2 查看Topic详情

# 查看Topic详细信息
$ /bigdata/app/kafka/bin/kafka-topics.sh –describe \
–topic fgedu-orders \
–bootstrap-server 192.168.1.51:9092

Topic: fgedu-orders TopicId: xyz789 PartitionCount: 6 ReplicationFactor: 3
Topic: fgedu-orders Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
Topic: fgedu-orders Partition: 1 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1
Topic: fgedu-orders Partition: 2 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2
Topic: fgedu-orders Partition: 3 Leader: 1 Replicas: 1,3,2 Isr: 1,3,2
Topic: fgedu-orders Partition: 4 Leader: 2 Replicas: 2,1,3 Isr: 2,1,3
Topic: fgedu-orders Partition: 5 Leader: 3 Replicas: 3,2,1 Isr: 3,2,1

# 查看Topic配置
$ /bigdata/app/kafka/bin/kafka-configs.sh –describe \
–entity-type topics \
–entity-name fgedu-orders \
–bootstrap-server 192.168.1.51:9092

Dynamic configs for topic fgedu-orders are:

3.2 分区配置实战

3.2.1 分区参数配置

# Topic级别配置
$ /bigdata/app/kafka/bin/kafka-configs.sh –alter \
–entity-type topics \
–entity-name fgedu-orders \
–add-config retention.ms=2592000000,segment.bytes=536870912 \
–bootstrap-server 192.168.1.51:9092

Completed updating config for topic fgedu-orders.

# 查看修改后的配置
$ /bigdata/app/kafka/bin/kafka-configs.sh –describe \
–entity-type topics \
–entity-name fgedu-orders \
–bootstrap-server 192.168.1.51:9092

Dynamic configs for topic fgedu-orders are:
retention.ms=2592000000 sensitive=false
segment.bytes=536870912 sensitive=false

# 常用Topic配置参数
retention.ms=604800000 # 消息保留时间（7天）
retention.bytes=1073741824 # 消息保留大小（1GB）
segment.bytes=1073741824 # 日志段大小（1GB）
cleanup.policy=delete # 清理策略
compression.type=producer # 压缩类型
min.insync.replicas=2 # 最小同步副本数

3.2.2 分区Leader选举

# 查看分区Leader分布
$ /bigdata/app/kafka/bin/kafka-topics.sh –describe \
–topic fgedu-orders \
–bootstrap-server 192.168.1.51:9092 | grep -E “Leader|Partition”

Topic: fgedu-orders PartitionCount: 6 ReplicationFactor: 3
Topic: fgedu-orders Partition: 0 Leader: 1
Topic: fgedu-orders Partition: 1 Leader: 2
Topic: fgedu-orders Partition: 2 Leader: 3
Topic: fgedu-orders Partition: 3 Leader: 1
Topic: fgedu-orders Partition: 4 Leader: 2
Topic: fgedu-orders Partition: 5 Leader: 3

# 触发Leader重新选举
$ /bigdata/app/kafka/bin/kafka-leader-election.sh \
–bootstrap-server 192.168.1.51:9092 \
–topic fgedu-orders \
–partition 0 \
–election-type preferred

Successfully completed leader election (PREFERRED) for partition fgedu-orders-0

# 批量重新选举所有分区
$ /bigdata/app/kafka/bin/kafka-leader-election.sh \
–bootstrap-server 192.168.1.51:9092 \
–all-topic-partitions \
–election-type preferred

Successfully completed leader election (PREFERRED) for partitions

风哥提示：分区Leader分布不均衡会影响集群性能，建议定期检查Leader分布情况，必要时触发重新选举以均衡负载。更多学习教程公众号风哥教程itpux_com

3.3 Topic修改与删除

3.3.1 增加分区数量

# 增加分区数量（只能增加，不能减少）
$ /bigdata/app/kafka/bin/kafka-topics.sh –alter \
–topic fgedu-orders \
–partitions 12 \
–bootstrap-server 192.168.1.51:9092

WARNING: If partitions are increased for a topic that has a key, the partition logic or ordering of the messages will be affected
Adding partitions succeeded!

# 验证分区数量
$ /bigdata/app/kafka/bin/kafka-topics.sh –describe \
–topic fgedu-orders \
–bootstrap-server 192.168.1.51:9092

Topic: fgedu-orders TopicId: xyz789 PartitionCount: 12 ReplicationFactor: 3

3.3.2 删除Topic

# 删除Topic（需要确保delete.topic.enable=true）
$ /bigdata/app/kafka/bin/kafka-topics.sh –delete \
–topic fgedu-test-topic \
–bootstrap-server 192.168.1.51:9092

Topic fgedu-test-topic is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

# 验证删除结果
$ /bigdata/app/kafka/bin/kafka-topics.sh –list \
–bootstrap-server 192.168.1.51:9092

fgedu-orders
fgedu-user-events

Part04-生产案例与实战讲解

4.1 分区重分配实战

4.1.1 生成分区重分配计划

# 创建topics-to-move.json文件
$ cat > /tmp/topics-to-move.json << 'EOF' { "version": 1, "topics": [ {"topic": "fgedu-orders"}, {"topic": "fgedu-user-events"} ] } EOF # 生成分区重分配计划 $ /bigdata/app/kafka/bin/kafka-reassign-partitions.sh \ --bootstrap-server 192.168.1.51:9092 \ --topics-to-move-json-file /tmp/topics-to-move.json \ --broker-list "1,2,3,4,5" \ --generate Current partition replica assignment {"version":1,"partitions":[{"topic":"fgedu-orders","partition":0,"replicas":[1,2,3]},{"topic":"fgedu-orders","partition":1,"replicas":[2,3,1]}]} Proposed partition reassignment configuration {"version":1,"partitions":[{"topic":"fgedu-orders","partition":0,"replicas":[4,5,1]},{"topic":"fgedu-orders","partition":1,"replicas":[5,1,2]}]} # 保存重分配计划 $ cat > /tmp/reassignment.json << 'EOF' { "version": 1, "partitions": [ {"topic": "fgedu-orders", "partition": 0, "replicas": [4,5,1]}, {"topic": "fgedu-orders", "partition": 1, "replicas": [5,1,2]}, {"topic": "fgedu-orders", "partition": 2, "replicas": [1,2,3]}, {"topic": "fgedu-orders", "partition": 3, "replicas": [2,3,4]}, {"topic": "fgedu-orders", "partition": 4, "replicas": [3,4,5]}, {"topic": "fgedu-orders", "partition": 5, "replicas": [4,5,1]} ] } EOF

4.1.2 执行分区重分配

# 执行分区重分配
$ /bigdata/app/kafka/bin/kafka-reassign-partitions.sh \
–bootstrap-server 192.168.1.51:9092 \
–reassignment-json-file /tmp/reassignment.json \
–execute

Current partition replica assignment
{“version”:1,”partitions”:[{“topic”:”fgedu-orders”,”partition”:0,”replicas”:[1,2,3]},{“topic”:”fgedu-orders”,”partition”:1,”replicas”:[2,3,1]}]}

Save this to use as the –reassignment-json-file option during rollback
Successfully started partition reassignment for fgedu-orders-0,fgedu-orders-1

# 查看重分配进度
$ /bigdata/app/kafka/bin/kafka-reassign-partitions.sh \
–bootstrap-server 192.168.1.51:9092 \
–reassignment-json-file /tmp/reassignment.json \
–verify

Status of partition reassignment:
Reassignment of partition fgedu-orders-0 is completed.
Reassignment of partition fgedu-orders-1 is completed.

Clearing the throttles from brokers: 1,2,3,4,5

4.2 分区扩容实战

4.2.1 新增Broker后分区迁移

# 场景：新增Broker 4和5，需要将部分分区迁移到新Broker

# 1. 查看当前分区分布
$ /bigdata/app/kafka/bin/kafka-topics.sh –describe \
–topic fgedu-orders \
–bootstrap-server 192.168.1.51:9092

# 2. 使用kafka-reassign-partitions.sh迁移分区
# 3. 验证迁移结果
$ /bigdata/app/kafka/bin/kafka-topics.sh –describe \
–topic fgedu-orders \
–bootstrap-server 192.168.1.51:9092

Topic: fgedu-orders TopicId: xyz789 PartitionCount: 6 ReplicationFactor: 3
Topic: fgedu-orders Partition: 0 Leader: 4 Replicas: 4,5,1 Isr: 4,5,1
Topic: fgedu-orders Partition: 1 Leader: 5 Replicas: 5,1,2 Isr: 5,1,2
Topic: fgedu-orders Partition: 2 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3

4.3 Topic常见问题处理

4.3.1 分区Leader不可用

# 问题现象：分区Leader为-1或无Leader
$ /bigdata/app/kafka/bin/kafka-topics.sh –describe \
–topic fgedu-orders \
–bootstrap-server 192.168.1.51:9092

Topic: fgedu-orders Partition: 0 Leader: -1 Replicas: 1,2,3 Isr: 2,3

# 排查步骤
# 1. 检查Broker状态
$ /bigdata/app/kafka/bin/kafka-broker-api-versions.sh \
–bootstrap-server 192.168.1.51:9092

192.168.1.51:9092 (id: 1 rack: null) -> (
Produce(0): 0 to 9,
Fetch(1): 0 to 13,
…
)

# 2. 检查ISR列表
# 如果ISR为空，说明没有副本在同步

# 3. 强制选举Leader（谨慎操作）
$ /bigdata/app/kafka/bin/kafka-leader-election.sh \
–bootstrap-server 192.168.1.51:9092 \
–topic fgedu-orders \
–partition 0 \
–election-type unclean

Successfully completed leader election (UNCLEAN) for partition fgedu-orders-0

4.3.2 分区数据倾斜

# 查看分区数据量
$ /bigdata/app/kafka/bin/kafka-run-class.sh kafka.tools.GetOffsetShell \
–broker-list 192.168.1.51:9092 \
–topic fgedu-orders

fgedu-orders:0:1000000
fgedu-orders:1:500000
fgedu-orders:2:1500000
fgedu-orders:3:800000
fgedu-orders:4:600000
fgedu-orders:5:1200000

# 解决方案
# 1. 优化分区策略，使用更均匀的Key
# 2. 增加分区数量
# 3. 使用自定义分区器

Part05-风哥经验总结与分享

5.1 Topic设计最佳实践

Topic设计最佳实践建议：

# Topic命名规范
1. 使用业务域作为前缀：fgedu-
2. 使用小写字母和连字符
3. 包含环境标识：-prod、-dev、-test

# 分区数量建议
1. 根据吞吐量计算：分区数 = 目标吞吐量 / 单分区吞吐量
2. 考虑消费者数量：分区数 >= 消费者数量
3. 预留扩展空间：初始分区数可适当增加

# 副本配置建议
1. 生产环境副本因子：3
2. 最小同步副本：2
3. 禁止非ISR选举：unclean.leader.election.enable=false

5.2 分区设计检查清单

分区设计完成后，需要检查以下项目：

分区设计检查清单：

分区数量是否满足吞吐量需求
分区是否均匀分布到各Broker
副本是否分布在不同Broker
ISR列表是否完整
Leader分布是否均衡
Topic配置是否合理
消息保留策略是否满足需求

5.3 Topic管理工具推荐

Topic管理常用工具：

kafka-topics.sh：Kafka自带的Topic管理命令行工具
kafka-configs.sh：Topic配置管理工具
kafka-reassign-partitions.sh：分区重分配工具
Kafka Manager：可视化Topic管理界面
Kafka Eagle：综合管理平台，支持Topic管理

风哥提示：分区数量一旦确定，只能增加不能减少。建议在初期规划时充分考虑业务增长，预留足够的分区数量。from bigdata视频:www.itpux.com

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html