# 1. 配置对象存储访问凭证
# 创建对象存储配置文件
cat > /tidb/conf/object_storage.toml << 'EOF' [object_storage] enable = true # 对象存储类型：s3, oss, cos, obs, minio type = "s3" [s3] endpoint = "s3.amazonaws.com" bucket = "fgedu-tidb-backup" access_key = "AKIAIOSFODNN7EXAMPLE" secret_key = "wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" region = "us-east-1" EOF # 2. 配置TiDB使用对象存储 # 修改tidb.toml配置文件 [backup] object-storage-config = "/tidb/conf/object_storage.toml" # 3. 配置TiKV使用对象存储 # 修改tikv.toml配置文件 [storage] [storage.object-storage] enable = true config-file = "/tidb/conf/object_storage.toml" # 冷数据存储路径 cold-data-path = "s3://fgedu-tidb-cold/"

# 1. 使用BR工具备份数据到对象存储
br backup full –pd “192.168.1.100:2379” –storage “s3://fgedu-tidb-backup/” –ratelimit 128

# 2. 迁移冷数据到对象存储
# 创建冷数据表
CREATE TABLE fgedudb.fgedu_orders_cold LIKE fgedudb.fgedu_orders;

# 导出冷数据到对象存储
mysqldump -h 192.168.1.100 -P 4000 -u root -p”password” fgedudb fgedu_orders –where=”order_date < '2023-01-01'" | gzip > orders_cold.sql.gz

# 上传到对象存储
aws s3 cp orders_cold.sql.gz s3://fgedu-tidb-cold/

# 3. 从对象存储恢复数据
# 下载备份数据
aws s3 cp s3://fgedu-tidb-backup/backup.tar.gz .

# 恢复数据
br restore full –pd “192.168.1.100:2379” –storage “local:///tidb/backup/”

# 1. 监控对象存储使用量
# 使用AWS CLI查看存储使用情况
aws s3 ls –recursive s3://fgedu-tidb-backup/ –human-readable –summarize

# 2. 监控数据迁移性能
# 查看BR备份进度
br backup full –pd “192.168.1.100:2379” –storage “s3://fgedu-tidb-backup/” –ratelimit 128 –log-file /tidb/logs/br_backup.log

# 3. 调优对象存储配置
# 修改对象存储配置文件
[object_storage]
enable = true
type = “s3”

[s3]
endpoint = “s3.amazonaws.com”
bucket = “fgedu-tidb-backup”
access_key = “AKIAIOSFODNN7EXAMPLE”
secret_key = “wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY”风哥提示：
region = “us-east-1”
# 启用传输加速
transfer-acceleration = true
# 调整并发数
max-concurrency = 10

# 1. 问题描述：历史数据占用大量本地存储

# 2. 解决方案：
# 1. 配置对象存储
cat > /tidb/conf/object_storage.toml << 'EOF' [object_storage] enable = true type = "oss" [oss] endpoint = "oss-cn-beijing.aliyuncs.com" bucket = "fgedu-tidb-cold" access_key = "LTAI4Fw2mQ7qR5EXAMPLE" secret_key = "tKcVEXAMPLE" region = "cn-beijing" EOF # 2. 导出历史数据 mysqldump -h 192.168.1.100 -P 4000 -u root -p"password" fgedudb fgedu_logs --where="log_date < '2023-01-01'" | gzip > logs_cold.sql.gz

# 3. 上传到对象存储
ossutil cp logs_cold.sql.gz oss://fgedu-tidb-cold/

# 4. 删除本地历史数据
DELETE FROM fgedudb.fgedu_logs WHERE log_date < '2023-01-01'; # 5. 效果：本地存储显著减少，历史数据安全存储在对象存储中

# 1. 问题描述：备份数据占用大量本地存储，且存在安全风险

# 2. 解决方案：
# 1. 配置BR工具使用对象存储
br backup full –pd “192.168.1.100:2379” –storage “s3://fgedu-tidb-backup/” –ratelimit 128

# 2. 配置定期备份
# 创建备份脚本
cat > /tidb/scripts/backup.sh << 'EOF' #!/bin/bash # backup.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: http://www.fgedu.net.cn TIMESTAMP=$(date +'%Y%m%d%H%M%S') BR_BIN="/tidb/app/tiup/bin/tiup br" $BR_BIN backup full --pd "192.168.1.100:2379" --storage "s3://fgedu-tidb-backup/$TIMESTAMP" --ratelimit 128 --log-file /tidb/logs/backup_$TIMESTAMP.log EOF # 设置定时任务 crontab -e # 添加以下内容 0 1 * * * /tidb/scripts/backup.sh # 3. 效果：备份数据安全存储在对象存储中，且实现了自动化备份

# 1. 问题描述：需要存储大规模日志数据，本地存储不足

# 2. 解决方案：
# 1. 配置对象存储
cat > /tidb/conf/object_storage.toml << 'EOF' [object_storage] enable = true type = "minio" [minio] endpoint = "minio.fgedu.net.cn:9000" bucket = "fgedu-tidb-logs" access_key = "minioadmin" secret_key = "minioadmin" region = "us-east-1" EOF # 2. 创建外部表 CREATE EXTERNAL TABLE fgedudb.fgedu_external_logs ( id INT, log_date DATE, log_content TEXT ) ENGINE=TiFlash PARTITION BY RANGE (YEAR(log_date)) ( PARTITION p2023 VALUES LESS THAN (2024),学习交流加群风哥QQ113257174 PARTITION p2024 VALUES LESS THAN (2025) ) STORED AS PARQUET LOCATION 's3://fgedu-tidb-logs/'; # 3. 导入数据到对象存储 # 使用TiSpark导入数据 spark-submit --class com.pingcap.tispark.example.BasicExample \ --master local[4] \ /tidb/app/tispark/tispark-examples-3.0.0.jar \ --import-to-object-storage \ --source-table fgedudb.fgedu_logs \ --target-path s3://fgedu-tidb-logs/ # 4. 效果：大规模日志数据存储在对象存储中，且可以通过外部表进行查询

更多学习教程公众号风哥教程itpux_com

Part05-风哥经验总结与分享

5.1 对象存储集成最佳实践

• 根据数据类型选择合适的存储策略：热数据存储在本地，冷数据存储在对象存储
• 合理设置数据迁移策略：根据数据访问频率和业务需求
• 优化网络配置：减少网络延迟，提高数据传输速度
• 监控对象存储使用情况：定期评估存储成本和性能
• 实施数据生命周期管理：自动管理数据的存储和归档

5.2 常见问题与解决方案

• 网络延迟高：优化网络配置，选择就近的对象存储区域
• 数据传输成本高：合理设置数据迁移策略，减少不必要的数据传输
• 对象存储访问权限：正确配置访问凭证，确保数据安全
• 数据一致性：确保数据迁移过程中的数据一致性
• 备份恢复速度：合理设置备份策略，平衡备份频率和恢复速度

5.3 未来发展趋势

• 更紧密的集成：TiDB与对象存储的集成将更加紧密
• 智能数据管理：利用AI技术自动管理数据存储策略
• 多云支持：支持更多云厂商的对象存储服务
• 边缘存储集成：支持边缘存储与对象存储的协同
• 成本优化：通过智能算法优化存储成本

from tidb视频:www.itpux.com