# 连接数据库
$ psql -d fgedudb -U fgedu
psql (9.4.26)
Type “help” for help.

fgedudb=>

# 1. 创建归档表
fgedudb=> CREATE TABLE fgedu.fgedu_sales_archive (
fgedudb(> sale_id BIGINT,
fgedudb(> sale_date DATE,
fgedudb(> customer_id INT,
fgedudb(> amount NUMERIC(18,2)
fgedudb(> ) WITH (
fgedudb(> appendoptimized=true,
fgedudb(> orientation=column,
fgedudb(> compresstype=zstd,
fgedudb(> compresslevel=9
fgedudb(> ) DISTRIBUTED BY (sale_id);
CREATE TABLE

# 2. 归档历史数据
fgedudb=> INSERT INTO fgedu.fgedu_sales_archive
fgedudb-> SELECT * FROM fgedu.fgedu_sales
fgedudb-> WHERE sale_date < CURRENT_DATE - INTERVAL '1 year'; INSERT 0 10000000 # 3. 删除已归档数据 fgedudb=> DELETE FROM fgedu.fgedu_sales
fgedudb-> WHERE sale_date < CURRENT_DATE - INTERVAL '1 year'; DELETE 10000000 # 4. 回收空间 fgedudb=> VACUUM FULL fgedu.fgedu_sales;
VACUUM

# 5. 更新统计信息
fgedudb=> ANALYZE fgedu.fgedu_sales;
ANALYZE

学习交流加群风哥QQ113257174

# 1. 导出数据到文件
$ psql -d fgedudb -c “\COPY fgedu.fgedu_sales_archive TO ‘/GreenPlum/archive/sales_2025.csv’ WITH CSV;”

# 输出日志：
COPY 10000000

# 2. 创建外部表访问归档数据
fgedudb=> CREATE EXTERNAL TABLE fgedu.ext_sales_archive (
fgedudb(> sale_id BIGINT,
fgedudb(> sale_date DATE,
fgedudb(> customer_id INT,
fgedudb(> amount NUMERIC(18,2)
fgedudb(> ) LOCATION (‘file://mdw/GreenPlum/archive/sales_2025.csv’)
fgedudb-> FORMAT ‘CSV’;
CREATE EXTERNAL TABLE

# 3. 查询归档数据
fgedudb=> SELECT count(*) FROM fgedu.ext_sales_archive;
count
———-
10000000
(1 row)

# 4. 创建归档自动化脚本
$ cat > /GreenPlum/scripts/archive_data.sh << 'EOF' #!/bin/bash # archive_data.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: http://www.fgedu.net.cn ARCHIVE_DATE=$(date -d "-1 year" +%Y%m%d) psql -d fgedudb << SQL -- 归档数据 INSERT INTO fgedu.fgedu_sales_archive SELECT * FROM fgedu.fgedu_sales WHERE sale_date < CURRENT_DATE - INTERVAL '1 year'; -- 删除已归档数据 DELETE FROM fgedu.fgedu_sales WHERE sale_date < CURRENT_DATE - INTERVAL '1 year'; -- 维护表 VACUUM ANALYZE fgedu.fgedu_sales; SQL echo "数据归档完成" EOF 更多学习教程公众号风哥教程itpux_com

# 日志数据归档案例

# 1. 场景描述
# – 日志数据量：每天10亿条
# – 保留期限：在线3个月，归档3年
# – 存储成本：在线存储成本高
# – 查询需求：历史查询频率低

# 2. 归档方案
# – 在线存储：3个月热数据
# – 归档存储：压缩存储历史数据
# – 外部表：访问归档数据
# – 自动化：定期归档

# 3. 归档脚本
$ cat > /GreenPlum/scripts/archive_logs.sh << 'EOF' #!/bin/bash # archive_logs.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: http://www.fgedu.net.cn psql -d fgedudb << SQL -- 归档3个月前的日志 INSERT INTO fgedu.fgedu_log_archive SELECT * FROM fgedu.fgedu_log WHERE log_time < CURRENT_DATE - INTERVAL '3 months'; -- 删除已归档日志 DELETE FROM fgedu.fgedu_log WHERE log_time < CURRENT_DATE - INTERVAL '3 months'; -- 维护表 VACUUM ANALYZE fgedu.fgedu_log; -- 清理3年以上的归档数据 DELETE FROM fgedu.fgedu_log_archive WHERE log_time < CURRENT_DATE - INTERVAL '3 years'; SQL echo "日志归档完成" EOF # 4. 配置定时任务（每天执行） $ crontab -e 0 2 * * * /GreenPlum/scripts/archive_logs.sh # 5. 归档效果 # - 在线存储减少：从10TB减少到2.5TB # - 存储成本降低：60% # - 查询性能提升：50% # - 管理效率提升：自动化归档 from GreenPlum视频:www.itpux.com

数据归档技巧：

1. 归档策略
– 明确归档规则
– 定义保留期限
– 设置归档触发条件
– 建立归档流程

2. 归档执行
– 批量归档
– 低峰期执行
– 验证数据完整性
– 监控归档进度

3. 归档存储
– 使用压缩存储
– 分层存储管理
– 备份归档数据
– 定期验证可用性

4. 归档访问
– 外部表访问
– 查询优化
– 访问权限控制
– 性能监控

5. 最佳实践
– 制定归档策略
– 自动化归档流程
– 定期测试恢复
– 持续优化改进

本文档介绍了GreenPlum历史数据归档的核心内容，包括分区归档、外部表归档、数据归档案例等，希望对大家有所帮助。