# 连接数据库
$ psql -d fgedudb -U fgedu
psql (9.4.26)
Type “help” for help.

fgedudb=>

# 创建维度表
fgedudb=> CREATE TABLE fgedu.dim_customer (
fgedudb(> customer_id BIGINT PRIMARY KEY,
fgedudb(> customer_name VARCHAR(100),
fgedudb(> customer_type VARCHAR(20),
fgedudb(> customer_level VARCHAR(20),
fgedudb(> register_date DATE,
fgedudb(> province VARCHAR(50),
fgedudb(> city VARCHAR(50),
fgedudb(> create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
fgedudb(> ) DISTRIBUTED BY (customer_id);
CREATE TABLE

# 创建事实表
fgedudb=> CREATE TABLE fgedu.fact_transaction (
fgedudb(> transaction_id BIGINT,
fgedudb(> transaction_date DATE,
fgedudb(> customer_id BIGINT,
fgedudb(> product_id BIGINT,
fgedudb(> transaction_type VARCHAR(20),
fgedudb(> amount NUMERIC(18,2),
fgedudb(> balance NUMERIC(18,2),
fgedudb(> create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
fgedudb(> ) DISTRIBUTED BY (transaction_id)
fgedudb-> PARTITION BY RANGE (transaction_date)
fgedudb-> (
fgedudb(> PARTITION p202601 START (‘2026-01-01’) END (‘2026-02-01’),
fgedudb(> PARTITION p202602 START (‘2026-02-01’) END (‘2026-03-01’),
fgedudb(> PARTITION p202603 START (‘2026-03-01’) END (‘2026-04-01’)
fgedudb(> );
CREATE TABLE

学习交流加群风哥QQ113257174

# ETL流程设计

# 1. 数据抽取
$ cat > /GreenPlum/scripts/etl_extract.sh << 'EOF' #!/bin/bash # etl_extract.sh # from:www.itpux.com.qq113257174.wx:itpux-com # web: http://www.fgedu.net.cn # 从源系统抽取数据 psql -d fgedudb << SQL -- 抽取交易数据 INSERT INTO fgedu.ods_transaction SELECT * FROM source_transaction WHERE transaction_date = CURRENT_DATE - 1; -- 抽取客户数据 INSERT INTO fgedu.ods_customer SELECT * FROM source_customer WHERE update_time >= CURRENT_DATE – 1;
SQL

echo “数据抽取完成”
EOF

# 2. 数据转换
$ cat > /GreenPlum/scripts/etl_transform.sh << 'EOF' #!/bin/bash # etl_transform.sh psql -d fgedudb << SQL -- 转换交易数据 INSERT INTO fgedu.dwd_transaction SELECT transaction_id, transaction_date, customer_id, product_id, transaction_type, amount, balance, CURRENT_TIMESTAMP AS etl_time FROM fgedu.ods_transaction WHERE transaction_date = CURRENT_DATE - 1; -- 数据质量检查 SELECT count(*) FROM fgedu.dwd_transaction WHERE transaction_date = CURRENT_DATE - 1; SQL echo "数据转换完成" EOF # 3. 数据加载 $ cat > /GreenPlum/scripts/etl_load.sh << 'EOF' #!/bin/bash # etl_load.sh psql -d fgedudb << SQL -- 加载汇总数据 INSERT INTO fgedu.dws_transaction_daily SELECT transaction_date, customer_id, count(*) as transaction_count, sum(amount) as total_amount FROM fgedu.dwd_transaction WHERE transaction_date = CURRENT_DATE - 1 GROUP BY transaction_date, customer_id; SQL echo "数据加载完成" EOF 更多学习教程公众号风哥教程itpux_com

# 银行交易分析案例

# 1. 场景描述
# – 每日交易数据量：10亿条
# – 历史数据保留：5年
# – 查询响应时间：<10秒 # - 并发用户：500+ # 2. 表设计 # 事实表 CREATE TABLE fgedu.fact_bank_transaction ( transaction_id BIGINT, transaction_time TIMESTAMP, account_id BIGINT, transaction_type VARCHAR(20), amount NUMERIC(18,2), balance NUMERIC(18,2), branch_id INT, channel VARCHAR(20) ) DISTRIBUTED BY (transaction_id) PARTITION BY RANGE (transaction_time) ( PARTITION p20260401 START ('2026-04-01 00:00:00') END ('2026-04-02 00:00:00'), PARTITION p20260402 START ('2026-04-02 00:00:00') END ('2026-04-03 00:00:00') ); # 3. 分析查询 # 日交易统计 SELECT transaction_type, count(*) as transaction_count, sum(amount) as total_amount FROM fgedu.fact_bank_transaction WHERE transaction_time >= CURRENT_DATE
GROUP BY transaction_type;

# 输出日志：
transaction_type | transaction_count | total_amount
——————+——————-+————–
DEPOSIT | 1000000 | 50000000.00
WITHDRAW | 500000 | 25000000.00
TRANSFER | 2000000 | 100000000.00
(3 rows)

# 4. 性能优化
# – 创建合适的索引
# – 分区裁剪
# – 并行查询
# – 资源队列管理

from GreenPlum视频:www.itpux.com

金融数仓技巧：

1. 模型设计
– 合理设计维度模型
– 选择合适的分布键
– 合理设置分区
– 优化表结构

2. ETL优化
– 批量数据加载
– 并行处理
– 增量更新
– 数据质量检查

3. 查询优化
– 使用分区裁剪
– 建立合适的索引
– 优化查询语句
– 使用物化视图

4. 安全管理
– 数据加密
– 访问控制
– 审计日志
– 合规管理

5. 最佳实践
– 建立数据质量监控
– 定期维护优化
– 性能基线管理
– 持续优化改进

本文档介绍了GreenPlum金融数仓实战的核心内容，包括金融数仓模型设计、金融数仓ETL、金融数仓案例等，希望对大家有所帮助。