# 连接数据库
$ psql -d fgedudb -U fgedu
psql (9.4.26)
Type “help” for help.

fgedudb=>

# 1. 使用分区裁剪
fgedudb=> EXPLAIN SELECT * FROM fgedu.fgedu_sales
fgedudb-> WHERE sale_date BETWEEN ‘2026-04-01’ AND ‘2026-04-07’;
QUERY PLAN
———————————————————————————–
Gather Motion 2:1 (slice1; segments: 2) (cost=0.00..100.00 rows=1000 width=100)
-> Seq Scan on fgedu_sales_partition_1_prt_p202604 (cost=0.00..100.00 rows=1000 width=100)
Filter: ((sale_date >= ‘2026-04-01’::date) AND (sale_date <= '2026-04-07'::date)) (3 rows) # 2. 使用索引优化 fgedudb=> CREATE INDEX idx_sales_date ON fgedu.fgedu_sales (sale_date);
CREATE INDEX

fgedudb=> EXPLAIN SELECT * FROM fgedu.fgedu_sales WHERE sale_date = ‘2026-04-08’;
QUERY PLAN
———————————————————————————–
Gather Motion 2:1 (slice1; segments: 2) (cost=0.00..50.00 rows=100 width=100)
-> Index Scan using idx_sales_date on fgedu_sales (cost=0.00..50.00 rows=100 width=100)
Index Cond: (sale_date = ‘2026-04-08’::date)
(3 rows)

# 3. 使用物化视图
fgedudb=> CREATE MATERIALIZED VIEW fgedu.mv_sales_summary AS
fgedudb-> SELECT
fgedudb-> sale_date,
fgedudb-> customer_id,
fgedudb-> SUM(amount) AS total_amount
fgedudb-> FROM fgedu.fgedu_sales
fgedudb-> GROUP BY sale_date, customer_id;
SELECT 1000000

学习交流加群风哥QQ113257174

# 聚合分析优化

# 1. 使用窗口函数
fgedudb=> SELECT
fgedudb-> sale_date,
fgedudb-> customer_id,
fgedudb-> amount,
fgedudb-> SUM(amount) OVER (PARTITION BY sale_date) AS daily_total,
fgedudb-> RANK() OVER (PARTITION BY sale_date ORDER BY amount DESC) AS rank
fgedudb-> FROM fgedu.fgedu_sales
fgedudb-> WHERE sale_date = ‘2026-04-08’
fgedudb-> LIMIT 10;

sale_date | customer_id | amount | daily_total | rank
————+————-+———+————-+——
2026-04-08 | 1001 | 5000.00 | 500000.00 | 1
2026-04-08 | 1002 | 4500.00 | 500000.00 | 2
2026-04-08 | 1003 | 4000.00 | 500000.00 | 3
(3 rows)

# 2. 使用GROUP BY优化
fgedudb=> SET enable_hashagg = on;
SET

fgedudb=> EXPLAIN SELECT sale_date, SUM(amount) FROM fgedu.fgedu_sales GROUP BY sale_date;
QUERY PLAN
———————————————————————————–
Gather Motion 2:1 (slice1; segments: 2) (cost=0.00..100.00 rows=100 width=100)
-> HashAggregate (cost=0.00..100.00 rows=100 width=100)
Group Key: sale_date
-> Seq Scan on fgedu_sales (cost=0.00..50.00 rows=1000 width=100)
(4 rows)

# 3. 使用预聚合表
fgedudb=> CREATE TABLE fgedu.fgedu_sales_preagg AS
fgedudb-> SELECT
fgedudb-> sale_date,
fgedudb-> customer_id,
fgedudb-> SUM(amount) AS total_amount,
fgedudb-> COUNT(*) AS transaction_count
fgedudb-> FROM fgedu.fgedu_sales
fgedudb-> GROUP BY sale_date, customer_id
fgedudb-> DISTRIBUTED BY (sale_date);
SELECT 100000

更多学习教程公众号风哥教程itpux_com

# 电商数据分析案例

# 1. 场景描述
# – 订单数据：100亿条
# – 用户数据：5亿用户
# – 商品数据：1亿商品
# – 分析需求：实时分析

# 2. 表设计
CREATE TABLE fgedu.fact_order (
order_id BIGINT,
order_time TIMESTAMP,
user_id BIGINT,
product_id BIGINT,
quantity INT,
amount NUMERIC(18,2),
status VARCHAR(20)
) DISTRIBUTED BY (order_id)
PARTITION BY RANGE (order_time)
(
PARTITION p20260401 START (‘2026-04-01 00:00:00’) END (‘2026-04-02 00:00:00’),
PARTITION p20260402 START (‘2026-04-02 00:00:00’) END (‘2026-04-03 00:00:00’)
);

# 3. 分析查询
# 日销售分析
SELECT
DATE(order_time) AS order_date,
COUNT(DISTINCT user_id) AS active_users,
COUNT(*) AS order_count,
SUM(amount) AS total_amount
FROM fgedu.fact_order
WHERE order_time >= CURRENT_DATE
GROUP BY DATE(order_time);

# 输出日志：
order_date | active_users | order_count | total_amount
————+————–+————-+————–
2026-04-08 | 1000000 | 5000000 | 500000000.00
(1 row)

# 4. 性能优化
# – 分区裁剪
# – 索引优化
# – 物化视图
# – 资源队列

from GreenPlum视频:www.itpux.com

海量数据分析技巧：

1. 表设计优化
– 选择合适的分布键
– 合理设置分区
– 使用压缩存储
– 优化表结构

2. 查询优化
– 使用分区裁剪
– 建立合适的索引
– 优化查询语句
– 使用物化视图

3. 资源管理
– 资源队列配置
– 内存管理
– 并发控制
– 优先级管理

4. 系统调优
– 参数优化
– 统计信息更新
– 定期维护
– 监控告警

5. 最佳实践
– 建立性能基线
– 持续优化改进
– 定期评估效果
– 经验总结分享

本文档介绍了GreenPlum海量数据分析的核心内容，包括海量数据查询优化、海量数据聚合分析、海量数据分析案例等，希望对大家有所帮助。