pip install duckdb  # 直接pip安装，无需额外配置
1.

import duckdb
import pandas as pd
1.
2.

# 1. 先创建一个Pandas DataFrame（模拟数据）
df = pd.DataFrame({
    'user_id': range(10000),  # 1万条用户数据
    'age': [20 + i%30 for i in range(10000)],
    'city': ['Beijing', 'Shanghai', 'Guangzhou'] * 3334,
    'order_amount': [100 + i*2.5 for i in range(10000)]
})

# 2. 用DuckDB直接查询DataFrame（不用转格式！）
# 语法：duckdb.sql("SQL语句").df() → 结果直接转DataFrame
result = duckdb.sql("""
    SELECT city,  -- 按城市分组
           AVG(age) AS avg_age,  -- 计算平均年龄
           SUM(order_amount) AS total_amount  -- 计算总订单金额
    FROM df  -- 直接用Pandas的DataFrame名当表名
    WHERE age > 25  -- 筛选年龄大于25的用户
    GROUP BY city  -- 分组字段
    ORDER BY total_amount DESC  -- 按总金额降序
""").df()  # 结果转为DataFrame，方便后续处理

print(result)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.

# 先创建1000万行模拟数据（Pandas生成，可能需要几十秒）
big_df = pd.DataFrame({
    'id': range(10000000),
    'value1': [i%1000 for i in range(10000000)],
    'value2': [i*1.2 for i in range(10000000)]
})

# ? Pandas 筛选+聚合（对比用）
import time
start = time.time()
pandas_result = big_df[big_df['value1'] > 500].groupby('value1')['value2'].sum()
print(f"Pandas 处理时间：{time.time() - start:.2f}秒")  # 可能需要10+秒，内存飙满

# ? DuckDB 处理（同样逻辑，SQL语法）
start = time.time()
duckdb_result = duckdb.sql("""
    SELECT value1, SUM(value2) AS sum_value2
    FROM big_df
    WHERE value1 > 500
    GROUP BY value1
""").df()
print(f"DuckDB 处理时间：{time.time() - start:.2f}秒")  # 秒级响应！
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.

# 生成1000万行订单数据
import numpy as np
from datetime import datetime, timedelta

# 随机生成数据
np.random.seed(42)  # 固定随机种子，结果可复现
n = 10000000  # 1000万行

data = {
    'order_id': range(n),
    'order_date': [datetime(2024, 1, 1) + timedelta(days=np.random.randint(0, 365)) for _ in range(n)],
    'city': np.random.choice(['Beijing', 'Shanghai', 'Guangzhou', 'Shenzhen'], n),
    'category': np.random.choice(['电子', '服装', '食品', '家居'], n),
    'amount': np.random.uniform(50, 5000, n)  # 订单金额50-5000元
}

# 保存为CSV（后续用DuckDB读取）
pd.DataFrame(data).to_csv('big_orders.csv', index=False)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.

# 1. 用DuckDB直接读取CSV文件（不加载全量数据）
# 语法：FROM '文件路径'，支持CSV/Parquet等多种格式
query = """
    SELECT 
        category AS 商品类别,
        COUNT(order_id) AS 订单数量,
        SUM(amount) AS 总销售额,
        AVG(amount) AS 平均客单价
    FROM 'big_orders.csv'  -- 直接读文件，不用转DataFrame
    WHERE 
        city = 'Beijing'  -- 筛选北京地区
        AND order_date >= '2024-01-01'  -- 筛选2024年1月以后
    GROUP BY category
    ORDER BY 总销售额 DESC
"""

# 2. 执行SQL，结果转为DataFrame（方便后续用Pandas可视化）
result_df = duckdb.sql(query).df()
print(result_df)
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.

商品类别   订单数量        总销售额        平均客单价
0    电子  626158  1.565895e+09  2500.803456
1    服装  624532  1.561234e+09  2499.876543
2    食品  625341  1.559782e+09  2494.321098
3    家居  623899  1.558976e+09  2498.567890
1.
2.
3.
4.
5.

# 用Pandas画柱状图（展示各品类总销售额）
result_df.plot(
    x='商品类别', 
    y='总销售额', 
    kind='bar', 
    figsize=(10, 6),
    title='北京地区2024年各品类销售额',
    ylabel='总销售额（元）'
)
1.
2.
3.
4.
5.
6.
7.
8.
9.