Pandas 进阶四：数据筛选/分组/聚合，比 Excel 快十倍的操作技巧-脚本在线

AI智能体脚本智能办公脚本自动化游戏脚本浏览器自动化脚本服务器脚本

Pandas 进阶四：数据筛选/分组/聚合，比 Excel 快十倍的操作技巧

作者：互联网

2026-03-24

AI模型库

各位新手小伙伴，经过入门篇的3篇学习，咱们已经掌握了Pandas的基础操作——读取数据、处理缺失值、修改DataFrame结构，是不是已经感受到了它的便捷？

《Pandas 入门一：零基础也能懂！3步安装+10分钟玩转数据读取》
《Pandas 入门二：DataFrame 核心操作，新手也能轻松筛选/修改数据》
《Pandas 入门三：数据清洗必学！缺失值/重复值处理，一步到位不踩坑》

但实际处理数据时，我们往往需要更“精准”的操作：比如从几千条数据里挑出符合条件的记录、按类别统计数据、计算分组后的平均值/总和……这些操作在Excel里要反复筛选、插入函数，步骤繁琐还容易错，而Pandas只需1-2行代码就能搞定，速度直接快10倍！

今天这篇进阶文，就带大家吃透3个核心技能：数据筛选（单条件/多条件）、数据分组（groupby）、数据聚合，全程用真实场景案例演示，新手跟着跑就能会～

一、先准备测试数据

为了让大家直观理解，咱们用“电商订单数据”作为示例（模拟真实场景，包含订单号、用户ID、商品类别、消费金额、支付时间等字段），先运行下面的代码生成数据：

import pandas as pd
import numpy as np

# 生成测试数据（共10条订单记录）
data = {
    '订单号': ['OD001', 'OD002', 'OD003', 'OD004', 'OD005', 'OD006', 'OD007', 'OD008', 'OD009', 'OD010'],
    '用户ID': ['U001', 'U002', 'U001', 'U003', 'U002', 'U001', 'U003', 'U004', 'U004', 'U002'],
    '商品类别': ['电子产品', '服装', '电子产品', '食品', '服装', '食品', '电子产品', '服装', '食品', '电子产品'],
    '消费金额': [2999, 599, 1599, 199, 899, 299, 3999, 499, 399, 1299],
    '支付时间': pd.date_range('2024-01-01', periods=10, freq='D'),
    '是否好评': [True, False, True, True, False, True, False, True, True, False]
}

df = pd.DataFrame(data)
print("测试数据：")
print(df)1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

运行后会得到这样的DataFrame（清晰展示所有订单信息）：

测试数据：
   订单号 用户ID  商品类别  消费金额       支付时间  是否好评
OD001  U001  电子产品    2999 2024-01-01   True
OD002  U002    服装     599 2024-01-02  False
OD003  U001  电子产品    1599 2024-01-03   True
OD004  U003    食品     199 2024-01-04   True
OD005  U002    服装     899 2024-01-05  False
OD006  U001    食品     299 2024-01-06   True
OD007  U003  电子产品    3999 2024-01-07  False
OD008  U004    服装     499 2024-01-08   True
OD009  U004    食品     399 2024-01-09   True
OD010  U002  电子产品    1299 2024-01-10  False1.












接下来所有操作都基于这个数据集，大家可以直接复制代码运行～

二、数据筛选：精准挑出你要的记录

筛选就是“从DataFrame中提取符合条件的行/列”，比如“挑出消费金额>1000的订单”“找出商品类别是电子产品且给了好评的记录”，Pandas的筛选语法比Excel的“自动筛选”更灵活。

1. 单条件筛选（基础款）

语法：df[df['列名'] 条件表达式]，比如“筛选消费金额>1000的订单”：

# 筛选消费金额>1000的订单
high_amount_orders = df[df['消费金额'] > 1000]
print("消费金额>1000的订单：")
print(high_amount_orders)1.
2.
3.
4.

运行结果（自动筛选出符合条件的5条记录）：

消费金额>1000的订单：
   订单号 用户ID  商品类别  消费金额       支付时间  是否好评
OD001  U001  电子产品    2999 2024-01-01   True
OD003  U001  电子产品    1599 2024-01-03   True
OD007  U003  电子产品    3999 2024-01-07  False
OD010  U002  电子产品    1299 2024-01-10  False1.






再举2个常用例子，一看就懂：

筛选“商品类别是服装”的订单：

clothes_orders = df[df['商品类别'] == '服装']  # == 表示“等于”，注意是两个等号！1.

筛选“2024年1月5日之后的订单”（日期筛选）：

recent_orders = df[df['支付时间'] > '2024-01-05']1.

2. 多条件筛选（实用款）

实际场景中常需要多个条件，比如“商品类别是电子产品且消费金额>2000”“用户ID是U001 或给了好评”，这里要注意两个关键符号：

&：表示“且”（两个条件必须同时满足），前后条件要加括号；
|：表示“或”（满足一个条件即可），前后条件也要加括号。

示例1：筛选“商品类别是电子产品且消费金额>2000”的订单：

# 多条件（且）筛选，注意&前后要加括号
high_electronics = df[(df['商品类别'] == '电子产品') & (df['消费金额'] > 2000)]
print("电子产品且消费金额>2000的订单：")
print(high_electronics)1.
2.
3.
4.

结果（只筛选出2条符合条件的记录）：

电子产品且消费金额>2000的订单：
   订单号 用户ID  商品类别  消费金额       支付时间  是否好评
OD001  U001  电子产品    2999 2024-01-01   True
OD007  U003  电子产品    3999 2024-01-07  False1.




示例2：筛选“用户ID是U001 或是否好评为True”的订单：

# 多条件（或）筛选，用|连接
u001_or_good = df[(df['用户ID'] == 'U001') | (df['是否好评'] == True)]
print("用户U001或好评的订单：")
print(u001_or_good)1.
2.
3.
4.

新手避坑：

筛选时的条件符号是 ==（等于）、>（大于）、<（小于），不要写成 =（赋值符号）；
多条件必须用 &/|，不能用 and/or（Python语法规定）；
多条件前后要加括号，否则会报错。

三、数据分组：按类别归类（groupby核心）

分组就是“按某个字段的类别拆分数据”，比如“按商品类别分组”“按用户ID分组”，之后可以对每组数据单独操作。Pandas中用 df.groupby('分组列名') 实现，相当于Excel的“数据透视表-行标签”。

1. 基础分组：按单个字段分组

比如“按商品类别分组”，看看每个类别的订单数量：

# 按商品类别分组，统计每组的订单数量（size()函数统计个数）
category_count = df.groupby('商品类别').size()
print("各商品类别的订单数量：")
print(category_count)1.
2.
3.
4.

运行结果（清晰展示每个类别的订单数）：

各商品类别的订单数量：
商品类别
电子产品    4
服装      3
食品      3
dtype: int641.
2.
3.
4.
5.
6.

再比如“按用户ID分组”，看看每个用户的总消费金额：

# 按用户ID分组，计算每组的消费金额总和（sum()函数求和）
user_total = df.groupby('用户ID')['消费金额'].sum()  # 只对“消费金额”列求和
print("各用户的总消费金额：")
print(user_total)1.
2.
3.
4.

结果：

各用户的总消费金额：
用户ID
U001    4897
U002    2797
U003    4198
U004     898
Name: 消费金额, dtype: int641.
2.
3.
4.
5.
6.
7.

2. 按多个字段分组

如果想更细致分组，比如“按商品类别+是否好评分组”，统计每组的平均消费金额：

# 按“商品类别+是否好评”双字段分组，计算平均消费金额
category_rating_avg = df.groupby(['商品类别', '是否好评'])['消费金额'].mean()
print("各商品类别+好评状态的平均消费金额：")
print(category_rating_avg)1.
2.
3.
4.

结果（展示每个组合的平均值）：

各商品类别+好评状态的平均消费金额：
商品类别  是否好评
电子产品  False     2649.0
        True      2299.0
服装    False      749.0
        True       499.0
食品    False         NaN  # 食品类没有“差评”的订单，所以是NaN（缺失值）
        True       299.0
Name: 消费金额, dtype: float641.
2.
3.
4.
5.
6.
7.
8.
9.

关键理解：

groupby 本身不返回具体数据，而是返回一个“分组对象”；
必须在分组后接“聚合函数”（比如 size() 统计个数、sum() 求和、mean() 求平均），才能得到结果；
可以指定只对某一列操作（比如 groupby('用户ID')['消费金额'].sum()），也可以对所有数值列操作（直接 groupby('用户ID').sum()）。

三、数据聚合：对分组后的数据计算（常用聚合函数）

聚合就是“对分组后的数据进行统计计算”，比如求和、求平均、求最大值等，Pandas提供了很多实用的聚合函数，新手记住下面这几个就够日常用了：

聚合函数	作用	示例
`sum()`	求和	总消费金额
`mean()`	求平均值	平均消费金额
`max()`	求最大值	最高消费金额
`min()`	求最小值	最低消费金额
`count()`	统计非缺失值个数	有效订单数
`size()`	统计分组内的总个数	订单总数（包含缺失值）

1. 实战：多聚合函数一起用

比如“按商品类别分组”，同时计算每个类别的“订单数、总消费金额、平均消费金额、最高消费金额”：

# 按商品类别分组，对消费金额列同时应用多个聚合函数
category_agg = df.groupby('商品类别')['消费金额'].agg(
    订单数='size',
    总消费金额='sum',
    平均消费金额='mean',
    最高消费金额='max'
)

# 重置索引（让商品类别从索引变成普通列，更直观）
category_agg = category_agg.reset_index()
print("各商品类别的聚合统计：")
print(category_agg)1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

运行结果（一次性得到多维度统计信息，堪比Excel透视表）：

各商品类别的聚合统计：
  商品类别  订单数  总消费金额   平均消费金额  最高消费金额
电子产品    4    10896  2724.000000       3999
  服装      3     1997   665.666667        899
  食品      3      897   299.000000        3991.





这个结果太实用了！如果用Excel做，需要手动插入4个函数，而Pandas一行代码就能搞定，还能直接导出为Excel文件（后续实战篇会讲）。

四、综合实战：筛选+分组+聚合

把前面的技能结合起来，解决一个真实问题：“筛选出2024年1月5日之后的订单，按商品类别分组，统计每组的好评数和好评率”。

步骤拆解：

筛选2024-01-05之后的订单；
按商品类别分组；
统计每组的好评数（是否好评为True的个数）和总订单数；
计算好评率（好评数/总订单数）。

代码实现：

# 1. 筛选2024-01-05之后的订单
filtered_df = df[df['支付时间'] > '2024-01-05']

# 2. 按商品类别分组，统计好评数和总订单数
agg_result = filtered_df.groupby('商品类别')['是否好评'].agg(
    总订单数='size',
    好评数=lambda x: (x == True).sum()  # 自定义函数：统计True的个数
)

# 3. 计算好评率（保留2位小数）
agg_result['好评率'] = (agg_result['好评数'] / agg_result['总订单数']).round(2)

# 重置索引
agg_result = agg_result.reset_index()
print("2024-01-05后各商品类别的好评统计：")
print(agg_result)1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

运行结果：

2024-01-05后各商品类别的好评统计：
  商品类别  总订单数  好评数  好评率
电子产品    2     0   0.00
  服装      1     1   1.00
  食品      2     2   1.001.





是不是超级清晰？从筛选到分组再到聚合，3步就能得到核心统计结果，比Excel高效太多！

五、新手必记：核心语法速查表

功能	Pandas语法	示例
单条件筛选	`df[df['列名'] 条件]`	`df[df['消费金额']>1000]`
多条件筛选	`df[(条件1) & (条件2)]`	`df[(df['类别']=='电子产品')&(df['金额']>2000)]`
分组	`df.groupby('分组列')`	`df.groupby('商品类别')`
分组+聚合	`groupby对象['列名'].聚合函数()`	`df.groupby('用户ID')['消费金额'].sum()`
多聚合函数	`groupby对象['列名'].agg(新列名=函数)`	`agg(总金额='sum', 平均值='mean')`

六、总结

这篇文章我们掌握了Pandas进阶的3个核心技能：

数据筛选（单条件/多条件）：精准提取需要的记录；
数据分组（groupby）：按类别拆分数据，方便分类处理；
数据聚合：对分组数据统计计算，快速得到汇总结果。

这些操作覆盖了日常数据处理的80%场景，比如统计报表、数据汇总、筛选分析等，比Excel更高效、更灵活，新手多练2遍就能熟练掌握～