Python案例如何用Pandas做数据分组存档

wen python案例 2026-07-14 3

精通Python数据分组：Pandas实战案例与高效存档技巧全解析

📚 文章目录导读

为什么数据分组是数据分析的核心技能？
Pandas分组操作的核心基础
实战案例一：电商销售数据按月份/地区分组存档
实战案例二：用户行为数据按生命周期分组与聚合
实战案例三：金融数据按时间窗口分组与多指标统计
分组后数据存档的多种格式与最佳实践
常见问题与避坑指南（FAQ）
从数据分组到自动化存档流水线

为什么数据分组是数据分析的核心技能？

在日常数据分析工作中,我们经常面对这样的场景：一份包含数百万行记录的销售明细表，需要快速按月份、地区、产品类别三个维度汇总销售额，并将每个分组的统计结果存为独立的Excel文件或CSV，以便后续报表生成或分发给不同部门，这正是数据分组+存档的典型需求。

Python案例如何用Pandas做数据分组存档

pandas.groupby() 是Python数据分析生态中最强大的工具之一，据Stack Overflow 2024年开发者调查，Pandas在数据科学工具中使用率高达68%，而groupby操作是日常使用频率最高的功能之一，熟练运用分组与存档，能节省80%以上的手动处理时间。

核心价值点：

数据分组不仅是聚合计算,更是数据切片与特征发现的基础
合理存档分组数据可提升团队协作效率,避免重复计算
掌握 groupby + agg + apply + to_excel 组合拳，是数据工程师的必备技能

Pandas分组操作的核心基础

在进入案例前,先理清Pandas分组操作的三层逻辑：

# 标准分组语法
df.groupby(by=[分组列])[聚合列].聚合函数()

关键参数解析：

by：可以是单列名、多列名列表、Series或自定义函数
as_index：默认为True，分组列会变为索引；设为False则保留为普通列
group_keys：控制是否在apply时保留分组键信息

四种常用聚合模式对比：

模式	代码示例	适用场景
单列单函数	`df.groupby('A')['B'].sum()`	简单汇总
多列多函数	`df.groupby('A')['B','C'].agg(['sum','mean'])`	多维度指标
命名聚合	`df.groupby('A').agg(new_col=('B','sum'))`	自定义列名
分组变换	`df.groupby('A')['B'].transform('mean')`	保留原行数

注意：groupby 返回的是惰性对象，只有调用聚合函数（如sum、mean、agg）或转换函数（transform）时才会真正计算。

实战案例一：电商销售数据按月份/地区分组存档

场景描述

某电商平台有2024年全年订单数据,包含字段：order_id, date, region, product, amount, quantity，需求：按月份和地区分组，计算每个组的总销售额、订单数、平均客单价，并分别存入以 {year}_{month}_{region}.csv 命名的文件中。

完整代码实现

import pandas as pd
import os
from datetime import datetime
# 模拟数据生成
data = pd.DataFrame({
    'order_id': range(1, 1001),
    'date': pd.date_range('2024-01-01', periods=1000, freq='D'),
    'region': np.random.choice(['North', 'South', 'East', 'West'], 1000),
    'amount': np.random.uniform(50, 500, 1000).round(2),
    'quantity': np.random.randint(1, 10, 1000)
})
# 提取月份信息
data['year_month'] = data['date'].dt.to_period('M')
# 分组聚合
grouped = data.groupby(['year_month', 'region']).agg(
    total_sales=('amount', 'sum'),
    order_count=('order_id', 'count'),
    avg_order_value=('amount', 'mean')
).reset_index()
# 批量存档为独立CSV文件
output_dir = 'reports/monthly_region'
os.makedirs(output_dir, exist_ok=True)
for (ym, region), grp in grouped.groupby(['year_month', 'region']):
    # 安全处理文件名中的特殊字符
    safe_ym = str(ym).replace('-', '_')
    filename = f"{safe_ym}_{region}.csv"
    grp.to_csv(os.path.join(output_dir, filename), index=False)
print(f"成功生成 {len(os.listdir(output_dir))} 个分组文件")

关键技巧：

使用 dt.to_period('M') 精准提取月份周期对象，避免字符串处理错误
分组后再用 groupby 进行二次分组遍历，实现每个子组独立保存
文件名中避免空格和特殊字符,使用下划线分隔

优化建议

如果数据量很大（超过100万行），建议使用 joblib 或 multiprocessing 并行处理分组写入。

实战案例二：用户行为数据按生命周期分组与聚合

场景描述

用户行为日志表包含：user_id, event_time, event_type, page, duration，需要将用户按注册周数（生命周期）分组，计算每周的活跃用户数、平均会话时长、最常访问页面TOP3，并将结果存入单个Excel的多张Sheet中。

核心代码片段

# 假设已有注册日期字段 'reg_date'
data['user_lifecycle_week'] = ((data['event_time'] - data['reg_date']).dt.days // 7).astype(int)
# 分组并计算多个指标
def top3_pages(series):
    return series.value_counts().head(3).index.tolist()
lifecycle_stats = data.groupby('user_lifecycle_week').agg(
    active_users=('user_id', 'nunique'),
    avg_session_duration=('duration', 'mean'),
    top_pages=('page', top3_pages)  # 自定义聚合函数
)
# 存档为Excel多Sheet
with pd.ExcelWriter('lifecycle_report.xlsx') as writer:
    # 主表
    lifecycle_stats.to_excel(writer, sheet_name='总体统计')
    # 每个生命周期周单独一个Sheet
    for week, grp in data.groupby('user_lifecycle_week'):
        grp.to_excel(writer, sheet_name=f'week_{week}', index=False)

有价值洞察：当用户生命周期超过52周时，建议按月份合并周数，避免Sheet过多导致Excel打开缓慢。

实战案例三：金融数据按时间窗口分组与多指标统计

场景描述

金融交易数据包含：trade_date, stock_code, open, high, low, close, volume，需求：按股票代码+周度日期分组，计算每周的OHLC（开盘、最高、最低、收盘）和成交量加权平均价（VWAP），并生成季度存档ZIP包。

实现方案

# 设置日期为索引以便重采样
data = data.set_index('trade_date')
# 按股票代码分组后，对每组进行周度重采样
weekly_agg = data.groupby('stock_code').resample('W').agg({
    'open': 'first',
    'high': 'max',
    'low': 'min',
    'close': 'last',
    'volume': 'sum',
    # 计算VWAP = 成交额总和/成交量总和
})
# 计算VWAP（需要先计算成交额）
data['turnover'] = data['close'] * data['volume']
weekly_vwap = data.groupby('stock_code').resample('W').apply(
    lambda x: pd.Series({
        'vwap': (x['turnover'].sum() / x['volume'].sum()).round(2)
    })
)
# 合并并生成季度ZIP
import zipfile
with zipfile.ZipFile('quarterly_data.zip', 'w') as zf:
    for (stock, quarter), grp in weekly_agg.groupby(['stock_code', pd.Grouper(freq='Q')]):
        csv_data = grp.to_csv()
        zf.writestr(f'{stock}_{quarter.strftime("%YQ%q")}.csv', csv_data)

技术要点：

resample('W') 比手动计算周号更简洁且能正确处理年末跨周
金融数据分组常用 O标签（开盘价）、HLC等缩写，保持行业规范
使用ZIP打包可大幅减少文件数量,便于邮件发送

分组后数据存档的多种格式与最佳实践

格式选型对比

存储格式	适用场景	优缺点
CSV	通用分享、小规模数据	兼容性好，但无数据类型支持，大文件慢
Excel多Sheet	业务报告、需人工查看	支持多表，但单文件上限约100万行
Parquet	大数据量、分析流水线	列式存储，压缩率高，读写快
Feather	中间结果、Python环境内	超高速读写，但跨语言支持弱
SQLite/数据库	长期存储、多用户查询	支持复杂查询，但需要额外依赖

推荐的最佳存档策略：

小数据量（<10万行/组） → CSV + ZIP压缩包
中等数据量（10万-100万行） → Excel多Sheet（每个Sheet一个分组）
大数据量（>100万行） → 拆分后存为Parquet目录（如 output/{group}/data.parquet）

自动归档流水线代码模板

def group_and_archive(df, group_cols, output_base, format='csv'):
    """通用分组存档函数"""
    grouped = df.groupby(group_cols)
    for keys, grp in grouped:
        if not isinstance(keys, tuple):
            keys = (keys,)
        safe_filename = '_'.join(str(k).replace('/', '_') for k in keys)
        filepath = os.path.join(output_base, f'{safe_filename}.{format}')
        if format == 'csv':
            grp.to_csv(filepath, index=False)
        elif format == 'parquet':
            grp.to_parquet(filepath, index=False)
    print(f"存档完成，共 {len(grouped)} 个分组")