Python案例如何用Pandas做数据索引去重

wen python案例 2026-07-15 1

Python案例：如何用Pandas做数据索引去重——从基础到实战

目录导读

引言：为什么数据索引去重如此重要？
基础准备：安装Pandas与数据加载
drop_duplicates() 直接去重（默认行为）
指定列去重与索引重置
基于索引标签的去重（~duplicated）
实战案例：电商交易数据清洗
高频问答（FAQ）
总结与最佳实践建议

引言：为什么数据索引去重如此重要？

在实际数据分析工作中,重复的索引或行数据是导致后续聚合、关联、统计失真的常见隐患，在金融交易记录、用户行为日志或传感器数据中，同一笔记录可能因网络重试或人工误操作被多插入一次，Pandas作为Python最核心的数据处理库，提供了多种高效的去重方案，本文将通过3个核心方法+1个完整案例，帮你彻底掌握索引去重。

Python案例如何用Pandas做数据索引去重

核心痛点场景：

合并多个CSV后出现重复行
从数据库导出时主键重复
时间序列数据中同一时间戳对应多条记录

基础准备：安装Pandas与数据加载

首先确保已安装Pandas（建议版本≥1.3.0）：

pip install pandas

构建一个包含重复索引的示例DataFrame：

import pandas as pd
# 注意：索引0和2重复，行数据也完全相同
data = {
    'ID': [101, 102, 101, 103, 104],
    'Name': ['Alice', 'Bob', 'Alice', 'David', 'Eve'],
    'Score': [85, 92, 85, 78, 95]
}
df = pd.DataFrame(data, index=[0, 1, 0, 3, 4])
print("原始数据：")
print(df)

输出：

    ID   Name  Score
0  101  Alice     85
1  102    Bob     92
0  101  Alice     85
3  103  David     78
4  104    Eve     95

方法一：`drop_duplicates()` 直接去重（默认行为）

语法：df.drop_duplicates(subset=None, keep='first', inplace=False)

subset：默认检查所有列，也可指定列名列表
keep：保留第一个（'first'）、最后一个（'last'）或全部删除（False）

案例：删除所有重复行（索引0和行数据完全一致）

df_clean = df.drop_duplicates()
print("去重后：")
print(df_clean)

输出：

    ID   Name  Score
0  101  Alice     85
1  102    Bob     92
3  103  David     78
4  104    Eve     95

注意：此方法默认依据行数据去重，而非索引，若需基于索引去重，需结合其他参数。

方法二：指定列去重与索引重置

若只关心部分列是否重复,可通过subset参数指定，只检查ID列是否重复：

df_id_unique = df.drop_duplicates(subset=['ID'], keep='first')
print("基于ID去重：")
print(df_id_unique)

输出（保留了第一个ID为101的行，删除了第二个）：

    ID   Name  Score
0  101  Alice     85
1  102    Bob     92
3  103  David     78
4  104    Eve     95

索引重置技巧：去重后索引可能不连续，使用reset_index(drop=True)重建索引：

df_reset = df_id_unique.reset_index(drop=True)
print("索引重置：")
print(df_reset)

输出：

   ID   Name  Score
0  101  Alice     85
1  102    Bob     92
2  103  David     78
3  104    Eve     95

方法三：基于索引标签的去重（`~duplicated`）

当我们需要直接删除重复的索引值（即使对应的行数据不同）时，可以用~df.index.duplicated()生成布尔掩码。

场景：索引0在数据中出现两次，但行数据可能不同（例如第一次是Alice，第二次是Bob），此时方法一失效，因为它比较的是整行数据。

# 构造索引重复但数据不同的DataFrame
data2 = {
    'A': [10, 20, 30, 40],
    'B': ['x', 'y', 'z', 'w']
}
df2 = pd.DataFrame(data2, index=[0, 1, 0, 2])
print("索引重复但行不同：")
print(df2)

输出：

使用duplicated去重：

mask = ~df2.index.duplicated(keep='first')
df2_unique = df2[mask]
print("基于索引去重后：")
print(df2_unique)

输出（仅保留索引第一次出现时的行）：

进阶：若想保留最后出现的记录，将keep改为'last'：

mask_last = ~df2.index.duplicated(keep='last')
df2_last = df2[mask_last]
print("保留最后出现：")
print(df2_last)

输出：

实战案例：电商交易数据清洗

假设电商平台导出的订单数据存在以下问题：

部分订单因系统重试被插入两次,且行数据完全相同
某些订单号（order_id）重复但时间戳不同（可能是误操作后补录）

模拟数据：

orders = {
    'order_id': [1001, 1002, 1001, 1003, 1004, 1002],
    'timestamp': ['2024-01-01 10:00', '2024-01-01 10:05', '2024-01-01 10:00', 
                  '2024-01-01 10:10', '2024-01-01 10:15', '2024-01-01 10:06'],
    'amount': [250.0, 180.0, 250.0, 320.0, 150.0, 180.0]
}
df_orders = pd.DataFrame(orders)
df_orders.index = df_orders['order_id']  # 设置索引为订单号
print("原始订单数据：")
print(df_orders.drop(columns='order_id'))  # 显示时不重复显示order_id列

清洗步骤：

删除完全重复行：drop_duplicates()
删除订单号重复的行：基于索引去重，保留最早的时间

# 第一步：删除完全重复
df_clean1 = df_orders.drop_duplicates()
# 第二步：基于索引去重，保留最早记录（timestamp最小）
mask_earliest = ~df_clean1.index.duplicated(keep='first')
df_final = df_clean1[mask_earliest].sort_index()
print("清洗后订单：")
print(df_final.drop(columns='order_id'))

输出：

          timestamp  amount
order_id                   
1001   2024-01-01 10:00   250.0
1002   2024-01-01 10:05   180.0
1003   2024-01-01 10:10   320.0
1004   2024-01-01 10:15   150.0

注意：实际场景中，应结合业务逻辑判断保留最早还是最晚的记录。