如何用脚本批量删除重复代码？

wen 实用脚本 2026-07-23 3

本文目录导读：

如何用脚本批量删除重复代码？

目录导读
为什么需要批量删除重复代码？
重复代码的常见类型与识别工具
编写脚本前的准备工作
基于 Python 的批量删除脚本实战
基于 Shell 脚本的快速去重方案
脚本执行后的验证与优化技巧
常见问题问答（Q&A）
总结与最佳实践

如何用脚本批量删除重复代码？高效清理冗余，提升项目可维护性

目录导读

为什么需要批量删除重复代码？
重复代码的常见类型与识别工具
编写脚本前的准备工作
基于 Python 的批量删除脚本实战
基于 Shell 脚本的快速去重方案
脚本执行后的验证与优化技巧
常见问题问答（Q&A）
总结与最佳实践

为什么需要批量删除重复代码？

在大型软件开发或长期维护的项目中,重复代码（Code Duplication）是最常见的“技术债务”之一，它不仅增加文件体积，还导致后续修改时需要同步多个位置，极易引入 Bug，据统计，一个中等规模的项目中，重复代码占比可能高达 10%-30%，手动查找和删除不仅耗时，而且容易遗漏。用脚本批量删除重复代码成为提升代码质量和团队协作效率的关键手段。

核心痛点：

维护成本飙升：修复一个逻辑需要改动 N 处。
代码可读性下降：冗余片段干扰理解。
CI/CD 流水线中重复检查工具（如 PMD、SonarQube）会警告。

重复代码的常见类型与识别工具

在编写删除脚本前,务必先理解重复代码的形态：

完全重复：完全相同的代码块（包括缩进与注释）。
近似重复：仅变量名不同，逻辑结构一致。
结构重复：类、函数或模块间的相似代码。

推荐前置工具（非强制，但可辅助定位）：

Simian（商业工具，支持多种语言）
PMD-CPD（开源，支持 Java、Python 等）
CloneDR（针对 C/C++/C# 等）
手动正则扫描：适用于小型脚本或特定模式。

脚本思路：基于哈希比较或逐行对比，识别并删除重复块，同时保留第一个出现位置。

编写脚本前的准备工作

备份整个项目：使用 git commit 或创建 .bak 目录，防止误删。
确定语言与格式：Python 文件需注意注释，Shell 文件注意与缩进差异。
排除模板或自动生成代码：如 node_modules/、vendor/、build/ 等目录。
选择脚本语言：推荐 Python（跨平台，库丰富）或 Shell（Linux 下简洁）。

基于 Python 的批量删除脚本实战

以下脚本 不依赖外部库，核心逻辑为：逐行读取文件，计算连续代码块（按空行或特定分隔符切分）的 SHA256 哈希，如果哈希已出现过则删除当前块，并记录删除行数。

#!/usr/bin/env python3
import os
import hashlib
def remove_duplicate_blocks(file_path, block_separator='\n\n'):
    with open(file_path, 'r', encoding='utf-8') as f:
        content = f.read()
    blocks = content.split(block_separator)
    seen = set()
    new_blocks = []
    removed_count = 0
    for block in blocks:
        block_stripped = block.strip()
        if not block_stripped:
            new_blocks.append(block)
            continue
        block_hash = hashlib.sha256(block_stripped.encode()).hexdigest()
        if block_hash not in seen:
            seen.add(block_hash)
            new_blocks.append(block)
        else:
            removed_count += 1
    new_content = block_separator.join(new_blocks)
    with open(file_path, 'w', encoding='utf-8') as f:
        f.write(new_content)
    return removed_count
def scan_directory(directory, extensions=['.py', '.java', '.js']):
    total_removed = 0
    for root, dirs, files in os.walk(directory):
        dirs[:] = [d for d in dirs if d not in ['venv', 'node_modules']]  # 排除目录
        for file in files:
            if any(file.endswith(ext) for ext in extensions):
                file_path = os.path.join(root, file)
                try:
                    removed = remove_duplicate_blocks(file_path, '\n\n')
                    if removed > 0:
                        print(f"[删除] {file_path}: 移除 {removed} 个重复块")
                    total_removed += removed
                except Exception as e:
                    print(f"[错误] {file_path}: {e}")
    print(f"\n总计删除了 {total_removed} 个重复代码块")
if __name__ == "__main__":
    scan_directory('.')  # 扫描当前目录所有 .py .java .js 文件

使用说明：

将脚本命名为 dedup_code.py，放置于项目根目录。
运行 python dedup_code.py。
脚本默认按双换行（两个 \n）分割代码块，可根据语言调整 block_separator。

优点：精确去重，保留注释与缩进。
不足：仅删除完全相同的块，无法处理变量重命名后的近似重复。

基于 Shell 脚本的快速去重方案

对于 Linux/macOS 用户，可用 awk 结合 shasum 实现更轻量的行级去重（注意：行级去重仅适用于重复单行，而非多行块）。

#!/bin/bash
# 去除文件中完全重复的行（保留第一次出现）
for file in $(find . -name "*.py" -not -path "./venv/*"); do
    cp "$file" "$file.bak"
    awk '!seen[$0]++' "$file.bak" > "$file"
    rm "$file.bak"
    echo "处理完成: $file"
done

注意：此脚本危险，会直接改写原文件，建议先在小范围测试，或使用 --in-place 参数替代。

脚本执行后的验证与优化技巧

验证步骤

版本对比：用 git diff 检查修改是否合理。
编译/语法检查：运行 python -m py_compile 或 javac 确保语法正确。
单元测试：执行原有测试套件，确保功能不变。
代码审查：人工抽查 5%-10% 的文件，确认没有误删。

优化技巧

分段删除：先处理小文件，再扩展。
忽略注释差异：预处理时先用正则移除注释再哈希。
黑名单机制：在脚本中增加 skip_dirs 和 skip_files 列表。
输出日志：将删除记录写入 dedup.log，便于回溯。

常见问题问答（Q&A）

Q1：脚本删除后，代码功能会改变吗？
A：如果只删除完全相同的块（包括注释），功能理论上不变，但建议删除后立即运行静态分析工具（如 pylint）和单元测试进行验证。

Q2：如何处理近似重复代码？
A：简单哈希无法解决，你可以用抽象语法树（AST）进行结构对比，ast 模块（Python）或 jscodeshift（JavaScript），更专业工具如 CloneDR 支持参数化匹配。

Q3：脚本误删了重要代码怎么办？
A：必须提前使用 Git 提交或备份！一旦误删，可 git checkout 恢复整个文件，建议在脚本开头自动创建 .bak 文件。

Q4：大量文件时脚本运行很慢，如何加速？
A：采用多进程并行处理（Python 的 multiprocessing.Pool），或改用 C++ 工具如 fastdup，也可先对文件按大小排序，优先处理小文件。

Q5：脚本只删除单行重复，如何删除多行重复块？
A：本文第 4 节的 Python 脚本已经实现了按空行分割快，更高级的做法是使用窗口滑动算法（如 Rabin-Karp 滚动哈希）检测任意长度的连续相同行。

Q6：对云服务（如代码仓库 CI/CD）有什么推荐方案？
A：可以在 CI 流程中加入 detect-duplicate 步骤，使用专业工具如 SonarQube 或开源 duplicate-finder，若不想改原始代码，可先输出报告，人工确认后再用脚本批量删除。

总结与最佳实践

用脚本批量删除重复代码的核心原则是：安全优先，增量执行，验证后合并。

对于简单场景：Python 块哈希脚本即可解决 80% 问题。
对于复杂场景：建议结合专业代码克隆检测工具生成报告，然后选择性删除。
长期策略：在团队内引入代码审查规范，强制要求抽离重复逻辑到公共函数或模块，从源头上减少重复代码的产生。

最后提醒：自动化删除只是“打补丁”，真正根治重复代码需要建立代码复用文化，将重复检测集成到 Git 提交钩子或 CI 流水线中，让每次提交都自动检查，才能让项目长期保持清爽。