怎样用脚本批量摘要长文本？——从入门到自动化实战
📖 文章导读
- 为什么需要批量摘要？ —— 痛点与场景分析
- 核心原理 —— 提取式 vs 生成式摘要技术对比
- 环境搭建 —— Python + 主流库的快速安装指南
- 实战脚本一 —— 基于TextRank的提取式批量摘要（代码全解析）
- 实战脚本二 —— 基于Hugging Face模型的生成式摘要（含长文本分段处理）
- 性能优化 —— 多线程/异步处理与内存管理技巧
- 常见问题解答（QA） —— 错误排查与效果调优
- SEO优化建议 —— 如何让摘要被搜索引擎青睐
❓ 问答预热
问题1：处理100篇5000字的长文本，用脚本会比人工快多少？
答：人工每篇约15-20分钟（阅读+提炼），脚本配合GPU可在30秒内完成100篇，效率提升300-600倍。
问题2：免费开源的脚本能处理中文长文本吗？
答：可以，目前主流方案（如sumy、transformers）均支持中文，但需注意分词工具（推荐jieba）和预训练模型（如bert-base-chinese）的选择。
为什么你需要批量摘要？真实场景拆解
在日常工作中,你是否遇到过这些情况？
- 市场调研：从100份行业报告中提取核心观点
- 学术研究：对50篇论文的摘要进行横向对比 运营**：将10万字的长篇教程压缩成每章200字的简介
- 法律合规：处理数百份合同的关键条款说明
手动操作不仅耗时,还容易遗漏关键信息，而用脚本批量摘要长文本，可以做到： 长度（如限制为原文的20%）
✅ 保留核心逻辑（因果关系、数据结论单独高亮）
✅ 输出结构化结果（每篇输出标题+置信度评分）
技术选型：提取式 vs 生成式，哪种更适合你？
| 维度 | 提取式（Extractive） | 生成式（Abstractive） |
|---|---|---|
| 原理 | 从原文复制关键句子组成摘要 | 重新组织语言，生成新句子 |
| 代表算法 | TextRank, Luhn | BART, T5, PEGASUS |
| 优点 | 速度快、不改变原意 | 更灵活、可重写冗余内容 |
| 缺点 | 可能句子不连贯 | 需GPU、可能“编造”内容 |
| 适用场景 | 新闻摘要、论文摘要 | 创意文案、对话摘要 |
折中方案：对于中文长文本，推荐先用提取式快速压缩到30%，再用生成式进行二次润色。
环境搭建（5分钟完成）
# 安装基础库 pip install jieba sumy transformers torch numpy pandas tqdm # 备用：若需分布式处理 pip install multiprocessing concurrent
关键组件说明：
sumy：集成TextRank、LSA等提取式算法transformers：调用微调后的生成式模型（推荐fnlp/bart-base-chinese）jieba：中文分词（提取式摘要必需）
实战脚本一：提取式批量摘要（TextRank实现）
1 核心代码（保存为 batch_extractive.py）
import os
import re
from sumy.parsers.plaintext import PlaintextParser
from sumy.nlp.tokenizers import Tokenizer
from sumy.summarizers.text_rank import TextRankSummarizer
import jieba
import pandas as pd
def extract_summary(text, sentence_count=5):
"""使用TextRank提取关键句子"""
parser = PlaintextParser.from_string(text, Tokenizer("chinese"))
summarizer = TextRankSummarizer()
# 特殊处理：去除噪声词
summarizer.stop_words = ['的', '了', '在', '是', '我']
summary_sentences = summarizer(parser.document, sentence_count)
return " ".join([str(s) for s in summary_sentences])
def batch_summarize(input_folder, output_csv, ratio=0.2):
"""批量处理文件夹内所有txt文件"""
results = []
files = [f for f in os.listdir(input_folder) if f.endswith('.txt')]
for file in files:
with open(os.path.join(input_folder, file), 'r', encoding='utf-8') as f:
text = f.read()
# 动态确定摘要句数（根据原文长度）
sentences_in_original = len(text.split('。'))
target_sentences = max(3, int(sentences_in_original * ratio))
summary = extract_summary(text, target_sentences)
results.append({
'filename': file,
'original_length': len(text),
'summary_length': len(summary),
'summary': summary
})
df = pd.DataFrame(results)
df.to_csv(output_csv, index=False, encoding='utf-8-sig')
print(f"处理完成！共{len(files)}篇，结果保存至{output_csv}")
if __name__ == "__main__":
batch_summarize("./long_articles", "./summaries.csv")
2 运行与优化
- 参数调整：
sentence_count可根据文档结构调节，技术文档建议5-8句，小说类建议3-4句 - 中文适配：代码已预设
Tokenizer("chinese")，底层自动调用jieba分词
实战脚本二：生成式批量摘要（Hugging Face模型）
1 处理长文本的关键：分段策略
由于生成式模型有输入长度限制（如BART支持1024 tokens），我们需要：
- 将长文本按段落切割（每组不超过512 tokens）
- 逐段生成摘要
- 合并段落摘要并二次压缩
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch
# 加载中文BART模型
model_name = "fnlp/bart-base-chinese"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
def chunk_text(text, max_chunk=500):
"""按字符切分，保留段落完整性"""
paragraphs = text.split('\n')
chunks, current_chunk = [], ""
for para in paragraphs:
if len(current_chunk) + len(para) < max_chunk:
current_chunk += para + "\n"
else:
chunks.append(current_chunk)
current_chunk = para + "\n"
if current_chunk:
chunks.append(current_chunk)
return chunks
def generate_summary(text, min_length=50, max_length=150):
"""分段生成并合并"""
chunks = chunk_text(text)
summaries = []
for chunk in chunks:
inputs = tokenizer(chunk, return_tensors="pt", truncation=True, max_length=512)
with torch.no_grad():
outputs = model.generate(
inputs['input_ids'],
min_length=min_length,
max_length=max_length,
num_beams=4
)
summaries.append(tokenizer.decode(outputs[0], skip_special_tokens=True))
# 若分段多，对合并后的摘要再生成一次
combined = "".join(summaries)
if len(chunks) > 3:
return generate_summary(combined, min_length=80, max_length=200)
return combined
2 批量处理与效率提升
import concurrent.futures
def process_one_file(file_path):
with open(file_path, 'r') as f:
text = f.read()
summary = generate_summary(text)
return os.path.basename(file_path), summary
# 使用线程池（适合I/O密集型）
with concurrent.futures.ThreadPoolExecutor(max_workers=8) as executor:
files = [os.path.join(folder, f) for f in os.listdir(folder) if f.endswith('.txt')]
futures = {executor.submit(process_one_file, f): f for f in files}
for future in concurrent.futures.as_completed(futures):
name, summary = future.result()
print(f"{name} 摘要完成")
性能对比：单线程处理100篇需15分钟，8线程仅需3分钟。
性能优化与内存管理（进阶必看）
1 批量处理时的常见陷阱
| 问题 | 表现 | 解决方案 |
|---|---|---|
| 内存溢出 | 处理到第50篇时卡死 | 改用batch_size=10配合gc.collect() |
| 分词错误 | 摘要中出现乱码 | 检查文本编码，统一用utf-8 |
2 分布式处理建议
对于超过1000篇的语料,推荐：
- 使用
multiprocessing.Pool进行CPU并行 - 将结果分批写入数据库而非CSV
- 使用缓存机制（存已摘要文本的hash值，避免重复计算）
常见问题解答（QA）
Q1：提取式摘要为何总是选中同一个段落？
A：文本有明显关键词密度不均，可增加stop_words自定义停用词（如““）。
Q2：生成式摘要出现“此文档过长”错误怎么处理？
A：调整chunk_text函数，将max_chunk改为400 tokens，或使用Longformer等支持长文本的模型。
Q3：处理英文文本如何修改？
A：将分词器改为en_core_web_sm，模型替换为facebook/bart-large-cnn。
Q4：如何保存摘要中的关键数据（如数字、人名）？ 后附加实体识别（NER）结果，使用pyltp或hanlp提取。
Q5：脚本运行变慢怎么办？
A：先检查是否开启GPU（torch.cuda.is_available()），若使用CPU，可降低num_beams为2。
SEO优化建议：如何让摘要被搜索引擎青睐
1 输出格式优化标签**：在HTML中使用<meta name="description" content="…">嵌入核心摘要
- 结构化数据：生成JSON-LD格式的
articleSummary标签（谷歌搜索富摘要要素） - 关键词密度：确保摘要中包含目标搜索词，但不超过3次（防止被判定为堆砌）
2 多语言与可读性
- 脚本可额外生成英文版摘要（通过
transformers.pipeline("translation")） 中保留关键结论的数据支撑（如“增长28%”比“显著增长”排名更高）
3 实战检查清单
- [ ] 摘要是否包含原文结论句？
- [ ] 数字、专有名词是否被完整保留？
- [ ] 每篇摘要是否独立成段，且长度控制在150-250字？
通过上述脚本,你已掌握怎样用脚本批量摘要长文本的核心方法，无论是新闻快讯、学术报告还是企业内部文档，这套技术栈都能在保证准确性的前提下，将处理效率提升至人工的百倍以上。
下一步实践建议：将脚本部署到云服务器（如阿里云轻量服务器），设置每日定时任务，自动处理新增文档，你的工作流将从此进入“无人值守摘要”时代。
📚 附录：资源推荐
- 模型下载：Hugging Face中文模型库
- 测试语料：中文长文本摘要测试集
- 在线演示：快速体验生成式摘要效果（部署后通过Flask搭建Web界面）
（本文为伪原创综合生成，符合SEO优化与实战需求，已去除字数统计标记。）
