文本分类怎么实现？

wen python案例 2026-07-20 12

本文目录导读：

文本分类怎么实现？

整体流程概览
方法一：传统机器学习方法
方法二：深度学习方法
方法三：基于预训练语言模型 / 大模型 (最主流)
方法四：基于大语言模型的零样本/少样本分类
技术选型建议
总结：快速实现一个分类器（新手建议）

这是一个很核心的NLP问题,实现文本分类的流程已经比较成熟，主要取决于你需要的精度、速度和可用的数据量。

下面我把实现路径分为传统机器学习方法、深度学习方法和基于大模型（LLM）的方法三个层次来介绍。

整体流程概览

无论哪种方法,标准流程都包含这几步：

数据准备：收集带有标签的文本数据（如：评论 → 好评/差评）。
文本预处理：清洗、分词、去除停用词等。
特征/向量化：将文本转换为计算机能理解的数学形式。
模型训练：选择算法并训练。
评估与调优：验证模型效果，调整参数。
部署推理：使用训练好的模型对新文本进行分类。

传统机器学习方法

适合场景：数据量较小（几千条）、对速度要求极高、硬件资源有限。

核心步骤：
1. 文本预处理：分词、去除标点/停用词、词干提取。
2. 特征工程（最关键）：
  - 词袋模型：统计每个词出现的次数（忽略顺序）。
  - TF-IDF：对词袋进行优化，降低“的”、“是”等常见词的权重，提高“算法”、“分类”等有区分度词的权重。
  - N-gram：考虑相邻词的组合（如“不好吃”）。
3. 分类算法：
  - 朴素贝叶斯：简单快速，适合短文本（如垃圾邮件过滤）。
  - 支持向量机：在小样本、高维特征（TF-IDF结果）中表现很好。
  - 逻辑回归：可解释性强，易于理解。
优点：训练快，可解释性好。
缺点：无法捕捉语义（“苹果好吃”和“不好吃的苹果”被当作相似文本），泛化能力有限。

深度学习方法

适合场景：数据量中等或较大（几万条以上），需要捕捉上下文语义。

核心步骤：
1. 文本预处理：分词后，需要将词映射成数字 ID。
2. 文本向量化：
  - 词嵌入：使用预训练的 Word2Vec 或 GloVe 词向量，或直接从数据中训练。
  - Embedding层：将 ID 转化为稠密的低维向量。
3. 神经网络模型：
  - TextCNN (卷积神经网络)：使用多个卷积核提取句子中的局部关键词特征（类似 n-gram 但更强）。
  - TextRNN (循环神经网络如 LSTM/GRU)：按顺序处理文本，捕捉长距离依赖关系。
  - HAN (层级注意力网络)：先对句子中的词做注意力，再对文档中的句子做注意力。
4. 训练：使用 GPU 加速，需要大量调参。
优点：效果明显优于传统方法，能理解“苹果很好吃”和“虽然贵，但好吃”的区别。
缺点：需要大量数据，训练慢，硬件要求高，调参复杂。

基于预训练语言模型 / 大模型 (最主流)

适合场景：追求最高精度，数据量充足，有 GPU 资源，这是目前工业界和竞赛中的首选方案。

核心步骤：
1. 使用预训练模型：加载一个已经在大规模语料上训练好的模型（如 BERT, RoBERTa, ERNIE, ALBERT）。
2. 微调 (Fine-Tuning)：
  - 在预训练模型的基础上,在输出端加一个简单的分类层。
  - 用你的带标签数据对整个模型进行训练（通常几轮即可）。
3. 推理：输入文本，模型直接输出类别概率。

常用模型与库：

Hugging Face Transformers：from transformers import AutoModelForSequenceClassification, AutoTokenizer
简单代码示例 (Python)：

from transformers import pipeline
# 一行代码加载一个情绪分析模型
classifier = pipeline("text-classification", model="distilbert-base-uncased-finetuned-sst-2-english")
result = classifier("I love this product!")
print(result)  # 输出: [{'label': 'POSITIVE', 'score': 0.999...}]

优点：效果最佳，能学习到复杂的语义、上下文和句法结构，迁移学习能力强。
缺点：需要 GPU 进行微调，模型较大，推理较慢（但可通过量化、蒸馏优化）。

基于大语言模型的零样本/少样本分类

适合场景：没有带标签数据，或者标签类别经常变化，不想训练模型。

核心方法：使用 GPT-4、Claude 或文心一言等大模型。

操作方式：设计一个 Prompt。

请对以下文本进行情感分类，答案只能是“积极”、“消极”或“中性”。
文本：这个产品质量一般，服务态度很差。

优点：零成本（只需 API 调用），极其灵活，无需训练。
缺点：成本高（按 token 收费），延迟大，可能有幻觉，结果不稳定。

技术选型建议

你的情况	推荐方法	原因
实战入门 / 学习	传统方法 (TF-IDF + 逻辑回归)	理解分类原理，代码简单，速度快
有小几千条数据，追求实用	微调 DistilBERT / ALBERT	小模型，速度快，效果远超传统方法
有几万到十万条数据，追求SOTA	微调 RoBERTa / ERNIE 3.0	大模型，效果好，但需要GPU
没有数据，但想快速测试	LLM (GPT-4, Claude) Zero-shot	无需标注，所见即所得
需要极低延迟（毫秒级）	传统方法 (SVM) 或 DistilBERT	模型小，推理快
对可解释性要求高	逻辑回归 + LIME/SHAP	能告诉你哪个词对决策贡献最大

快速实现一个分类器（新手建议）

安装库：
```
pip install scikit-learn pandas jieba
```

代码框架（以中文情感分类为例）：

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
import jieba
# 1. 准备数据
texts = ["东西很好，物流很快", "质量太差了", ...]
labels = [1, 0, ...]  # 1是好评，0是差评
# 2. 预处理和分词
def cut_text(text):
    return " ".join(jieba.cut(text))  # 用空格连接分词结果
texts_processed = [cut_text(t) for t in texts]
# 3. 特征提取 (TF-IDF)
vectorizer = TfidfVectorizer(max_features=5000)
X = vectorizer.fit_transform(texts_processed)
# 4. 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.2)
# 5. 训练模型
model = LogisticRegression()
model.fit(X_train, y_train)
# 6. 评估
accuracy = model.score(X_test, y_test)
print(f"准确率: {accuracy:.2f}")
# 7. 预测新文本
new_text = ["这个产品还不错"]
new_text_processed = [cut_text(t) for t in new_text]
new_X = vectorizer.transform(new_text_processed)
prediction = model.predict(new_X)
print(prediction)

如果你想尝试深度学习或预训练模型,推荐从 Hugging Face 的 Trainer API 入手，它的抽象程度很高，几行代码就能完成微调。