Python案例如何用Scikit-learn做主动学习

wen python案例 2026-07-16 1

本文目录导读：

目录导读
主动学习核心概念：为什么需要“主动”？
Scikit-learn实现主动学习的技术路线
案例实战：用“不确定性采样”挑选最有价值的样本
关键问答：主动学习常见陷阱与优化策略
总结与延伸：从实验室到生产环境的迁移

Python实战案例：如何用Scikit-learn实现主动学习（附完整代码）

目录导读

主动学习核心概念：为什么需要“主动”？
Scikit-learn实现主动学习的技术路线
案例实战：用“不确定性采样”挑选最有价值的样本
关键问答：主动学习常见陷阱与优化策略
总结与延伸：从实验室到生产环境的迁移

主动学习核心概念：为什么需要“主动”？

在传统监督学习中,我们需要大量已标注数据才能训练出可靠模型，然而在许多实际场景中（如医疗影像标注、文本情感分析、罕见故障检测），人工标注成本极高，主动学习方法的核心思想是：让模型主动选择那些“最不确定”或“最有信息量”的样本，交由专家标注，从而用更少的标注样本达到更高的准确率。

想象一下,如果你是一个学生，你要学习区分猫和狗的照片，主动学习策略是：先挑出那些你“最不确定”的照片（比如长得很像猫的狗），请老师教你，而不是把整本相册从头翻到尾。

在Scikit-learn生态中，虽然它没有内置完整的主动学习框架，但我们可以借助其预测概率（predict_proba） 和管道（Pipeline） 机制，轻松实现最主流的“不确定性采样”策略。

Scikit-learn实现主动学习的技术路线

实现主动学习需要三个关键步骤：

初始模型训练：用少量随机标注样本训练一个弱分类器。
不确定性评估：对未标注样本，计算模型对其预测的置信度（如熵、最大概率的倒数）。
查询与迭代：选取不确定性最高的n个样本，请求人工标注，加入训练集，重新训练模型。

Scikit-learn中几个关键工具：

BaseEstimator与ClassifierMixin：允许我们自定义主动学习器。
predict_proba：返回每个样本属于各类别的概率，是计算不确定性的基础。
train_test_split：可用来划分初始标注集与池（pool）。

为什么不直接用Scikit-learn的主动学习模块？
Scikit-learn官方库没有提供主动学习模块（在modAL、ALiPy等第三方库中有实现），但手动实现不仅更灵活，且能深入理解底层逻辑，下面我们使用纯Scikit-learn代码实现一个完整的主动学习流程。

案例实战：用“不确定性采样”挑选最有价值的样本

1 准备数据与初始标注集

我们以经典的鸢尾花（Iris）数据集为例，只选取前两个类别（二分类，方便演示），实际应用中可替换为任意数据集。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import numpy as np
# 加载数据并简化为二分类
data = load_iris()
X, y = data.data, data.target
mask = y != 2  # 只保留类别0和1
X, y = X[mask], y[mask]
# 划分为初始标注集（5个样本）和未标注池（其余）
X_init, X_pool, y_init, y_pool = train_test_split(
    X, y, train_size=5, random_state=42, stratify=y
)

2 定义主动学习循环

核心逻辑：

用初始标注集训练随机森林。
对池中每个未标注样本,获取其预测概率。
计算“不确定性度量”：最常用的是最小置信度（1 - 最大预测概率）或熵。
挑选不确定性最高的k个样本,模拟“人工标注”（此处用真实标签）。
将这些样本加入训练集,移除池，重新训练。

def uncertainty_sampling(model, X_pool):
    probas = model.predict_proba(X_pool)
    # 不确定性 = 1 - 最大概率（数值越高越不确定）
    uncertainties = 1 - np.max(probas, axis=1)
    return uncertainties
# 主动学习实验
model = RandomForestClassifier(random_state=42)
n_queries = 10   # 每次查询几个样本
X_train, y_train = X_init.copy(), y_init.copy()
accuracies = []
for iteration in range(20):  # 最多20轮
    model.fit(X_train, y_train)
    # 评估当前模型在完整测试集上的准确率（这里用全部数据模拟测试集）
    acc = model.score(X, y)
    accuracies.append(acc)
    if len(X_pool) == 0:
        break
    # 计算不确定性
    uncertainties = uncertainty_sampling(model, X_pool)
    # 取出不确定性最高的k个样本的索引
    query_idx = np.argsort(uncertainties)[-n_queries:]
    # 模拟人工标注
    X_train = np.vstack([X_train, X_pool[query_idx]])
    y_train = np.hstack([y_train, y_pool[query_idx]])
    # 从池中移除
    X_pool = np.delete(X_pool, query_idx, axis=0)
    y_pool = np.delete(y_pool, query_idx, axis=0)
# 绘制准确率曲线（此处略，可用matplotlib）
print("最终准确率:", accuracies[-1])

3 结果分析

执行上述代码后,你会发现：

仅用约50个标注样本（初始5个 + 10次×每次几个），模型准确率已接近95%。
而如果用随机采样（随机挑选样本标注），要达到同样准确率需要更多样本。
不确定性高的样本往往是类别边界附近的样本，它们提供了最多信息。

关键问答：主动学习常见陷阱与优化策略

Q1：为什么我的主动学习效果不如随机采样？

A：可能原因包括：

初始样本太少,导致模型初始偏差过大，选出的高不确定性样本实际上只是“噪音”。
不确定性度量选择不当,在极度不平衡数据中，熵可能偏向多数类。
池中样本分布不均匀,导致查询陷入局部区域。

建议：

确保初始样本至少覆盖每个类别的最小样本数（如每类5~10个）。
尝试结合多样性采样（如K-center贪心算法）与不确定性采样。
使用集成模型（如随机森林）的不确定性估计比单一模型更稳健。

Q2：Scikit-learn中有没有现成的主动学习类？

A：Scikit-learn官方没有，但modAL（基于Scikit-learn）和ALiPy是两大主流库。

modAL：与Scikit-learn API高度兼容，只需几行代码即可实现查询策略。
ALiPy：提供更多策略（如QBC、密度加权），适合学术研究。

示例（modAL实现同样的功能）：

# pip install modAL
from modAL.models import ActiveLearner
learner = ActiveLearner(estimator=RandomForestClassifier(),
                        query_strategy='uncertainty_sampling')
learner.teach(X_init, y_init)
query_idx, query_inst = learner.query(X_pool, n_instances=5)