Python案例如何用Scikit-learn做特征选择

wen python案例 2026-07-16 1

Python案例详解Scikit-learn实战技巧

目录导读

为什么特征选择是机器学习的关键步骤？
特征选择的核心方法分类
基于Scikit-learn的四个经典案例
- 方差阈值法过滤低方差特征
- 卡方检验与互信息法筛选分类特征
- 递归特征消除（RFE）的精度驱动选择
- 基于模型的特征重要性排序（SelectFromModel）
高频问题解答（FAQ）
总结与最佳实践建议

为什么特征选择是机器学习的关键步骤？

在真实的数据科学项目中，我们常面临“维度灾难”——特征数量远大于样本数量，或存在大量冗余、噪声特征，某电商用户行为数据包含2000+特征，但有效特征不足50个，如果不做特征选择，模型不仅训练缓慢，还会过拟合,泛化能力极差。

Python案例如何用Scikit-learn做特征选择

特征选择的价值体现在三个方面：

提升模型性能：剔除无关特征，减少噪声干扰，直接提高准确率。
降低计算成本：减少特征数量可缩短训练时间，尤其适用于大型数据集。
增强可解释性：保留关键特征,便于业务理解和模型部署。

Scikit-learn作为Python最常用的机器学习库，提供了从单变量筛选到多变量包装法的完整工具链，可覆盖90%以上的特征选择场景。

特征选择的核心方法分类

Scikit-learn主要支持三类方法：

方法类型	原理	典型函数
过滤法（Filter）	基于统计指标独立评估每个特征	`VarianceThreshold`, `SelectKBest`
包装法（Wrapper）	通过模型性能搜索最佳特征子集	`RFE`, `RFEcv`
嵌入法（Embedded）	在模型训练中自动学习特征权重	`SelectFromModel`, `Lasso`

选择建议：数据量小时用过滤法快速初筛；需要高精度时用包装法；大型数据集推荐嵌入法,如基于树模型的重要性排序。

基于Scikit-learn的四个经典案例

方差阈值法过滤低方差特征

场景：某分类数据集有500个特征，其中30%的特征在所有样本中取值几乎相同（如常数或接近常数）,这些特征对分类毫无贡献。

代码实现：

from sklearn.feature_selection import VarianceThreshold
import numpy as np
# 模拟数据：100个样本，5个特征，其中第3个特征方差为0（全1）
X = np.random.randn(100, 5)
X[:, 2] = 1  # 插入无方差特征
# 设置方差阈值，默认0表示剔除方差为0的特征
selector = VarianceThreshold(threshold=0)
X_selected = selector.fit_transform(X)
print(f"原始特征数: {X.shape[1]}")  # 5
print(f"筛选后特征数: {X_selected.shape[1]}")  # 4

追问：如何在大数据集中动态确定阈值？
解答：建议将阈值设置为特征方差中位数的百分位值，threshold=np.median(VarianceThreshold().fit(X).variances_),保留方差大于中位数的特征。

卡方检验与互信息法筛选分类特征

场景：文本分类任务中，需要从20000个词频特征中筛选出最相关的1000个特征,适用于二分类或多分类问题。

卡方检验核心逻辑：衡量特征与目标类的独立性，卡方值越高，表明特征与类别相关性越强。
互信息优势：能捕捉非线性关系,对连续目标变量也有效。

代码实现：

from sklearn.feature_selection import chi2, mutual_info_classif, SelectKBest
from sklearn.datasets import load_digits
import pandas as pd
data = load_digits()
X, y = data.data, data.target  # 64个像素特征，10类手写数字
# 方法1：卡方检验筛选前20个特征
chi2_selector = SelectKBest(chi2, k=20).fit(X, y)
X_chi2 = chi2_selector.transform(X)
# 方法2：互信息筛选（需指定随机种子以保结果一致）
mi_selector = SelectKBest(lambda X, y: mutual_info_classif(X, y, random_state=42), k=20)
X_mi = mi_selector.fit_transform(X, y)
print("卡方检验选中的特征索引:", chi2_selector.get_support(indices=True)[:5])

追问：卡方检验和互信息哪个更好？
解答：

卡方检验速度快，只适用于非负计数特征（如词频）。
互信息更通用，可处理连续特征和负值，但计算成本高，建议：文本数据用卡方,其他场景用互信息。

递归特征消除（RFE）的精度驱动选择

场景：医疗诊断模型有50个生物标记特征，需找出最关键的10个特征，使模型AUC保持0.95以上。

原理：以逻辑回归或SVM作为基模型，每次剔除特征重要性最低的特征,逐步递归直到指定特征数。

代码实现：

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
X, y = load_digits(return_X_y=True)
# 使用逻辑回归作为基模型，目标保留20个特征
estimator = LogisticRegression(max_iter=1000, random_state=42)
selector = RFE(estimator, n_features_to_select=20, step=1)
selector.fit(X, y)
# 查看模型性能
selected_X = selector.transform(X)
scores = cross_val_score(LogisticRegression(max_iter=1000), selected_X, y, cv=5)
print(f"RFE筛选后交叉验证准确率: {scores.mean():.3f}")
# 查看被选中的特征排名
print("特征排名（1表示最优）:", selector.ranking_[:10])

追问：RFE耗时太长怎么优化？
解答：

设置 step=5 一次剔除多个特征。
改用 RFECV，它会自动通过交叉验证选择最优特征数，避免手动指定k值。
选择更简单的基模型（如决策树代替随机森林）。

基于模型的特征重要性排序（SelectFromModel）

场景：工业传感器数据有1000个特征，需要自动筛选出对回归预测（如设备寿命）最有效的特征子集。

优势：嵌入法利用模型训练时自动计算的权重（如树模型的featureimportances，Lasso的系数绝对值）,效率高且结果可靠。

代码实现：

from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import make_regression
X, y = make_regression(n_samples=200, n_features=50, n_informative=10, random_state=42)
# 使用随机森林回归器，依据重要性阈值中位数筛选
rf = RandomForestRegressor(n_estimators=100, random_state=42)
selector = SelectFromModel(rf, threshold="median", max_features=20)
selector.fit(X, y)
# 筛选后的特征数量
print(f"筛选后特征数: {selector.transform(X).shape[1]}")  # 通常接近26个（中位数以上）
# 显示重要特征
important_idx = selector.get_support(indices=True)
print(f"重要特征索引: {important_idx[:10]}")

追问：如何确保筛选的特征对模型有效？
解答：