Python案例如何用Scikit-learn做梯度提升

wen python案例 2026-07-16 2

Python案例教你用Scikit-learn实现梯度提升（Gradient Boosting）

目录导读

梯度提升是什么？——核心原理五分钟读懂
环境准备：安装Scikit-learn与数据加载
用梯度提升做房价预测（回归任务）
信用卡欺诈检测（二分类任务）
超参数调优：让模型更精准的秘密
常见问答：梯度提升 vs 随机森林 vs XGBoost

梯度提升是什么？——核心原理五分钟读懂

梯度提升（Gradient Boosting）是一种集成学习算法，它通过逐步添加弱学习器（通常是决策树）来修正前一个模型的错误，想象一下你正在猜一个数字：第一个人猜80，你告诉他“低了20”，第二个人就猜100，再告诉他“高了5”，第三个人猜95……每一轮都在弥补上一轮的残差。

数学本质：梯度提升在每一轮迭代中，拟合的是损失函数关于当前模型预测值的负梯度方向，简单说，它不是在拟合原始数据，而是在拟合“错误”。

Scikit-learn中的实现：GradientBoostingRegressor（回归）和GradientBoostingClassifier（分类）是官方提供的成熟封装，API设计简洁，适合快速上手。

环境准备：安装Scikit-learn与数据加载

首先确保已经安装必要的库：

pip install scikit-learn pandas matplotlib numpy

我们将使用两个经典数据集：波士顿房价（回归）和信用卡欺诈（分类），注意：波士顿房价数据集在Scikit-learn 1.2版后已移除，这里使用sklearn自带的diabetes糖尿病数据集替代，其原理类似。

# 回归案例数据
from sklearn.datasets import load_diabetes
from sklearn.model_selection import train_test_split
data = load_diabetes()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

案例一：用梯度提升做房价预测（回归任务）

1 基础模型搭建

from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error, r2_score
# 使用默认参数
gbr = GradientBoostingRegressor(random_state=42)
gbr.fit(X_train, y_train)
y_pred = gbr.predict(X_test)
print(f"MSE: {mean_squared_error(y_test, y_pred):.2f}")
print(f"R2: {r2_score(y_test, y_pred):.2f}")

2 特征重要性分析

梯度提升模型天然支持特征重要性评估：

import matplotlib.pyplot as plt
import numpy as np
feature_importance = gbr.feature_importances_
sorted_idx = np.argsort(feature_importance)[::-1]
top_features = [data.feature_names[i] for i in sorted_idx[:5]]
plt.barh(top_features, feature_importance[sorted_idx[:5]])
plt.xlabel("重要性得分")"梯度提升特征重要性 Top5")
plt.show()

案例二：信用卡欺诈检测（二分类任务）

1 加载并处理不平衡数据

from sklearn.datasets import make_classification
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import classification_report, roc_auc_score
# 生成不平衡的二分类数据（模拟欺诈场景）
X, y = make_classification(n_samples=5000, n_features=20, 
                           weights=[0.95, 0.05], random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

2 训练与评估

gbc = GradientBoostingClassifier(n_estimators=100, max_depth=3, random_state=42)
gbc.fit(X_train, y_train)
y_pred = gbc.predict(X_test)
y_proba = gbc.predict_proba(X_test)[:, 1]
print(classification_report(y_test, y_pred))
print(f"AUC-ROC: {roc_auc_score(y_test, y_proba):.4f}")

重点：对于欺诈检测此类严重不平衡问题，建议关注召回率（Recall）和精确率（Precision），而非准确率（Accuracy）。

超参数调优：让模型更精准的秘密

梯度提升有4个关键参数：

参数	作用	建议范围
`n_estimators`	弱学习器数量	100~500（配合早停）
`learning_rate`	学习率，控制每棵树贡献	01~0.3
`max_depth`	单棵树最大深度	3~6（防止过拟合）
`subsample`	每轮随机采样比例	6~0.9

1 使用网格搜索自动调参

from sklearn.model_selection import GridSearchCV
param_grid = {
    'n_estimators': [100, 200],
    'learning_rate': [0.05, 0.1, 0.2],
    'max_depth': [3, 5],
    'subsample': [0.8, 1.0]
}
grid = GridSearchCV(GradientBoostingClassifier(random_state=42), 
                    param_grid, cv=5, scoring='roc_auc', n_jobs=-1)
grid.fit(X_train, y_train)
print(f"最佳参数组合: {grid.best_params_}")
print(f"最佳AUC: {grid.best_score_:.4f}")

2 早停法防止过拟合

gbc_early = GradientBoostingClassifier(
    n_estimators=500, 
    validation_fraction=0.1, 
    n_iter_no_change=10,
    random_state=42
)
gbc_early.fit(X_train, y_train)
print(f"实际使用树的数量: {gbc_early.n_estimators_}")