本文目录导读：
是的，QLoRA 微调所需的显存占用非常少，是目前在消费级显卡（如 RTX 3090/4090）上微调大模型的主流方法。
相较于传统的全参数微调（Full Fine-tuning）或 LoRA 微调，QLoRA 在显存占用上具有革命性的优势。
核心原因：量化（Quantization）
QLoRA 的全称是 Quantized LoRA，它通过 4-bit NormalFloat (NF4) 量化技术，将原本占用16比特（FP16/BF16）的模型权重压缩到4比特，这直接导致模型基座的显存占用减少了约 4倍。
显存占用对比（以微调 7B 模型为例，如 LLaMA-2-7B）
这是一个大致的估算，可以直观感受 QLoRA 的优势：
| 微调方法 | 模型权重加载方式 | 模型参数显存占用 | 梯度/优化器状态 (AdamW) | 激活值等开销 | 总显存约 | 典型显卡 |
|---|---|---|---|---|---|---|
| 全参数微调 | FP16 (16-bit) | ~14 GB (7B * 2 bytes) | ~14 GB (AdamW ~ 2x模型) | 依序列长度变化 | ~24-30 GB | 48 GB 以上 |
| LoRA 微调 | FP16 (16-bit) | ~14 GB (模型冻结) | ~< 0.5 GB (仅LoRA部分) | 依序列长度变化 | ~14-18 GB | 16-24 GB |
| QLoRA 微调 | 4-bit NF4 | ~3.5 GB (7B * 0.5 bytes) | ~< 0.5 GB (仅LoRA部分) | 依序列长度变化 | ~4-8 GB | 8-12 GB |
具体显存占用详解
模型权重 (Model Weights)：
- 普通微调：7B 模型用 FP16 加载需要 14 GB。
- QLoRA：7B 模型用 4-bit 量化加载仅需 5 GB。
梯度与优化器状态 (Gradients & Optimizer States)：
- QLoRA 的核心是冻结了原始的 4-bit 量化模型。只对额外插入的 LoRA 适配器参数计算梯度和更新。
- LoRA 参数通常只占原模型参数的 0.1% - 1%，所以这部分显存占用极低，通常不超过 5 GB。
激活值 (Activations)：
- 这部分是微调时显存的主要消耗者之一，与批量大小 (batch size) 和序列长度 (sequence length) 成正比。
- QLoRA 并不能减少激活值的占用，因为模型基座显存占用大大降低，你可以把释放出来的显存（约10GB）全部用来增大批量大小,从而提高训练效率。
典型的 QLoRA 微调显存案例
- 7B 模型 (如 LLaMA-2-7B, Mistral-7B)： 使用 QLoRA 在 8 GB (RTX 3070/4060) 显存的显卡上即可完成微调（搭配梯度累积，批量大小设为1或2）。
- 13B 模型： 通常可以在 12-16 GB 显存的显卡上运行。
- 70B 模型： 理论上可以在 48 GB (RTX A6000) 的单卡上微调，但速度较慢；24 GB (RTX 3090/4090) 单卡无法加载（需要模型并行或更大的量化压缩）。
需要注意的代价
虽然显存占用大幅降低，但 QLoRA 有以下主要代价：
- 训练速度较慢： 相比 FP16 的 LoRA 微调，QLoRA 需要额外的 量化/反量化 (dequantization) 操作，每次前向和反向传播，都需要将 4-bit 权重恢复为计算精度，这会引入显著的性能开销，通常速度会减慢 10% - 40%。
- 略微降低的精度： 4-bit 量化本质上是信息有损压缩，理论上，QLoRA 微调后的模型最终性能可能比标准的 LoRA 或全参数微调模型低 1-2 个百分点，但在实际应用中,很多场景下这个差距几乎不可察觉。
QLoRA 是显存受限情况下（<24GB）的最优解。 它让你能在消费级显卡上微调大模型,极大降低了微调的门槛。
如果你有以下情况，QLoRA 非常适合你：
- 显存不足：比如只有 8GB、12GB、16GB 显存。
- 尝试微调大模型：希望在单卡上处理 13B 甚至 70B 级别模型。
- 对速度要求不高：更关注“能不能跑”而不是“跑多快”。
如果你的显存充裕（如24GB以上），使用标准的 LoRA 微调（FP16/BF16） 通常会提供更快的速度和更好的最终性能。
