NCCL通信库 NCCL（NVIDIA Collective Communications Library，NVIDIA 集合通信库）是 NVIDIA 开发的一个专门用于多 GPU 和多节点之间高效通信的库，它专为深... wen 2026-07-02 32
AllReduce算法 这是一个关于AllReduce算法的全面解释，AllReduce是分布式计算和深度学习模型训练中最核心的通信模式之一，AllReduce的目的是：让集群中的每一个节点都拥有所有节点数据的“总和”（或其... wen 2026-07-02 30
RDMA在训练中 RDMA（Remote Direct Memory Access，远程直接内存访问）在深度学习训练中扮演着至关重要的角色，尤其是在大规模分布式训练场景下，它的核心作用是极大提升节点间的通信效率，从而缩... wen 2026-07-02 25
NVLink带宽 NVLink 的带宽取决于其代际（Generation）、物理配置（链路数量）以及具体的实现方式（如NVSwitch），截至2025年5月,主流的NVLink版本及其带宽如下：关键数据速览代际发布年份... wen 2026-07-02 35
检查点恢复时间 从理论到实践的全面指南目录导读什么是检查点恢复时间？检查点恢复时间的关键影响因素如何优化检查点恢复时间？常见问答（FAQ）总结与最佳实践什么是检查点恢复时间？检查点恢复时间（Checkpoint Re... wen 2026-07-02 30
InfiniBand与RoCE InfiniBand与RoCE深度对比：谁才是高性能网络与AI算力集群的未来？目录导读引言：高性能网络的时代背景InfiniBand深度解析：起源、架构与核心优势RoCE（RDMA over Conv... wen 2026-07-02 33
存储加速方案 “存储加速”是一个比较大的话题，涵盖了从硬件、软件到架构层面的多种技术，为了给你一个清晰且实用的方案，我会按照场景分类，从底层硬件到上层应用，给出目前业内主流的解决方案，核心原则存储加速的本质通常是解... wen 2026-07-02 29
断点续训机制 “断点续训”是深度学习和模型训练中非常实用的机制，它允许你暂停一段耗时很长的训练过程（比如因为断电、Out of Memory、或者只是下班了），并在之后从中断的地方重新开始,而不是从头再来，核心思想... wen 2026-07-02 34
超参数调优自动化 超参数调优自动化超参数调优自动化是机器学习工作流程中的关键环节,目的是通过算法自动找到最优的超参数组合，提高模型性能，减少人工试错成本，主要自动化调优方法网格搜索from sklearn.model_... wen 2026-07-02 31
训练稳定性Loss spikes 训练稳定性与Loss Spikes：深度学习模型调优的终极指南📚 目录导读引言：Loss Spikes是什么？为什么重要？Loss Spikes的常见原因深度剖析诊断Loss Spikes：从现象到根... wen 2026-07-02 31
