Follow
推荐 GitHub 上一个比较不错的 AI 大模型训练方案：DLRover。
可帮助大模型千卡训练有效时间占比超过 95%，实现训练时 “自动驾驶”，大大降低 AI 的研发成本，推动研发效率。
GitHub: https://github.com/intelligent-machine-learning/dlrover
除此之外，项目还有着以下特点：
- 容错性：分布式训练在发生故障时可以继续运行；
- Flash Checkpoint：分布式训练可以在几秒内从内存检查点恢复故障；
- 自动扩展：分布式训练可以扩展/缩减资源，以提高稳定性、吞吐量和资源利用率。
利用该项技术，可使大型 AI 模型的分布式训练变得简单、稳定、快速。帮助模型开发人员专注于模型架构，而无需关心硬件加速、分布式运行等任何工程内容。
