Follow
GitHub 上较火的一个 AI 项目：MiniMind。
此开源项目旨在完全从 0 开始，仅用 3 块钱成本 + 2小时，即可训练出仅为 25.8M 的超小语言模型MiniMind。
GitHub: https:// 网页链接
模型系列极其轻量，最小版本体积是 GPT-3 的 1/7000，力求做到最普通的个人GPU也可快速训练。
项目同时开源了大模型的极简结构-包含拓展共享混合专家(MoE)、数据集清洗、预训练(Pretrain)、监督微调(SFT)、LoRA微调， 直接偏好强化学习(DPO)算法、模型蒸馏算法等全过程代码。
MiniMind 同时拓展了视觉多模态的 VLM: MiniMind-V。
项目所有核心算法代码均从 0 使用 PyTorch 原生重构！不依赖第三方库提供的抽象接口。
这不仅是大语言模型的全阶段开源复现，也是一个入门 LLM 的教程。 #AI创造营
