又在 GitHub 上发现一份从零开始构建 LLM 的开源教程:tiny-llm。
基于 MLX 实现,教授了如何在 Mac 电脑上一步步构建出一个大模型,整个教程不使用复杂的高级接口,而是从最基础的教学运算开始讲解。
GitHub: https://github.com/skyzh/tiny-llm
主要内容:
- 三周学习计划:从简单的 Python 代码到复杂的性能优化;
- 手把手实现大语言模型的核心组件:注意力机制、位置编码等;
- 详细解释每个组件背后的原理,附有大量参考资料;
- 以主流的 Qwen2 模型为例,帮助我们理解大模型是如何工作的;
- 适合想了解 AI 底层技术的技术爱好者和工程师。
教程适合在 Mac电脑上学习,面向想了解 AI 底层技术的系统工程师和开发者。