Follow
仅用 1000 行代码训练出 GPT-2！
前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 开源了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目 llm.c。
GitHub: https://github.com/karpathy/llm.c
旨在让 LLM 训练变得简单，使用的是纯 C 语言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython，还附上了如何处理 LayerNorm 的教程。
项目开源三天就狂揽 11.2k Star！足够说明牛逼！感兴趣的可以研究学习下。
