Follow

近日,火爆全网的 ChatGPT,仿佛开启了第四次工业革命,将微软、谷歌等全球科技巨头打得措手不及,引得各路玩家纷纷入局,抢占赛道。

GitHub 知名深度学习项目 Colossal-AI 也火速跟进,成功做出了首个开源低成本复现 ChatGPT 完整流程!

此次开源亮点包括:

- 开源完整基于 PyTorch 的 ChatGPT 复现流程,涵盖全部 3 个阶段,可实现从预训练模型到 ChatGPT 的蜕变;

- 体验最小 demo 训练流程最低仅需 1.62GB 显存,任意单张消费级 GPU 即可满足;

- 相比原生 PyTorch,最高可提升单机训练速度 7.73 倍,一行代码即可使用;

- 支持从 Hugging Face 导入 OPT,GPT-3,BLOOM 等多种预训练大模型;

目前,相关代码已开源至 GitHub,感兴趣的同学可以看下。

GitHub: github.com/hpcaitech/ColossalA

另外,项目还有提供完整的中文教程,进一步降低学习门槛,让大家能更快上手开发。

:icon_weibo: weibo.com/5722964389/MtamTvpXa

Sign in to participate in the conversation
小森林

每个人都有属于自己的一片森林,也许我们从来不曾走过,但它一直在那里,总会在那里。迷失的人迷失了,相逢的人会再相逢。愿这里,成为属于你的小森林。