教你从零开始构建类 ChatGPT 的大语言模型。
在 GitHub 上发现一本《Large Language Model》书籍中文版。
作者将带你从头开始构建一个类似 GPT 语言模型,这过程让你了解如何创建、训练和微调大型语言模型 (LLMs)!
GitHub: https://github.com/MLNLP-World/LLMs-from-scratch-CN
书籍主要分为 8 大章节,如下:
第 1 章:了解大语言模型(LLM)解析
第 2 章:介绍文本数据处理技巧
第 3 章:通过编程实现注意力机制(Attention Mechanisms)
第 4 章:从零开始实现类似 GPT 模型
第 5 章:对未标注数据进行预训练
第 6 章:针对文本分类的模型微调
第 7 章:结合人类反馈进行模型微调
第 8 章:在实践中使用大语言模型