Follow
分享一套关于如何对齐小型语言模型的使用教程：《a smol course》。
来自 HuggingFace 官方出品，涵盖了从基础知识到实际应用的全面内容，课程大纲如下：
- 指令调优（Instruction Tuning）：学习监督微调、聊天模板和基本指令遵循。
- 偏好调整（Preference Alignment）：探索 DPO 和 ORPO 技术，使模型与人类偏好保持一致。
- 参数高效的微调（Parameter-efficient Fine-tuning）：学习 LoRA、快速调优和高效适配方法。
- 评估（Evaluation）：使用自动基准测试并创建自定义域评估。
- 视觉语言模型（Vision-language Models）：适应视觉语言任务的多模态模型。
- 合成数据集（Synthetic Datasets）：创建并验证用于训练的合成数据集。
- 推理（Inference）：有效地推断模型。
- 顶点项目（Capstone Project）：使用所学知识攀登排行榜。
GitHub: https://github.com/huggingface/smol-course
课程基于 SmolLM2 系列模型教学，目前已更新到最后两节，适合希望将语言模型微调训练到特定领域的同学学习。
