Follow
分享 GitHub 上一份教程《如何从零开始实现一个稀疏 MoE（混合专家）模型》。
从介绍 MoE 模型的基本组成，包括自注意力机制、MoE 块中的专家网络、Top-k 路由和噪声 Top-k 路由等。
再到逐步演示每个组件的代码实现，包括自注意力头、多头自注意力、专家模块、Top-k 路由器、噪声 Top-k 路由器以及完整的 MoE 变换器块。
文章地址: https://huggingface.co/blog/AviSoori1x/makemoe-from-scratch
GitHub: https://github.com/AviSoori1x/makeMoE
此外，作者还提供了模型的初始化方法、训练循环和生成文本的示例。
并强调了 MoE 模型在训练稳定性和效率方面的内容，如优化 MoE 模块的效率、尝试不同的神经网络初始化策略、从字符级到子词分词等。
