Follow
GitHub 上一个开源的大模型推理系统：Energon-AI。仅需对现有项目进行极少量修改，即可完成自定义大模型的推理部署，获得并行扩展的超线性加速。
对于 AI 大模型分布式推理加速，相比英伟达 FasterTransformer 可提升 50% 以上。
GitHub: https://github.com/hpcaitech/ColossalAI
项目以 “高性能、高可用、可伸缩” 为理念，深入单实例多设备推理场景，在性能和易用性上兼具优势。
GitHub 上一个开源的大模型推理系统：Energon-AI。仅需对现有项目进行极少量修改，即可完成自定义大模型的推理部署，获得并行扩展的超线性加速。
对于 AI 大模型分布式推理加速，相比英伟达 FasterTransformer 可提升 50% 以上。
GitHub: https://github.com/hpcaitech/ColossalAI
项目以 “高性能、高可用、可伸缩” 为理念，深入单实例多设备推理场景，在性能和易用性上兼具优势。