Follow
分享 GitHub 上一款云原生 GenAI 推理基础设施构建工具：AIBrix。
该工具提供企业级大型语言模型 (LLM) 推理部署、管理和扩展的完整解决方案，专为满足企业需求而设计。
GitHub: https://github.com/vllm-project/aibrix
主要特性：
- 高密度 LoRA 管理系统
- LLM 网关和路由功能
- 专为 LLM 应用定制的自动扩展器
- 统一 AI 运行时环境
- 分布式推理和 KV 缓存架构
- 智能混用不同 GPU 以降低运行成本
