Follow
每次看到有新出的大模型都想部署使用，但往往需考虑自己电脑配置是否够用，别辛辛苦苦部署完推理速度确慢得像蜗牛一样，甚至不能用浪费精力与时间。
在此给大家推荐一款能直观预估大模型部署所需的硬件资源的工具：LLM Inference VRAM Calculator。
通过简单设置模型类型、量化精度、批处理大小等参数，就能实时计算出所需显存、生成速度和吞吐量，甚至能看到详细的内存分配情况和多 GPU 扩展性能。
在线使用：apxml.com/tools/vram-calculator
而且上面可选择的模型紧跟主流，包含最新的 Qwen3 系列模型。想要部署大模型又担心硬件不足的开发者可以先到这里预估参考看下。
