测试方法
统一环境：单张 4090（24G 显存）、vLLM 推理框架、4-bit 量化。题库共 40 题，覆盖中文营销文案、Python/SQL 代码生成、多步推理与三轮以上多轮对话四个维度，由三名标注员盲评打分（5 分制）。
横评结果（代表机型）
| 模型 | 中文写作 | 代码 | 推理 | 综合 |
|---|---|---|---|---|
| Qwen3-32B | 4.6 | 4.4 | 4.3 | 4.4 |
| DeepSeek-R1-Distill-32B | 4.1 | 4.6 | 4.7 | 4.5 |
| GLM-4-32B | 4.3 | 4.0 | 4.0 | 4.1 |
| Qwen3-14B | 4.2 | 3.9 | 3.8 | 4.0 |
| Llama-4-Scout（量化） | 3.2 | 3.8 | 3.9 | 3.6 |
| InternLM3-8B | 3.8 | 3.4 | 3.3 | 3.5 |
两个反直觉的发现：其一，14B 的 Qwen3 在中文写作上仅落后 32B 版本 0.4 分，但推理速度快 2.1 倍，对客服机器人这类场景性价比更高；其二，Llama 4 的中文短板在营销文案上暴露无遗，直接用于中文业务需额外微调。
部署成本测算
以月为单位：8B 级别（单卡 4090，月租约 1500 元）可支撑日 5 万次调用；32B 级别（双卡或 A100，月租 4500 元）支撑日 2 万次高质量调用。若日均调用低于 1 万次，直接调用 DeepSeek 官方 API（百万 token 约 2 元）通常更便宜。
选型建议
- 客服与内容生成：Qwen3-14B，速度与质量的最佳平衡点；
- 代码助手与数据分析：DeepSeek-R1-Distill-32B；
- 预算极受限：Qwen3-8B 或 InternLM3-8B，一张消费级显卡即可；
- 面向海外英文场景：再考虑 Llama 4。
结论：私有化部署的甜蜜点是"14B-32B 区间 + 中文场景"。低于日均 1 万次调用不要自建，直接买 API；超过 3 万次，自托管一个月就能省回显卡钱。