Fireworks 扩充专业智能榜：新增 31 家合作方的真实业务评测，按行业比效果和成本

选模型时，综合榜单上的名次经常帮不上忙：你要的是帮律所审合同、帮财务做模型的那一个，而不是「总分最高」的那一个。Fireworks 的 Specialized Intelligence Index（简称 SII）想补的正是这块，最近又一口气新增了 31 家合作方的评测。

让做业务的人来出题

SII 9 月 22 日上线时，只覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。按官网 10 月 28 日的更新，现在已有 66 个基准，横跨 14 个领域。这次新增的合作方包括 Zapier、Upwork、Grafana、Hebbia 等，评测题来自他们真实的业务场景，Harvey、Mercor、Sierra 等此前就已在榜。

Fireworks 的角色是统一执行：同一套服务配置、每个基准一套测试框架，跑开源、闭源和自家专用模型。基准本身由合作方设计，Fireworks 称自己不出题；合作方也能保留评测集，对外只公布分数。

不给总分，让你自己权衡

这个榜单最特别的地方，是故意不做总分。它不把各项名次平均，也不给质量、成本和耗时加权，只在每个基准和领域内分别列出得分、单任务成本和耗时，由读者自己决定取舍。官方也明说，它衡量的不是通用能力，不能替代综合榜单。

从榜上的数据，能看出不少门道。以 Hebbia 的金融服务基准为例，Claude Opus 5.5 以 74.6% 居首，单任务成本约 0.73 美元；开源的 DeepSeek V4.1 Flash 排第四，63.1%，成本约 0.08 美元。CyberGym 里，开源模型包揽前五，DeepSeek V4.1 Flash 以 95.36% 领先。在 Harvey 的法律基准 LAB 上，GLM 5.3 和 Kimi K3 两个开源模型排第二、第三，排在所有 OpenAI 和 Anthropic 模型前面。

看榜时要留一个心眼

SII 由推理平台 Fireworks 运营，榜单里也有它自家的 Ember-1 模型，客观地说，它既是裁判组织者，也是参与方之一。好在基准由第三方设计，每个基准标明了谁能复现，方法学也有版本记录。不少基准是合作方内部在用的，评测集通常不公开，外部能验证的程度有限。

对要落地 AI 的团队来说，更有用的做法是：先找到最接近自己业务的那个基准，再同时看分数和单任务成本，往往会发现「第二梯队、价格低一个量级」的选项更划算。榜单的数据也有 JSON 和 Markdown 版本，方便直接拉下来做自己的比较。