Kaggle 上线 ScarfBench:204 道企业 Java 框架迁移题,Gemini 4 Argon 领跑约 75.2%
IBM Research 与 Kaggle 推出 ScarfBench 公开榜:评测编程智能体在 Jakarta EE / Quarkus / Spring 之间做行为保持迁移,共 204 题;Gemini 4 Argon + Antigravity 冒烟分约 75.2%。
企业 Java 现代化最怕的不是「代码看起来像目标框架」,而是迁完之后编译过了、服务起不来,或者路由和业务行为悄悄变了。IBM Research 的 ScarfBench(Self-Contained Application Refactoring Benchmark)把这个问题做成了公开尺子:编程智能体能不能在 Jakarta EE、Quarkus 与 Spring 之间做跨框架迁移,同时保住可运行行为。
基准本身今年早些时候已由 IBM 放出;近日更关键的动作,是 IBM 与 Kaggle 联手把评测搬上可持续维护的公开榜单。Kaggle 参与了评测设计,在自有平台上独立复现并赞助算力,后续会随新模型持续更新。任务规模是 204 道有向迁移题,来自 34 个应用族(含聚焦单层样例与整应用),候选结果必须在目标运行时里编译、部署,并通过行为测试——只「能编过」不够。
最新一轮十组「模型 + 智能体脚手架」结果里,Gemini 4 Argon 搭配 Antigravity 以约 75.2% 的主指标冒烟分排第一;Claude Opus 5.5 + Claude Code 约 70.5%,Claude Opus 5 + Claude Code 约 69.8%。细看更有意思:冒烟分给部分通过和更大测试集更高权重,Argon 组合因此领先;但「全部测试通过」比例上,Opus 5.5 组合约 72.1%,略高于 Argon 的约 71.1%。编译成功率普遍很高,真正拉开差距的是运行时行为——丢失路由、HTTP 语义漂移、源框架接线残留,仍是主流翻车点。
对工具厂商和企业架构师来说,ScarfBench 的价值不在又一份排行榜截图,而在把「现代化智能体」从演示视频拉回可复现的工程验收。榜单顶部 75% 左右的冒烟分,既说明前沿组合已经能啃下相当一部分企业迁移,也坦白还有约四分之一的坑没填平。公开提交暂未全面放开,但路线图里有;在那之前,这张 Kaggle 榜已经足够让下一波 Java Agent 叙事少一点口号、多一点行为等价。