Mento VC 发布 SAB 基准:AI 做尽调已近满分,预测创业公司增长却输给一条简单规则
风投机构 Mento VC 推出创业分析 Agent 基准 SAB,14 款模型跑 960 道分析任务,Claude Opus 5.5 以 97.2 分居首;但在预测增长上,参赛模型全部不敌按历史招聘增速排序的基线。
AI 能不能当风投分析师?风投机构 Mento VC 给出的答案是:干活很快,算命不行。
Mento 公开了自家的 Startup Agent Benchmark(SAB),截至 10 月共测了 OpenAI、Anthropic、Google 等四家厂商的 14 款模型。基准分两部分。研究部分有 960 道任务,覆盖产品与客户、市场与 why-now、竞争、牵引力、项目筛选等六类分析师工作流,一半用合成公司、一半用 Mento 真实公司库的冻结快照,按 4560 条评分标准打分,并要求在证据缺失时如实回答「unknown」。
这部分成绩相当亮眼。Claude Opus 5.5 以 97.2 分居首,但与第二名的差距在统计上并不显著;筛选和产品类任务几乎所有模型都接近满分,拉开差距的是市场规模测算和竞争分析。同时所有模型都会编造,最好的模型也有约 9%–10% 的情况在材料里没有答案时硬编;单题成本从 0.003 美元到 0.36 美元不等,贵不等于好。
反转在预测部分。101 组、每组 100 家隐去名字的私有公司,给定基线期信号,让模型不借助工具预测未来 90 天和 180 天谁的增长势头最强。结果,按此前员工人数增速排序的简单规则得到 ρ = +0.058,而跑完全部组别的 13 款模型得分在 −0.160 到 −0.003 之间,全部输给这条规则(Grok 4.6 因超时只完成 9 组被剔除)。一个重要原因是模型普遍偏爱大公司,而样本里小公司的流量增长恰恰更快。
当然,结论对目标定义很敏感:如果只看员工增长,所有模型都是正相关,多数还高于规则;控制公司规模后,GPT-5.6 Terra、GPT-6 Sol 等也显著跑赢基线。但这恰好说明问题——预测未来本身就依赖你怎么定义「增长」。
对投资机构来说,SAB 的启示很务实:把 AI 放在研究、筛选、整理上,效率提升立竿见影;把「谁会跑出来」交给模型的直觉,目前还不如一张招聘曲线可靠。