白厚晶 · AI 选型台MODEL RADAR

METHODOLOGY

口径、取舍与局限。

这一页说明三件事:数字怎么来、判断怎么下、哪里会错。如果你要引用本站,先读这一页。

一、数字从哪里来

能力分只有两个来源:Artificial Analysis 的 Intelligence Index(经 OpenRouter 公开字段透传),以及 LMArena 的社区盲测 Elo。前者是统一 harness 的标准化考试,后者是真人两两对比的偏好分。两者口径不同,不能互相换算。

价格取 OpenRouter 的公开 API 定价,统一换算为「每百万 token 美元」。上下文取模型主数据里的最大输入长度。开源与否取 models.dev 的 open_weights 字段。

图像和视频没有 AA 指数,直接使用 LMArena 对应品类的盲测 Elo:文生图、图像编辑、文生视频、图生视频、视频编辑。每条都带票数和 95% 置信区间。

二、怎么归一化

同一条模型常有多个推理档位(high / max / xhigh)和日期快照。我们剥掉档位与日期后缀,同模型取最高分,但保留「票数」作为可信度权重。

跨源名称不完全一致:models.dev 用 id,OpenRouter 用 slug,LMArena 用营销名。匹配规则是「厂牌前缀裁剪 + 名称规范化 + 同厂唯一命中」,对不上就留空,不做模糊相似度匹配。宁可缺一个分,不把 A 的分数安到 B 头上。

只保留近 15 个月发布、且 AA 智能指数不低于 28 或在竞技场有足够票数的模型。历史型号和供应商副本不进主表,避免把「还能用」和「值得选」混在一起。

三、选型判断怎么下

每个场景给三个位置:主力、性价比、专项。主力是综合能力与稳定性最好的;性价比是在可接受质量下最便宜的;专项是某个具体任务明显更强的。

判断依据分三层:先看与该任务最接近的第三方指标(写报告看文档竞技场,做视频看视频竞技场),再看价格和上下文是否匹配工作流,最后看社区长期口碑。三层不一致时,以第一层为主,但在页面上写明分歧。

我们不假装选型是客观的。每一条建议都写清「为什么」和「什么时候不成立」。如果一条建议在你的任务里失效,那是这条建议的边界,不是数据的错。

四、票数与置信区间

竞技场 Elo 是统计估计,不是绝对分数。票数少的新模型,区间可能宽到覆盖十几个名次。本站的规则是:票数低于 2,000 的模型,名次只作参考,不进入「主力」推荐。

页面上的「95% 区间」是 LMArena 给出的 rating_lower / rating_upper。两个模型的区间重叠时,谁排前面都不算显著。

这也是为什么我们不给「全球第几」这种绝对说法。榜单每天在变,票数每天都在补。

五、已知局限

基准不等于你的任务。通用 prompt 跑出来的第一,放到工程图纸、地方政策、甲方语境里,可能完全不是一回事。所有推荐都需要你用 3–5 个真实任务复测。

中文任务在公共榜单里占比低。中文语感、政策理解、行业术语,这些维度更多依赖编辑判断和社区反馈,不是 Elo 能给出的。

价格变化快,尤其是促销、峰谷价、批量折扣。本站显示的是公开标价,不含折扣;实际成本按你的用量和时段重算。

模型版本会悄悄更新。同一个名字,隔一个月能力可能变了。我们每周存快照,就是为了让「什么时候测的」有据可查。

六、更新与纠错

每周一上午自动采集并重建页面,四个主源全量跑一次,同时存一份周快照。任一源失败,页面直接标红,不拿上周数据顶替。

判断部分按月校准。模型换代、价格大幅变化、或收到三条以上同类反例时,会重写对应场景,不悄悄改历史。

发现错误请写信到 baihoujing@baihoujing.com,带上页面链接、原始来源和截图。核实后会在当周修正,并在页脚标注修订日期。

七、模型能力和产品能力不是一回事

同一个模型,放进 ChatGPT、Gemini、Claude 的产品里,会多出联网、文件上传、深度研究、Canvas 这些封装能力;直接调 API,这些通常要自己接。

本站的能力分按模型算,价格按 API 标价算;工作流建议按「模型 + 产品」一起说。看到「可以联网」时,先确认你说的是产品还是 API。

订阅价和 API 价也不是一套账。轻度使用,订阅通常更便宜;批量、自动化、要接进自己的系统,才按 token 算。

一句话总结

榜单给的是同一套题下的横向比较;选型给的是特定任务下的取舍。前者尽量客观,后者必然是判断。我们把两者分开写,也把失效条件写在明面上。

最后更新:2026-10-18。口径变化会写在这里,不悄悄改历史数据。