SOURCES & CREDITS
我们的数字,从哪来。
这个站不生产榜单,只做采集、归一化和解释。下面是全部上游来源,按「直接采集 / 交叉核对 / 长期跟踪 / 可直接复用」四类列出。
01 / PRIMARY
直接采集
页面上的每个数字都来自这几个源,采集脚本每周跑一次。
- models.dev
每周拉取 api.json,按 canonical_model_id 去重。这是模型清单的主干。
- OpenRouter Models API
每周拉取 /api/v1/models,只取主 SKU(排除 :batch / :free),与 models.dev 按模型名归一化合并。
- LMArena 官方数据集
每周从 Hugging Face 拉取各品类 parquet,取 overall 榜,保留票数与区间。同模型多档位取最高分。
- 厂商官方 RSS / 博客
每周抓取 RSS,按模型关键词打分,过滤客户案例与政策稿,只保留发布/能力相关条目。
- arXiv cs.CL
按提交时间抓取 cs.CL 中标题/摘要含 benchmark 或 evaluation 的论文,取最新 8 篇。
02 / CROSS-CHECK
交叉核对
当主源口径打架、或某个模型缺少主源成绩时,用这些独立榜单做二次判断。它们不进主表。
- Artificial Analysis
统一 harness 重跑 GPQA、IFBench、τ²-Bench、Terminal-Bench 等,合成 Intelligence Index,同时给价格与速度。本站的 AA 指数经 OpenRouter 公开字段引用。
- LiveBench
定期换题、用客观真值判分,专门对抗训练集污染。适合看「新题上还能不能打」。
- Vals AI
金融、法律、编码等专家私有题集,跑真实任务。适合判断专业场景,不适合看通用排名。
- Epoch AI
前沿模型、算力、数据中心的趋势数据集。看方向和大盘,不看单模型胜负。
- SimpleBench
人类约 84 分、模型普遍低得多的时空与社交推理题。看「聪明」之外的常识短板。
- LLM Stats
把多个基准合成为一个分数,并提供 MCP server,适合直接接进 agent 工作流。
- ArtificialWatch
把 LMArena、LiveBench、SimpleBench、Vals、AA 等转成百分位后取中位数,每天重建,提供 JSON/CSV。
- BenchLeader
追踪 200+ 个基准,标出每个品类的领先者与饱和状态。用来判断「这个榜还值不值得看」。
- Margin Lab
每天用固定 SWE-Bench Pro 子集测 Claude Code / Codex,看模型有没有被悄悄降智。
- OpenRouter Rankings
按实际 token 花费排的榜,是「用脚投票」的信号,不是能力分。
- Vectara 幻觉榜
用 HHEM judge 测摘要任务里的幻觉率,judge 模型可下载。适合选「少胡说」的模型。
- Design Arena
网站、UI、3D、数据可视化等分项的盲测 Elo。做页面和视觉交付时比通用榜有用。
- SWE-bench
真实 GitHub issue 修复。注意区分 Verified / Pro / Multimodal 口径,跨口径不可比。
- Terminal-Bench
在真实终端里完成多步任务,考的是 agent 的工程能力,不是单轮代码。
03 / FOLLOW
值得长期跟的人
模型评测变化太快,固定榜单永远滞后。这些人 / 媒体是我们每周扫读的对象。
- Simon Willison
几乎每个新模型都当天实测,给可复现的 prompt 和失败案例。看「实际能干什么」,不是看发布稿。
- Nathan Lambert · Interconnects
模型发布、后训练、开源生态的深度分析。判断一个模型为什么强、强在哪一层。
- Sebastian Raschka · Ahead of AI
架构、训练方法、评测设计的拆解。适合补「分数背后的机制」。
- Ethan Mollick · One Useful Thing
把模型放进真实工作流做实验,关注组织与个人的实际影响。
- AI Explained
基准解读、模型对比、发布节奏分析,偏深度,不追快讯。
- Matthew Berman
新模型上手实测,覆盖开源与闭源,适合看「第一手感」。
- Matt Wolfe
工具与模型发布速览,适合扫盲和跟节奏,不适合做深度判断。
- Latent Space
工程与产品视角的访谈,常有一手的使用方式和踩坑记录。
- TLDR AI
每日新闻摘要,覆盖发布、融资、论文。用来保证不漏大事。
- The Batch · Andrew Ng
每周行业分析,偏判断和趋势,适合校准方向。
- Import AI · Jack Clark
前沿研究、政策与安全,补足纯能力榜看不到的维度。
- 机器之心
中文一手发布、论文解读与访谈,更新快,适合追国内模型。
- 量子位
中文快讯与产品实测,覆盖面广,适合扫发布。
- AI 科技评论
偏技术与产业分析的中文媒体,适合看国内落地案例。
- 宝玉
prompt 实践、模型对比、工具流,中文圈里更新最勤的一线使用者之一。
- 向阳乔木
AI 产品与工具实测,关注普通人的可用性。
04 / REUSE
可以直接接进工作流的工具
Skill、MCP、开放数据集和评测运行时。想自己复现,从这里开始。
- LLM Stats MCP
把综合模型榜接进 agent,让助手在选型时直接查分,而不是凭记忆。
- Artificial Analysis API
完整的智能、编码、agentic、速度、延迟、每任务成本数据。需要付费 key。
- LMArena 数据集
全部品类的 Elo、票数、置信区间,parquet 格式,可直接下载复现本站的榜。
- LiveBench
题目、答案、判分代码全开放,可本地跑,适合做私有模型的横向比较。
- SWE-bench
真实 GitHub issue 修复任务,官方 harness 可复现。适合评估编码 agent。
- Terminal-Bench
终端多步任务,测 agent 的工程执行力。
- Epoch AI 开放数据
模型、算力、趋势的 CSV / API,适合做长期图表和行业判断。
- Anthropic Skills
官方 Agent Skills 示例(docx、pdf、pptx 等),可以照着写自己的评测/报告 skill。
- 本站采集器
本站在用的采集与归一化脚本:四个主源、快照 diff、失败显式标记。
署名与许可
LMArena 数据采用 CC BY 4.0,本站注明来源与抓取日期。Artificial Analysis 指数经 OpenRouter 公开字段引用,原始权利归 Artificial Analysis。厂商 RSS 仅用于事实摘录与链接回原文。