白厚晶 · AI 选型台MODEL RADAR

SOURCES & CREDITS

我们的数字,从哪来。

这个站不生产榜单,只做采集、归一化和解释。下面是全部上游来源,按「直接采集 / 交叉核对 / 长期跟踪 / 可直接复用」四类列出。

5 个直接数据源14 个核对榜单16 个跟踪对象9 个可复用工具

01 / PRIMARY

直接采集

页面上的每个数字都来自这几个源,采集脚本每周跑一次。

  • models.dev
    模型元数据:发布日、价格、上下文、模态、是否开源、知识截止

    每周拉取 api.json,按 canonical_model_id 去重。这是模型清单的主干。

    更新:每日 · 公开 API,免费 · 打开 ↗

  • OpenRouter Models API
    在售模型、实时定价、上下文长度,以及透传的 Artificial Analysis 三项指数

    每周拉取 /api/v1/models,只取主 SKU(排除 :batch / :free),与 models.dev 按模型名归一化合并。

    更新:实时 · 公开 API,免密钥 · 打开 ↗

  • LMArena 官方数据集
    文本、文档、检索、视觉、图像生成、图像编辑、文生视频、图生视频、视频编辑的盲测 Elo、票数与 95% 置信区间

    每周从 Hugging Face 拉取各品类 parquet,取 overall 榜,保留票数与区间。同模型多档位取最高分。

    更新:每日 · CC BY 4.0,须署名 · 打开 ↗

  • 厂商官方 RSS / 博客
    OpenAI、Google DeepMind、Google AI、Hugging Face 的模型发布与产品更新

    每周抓取 RSS,按模型关键词打分,过滤客户案例与政策稿,只保留发布/能力相关条目。

    更新:实时 · 仅摘录标题并链接原文 · 打开 ↗

  • arXiv cs.CL
    本周与评测、基准相关的新论文

    按提交时间抓取 cs.CL 中标题/摘要含 benchmark 或 evaluation 的论文,取最新 8 篇。

    更新:每日 · 开放获取 · 打开 ↗

02 / CROSS-CHECK

交叉核对

当主源口径打架、或某个模型缺少主源成绩时,用这些独立榜单做二次判断。它们不进主表。

  • Artificial Analysis
    独立复测 · 综合指数

    统一 harness 重跑 GPQA、IFBench、τ²-Bench、Terminal-Bench 等,合成 Intelligence Index,同时给价格与速度。本站的 AA 指数经 OpenRouter 公开字段引用。

    artificialanalysis.ai ↗

  • LiveBench
    防污染基准

    定期换题、用客观真值判分,专门对抗训练集污染。适合看「新题上还能不能打」。

    livebench.ai ↗

  • Vals AI
    私有题库 · 行业任务

    金融、法律、编码等专家私有题集,跑真实任务。适合判断专业场景,不适合看通用排名。

    vals.ai ↗

  • Epoch AI
    研究机构 · 开放数据

    前沿模型、算力、数据中心的趋势数据集。看方向和大盘,不看单模型胜负。

    epoch.ai ↗

  • SimpleBench
    人类基线 · 陷阱题

    人类约 84 分、模型普遍低得多的时空与社交推理题。看「聪明」之外的常识短板。

    simple-bench.com ↗

  • LLM Stats
    综合榜 · MCP

    把多个基准合成为一个分数,并提供 MCP server,适合直接接进 agent 工作流。

    llm-stats.com ↗

  • ArtificialWatch
    多榜合成 · 每日 JSON

    把 LMArena、LiveBench、SimpleBench、Vals、AA 等转成百分位后取中位数,每天重建,提供 JSON/CSV。

    artificialwatch.com/benchmarks ↗

  • BenchLeader
    基准目录

    追踪 200+ 个基准,标出每个品类的领先者与饱和状态。用来判断「这个榜还值不值得看」。

    www.benchleader.com/benchmarks ↗

  • Margin Lab
    退化追踪

    每天用固定 SWE-Bench Pro 子集测 Claude Code / Codex,看模型有没有被悄悄降智。

    marginlab.ai ↗

  • OpenRouter Rankings
    真实用量

    按实际 token 花费排的榜,是「用脚投票」的信号,不是能力分。

    openrouter.ai/rankings ↗

  • Vectara 幻觉榜
    幻觉率

    用 HHEM judge 测摘要任务里的幻觉率,judge 模型可下载。适合选「少胡说」的模型。

    github.com/vectara/hallucination-leaderboard ↗

  • Design Arena
    设计 / 前端盲测

    网站、UI、3D、数据可视化等分项的盲测 Elo。做页面和视觉交付时比通用榜有用。

    designarena.ai ↗

  • SWE-bench
    编码基准官方榜

    真实 GitHub issue 修复。注意区分 Verified / Pro / Multimodal 口径,跨口径不可比。

    www.swebench.com ↗

  • Terminal-Bench
    终端任务基准

    在真实终端里完成多步任务,考的是 agent 的工程能力,不是单轮代码。

    www.tbench.ai ↗

03 / FOLLOW

值得长期跟的人

模型评测变化太快,固定榜单永远滞后。这些人 / 媒体是我们每周扫读的对象。

  • Simon Willison
    simonwillison.net

    几乎每个新模型都当天实测,给可复现的 prompt 和失败案例。看「实际能干什么」,不是看发布稿。

    每日 / 多更

  • Nathan Lambert · Interconnects
    interconnects.ai

    模型发布、后训练、开源生态的深度分析。判断一个模型为什么强、强在哪一层。

    每周 2–3 篇

  • Sebastian Raschka · Ahead of AI
    magazine.sebastianraschka.com

    架构、训练方法、评测设计的拆解。适合补「分数背后的机制」。

    每周

  • Ethan Mollick · One Useful Thing
    oneusefulthing.org

    把模型放进真实工作流做实验,关注组织与个人的实际影响。

    每周

  • AI Explained
    YouTube

    基准解读、模型对比、发布节奏分析,偏深度,不追快讯。

    每周 1–2 条

  • Matthew Berman
    YouTube

    新模型上手实测,覆盖开源与闭源,适合看「第一手感」。

    每日 / 多更

  • Matt Wolfe
    YouTube · The Next Wave

    工具与模型发布速览,适合扫盲和跟节奏,不适合做深度判断。

    每周

  • Latent Space
    latent.space

    工程与产品视角的访谈,常有一手的使用方式和踩坑记录。

    每周

  • TLDR AI
    tldr.tech/ai

    每日新闻摘要,覆盖发布、融资、论文。用来保证不漏大事。

    每日

  • The Batch · Andrew Ng
    deeplearning.ai/the-batch

    每周行业分析,偏判断和趋势,适合校准方向。

    每周

  • Import AI · Jack Clark
    importai.substack.com

    前沿研究、政策与安全,补足纯能力榜看不到的维度。

    每周

  • 机器之心
    jiqizhixin.com

    中文一手发布、论文解读与访谈,更新快,适合追国内模型。

    每日 / 多更

  • 量子位
    qbitai.com

    中文快讯与产品实测,覆盖面广,适合扫发布。

    每日 / 多更

  • AI 科技评论
    leiphone.com/category/ai

    偏技术与产业分析的中文媒体,适合看国内落地案例。

    每周

  • 宝玉
    x.com/dotey

    prompt 实践、模型对比、工具流,中文圈里更新最勤的一线使用者之一。

    每日

  • 向阳乔木
    x.com/vista8

    AI 产品与工具实测,关注普通人的可用性。

    每日

04 / REUSE

可以直接接进工作流的工具

Skill、MCP、开放数据集和评测运行时。想自己复现,从这里开始。

  • LLM Stats MCP
    MCP server

    把综合模型榜接进 agent,让助手在选型时直接查分,而不是凭记忆。

    取用 ↗ · 配置 MCP server 后可在 Claude / WorkBuddy 等客户端调用

  • Artificial Analysis API
    商业 API

    完整的智能、编码、agentic、速度、延迟、每任务成本数据。需要付费 key。

    取用 ↗ · 申请 key 后按文档调用

  • LMArena 数据集
    开放数据集

    全部品类的 Elo、票数、置信区间,parquet 格式,可直接下载复现本站的榜。

    取用 ↗ · Hugging Face datasets / pandas 读取

  • LiveBench
    开源基准

    题目、答案、判分代码全开放,可本地跑,适合做私有模型的横向比较。

    取用 ↗ · git clone 后按 README 跑

  • SWE-bench
    开源基准

    真实 GitHub issue 修复任务,官方 harness 可复现。适合评估编码 agent。

    取用 ↗ · Docker + harness

  • Terminal-Bench
    开源基准

    终端多步任务,测 agent 的工程执行力。

    取用 ↗ · pip install terminal-bench

  • Epoch AI 开放数据
    开放数据集

    模型、算力、趋势的 CSV / API,适合做长期图表和行业判断。

    取用 ↗ · 直接下载 CSV

  • Anthropic Skills
    Skill 库

    官方 Agent Skills 示例(docx、pdf、pptx 等),可以照着写自己的评测/报告 skill。

    取用 ↗ · 复制目录到 ~/.workbuddy/skills 或 Claude skills 目录

  • 本站采集器
    开源代码

    本站在用的采集与归一化脚本:四个主源、快照 diff、失败显式标记。

    取用 ↗ · 下载后 python3 collect.py 即可跑

OPEN SOURCE

本站采集器公开

抓取、归一化、快照 diff 的完整脚本,无 API key、无私有依赖。你可以自己跑一份,核对我们的数字。

下载 collect.py →

ATTRIBUTION

署名与许可

LMArena 数据采用 CC BY 4.0,本站注明来源与抓取日期。Artificial Analysis 指数经 OpenRouter 公开字段引用,原始权利归 Artificial Analysis。厂商 RSS 仅用于事实摘录与链接回原文。