聪明世界#81
编程偏弱
记性1M
便宜$0.42
记性换算成体感：一次能读完《哈利·波特》全七部
他的房间
电脑
没有公开的编程评测成绩
书架
5 层 · 记忆 1M tokens
黑板
数学与科学推理
日历
知识停在 2025-09
冰箱
支持上下文缓存，能存记忆
敞开的门
开源权重，谁都能进
身世
- 发布日期
- 2025 年 12 月 1 日models.dev
- 知识截止
- 2025-09
- 参数量
- 681.41B
- 开放权重
- 是
- 开源许可
- MIT
- 上下文窗口
- 1M tokens
- 单次最大输出
- 384K
- 输入价格
- $0.15 / 百万 tokens
- 输出价格
- $0.42 / 百万 tokens
- 模型类型
- 文本只读文字、只写文字的对话模型
- 支持的输入
- 文字 → 文字
- 工具调用
- 是
- 深度思考
- 否
- 提示缓存
- 是
战绩
- 综合智力
- 146.2
- AIME 数学
- 48.9%
- GPQA Diamond 科学
- 71.2%
- ARC-AGI-2 抽象推理
- 4.0%
- Fiction.liveBench 长文本
- 53.1%
综合智力、数学、科学、抽象推理与长文本数据来自 Epoch AI（CC-BY 4.0）。写「未参赛」的项目表示该模型没有被这项评测收录， 不代表它做不到——本站不会用估算值填补空缺。
编程战绩（按赛制分列）
- Terminal-Bench 2.039.6%Terminal-Bench 的第二代题库，任务更长更杂。与 1.0 的分数不可直接比较。第三方实测https://epoch.ai/benchmarks
- Aider Polyglot70.2%多语言代码编辑测试，看模型能不能按要求准确改动已有代码。榜单已停更在 2025 年底，只覆盖那之前的模型。第三方实测https://epoch.ai/benchmarks
- WebDev Arena1367 Elo让两个模型各写一个网页，由人来投票选哪个更好，按对战胜负算 Elo 分。考的是前端开发的实际观感，和「能不能修复一个后端 bug」不是一回事。第三方实测https://epoch.ai/benchmarks
这些分数不可互相比较。同一个模型换一套评测脚手架就能差二三十分： SWE-bench Verified 的中位数是 75.7，而难度更高的 SWE-Bench Pro 只有 41.0。 广场上的能力条因此显示的是「在同一把尺子下排第几」，而不是分数本身。
全部成绩（按榜单分列）
名次的分母是在同一个榜、由同一类测量方测过的模型数，不是全站模型数。不同榜的分数不可互相比较。
综合
- 综合智力146.2第 81 / 208Epoch Capabilities Index，把十几项学术评测归并成一个总分。想知道「谁最强」，先看这一栏。第三方实测https://epoch.ai/benchmarks
- SimpleBench40.0%第 65 / 103一套普通人能轻松答对、模型却常常答错的常识题。分数越高越少犯「一看就傻」的错。第三方实测https://simple-bench.com/
数学
- FrontierMath（旧版）1.7%第 69 / 95FrontierMath 2025 年初的版本，已被新题库取代。留作历史对照。第三方实测https://epoch.ai/frontiermath
- AIME 数学48.9%第 130 / 191美国高中数学邀请赛难度的模拟题，是数学竞赛能力的通行标尺。答对比例，满分 100。第三方实测https://epoch.ai/benchmarks
- MATH 五级75.5%第 31 / 91MATH 题库里难度最高的一档，高中竞赛水平。老榜单，顶尖模型早已接近满分。第三方实测https://epoch.ai/benchmarks/math-level-5
知识与推理
- GPQA 科学71.2%第 110 / 197博士级别的物理、化学、生物选择题，题目设计到「谷歌也搜不到答案」。随机乱猜是 25 分。第三方实测https://epoch.ai/benchmarks
- ARC-AGI-24.0%第 64 / 108看几组图形样例找规律的智力题，人类轻松、模型艰难。专门测「没见过的题会不会做」。第三方实测https://epoch.ai/benchmarks
- ARC-AGI（第一代）57.0%第 60 / 107ARC-AGI 的第一代题库，已被第二代取代。第三方实测https://arcprize.org/
- MMLU87.2%第 4 / 44横跨 57 个学科的大学水平选择题，曾是最通行的知识广度标尺。如今顶尖模型已接近饱和。第三方实测https://crfm.stanford.edu/helm/lite/latest/#/leaderboard/mmlu
- CritPt 物理2.9%第 59 / 163研究级别的物理问题，由在职物理学家出题。测的是能不能做前沿科研级的推理。第三方实测
- WeirdML39.5%第 97 / 146一批刻意古怪的小型机器学习任务，模型要自己写代码训练并拿到成绩。考的是解决陌生问题的能力。第三方实测https://htihle.github.io/weirdml.html
- BIG-Bench Hard87.5%第 1 / 14从 BIG-Bench 里挑出的一批模型当年做不好的推理题。老榜单，参考意义有限。第三方实测http://arxiv.org/abs/2412.19437
- HellaSwag88.9%第 2 / 12给一段情景补上最合理的下一句，测常识推理。早期榜单，顶尖模型已接近满分。第三方实测https://arxiv.org/pdf/2412.19437
- WinoGrande86.3%第 2 / 17指代消解的常识题（「它」指的是哪个？）。早期榜单，已经饱和。第三方实测https://arxiv.org/pdf/2412.19437
- PIQA83.9%第 3 / 14物理常识题：要达成某个目的，哪种做法可行？早期榜单。第三方实测http://arxiv.org/abs/2412.19437
- ARC（AI2 科学题）95.3%第 1 / 14AI2 出的小学到初中科学选择题，与 ARC-AGI 无关。早期榜单。第三方实测http://arxiv.org/abs/2412.19437
- TriviaQA82.9%第 5 / 14百科知识问答。早期榜单。第三方实测https://arxiv.org/pdf/2412.19437
智能体
- 独立工作时长23 分钟第 33 / 53METR 的时间跨度：模型能可靠独立完成的任务，换成人来做要花多久。单位是时间，越长说明能独立干越大的活。第三方实测https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/
- 经营售货机$1,034第 54 / 89Vending-Bench：让模型经营一台虚拟售货机一整年——进货、定价、付租金。分数是最后账上的钱，考的是长期不犯糊涂。第三方实测https://andonlabs.com/evals/vending-bench
- 虚拟公司实习42.9%第 1 / 24TheAgentCompany：在一家模拟的软件公司里干活——查文档、发消息、写代码、填表。考的是当员工的综合本事。第三方实测https://the-agent-company.com/#/leaderboard
- APEX 专业任务7.0%第 54 / 77投行、律所、咨询公司的真实工作任务，由业内专家出题与评分。第三方实测
长文本
- 长文本记忆53.1%第 17 / 41Fiction.liveBench：读一篇长小说后回答细节问题。很多模型号称能读百万字，实测读到一半就忘了前面。第三方实测https://epoch.ai/benchmarks
- CL-bench 长上下文13.2%第 31 / 40在很长的上下文里做推理与检索，测的是长文本的实际可用程度。第三方实测
- CL-bench 生活版9.5%第 20 / 29CL-bench 的日常生活场景分支。第三方实测
游戏与谜题
- 国际象棋残局1.0%第 131 / 156给一个棋局找出最佳着法。分数是解对的比例，随机乱走约 5 分。第三方实测https://epoch.ai/benchmarks/chess-puzzles
写作
- 创意写作77.0%第 36 / 60Lech Mazur 的短篇写作评测：按给定元素写故事，由多个模型交叉评分。分数是 0–10 的均分换算成百分制。第三方实测https://github.com/lechmazur/Writing
其他
- Dtbench62.7%第 149 / 198Epoch AI 收录的评测，暂无中文说明。第三方实测https://conceptualreasoning.ai/dtbench
- Lmca15.2%第 152 / 183Epoch AI 收录的评测，暂无中文说明。第三方实测https://conceptualreasoning.ai/lmca