聪明世界#109
编程很强
记性200K
便宜$4.4
记性换算成体感：一次能读完一本《三体》
o 系列的视觉模型 · 按发布时间
共 7 个 · OpenAI的全部模型 →她的房间
电脑
没有公开的编程评测成绩
书架
3 层 · 记忆 200K tokens
黑板
数学与科学推理
日历
知识停在 2024-05
冰箱
支持上下文缓存，能存记忆
门禁
闭源，权重不公开
身世
- 发布日期
- 2025 年 4 月 16 日models.dev
- 知识截止
- 2024-05
- 参数量
- 体型为估算值，官方从未公布参数量
- 开放权重
- 否
- 开源许可
- 暂无数据
- 上下文窗口
- 200K tokens
- 单次最大输出
- 100K
- 输入价格
- $1.10 / 百万 tokens
- 输出价格
- $4.40 / 百万 tokens
- 模型类型
- 视觉除了文字还能看图片或视频，输出文字
- 支持的输入
- 图像、文字 → 文字
- 工具调用
- 是
- 深度思考
- 是
- 提示缓存
- 是
战绩
- 综合智力
- 145.6
- AIME 数学
- 81.7%
- GPQA Diamond 科学
- 79.6%
- ARC-AGI-2 抽象推理
- 6.1%
- Fiction.liveBench 长文本
- 62.5%
综合智力、数学、科学、抽象推理与长文本数据来自 Epoch AI（CC-BY 4.0）。写「未参赛」的项目表示该模型没有被这项评测收录， 不代表它做不到——本站不会用估算值填补空缺。
编程战绩（按赛制分列）
- Aider Polyglot72.0%多语言代码编辑测试，看模型能不能按要求准确改动已有代码。榜单已停更在 2025 年底，只覆盖那之前的模型。第三方实测https://aider.chat/docs/leaderboards/#polyglot-leaderboard
- LiveBench 编程分项80.0%LiveBench 每月换新题以避免污染，这一列是它的编程分项均分。第三方实测https://livebench.ai/#/?release=2025-04-25
- ALE-Bench826AtCoder 启发式算法竞赛题，考的是给一个没有标准答案的优化问题找出尽量好的解。分数是 137–2177 的评分标度，不是百分比。和「修 bug」是两种能力。第三方实测https://epoch.ai/benchmarks
- AlgoTune1.72×给定一段算法实现，让模型把它调得更快。分数是加速倍率（约 1.3–2 倍），不是百分比。考的是性能调优而不是功能实现。第三方实测https://epoch.ai/benchmarks
- GSO3.6%代码性能优化测试：在保持功能不变的前提下把真实项目跑得更快。第三方实测https://gso-bench.github.io/leaderboard.html
这些分数不可互相比较。同一个模型换一套评测脚手架就能差二三十分： SWE-bench Verified 的中位数是 75.7，而难度更高的 SWE-Bench Pro 只有 41.0。 广场上的能力条因此显示的是「在同一把尺子下排第几」，而不是分数本身。
全部成绩（按榜单分列）
名次的分母是在同一个榜、由同一类测量方测过的模型数，不是全站模型数。不同榜的分数不可互相比较。
综合
- 综合智力145.6第 109 / 225Epoch Capabilities Index，把十几项学术评测归并成一个总分。想看综合实力，先看这一栏。第三方实测https://epoch.ai/benchmarks
- SimpleBench38.7%第 72 / 105一套普通人能轻松答对、模型却常常答错的常识题。分数越高越少犯「一看就傻」的错。第三方实测https://simple-bench.com/
数学
- FrontierMath36.1%第 73 / 113由职业数学家出的原创难题，连数学博士都要花几小时甚至几天。分数是解出的比例，能过一成就是前沿水平。第三方实测https://epoch.ai/frontiermath
- FrontierMath（旧版）24.8%第 28 / 97FrontierMath 2025 年初的版本，已被新题库取代。留作历史对照。第三方实测https://epoch.ai/frontiermath
- FrontierMath 第四层4.9%第 69 / 85FrontierMath 里最难的一层，研究级别的问题，绝大多数模型接近零分。第三方实测https://epoch.ai/frontiermath
- FrontierMath 第四层（旧版）6.3%第 23 / 68FrontierMath 第四层 2025 年中的版本，已被新题库取代。第三方实测https://epoch.ai/frontiermath
- AIME 数学81.7%第 104 / 212美国高中数学邀请赛难度的模拟题，是数学竞赛能力的通行标尺。答对比例，满分 100。第三方实测https://epoch.ai/benchmarks
- MATH 五级97.8%第 4 / 94MATH 题库里难度最高的一档，高中竞赛水平。老榜单，顶尖模型早已接近满分。第三方实测https://epoch.ai/benchmarks/math-level-5
知识与推理
- HLE 终极考试18.1%第 27 / 62Humanity's Last Exam，各学科专家出的刁钻题，专为难住模型而设计。能过四成就是当今顶尖。第三方实测https://lastexam.ai/
- GPQA 科学79.6%第 103 / 215博士级别的物理、化学、生物选择题，题目设计到「谷歌也搜不到答案」。随机乱猜是 25 分。第三方实测https://epoch.ai/benchmarks
- ARC-AGI-26.1%第 68 / 122看几组图形样例找规律的智力题，人类轻松、模型艰难。专门测「没见过的题会不会做」。第三方实测https://epoch.ai/benchmarks
- ARC-AGI（第一代）58.7%第 72 / 121ARC-AGI 的第一代题库，已被第二代取代。第三方实测https://arcprize.org/leaderboard
- SimpleQA 事实问答19.6%第 97 / 109一问一答的冷门事实题，测的是「知不知道」和「会不会瞎编」。分数低的模型更容易一本正经地胡说。第三方实测
- CritPt 物理0.6%第 111 / 192研究级别的物理问题，由在职物理学家出题。测的是能不能做前沿科研级的推理。第三方实测
- WeirdML52.6%第 51 / 151一批刻意古怪的小型机器学习任务，模型要自己写代码训练并拿到成绩。考的是解决陌生问题的能力。第三方实测https://htihle.github.io/weirdml.html
智能体
- 独立工作时长1.3 小时第 20 / 54METR 的时间跨度：模型能可靠独立完成的任务，换成人来做要花多久。单位是时间，越长说明能独立干越大的活。第三方实测https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/
- GDPval 职业任务25.3%第 14 / 21OpenAI 出的一组覆盖多个行业的真实职业任务，由专家把模型的产出与人类专业人士的成果盲比。分数是胜率。第三方实测
- CAD 建模62.0%第 4 / 17按文字描述生成三维 CAD 模型，考的是工程建模能力。第三方实测https://willpatrick.xyz/cadevalresults_20250422_095709/
长文本
- 长文本记忆62.5%第 16 / 46Fiction.liveBench：读一篇长小说后回答细节问题。很多模型号称能读百万字，实测读到一半就忘了前面。第三方实测https://epoch.ai/benchmarks
多模态
- 看图猜地点64.0%第 19 / 31GeoBench：给一张街景照片猜出在哪个国家。测的是视觉细节与地理知识。第三方实测https://geobench.org/
- 视觉物理预测57.5%第 12 / 38VPCT：看一张小球与斜坡的图，预测球会滚进哪个杯子。测视觉直觉物理。第三方实测https://cbrower.dev/vpct
游戏与谜题
- 国际象棋残局22.0%第 66 / 107给一个棋局找出最佳着法。分数是解对的比例，随机乱走约 5 分。第三方实测https://epoch.ai/benchmarks/chess-puzzles
- 推理游戏谜题5.0%第 98 / 105Epoch 自建的一组推理小游戏，测的是在规则未知的环境里摸索规律。第三方实测https://epoch.ai/benchmarks
- EnigmaEval9.2%第 20 / 52解谜比赛里的复杂谜题，通常要综合图像、文字和多步推理。第三方实测https://labs.scale.com/leaderboard/enigma_eval
其他
- Dtbench77.6%第 123 / 222Epoch AI 收录的评测，暂无中文说明。第三方实测https://conceptualreasoning.ai/dtbench
- Lmca26.5%第 125 / 206Epoch AI 收录的评测，暂无中文说明。第三方实测https://conceptualreasoning.ai/lmca