聪明世界#45
编程很强
记性1.0M
便宜$3.0
记性换算成体感：一次能读完《哈利·波特》全七部
Gemini 系列的全模态模型 · 按发布时间
共 19 个 · 这里是相邻的 7 个 · 谷歌的全部模型 →他的房间
电脑
75.4% · SWE-bench Verified · Epoch AI 统一复跑
书架
5 层 · 记忆 1.0M tokens
黑板
数学与科学推理
日历
知识停在 2025-01
冰箱
支持上下文缓存，能存记忆
门禁
闭源，权重不公开
身世
- 发布日期
- 2025 年 12 月 17 日models.dev
- 知识截止
- 2025-01
- 参数量
- 体型为估算值，官方从未公布参数量
- 开放权重
- 否
- 开源许可
- 暂无数据
- 上下文窗口
- 1.0M tokens
- 单次最大输出
- 66K
- 输入价格
- $0.50 / 百万 tokens
- 输出价格
- $3.00 / 百万 tokens
- 模型类型
- 全模态能听声音、也能看图，文字、图、声音一起理解
- 支持的输入
- 声音、图像、文件、文字、视频 → 文字
- 工具调用
- 是
- 深度思考
- 是
- 提示缓存
- 是
战绩
- 综合智力
- 151.8
- AIME 数学
- 95.6%
- GPQA Diamond 科学
- 89.4%
- ARC-AGI-2 抽象推理
- 33.6%
- Fiction.liveBench 长文本
- 未参评
综合智力、数学、科学、抽象推理与长文本数据来自 Epoch AI（CC-BY 4.0）。写「未参赛」的项目表示该模型没有被这项评测收录， 不代表它做不到——本站不会用估算值填补空缺。
编程战绩（按赛制分列）
- SWE-bench Verified75.4%从真实 GitHub 仓库里挑出的 500 个 issue，看模型能不能提交出通过测试的补丁。业界最通行的编程标尺。这一列由 Epoch AI 用统一脚手架复跑。第三方实测https://epoch.ai/benchmarks
- SWE-Bench Pro34.6%同一个思路但难度高得多的版本，题目更长、依赖更复杂。分数普遍比 Verified 低三十分左右，两者不可直接比较。第三方实测https://labs.scale.com/leaderboard/swe_bench_pro_public
- Terminal-Bench 2.064.3%Terminal-Bench 的第二代题库，任务更长更杂。与 1.0 的分数不可直接比较。第三方实测https://www.tbench.ai/leaderboard/terminal-bench/2.0
- LiveBench 智能体编程40.0%LiveBench 的智能体编程分项：不是写一段代码，而是像开发者那样多轮改动一个项目。第三方实测https://livebench.ai/#/?release=2026-01-08
- LiveBench 编程分项73.9%LiveBench 每月换新题以避免污染，这一列是它的编程分项均分。第三方实测https://livebench.ai/#/?release=2026-01-08
- ALE-Bench1367AtCoder 启发式算法竞赛题，考的是给一个没有标准答案的优化问题找出尽量好的解。分数是 137–2177 的评分标度，不是百分比。和「修 bug」是两种能力。第三方实测https://epoch.ai/benchmarks
- GSO7.8%代码性能优化测试：在保持功能不变的前提下把真实项目跑得更快。第三方实测https://epoch.ai/benchmarks
- SWE-Atlas 代码库问答8.2%给模型一个陌生的大型代码库，问它这段代码在干什么。考的是读代码，不是写代码。第三方实测https://labs.scale.com/leaderboard/sweatlas-qna
- SWE-Atlas 重构10.0%在不改变行为的前提下重构已有代码。第三方实测https://labs.scale.com/leaderboard/sweatlas-refactoring
- SWE-Atlas 写测试30.3%给已有代码补写测试用例。第三方实测https://labs.scale.com/leaderboard/sweatlas-tw
- WebDev Arena1383 Elo让两个模型各写一个网页，由人来投票选哪个更好，按对战胜负算 Elo 分。考的是前端开发的实际观感，和「能不能修复一个后端 bug」不是一回事。第三方实测https://epoch.ai/benchmarks
这些分数不可互相比较。同一个模型换一套评测脚手架就能差二三十分： SWE-bench Verified 的中位数是 75.7，而难度更高的 SWE-Bench Pro 只有 41.0。 广场上的能力条因此显示的是「在同一把尺子下排第几」，而不是分数本身。
全部成绩（按榜单分列）
名次的分母是在同一个榜、由同一类测量方测过的模型数，不是全站模型数。不同榜的分数不可互相比较。
综合
- 综合智力151.8第 45 / 208Epoch Capabilities Index，把十几项学术评测归并成一个总分。想知道「谁最强」，先看这一栏。第三方实测https://epoch.ai/benchmarks
- SimpleBench61.1%第 24 / 103一套普通人能轻松答对、模型却常常答错的常识题。分数越高越少犯「一看就傻」的错。第三方实测https://simple-bench.com/
数学
- FrontierMath51.2%第 44 / 99由职业数学家出的原创难题，连数学博士都要花几小时甚至几天。分数是解出的比例，能过一成就是前沿水平。第三方实测https://epoch.ai/frontiermath
- FrontierMath（旧版）35.6%第 15 / 95FrontierMath 2025 年初的版本，已被新题库取代。留作历史对照。第三方实测https://epoch.ai/frontiermath
- FrontierMath 第四层17.1%第 42 / 71FrontierMath 里最难的一层，研究级别的问题，绝大多数模型接近零分。第三方实测https://epoch.ai/frontiermath
- FrontierMath 第四层（旧版）4.2%第 26 / 66FrontierMath 第四层 2025 年中的版本，已被新题库取代。第三方实测https://epoch.ai/frontiermath
- AIME 数学95.6%第 28 / 191美国高中数学邀请赛难度的模拟题，是数学竞赛能力的通行标尺。答对比例，满分 100。第三方实测https://epoch.ai/benchmarks
- ProofBench15.0%第 50 / 79不是算出答案，而是写出完整证明并由人评判。考的是数学推理的严谨程度。第三方实测https://www.vals.ai/benchmarks/proof_bench
知识与推理
- GPQA 科学89.4%第 42 / 197博士级别的物理、化学、生物选择题，题目设计到「谷歌也搜不到答案」。随机乱猜是 25 分。第三方实测https://epoch.ai/benchmarks
- ARC-AGI-233.6%第 38 / 108看几组图形样例找规律的智力题，人类轻松、模型艰难。专门测「没见过的题会不会做」。第三方实测https://epoch.ai/benchmarks
- ARC-AGI（第一代）84.7%第 37 / 107ARC-AGI 的第一代题库，已被第二代取代。第三方实测https://arcprize.org/leaderboard
- SimpleQA 事实问答66.8%第 8 / 97一问一答的冷门事实题，测的是「知不知道」和「会不会瞎编」。分数低的模型更容易一本正经地胡说。第三方实测https://www.kaggle.com/benchmarks/deepmind/simpleqa-verified
- 深度研究49.8%第 9 / 38给一个开放的研究课题，让模型上网查资料写出报告，由人评质量。第三方实测
- WeirdML61.6%第 29 / 146一批刻意古怪的小型机器学习任务，模型要自己写代码训练并拿到成绩。考的是解决陌生问题的能力。第三方实测https://htihle.github.io/weirdml.html
智能体
- 经营售货机$3,635第 38 / 89Vending-Bench：让模型经营一台虚拟售货机一整年——进货、定价、付租金。分数是最后账上的钱，考的是长期不犯糊涂。第三方实测https://andonlabs.com/evals/vending-bench
- APEX 专业任务24.0%第 26 / 77投行、律所、咨询公司的真实工作任务，由业内专家出题与评分。第三方实测
- BlueprintBench0.0%第 20 / 29看房屋照片画出平面图，测空间理解与工程绘图能力。第三方实测https://andonlabs.com/evals/blueprint-bench-2
多模态
- 看图猜地点88.0%第 1 / 29GeoBench：给一张街景照片猜出在哪个国家。测的是视觉细节与地理知识。第三方实测
- 视觉物理预测72.6%第 5 / 36VPCT：看一张小球与斜坡的图，预测球会滚进哪个杯子。测视觉直觉物理。第三方实测https://cbrower.dev/vpct
游戏与谜题
- 国际象棋残局40.0%第 19 / 156给一个棋局找出最佳着法。分数是解对的比例，随机乱走约 5 分。第三方实测https://epoch.ai/benchmarks/chess-puzzles
- BALROG 游戏48.1%第 3 / 41玩 NetHack、我的世界之类的文字或像素游戏，看能推进多少进度。第三方实测https://balrogai.com/
- 推理游戏谜题26.0%第 27 / 91Epoch 自建的一组推理小游戏，测的是在规则未知的环境里摸索规律。第三方实测https://epoch.ai/benchmarks
其他
- Dtbench89.1%第 49 / 198Epoch AI 收录的评测，暂无中文说明。第三方实测https://conceptualreasoning.ai/dtbench
- Lmca43.1%第 37 / 183Epoch AI 收录的评测，暂无中文说明。第三方实测https://conceptualreasoning.ai/lmca