聪明世界#153
编程偏弱
记性1.0M
便宜$0.42
记性换算成体感：一次能读完《哈利·波特》全七部
Gemini 系列的全模态模型 · 按发布时间
共 19 个 · 这里是相邻的 7 个 · 谷歌的全部模型 →他的房间
电脑
没有公开的编程评测成绩
书架
5 层 · 记忆 1.0M tokens
黑板
数学与科学推理
日历
知识停在 2024-06
冰箱
支持上下文缓存，能存记忆
门禁
闭源，权重不公开
身世
- 发布日期
- 2024 年 12 月 11 日models.dev
- 知识截止
- 2024-06
- 参数量
- 体型为估算值，官方从未公布参数量
- 开放权重
- 否
- 开源许可
- 暂无数据
- 上下文窗口
- 1.0M tokens
- 单次最大输出
- 8K
- 输入价格
- $0.10 / 百万 tokens
- 输出价格
- $0.42 / 百万 tokens
- 模型类型
- 全模态能听声音、也能看图，文字、图、声音一起理解
- 支持的输入
- 声音、图像、文件、文字、视频 → 文字
- 工具调用
- 是
- 深度思考
- 否
- 提示缓存
- 是
战绩
- 综合智力
- 135.4
- AIME 数学
- 57.8%
- GPQA Diamond 科学
- 57.1%
- ARC-AGI-2 抽象推理
- 1.3%
- Fiction.liveBench 长文本
- 37.5%
综合智力、数学、科学、抽象推理与长文本数据来自 Epoch AI（CC-BY 4.0）。写「未参赛」的项目表示该模型没有被这项评测收录， 不代表它做不到——本站不会用估算值填补空缺。
编程战绩（按赛制分列）
- Aider Polyglot22.2%多语言代码编辑测试，看模型能不能按要求准确改动已有代码。榜单已停更在 2025 年底，只覆盖那之前的模型。第三方实测https://aider.chat/docs/leaderboards/#polyglot-leaderboard
这些分数不可互相比较。同一个模型换一套评测脚手架就能差二三十分： SWE-bench Verified 的中位数是 75.7，而难度更高的 SWE-Bench Pro 只有 41.0。 广场上的能力条因此显示的是「在同一把尺子下排第几」，而不是分数本身。
全部成绩（按榜单分列）
名次的分母是在同一个榜、由同一类测量方测过的模型数，不是全站模型数。不同榜的分数不可互相比较。
综合
- 综合智力135.4第 153 / 208Epoch Capabilities Index，把十几项学术评测归并成一个总分。想知道「谁最强」，先看这一栏。第三方实测https://epoch.ai/benchmarks
- SimpleBench30.7%第 80 / 103一套普通人能轻松答对、模型却常常答错的常识题。分数越高越少犯「一看就傻」的错。第三方实测https://simple-bench.com/
数学
- AIME 数学57.8%第 124 / 191美国高中数学邀请赛难度的模拟题，是数学竞赛能力的通行标尺。答对比例，满分 100。第三方实测https://epoch.ai/benchmarks
知识与推理
- HLE 终极考试6.6%第 42 / 58Humanity's Last Exam，各学科专家出的刁钻题，专为难住模型而设计。能过四成就是当今顶尖。第三方实测https://lastexam.ai/
- GPQA 科学57.1%第 140 / 197博士级别的物理、化学、生物选择题，题目设计到「谷歌也搜不到答案」。随机乱猜是 25 分。第三方实测https://epoch.ai/benchmarks
- ARC-AGI-21.3%第 79 / 108看几组图形样例找规律的智力题，人类轻松、模型艰难。专门测「没见过的题会不会做」。第三方实测https://epoch.ai/benchmarks
- MMLU79.7%第 29 / 44横跨 57 个学科的大学水平选择题，曾是最通行的知识广度标尺。如今顶尖模型已接近饱和。第三方实测https://crfm.stanford.edu/helm/lite/latest/#/leaderboard/mmlu
智能体
- 虚拟公司实习11.4%第 17 / 24TheAgentCompany：在一家模拟的软件公司里干活——查文档、发消息、写代码、填表。考的是当员工的综合本事。第三方实测https://github.com/TheAgentCompany/experiments/tree/main/evaluation/1.0.0/20241217_OpenHands-0.14.2-gemini-2.0-flash
- CAD 建模30.0%第 10 / 17按文字描述生成三维 CAD 模型，考的是工程建模能力。第三方实测https://willpatrick.xyz/cadevalresults_20250422_095709/
长文本
- 长文本记忆37.5%第 32 / 41Fiction.liveBench：读一篇长小说后回答细节问题。很多模型号称能读百万字，实测读到一半就忘了前面。第三方实测https://epoch.ai/benchmarks
游戏与谜题
- EnigmaEval1.1%第 43 / 51解谜比赛里的复杂谜题，通常要综合图像、文字和多步推理。第三方实测https://labs.scale.com/leaderboard/enigma_eval
写作
- 创意写作73.8%第 49 / 60Lech Mazur 的短篇写作评测：按给定元素写故事，由多个模型交叉评分。分数是 0–10 的均分换算成百分制。第三方实测https://github.com/lechmazur/Writing
其他
- Dtbench63.2%第 146 / 198Epoch AI 收录的评测，暂无中文说明。第三方实测https://conceptualreasoning.ai/dtbench