新模型发布，为啥总要画鹈鹕？
“鹈鹕骑自行车”从一道考验大模型空间理解与 SVG 编码能力的民间测试，逐渐变成新模型发布时的固定节目；它难以代表综合实力，却仍能直观展示模型风格、使用体验与技术进步。
-
这道题由英国程序员 Simon Willison 提出，要求模型直接编写“鹈鹕骑自行车”的 SVG 源代码。 他选择这个主题，一是喜欢鹈鹕，二是希望用罕见的动物与动作组合，降低模型依赖训练数据中现成答案的可能性，检验模型能否现场组合出新场景。
-
看似简单的画图题，实际同时考验空间理解和编码能力。 模型需要安排自行车前后轮、车架与脚踏板的结构，还要协调鹈鹕的长嘴、身体和腿部比例，让它看起来真的在骑车。原始任务要求模型在看不到画布、只有一次输出机会的情况下，通过坐标和路径指令生成图像；早期连 Claude 3.5 Sonnet 这样的领先模型，画出的自行车也往往只是两个圆圈连一个三角形。
-
随着模型进步，单道题的区分能力开始下降。 视频介绍，Simon 曾发现，本地运行的轻量开源模型在这道题上比大型旗舰模型更合心意，换成备用题“火烈鸟骑独轮车”后仍然如此。另一位开发者将 8 种动物与 6 种交通工具组合成 48 道题，让 7 个前沿模型各测试 3 轮，共生成 1008 张 SVG 图，发现更换动物和交通工具也已很难难住当前模型。
-
画得好，可能说明模型擅长 SVG，而不能直接证明综合能力更强。 即使模型没有背过某道原题，也可能接受过整个 SVG 绘图方向的专项训练。视频引用一项 2025 年研究：研究团队用 100 万组文字与 SVG 数据训练一个 30 亿参数模型，使其在 SVG 美观度上超过 GPT-4o 和 Gemini 2.5 Pro。这说明专项优化可以让小模型在单项测试中胜过大型模型。
-
民间考题不断变化，主要是在寻找模型能力的薄弱环节。 “9.9 和 9.11 谁更大”暴露了模型可能混淆小数与版本号规则；“strawberry 有几个 r”体现了按 token 处理文本与逐字母计数之间的差异。“洗车店离家 50 米，应该开车还是走过去”则考验模型能否抓住“洗车需要把车带过去”这一任务前提，而非只计算距离和步行收益。
-
编程、游戏与交互任务进一步扩大了测试范围。 例子包括模拟小球在旋转六边形内的碰撞、生成网页版 macOS 或 Windows 桌面、让模型玩你画我猜与四子棋，以及进入 Minecraft 应对开放环境。这些任务能直观呈现模型在代码、物理直觉、交互和随机应变方面的表现。
-
传统榜单与实际体验脱节，既有数据污染，也有考察范围重叠的问题。 MMLU 等公开测试集的题目和答案长期流传，可能进入训练数据，导致分数虚高；即使主动清理，也很难完全排除。视频还提到，千问团队使用 QwenScope 分析发现，一些看似不同的测试集实际上激活了高度重合的能力，未必能充分覆盖真实任务。
-
大模型表现出“参差不齐的智能”，真人投票也存在样本偏差。 模型可能擅长奥数和编程，却在日常常识、指令遵循或事实准确性上失误；榜单高出几个百分点，也未必能转化为明显更好的使用体验。竞技场式盲测虽更贴近真实对话，但参与者若集中于科技行业，排名也会偏向这类用户的需求。
-
进入智能体时代，测试结果还取决于模型外部的工具和执行框架。 视频以英伟达的无文字说明 2D 闯关游戏测试为例：同一模型直接操作时得分约为 30%，加入 Harness，也就是组织工具调用与执行流程的外部框架后，可以达到 满分。因此，评测需要考虑模型与运行系统的共同作用。
-
如今画鹈鹕更像新模型的“Hello World”，也能辅助观察服务变化。 它能让人快速感受输出风格、响应速度与调用成本；固定提示词、持续生成图片，还能帮助发现输出质量的变化，为排查服务是否调整提供线索。它最持久的价值，是把抽象的模型进步变成人人都能看懂的画面：从两个圆圈和一个三角形，到结构完整、带有羽毛和光影的骑车鹈鹕。
▸ 原始转写文字稿（3397 字符）
你一定见过这只骑自行车的醍醐,可你知道为什么全球顶尖的大模型都在画它吗?就是这么一道题,曾经让前谷歌首席科学家Jeff Dean拿来亲自下场宣传占卖伴随而来的还有各种衍生形态,让大象敲打字机,章鱼弹管风琴,场景露装落地中,水母开摩天轮整个AI圈掀起了一场动物杂技大比拼。这一切的忘恶之源来自英国程序员西蒙·威利森原题只有一句话,生成一张史料图,主题是骑自行车的醍醐西蒙选这道题有两理由,第一条很简单,他喜欢醍醐这种动物第二条也是更实际的一个原因,是画这种奇幻的场景能够防止刷题作弊在他设计出来这道题之前,大模型在训练数据里肯定是没见过这种图的直接让AI现场硬化就能很好的检验模型的原创能力特别是空间理解这种复杂能力比如自行车两个轮子要一前一后,中间还得有正确的车架结构醍醐顶着张长嘴,腿的比例又和人完全不一样要让他真的骑上去,模型必须理解醍醐是怎么把自行车给蹬起来的另外,这道题也相当考验大模型的编码能力西蒙设计的任务是直接让大模型写出SVG原代码模型看不见画布,只能暴力地用坐标和路径指令把整个画面算出来而且只有一次输出机会就连当时的顶流Cloud 3.5 Sony画出来的自行车也就是两个圆圈连着个三角形正因为够难够直观这道题渐渐成了圈内检验大模型实力的固定节目而随着出境越来越频繁,这个梗也开始自我繁殖有人让AI画秦始皇骑熊猫还有人逆向思维,让自行车骑蹄虎可很快这道题就不好使了今天4月,西蒙在博客上晒出了一组挺有意思的对比一边是当时新发布的重装旗舰Cloud Opus 4.7另一边是西蒙在自己笔记本电脑上运行的轻量开源模型前吻3.6 35B 3B两边一对比,猜出量大几个数量级的Opus反而效果差了不少这下西蒙心里就犯嘀咕了开源模型是不是针对这道题特训过了呢他当场掏出备用考题,火烈鸟齐独轮车结果呢,还是前吻更何的心意在话题湖这件事儿上,土匪猛进的还不止千问一个为了搞清楚场上到底有没有偷偷刷题另一位开发者,把8种动物和6种交通工具组合成48道题拉上7个前沿模型连侧三轮一口气跑出1008张SVG实量图哪怕把题目换成水塔滑滑板或者鲸鱼开飞机随便怎么排列总和都已经难不到现在的模型了可模型厂上真的完全扫清了刷题嫌疑吗?也不好说如果压的不是某道题而是整个SVG绘图这个出题方向呢2025年,有研究团队拿出100万组文字和SVG数据给小模型专门补课结果一个仅30亿参数的小模型在SVG美观度上直接击败了GPT4O和GEM9 2.5 Pro所以各家大模型把题目画得越来越漂亮这背后呢可能还是耍了点小聪明甚至呢还要付出一些代价今天各家模型的偏刻问题越来越明显比如GEM9 4的智能体能力在榜单上不算拔尖但世界知识和前端绘图都挺强同理,一个在SVG上很下功夫的开源小模型也完全能在单颗测试里击败把算力点在复杂推理上的重装旗舰但并不意味着它的综合实力也一样厉害今天再拿话题壶给所有模型排座次就像用抢红猫的速度去考核顶配MacStudio和iPhone测完呢肯定是手机快但要因此就说MacStudio算力不如iPhone那肯定就不对了其实不只是话题壶打从大模型诞生的第一天起脑洞大开的网友就没停止过发明各种奇奇怪怪的民间考题最早火出圈的题目专调大模型最基础的数字与字词盲区下手比如9.9和9.11谁更大这道题就难倒过包括GPT4O在内的一众主流模型原因也很简单语料库里有太多软件版本号和章节号导致模型把V9.11排在V9.9之后的规则错用到了数学上同一时期的经典送明题还有英文单词Strawberry里面有几个R大模型底层是把单词切成词块来读的满腹经纶的AN愣是数不明白到底有几个字母等大模型好不容易补完小学数学网友们又搬出了弱智疤票多高才能跳过手机上的广告玉皇大帝住的是平流层还是对流层拿这些问题来测试AI会不会一本正经的胡说八道当然也有正经的脑筋机转弯今年年初的洗车店难题就难倒了一众旗舰模型洗车店距离我加50米你说我洗车应该开车过去还是走过去呢大模型一本正经的算50米距离油耗成本物行健康收益甚至连发动机能启动磨损都严谨的考虑了进来最后这种建议还是走过去比较好代码圈和游戏圈的考法那更是神仙打架有一套玩法是测大模型的编程和物理直觉有开发者让模型模拟小球在旋转六边形框里弹跳碰撞或者干脆一句话手挫出网页版的MacOS和Windows桌面还有人受提护汽车的启发搭了个平台让两个大模型玩你话我猜和四子骑甚至有玩家直接把大模型塞进我的世界里造成宝看AI在开放的沙盒里怎么随机应变那为啥大家放着几十个权威榜单不看非要找这些民间考题来折腾大模型呢因为所谓的大模型跑分早就已经失灵了这两年新模型一发厂商PPT上的跑分永远遥遥领先除了模型能力确实在进步还有一个原因呢就是老测试在网上越来越泛滥像MMLU这些经典测试机公开都已经五六年了题目答案都已经在互联网上广泛流传甚至就算厂商真是老实人真的费半天劲去主动清除这些漏出来的题也很难完全清干净于是过目不忘的大模型在训练时就免不了把这些题目给背下来跑出虚高的过你和分数另一方面呢这些标准测试机考卷本身的同质化也比较严重签问团队用可解释性工具签问Scope给主流大模型测试机做过一次提借看模型在做不同考卷的时候大脑里被激活的区域重不重合结果发现呢很多考卷考察的能力高度重点看似考了十门课其实翻来覆去考的都是同一块能力真到了实战环节模型能力呢未必有那么强这些问题就带来了十面跑分和咱们日常体验的割裂感OpenAI联合创始人Andre Carpsey谈到洗车店问题的时候呢把这些毛病总结成了一个词参差不齐的智能大模型虽然在奥数代码这类领域强得像神仙一样转头呢却在小学生就走个日常科技上灾了一个模型在MMLU保单上比对手高出两个百分点咱们平时写邮件插资料根本感觉不出来反过来呢只要他指定遵循稍微差一点或者冷不定给你胡编乱造一段那小孩都能看出来这玩意有问题于是后来有段时间大模型经济场流行了起来靠真人在真实对话里盲测投票来给模型拍片这个思路是很不错的但炮在经济场里成天投票的绝对主力呢是来自科技行业的用户最后测出来的偏好难免就又倒到边城上去了到了今年OpenCloud小龙虾爆火AI证实迈入智能体时代传统静态宝分呢就更是连考谁都找不住套在模型外面的驾驭工程同样呢会在实测里明显影响模型的表现英伟达做过一个测试在没有任何文字说明的2D闯关游戏基准测试里面让大模型不套智能体的壳子自己硬玩最强的CloudOpus 5也只能拿到30%的分数可一旦给模型套上一层驾驭工程的壳吃上智能体加成Opus 5直接开挂拿了满份所以现状就是静态的卷子完全跟不上动态的实战大家只能拿最直白最不绕弯子的民间考题去感受模型实力的参差那话说回来画醍醐的意义还剩下啥呢虽然出题人西蒙都公开劝大家别再拿醍醐汽车去逼模型的能力可每逢新模型发布全网还是雷打不动的先让它把小动物画起来它有一个好就是直观甭管懂不懂Token,Transformer,Harness,AndG,N人家的只要把两张醍醐汽车的图片往屏幕上一摆高下立判谁都能看个乐而对开发者来说画醍醐也已经成了最好的Hello World西蒙现在也还在坚持新模型一出就画一只醍醐有时候稍微晚了点评论区还会有一堆人催更对它来说画醍醐汽车早就跟大模型能力排名没啥关系了但它依然能用来给大家会探探路既能看到模型的输出风格想要速度还能顺手感受一下它对钱包的杀伤力有开发者还专门建了个网站每天让各家模型定时画鱼怪骑摩托车哪家模型要是偷偷降置了立马就能给抓出来拿这套东西去测大模型的能力上限可能已经不够科学了但拿来测一下厂商的良心下限还依然是真挺好事的所以我觉得下次再有新模型发布这只醍醐大概率还是少不了咱们普通人看技术不就图个有图有真相呢而且如果咱们把时间线拉长把这两年各大模型画过的醍醐一张张连起来看两年前面对这句莫名其妙的指令最顶尖的模型也只能在代码里摸黑笨拙的凑出两个圆圈一个三角形可一转眼车架有了结构脚踏板粘上了链条那只有几行代码算出来的醍醐长出了羽毛有了光影甚至真的攻起背有模有样的腾起了车轮枯燥的跑分榜单会过期刷出来的排名也很快会被人遗忘但这只本来不存在于现实世界里的醍醐却就这么在轨迹大脑的算力狂飙里从一团杂乱的几何线条中挣脱出来一脚一脚蹬着自行车向我们迎面冲了过来一个时代的狂飙在这一刻突然有了最真实的形状好一个生生无息的时代我是林一咱们下个视频见
