最严苛 AI 交互推理测试:OpenAI 两项改进让 GPT-5.6 Sol 提分 188%
最新 7 月 31 日消息,OpenAI 公司今天(7 月 31 日)发布公告,宣布通过改进框架,让 GPT-5.6 Sol 模型的 ARC-AGI-3 提高了 188%。

最新注:ARC-AGI-3 由 ARC Prize 团队推出的全新交互式推理基准测试,是目前全球公认衡量 AI 通用智能(AGI)最严苛、最顶尖的交互式推理评测基准。
该基准完全打破了传统 AI“做题”和知识问答的静态测试模式,将 AI 直接扔进一个完全陌生的“游戏环境”中,来评估其是否具备像人类一样的实时探索、学习与自适应能力。

在未调整优化前,GPT-5.6 Sol 在 ARC-AGI-3 基准测试中的得分为 7.8%,而 GPT-5.5 模型的得分只有 0.4%。
OpenAI 公司在复盘后发现,GPT-5.6 系列模型官方框架存在 2 个影响 GPT-5.6 Sol 表现的机制:
第一,每次游戏动作后,私有推理都会被丢弃。这意味着 GPT-5.6 Sol 每执行 1 次动作后,都需要重新理解游戏。模型仍可看到过去动作记录和简短备注,但看不到促成这些动作的计划、洞察和思考过程。
第二,官方框架采用滚动截断窗口。随着历史变长,较早动作会从上下文中消失。也就是说,GPT-5.6 Sol 不仅无法保留过去思考,也会丢失过去动作记忆。
针对上述问题,OpenAI 提出了推理保留(inference preservation)和上下文压缩(context compression)两个解决方案。
推理保留方面,OpenAI 使用 Responses API 重新实现 ARC-AGI-3 测试框架,对于 GPT-5.6,只需传入前一次 response ID,即可在工具调用和多轮交互中自动保留推理。

OpenAI 表示在启用推理保留后,GPT-5.6 不必每轮重新解释游戏,从而减少每次动作前花在思考上的时间,模型保留过去想法后,更善于随时间学习,并采用更连贯的策略。
在上下文压缩方面,官方 ARC-AGI-3 框架在对话上下文超过 175000 个字符后,会丢弃最早消息。OpenAI 称,滚动截断有 2 个缺点:模型会丢失早期观察和动作;模型在任务的大部分时间里会带着更满的上下文窗口运行,这可能轻微损害表现。
启用上下文压缩后,GPT-5.6 Sol 在较长任务中更能保留对每个游戏的已学信息,并以更少输出 token 获得更高得分。

而在使用官方 harness 后,GPT-5.6 Sol 在 ARC-AGI-3 的得分为 13.3%;在启用推理保留(inference preservation)和上下文压缩(context compression)后,GPT-5.6 Sol 在 Token 输出数量降低至六分之一的同时,得分达到 38.3%,成绩增长 188.42%。

harness(常被称为驭缰工程)是指包在大模型外部、为其提供运行环境、工具集成、规则约束与反馈机制的整套系统架构。
如果把强大的 AI 模型比作一匹充满力量但容易失控的烈马,那么 harness 就是它的缰绳、马鞍与骑手路线,不改变模型本身的架构,而是决定模型如何被安全、可靠地驾驭并真正完成复杂工作。

《最严苛 AI 交互推理测试:OpenAI 两项改进让 GPT-5.6 Sol 提分 188%》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
原生 3DoF 防抖不易晕:雷鸟 AR 眼镜 GT 京东 1391 元新低,配镜后也支持 7 天免费试用
雷鸟 GT 系列 AR 眼镜产品今年 5 月上市,官方定价 1899 元。... -
小鹏 IRON 人形机器人能力升级:每 0.2 秒重新推理一次,可预测 6 秒内动作变化
小鹏第二代 VLA 大模型升级时序理解与未来行为预测能力,并端侧落地到 IRON 人形机器人。IRON 可灵活应对握手、碰拳、击掌中的临时变招,实现看到与动作的实时闭环,计划 2026 年底量产、2027 年上半年交付。#小鹏IRON# #人形机器人#... -
小米米家热敷坐姿垫开启众筹:支持久坐提醒、三挡恒温,179 元
该坐姿垫采用人体工学四位一体设计,配备红外感应久坐提醒与 NTC 三挡智能温控。支持无线 / 有线切换,尼龙一体成型加记忆棉,通过 5 万次受压测试,现已在小米有品众筹。#小米米家# #热敷坐姿垫#... -
小米米家床头灯 3 上架:升级全光谱自然光,众筹价 269 元
米家床头灯 3 主打柔光淡彩与全光谱自然光,太阳光谱拟合度 GFC>0.98,Ra90 显色,支持 1600 万色彩与 11 款动态灯效,并接入澎湃智联。#米家床头灯3# #小米智能家居#... -
众筹价 1699 元,小米米家金属旅行箱开启众筹
箱体采用 6 系铝镁硅合金框体与 5 系铝镁合金箱壳,无铆钉工艺,整箱约 150 道工序。静音万向轮获 SGS 认证,行走 72 公里轮皮磨损小于 2 毫米,噪音低于 43 分贝。37 升容量,配 TSA 密码锁,支持四挡拉杆调节。#小米米家金属旅行箱#...












