OpenAI 发布 LifeVal:不再考模型做题,改考它能不能帮你找托儿所、办手续,GPT-6 Astra 自评 80.6%

OpenAI 11 月 2 日发布了 LifeVal,一项面向日常生活的评测:不再考模型做题、写代码,而是考它能不能把生活里的事办成——找托儿所、给孩子报幼儿园、办政府手续、做预算、订杂货、照顾病人。模型要靠浏览器操作、电脑操作与连接器真正动手,而不只是给建议。

任务清单的来源是 OpenAI 这次最花心思的部分:两项时间使用研究——美国劳工统计局的 American Time Use Survey 与跨国 Multinational Time Use Study,加上 3995 人的一次代表性调查,问的是人们最希望个人助手在哪些事上搭把手。最终覆盖照护、健康、教育、家务管理、个人财务、购物、政府服务 7 类。OpenAI 称,已用这套评测在内部跟踪、推动模型在日常任务上的改进约一年。

成绩方面,OpenAI 公布的图表显示 GPT-6 Astra 平均奖励 80.6%,高于 GPT-5.2 的 49.3% 与 GPT-5.6 的 80.0%。页面展示的 5 个示例分别是:搬家后给孩子报上合适的幼儿园 93.1%、组织洪水前的社区志愿者 98.0%、帮全家找新房 100%、陪奶奶远程一起看比赛 96.3%、给刚确诊糖尿病的父母做饮食计划 90.4%;Astra 在部分任务上的“最佳成绩”达到 100%,包括订感官启蒙课、约车检、按预算买清真杂货、退订邮件列表。

但这组数字要打折看:题是 OpenAI 自己出的、分是 OpenAI 自己打的、只公布自家模型;任务集、评分方法与排行榜均未公开,外部无法复核;页面本身也没有总分,只有挑选过的示例。OpenAI 的原话是“最新模型在许多 LifeVal 任务上得分很高”——这与独立评测的画风完全不同:SemiAnalysis 上周发布的 GDPx 评测里,最强的模型也只做对 12%。两者任务与评分口径不同、不能直接比,但足以说明一件事:谁出题、谁打分,比分数本身更重要。

值得关注的是方向本身:这是 OpenAI 把评测重心从工作场景转向生活场景的信号,训练投入指向浏览器操作、电脑操作与连接器——正是 ChatGPT 从聊天工具走向“能办事的个人助手”的路线;也意味着助手很快会替用户填表、跑政府网站,认证、授权与机器人流量的问题会接踵而至。GPT-6.1 Terra 上周的降价发布,站里已有一帖,可对照来看这条产品线的节奏。

来源:OpenAI,原文:https://openai.com/index/lifeval

请登录后发表评论

    没有回复内容