ACL 2025论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了

如果 gpt-4 在模拟基于常识任务的状态变化时准确率都只有约 60%，那么我们还要考虑将大语言模型作为世界模拟器来使用吗？

最近两天，一篇入选 ACL 2025 的论文《Can Language Models Serve as Text-Based World Simulators?》在社交媒体 X 上引发了热议，就连图灵奖得主 Yann LeCun 也参与了进来。

这篇论文探讨的问题是：当前语言模型本身是否可以充当世界模拟器，并正确预测动作如何改变不同的世界状态，从而避免大量手动编码的需要呢？

针对这一问题，来自亚利桑那大学、纽约大学、约翰斯・霍普金斯大学、微软研究院、 艾伦人工智能研究所等机构的研究者在「基于文本的模拟器」上下文中给出了他们的答案。

他们认为：语言模型并不能作为世界模拟器使用。比如，GPT-4 在模拟基于常识任务（如烧开水）的状态变化时，准确率仅为约 60%。

                                     ^{x 地址：https://x.com/peterjansen_ai/status/1801687501557665841}

Yann LeCun 对这篇论文的发现表示了认同，并认为「没有世界模型，也就没有规划。」

                                  ^{X 地址：https://x.com/ylecun/status/1801978192950927511}

不过也有人表达了不同的观点：当前 LLM（没有进行针对性任务训练）的准确率可以达到 60％，这不就说明了它们至少是「一定程度上的世界模型」吗？并且会随着 LLM 的迭代而持续改进。LeCun 又表示，世界模型不会是 LLM。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

回到论文中，研究者构建并使用了一个全新的基准，他们称为「ByteSized32-State-Prediction」，包含了一个文本游戏状态转换和随附游戏任务组成的数据集。他们首次使用该基准来直接量化大语言模型（LLM）作为基于文本的世界模拟器的性能。

通过在这个数据集上测试 GPT-4，研究者发现：尽管它的性能令人印象深刻，但如果没有进一步的创新，它仍然是一个不可靠的世界模拟器。

因此，研究者认为，他们的工作既为当前 LLM 的能力和弱点提供了新的见解，也为跟踪新模型出现时的未来进展提供了一个新的基准。

论文地址：https://arxiv.org/pdf/2406.06485

方法概览

研究者探究了 LLM 在基于文本的虚拟环境中充当世界模拟器的能力，在这种环境中，智能体接收观察结果并以自然语言提出操作以完成某些目标。

每个文本环境都可以正式表示为具有 7 元组 (S,A,T,O,R,C,D) 的目标条件部分可观察马尔可夫决策过程 (POMDP)，S 表示状态空间，A 表示动作空间，T : S×A→S 表示转换函数，O 表示观察函数，R : S×A→R 表示奖励函数，C 表示描述目标和动作语义的自然语言「上下文消息」，D : S×A→{0,1} 表示二元完成指示函数。

大模型模拟器（LLM-Sim）任务

研究者提出了一个预测任务，称它为 LLM as-a-Simulator (LLM-Sim)，用来定量评估语言模型作为可靠模拟器的能力。

LLM-Sim 任务是将一个函数 F : C×S×A→S×R×{0,1} 作为世界模拟器来实现。在实践中，完整状态转换模拟器 F 应该考虑两种类型的状态转换：动作驱动转换和环境驱动转换。

图 1 为使用 LLM 作为文本游戏模拟器的示例：打开水槽后，水槽中的杯子被水填满的过程。动作驱动转换是采取打开水槽的动作后，水槽被打开（isOn=true）；而环境驱动转换是在水槽打开时，水填满水槽中的杯子。

为了更好地理解 LLM 对每个转换进行建模的能力，研究者进一步将模拟器函数 F 分解为三个步骤：

灵感PPT

AI灵感PPT - 免费一键PPT生成工具

308 查看详情

• 动作驱动转换模拟器：给定 c、s_t 和 a_t， F_act：C×S×A→S 预测 s^act_t+1，其中 s^act_t+1 表示动作引起的直接状态变化。
• 环境驱动转换模拟器：给定 c 和 s^act_t+1，F_env：C×S→S 预测 s_t+1，其中 s_t+1 是任何环境驱动转换后产生的状态。
• 游戏进度模拟器：给定 c、s_t+1 和 a_t， F_R：C×S×A→R×{0,1} 预测奖励 r_t+1 和游戏完成状态 d_t+1。

此外，研究者考虑了 LLM-Sim 任务的两种变体

• 完整状态预测：LLM 输出完整状态。
• 状态差异预测：LLM 仅输出输入和输出状态之间的差异。

数据和评估

为了完成这一任务，研究者引入了一个新的文本游戏状态转换数据集。该数据集为 「BYTESIZED32-State-Prediction (BYTESIZED32-SP) 」，它包含 76,369 个转换，表示为 (c,s_t,rt,d_t,a_t,s^act_t+1,s_t+1,r_t+1,d_t+1) 元组。这些转换是从 31 个不同的文本游戏中收集的。

下表 1 总结了额外语料库统计数据。

LLM-Sim 上的性能由模型相对于测试样本数据集上的真实标签的预测准确性来决定。根据实验条件，LLM 必须模拟对象属性（模拟 F_act、F_env 或 F）和 / 或游戏进度（模拟 F_R 或 F），定义如下：

• 对象属性：游戏中所有对象、每个对象的属性（如温度、大小），以及与其他对象的关系（如在另一个对象内或之上）。
• 游戏进度：智能体相对于总体目标的状态，包括当前累积的奖励、游戏是否已终止以及总体目标是否已实现。

研究者注意到，在每种情况下，LLM 都提供了 ground truth 先前状态（当函数为 F_env 时，先前状态为 s^act_t+1 ）以及整体任务上下文。也就是说，LLM 始终执行单步预测。

实验结果

上图 1 演示了研究者使用上下文学习评估 LLM-Sim 任务中模型的性能。他们评估了 GPT-4 在完整状态和状态差异预测机制中的准确性。该模型接收先前状态（编码为 JSON 对象）、先前操作和上下文消息，并生成后续状态（作为完整的 JSON 对象或差异）。

下表 2 展示了 GPT-4 模拟完整状态转换的准确性，以及单独模拟动作驱动转换和环境驱动转换的准确性。

研究者得出了以下几项重要发现：

预测动作驱动转换比预测环境驱动转换更容易。在最好的情况下，GPT-4 能够正确模拟 77.1% 的动态动作驱动转换。相比之下，GPT-4 最多只能正确模拟 49.7% 的动态环境驱动转换。

预测静态转换比动态转换更容易。不出所料，在大多数情况下，对静态转换进行建模比对动态转换进行建模要容易得多。

对于动态状态，预测完整游戏状态更容易；而对于静态状态，预测状态差异更容易。预测动态状态的状态差异可以显著提高模拟静态转换的性能（>10%），而模拟动态转换时的性能会降低。

游戏规则很重要，LLM 能够生成足够好的游戏规则。当上下文消息中未提供游戏规则时，GPT-4 在所有三个模拟任务上的性能在大多数情况下都会下降。

GPT-4 在大多数情况下都能预测游戏进度。下表 3 展示了 GPT-4 预测游戏进度的结果。在上下文中加入了游戏规则信息后，GPT-4 可以在 92.1% 的测试用例中正确预测游戏进度。这些规则的存在在上下文中至关重要：如果没有它们，GPT-4 的预测准确率会下降到 61.5%。

人类在 LLM-Sim 任务中的表现优于 GPT-4。研究者对 LLM-Sim 任务进行了初步的人类研究。结果见下表 4。

结果发现，人类的整体准确率为 80%，而采样的 LLM 的准确率为 50%，并且不同注释者之间的差异很小。这表明，虽然任务对于人类来说总体上是直观且相对容易的，但对于 LLM 来说仍有很大的改进空间。 

GPT-4 在需要算术、常识或科学知识时更容易出错。下图 2 展示了在整体状态转换、动作驱动转换和环境驱动转换中，预测结果的正确比例、将属性设置为不正确值的比例或未能更改属性值的比例。

我们可以观察到，GPT-4 能够很好地处理大多数简单的布尔值属性。错误集中出现在需要算术（如温度、timeAboveMaxTemp）、常识（如 current_aperture、current_focus）或科学知识（如 on）的非平凡属性上。

更多技术细节和实验结果请参阅原论文。

以上就是ACL 2025论文盖棺定论：大语言模型≠世界模拟器，Yann LeCun：太对了的详细内容，更多请关注其它相关文章！

# acl 2024  # 量产  # 如果没有  # 出了  # 自然语言  # 这一  # 他们的  # 下表  # 更容易  # 对了  # type  # 模拟器  # 工程  # 先前  # 教我怎么做网站推广  # 肇庆全国网站建设  # 扬州网站建设入门  # SEO编辑主管招聘  # 连锁酒店周边推广营销  # 兰州seo快排公司  # seo新闻点击技巧  # 黄石seo推广优势分析  # 泉州seo优化方案  # 淘宝网站建设的利益 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 本届人工智能大会上的这个“镇馆之宝”，来自长宁企业西井科技！  传Meta 2025年推出首款AR眼镜，采用军用级别材料，计划生产1000台  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  2025年深圳举办的SUSECON 创新峰会开始接受报名  一次购买全年省心，入手科沃斯这几台机器人，省下时间就是金钱  人工智能赋能广西自然资源领域监测监管  编程版GPT狂飙30星，AutoGPT危险了！  如何成功实施人工智能？  小米首次曝光 64 亿参数的 MiLM-6B AI 大模型，或将应用于小爱同学  苹果推出全新沉浸式 AR 体验应用“Deep Field”  探展WAIC |万向区块链杜宇：不存在单一技术的iPhone时刻，Web3.0核心将基于AI+区块链+物联网  人形机器人打开精密齿轮市场全新空间！受益上市公司梳理  Snap宣布研发出新技术 可大幅提升AI生成图像速度  令人惊叹！AI模型能够以iPhone照片为基础创作诗歌  构建AI绘画网站的方法：使用API接口和调用步骤  实测 AI 建筑设计软件的自动生成效果图能力  数据显示：人工智能相关专业热度上升最快 考古、美术、生物医学工程等小众专业火了  读创正式上线“读创AI聊”功能  调研海尔智家：AI名，家电命？  “苏南 vs 苏北” AI 分胜负，娱乐性比较工具 EitherChoice 上线  掌阅科技入选北京市通用人工智能产业创新伙伴计划第二批成员名单  洞穴探险神器？可自主导航的单旋翼自旋无人机，效率更高！  AI拉动PCB发展|行业发现  美踏控股推出创新人工智能大数据模型“心乐舞河”：虚拟人音舞社交的新体验  大模型训练成本降低近一半！新加坡国立大学最新优化器已投入使用  Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码  AI数字人业务频频获点赞，谦寻积极引领示范作用  7大探索区域打造沉浸式玩乐“元宇宙” 昆明京东MALL未来科技探索官全城招募中  WHEE功能介绍  标小智LOGO推出AI公司起名生成器“Name.GPT”  字节团队提出猞猁Lynx模型：多模态LLMs理解认知生成类榜单SoTA  小米发布CyberDog2 - 他们的第二代仿生四足机器人展示  数据科学，解码智能未来——Altair首次提出“Frictionless AI”概念  三星加速AR眼镜进程，预计明年上半年亮相  2025世界人工智能大会（上海）开幕式纪要  万兴播爆桌面端上线，支持AI数字人搜索、视频编辑等功能  衡水市冀州中学机器人社团在世界机器人大赛中斩获佳绩  全媒封面丨⑤商汤科技：原创AI算法“发电厂”  Gartner发布中国企业人工智能趋势浪潮3.0  云深处与昇腾CANN携手合作：开设ROS四足机器狗开发训练营  插画师对AI绘画软件的态度是怎样的？  AI+音乐如何“生成”动听旋律？一起揭秘世界人工智能大会开场曲  曝光HarmonyOS 4的重要新能力：全面升级AI大模型，小艺实现全面进化  时隔 4 年：谷歌更新安卓机器人 LOGO，形象更立体  Adobe旗下Illustrator引入生成式AI工具Firefly  AI无法对传统文化符号进行解构和创新  五项人工智能尚未能够实现的任务  陈丹琦ACL学术报告来了！详解大模型「*」数据库7大方向3大挑战，3小时干货满满  微软在 Build 大会上宣布的新 Microsoft Store AI Hub 现已开始推出  人工智能产业竞跑“未来赛道” 创新发展放大“赋能”效应