145
在近年来的研究中，大型语言模型（LMs）在许多任务中表现出了显著的能力。然而，它们在物理环境中的简单推理和规划方面，如理解物体的永久性或规划家庭活动，却常常遇到困难。这种局限性源于LMs只接受了书面文本的训练，缺乏必要的实体化知识和技能。
为了解决这个问题，研究人员提出了一种新的范式，通过微调世界模型来增强LMs，从而获取多样化的实体化知识，同时保留其通用语言能力。
他们在物理世界的模拟器（VirtualHome）中部署了一个实体化的代理，并通过目标导向的规划和随机探索，获取了一系列多样化的实体化体验。这些体验被用来微调LMs，以教授在物理世界中的推理和行动的多样化能力，例如规划和完成目标、物体的永久性和追踪等。
此外，研究人员还引入了经典的弹性权重整合（EWC）和低秩适配器（LoRA）来提高训练效率。EWC通过选择性的权重更新，在微调过程中保留LMs的通用性，这有助于将实体化知识泛化到各种任务，而不是仅限于特定的模拟。而LoRA则通过降低模型的复杂性，提高了训练的效率。
研究人员对这种新的范式进行了广泛的实验。结果表明，研究方法在18个下游任务中，平均提高了基础LMs 64.28%的性能。特别是，研究方法提升了小型LMs（13B和6B）的性能，使其达到甚至超过了更大型LMs（例如ChatGPT）的性能。
这项研究的成果表明，通过微调世界模型来增强LMs，可以有效地提升其在物理环境中的推理和规划能力。这为未来的人工智能研究提供了新的思路和方法。
参考资料：
- Xiang, J., Tao, T., Gu, Y., Shu, T., Wang, Z., Yang, Z., & Hu, Z. (2023). Language Models Meet World Models: Embodied Experiences Enhance Language Models. arXiv preprint arXiv:2305.10626. 链接
- Xiang, J., Tao, T., Gu, Y., Shu, T., Wang, Z., Yang, Z., & Hu, Z. (2023). Language Models Meet World Models: Embodied Experiences Enhance Language Models. (PDF Version) 链接
