传统的代码生成模型通常仅仅通过预测程序中下一个指令来进行学习，这种方式在面对编程复杂性时显得捉襟见肘。Meta 的研究团队认为，要真正掌握编程，模型需要理解代码执行后的实际效果。这种理解能力对于软件工程师至关重要，因为他们在编写代码时不仅关注语法，还需考虑变量、对象和函数等组件之间的关系。

CWM 模型的训练过程采用了新颖的方法，特别是在 “中期训练” 阶段就开始教授代码的行为，而不是在最后的微调阶段。这一过程主要利用了两种关键数据:一是 Python 代码执行轨迹的记录，二是基于 Docker 环境中的智能体交互数据。通过这些数据，CWM 可以更深刻地理解代码指令对程序整体行为的影响。

在实际应用中，CWM 展现出了优秀的性能。在多个行业基准测试中，它的表现均超过了其他同类模型。例如，在 SWE-bench Verified 基准测试中，CWM 的通过率达到了65.8%，在 LiveCodeBench 和数学推理等测试中也取得了优异的成绩。虽然 CWM 的表现令人鼓舞，但研究人员也提醒，CWM 仍然处于研究阶段，未进行大规模的优化，暂不适用于通用的对话助手功能。

Meta 团队对于未来的发展持乐观态度，他们认为借助世界模型知识来提升模型在多种任务中的表现仍有很大潜力。这一研究的进展表明，拥有强大的世界模型将使人工智能系统在不断变化的真实环境中变得更加可靠和高效。

入口:https://ai.meta.com/research/publications/cwm-an-open-weights-llm-for-research-on-code-generation-with-world-models/