Meta AI 实验室今天把 Llama3.1改造成推理“X 光机”——新模型 CoT-Verifier 正式登陆 Hugging Face，专门剖开链式思维（CoT）每一步的“电路轨迹”，让错误不再躲在黑箱里。传统验证只看输出对不对，Meta 换了个视 ...
|
Meta AI 实验室今天把 Llama3.1改造成推理“X 光机”——新模型 CoT-Verifier 正式登陆 Hugging Face，专门剖开链式思维（CoT）每一步的“电路轨迹”，让错误不再躲在黑箱里。 传统验证只看输出对不对，Meta 换了个视角:先给模型跑一次前向，再把每一步的归因图（attribution graph）抽出来。团队发现，正确与错误推理的图结构差异极大，就像两条形状完全不同的电路板。用轻量级分类器在这些“图特征”上训练，错误步骤的预测准确率直接飙到 SOTA，且不同任务(数学、逻辑、常识)各自有独特的“故障图谱”，说明推理失败并非随机噪声，而是可量化、可分类的计算模式。
更关键的是，归因图不仅能“诊断”，还能“动刀”。Meta 在实验里对高可疑节点做定向消融或权重偏移，成功把 Llama3.1在 MATH 数据集上的准确率再提4.2个百分点，而无需重新训练主干。换句话说，CoT-Verifier 把推理纠错从“事后复盘”变成“术中导航”。 模型已开源，脚本一键复现。开发者只需把待验证的 CoT 路径喂给 Verifier，就能拿到每一步的“结构异常分”，并定位最可能出错的上游节点。Meta 在论文结尾放话:下一步把同样的图干预思路搬到代码生成、多模态推理，让“白盒手术”成为 LLM 的新标配。 |
官方手机版
微信公众号
商务合作
评论