全球 AI 顶会 NeurIPS 2025 今晚公布获奖名单，阿里巴巴通义千问团队凭《Attention Gating Makes Better Foundation Models》拿下最佳论文奖，成为 4 篇获奖论文中唯一中国面孔。本届大会共收稿 2 万篇，录取率仅 25 ...
|
全球 AI 顶会 NeurIPS 2025 今晚公布获奖名单，阿里巴巴通义千问团队凭《Attention Gating Makes Better Foundation Models》拿下最佳论文奖，成为 4 篇获奖论文中唯一中国面孔。本届大会共收稿 2 万篇，录取率仅 25%，竞争强度创历史新高。 论文核心是一把“滑动门”：在标准注意力后加一层可学习的门控，实时决定哪些头、哪些 token 继续参与下游计算。实验显示，1.7 B 稠密模型与 15 B MoE 模型在 3.5 T tokens 上训练，**参数只增 1 %，困惑度降 0.2，MMLU 涨 2 分**，Pile 各子域均取得一致提升。团队解释，门控相当于给注意力做“安检”，无效信息被拦在 FFN 之前，计算效率与鲁棒性同步提高。 该机制已装进即将发布的 Qwen3-Next，阿里同时把代码与 1.7 B 实验模型开源至 GitHub，供社区二次验证。通义千问表示，下一步将把门控思路扩展到多模态与长文本，让“会自己过滤的注意力”成为下一代大模型的标准组件。 |
官方手机版
微信公众号
商务合作
评论