苹果公司与俄亥俄州立大学研究团队联合发布的 FS-DFM（Few-Step Discrete Flow-Matching）模型。这一创新的语言模型在长文本生成方面表现出色，仅需8轮快速迭代，便可生成与传统模型上千轮迭代相媲美的文本质量。同 ...
|
苹果公司与俄亥俄州立大学研究团队联合发布的 FS-DFM（Few-Step Discrete Flow-Matching）模型。这一创新的语言模型在长文本生成方面表现出色，仅需8轮快速迭代，便可生成与传统模型上千轮迭代相媲美的文本质量。同时，它的写入速度可提高最多128倍，打破了以往长文本生成的效率瓶颈。
FS-DFM 模型的设计理念与主流的语言模型有所不同。以 ChatGPT 为代表的自回归模型是逐字生成文本，每个字的生成都依赖于前面的内容。而扩散模型则采用并行策略，一次性生成多个字，通过多轮迭代逐步优化最终结果。FS-DFM 在扩散模型的基础上进行了进一步简化，目标是用更少的步骤实现高质量文本的生成。 为了实现这一突破，苹果研究团队提出了一套精妙的三步法。首先，模型经过专门训练，可以灵活适应不同的精炼迭代次数。其次，他们引入了一个 “教师” 模型进行引导，确保每轮迭代中的更新既大幅又精准，从而避免过度调整的问题。最后，团队优化了迭代机制，使得模型能够以更少且更加稳健的步骤生成最终文本。 在性能评估中，FS-DFM 还对比了参数量为70亿的 Dream 模型和80亿的 LLaDA 模型。测试结果显示，即使 FS-DFM 的参数量仅为1.7亿至17亿，其在文本生成的困惑度（越低越好，衡量文本的准确与流畅性）和熵(衡量模型选词信心的指标)上，表现出更低的困惑度和更稳定的熵。这一成绩证明了 FS-DFM 模型在 AI 长文本写作领域的潜力。 项目:https://machinelearning.apple.com/research/fs-dfm |
官方手机版
微信公众号
商务合作
评论