在科技的浪潮中，抖音 SAIL 团队与 LV-NUS Lab 强强联手，推出了一款名为 SAIL-VL2的多模态大模型。这个新模型在保持较小参数规模的同时，竟然在复杂推理任务中超过了许多同类模型，甚至能与更大型的闭源模型相抗衡 ...
|
在科技的浪潮中，抖音 SAIL 团队与 LV-NUS Lab 强强联手，推出了一款名为 SAIL-VL2的多模态大模型。这个新模型在保持较小参数规模的同时，竟然在复杂推理任务中超过了许多同类模型，甚至能与更大型的闭源模型相抗衡。这一突破性的进展无疑刷新了小模型的应用可能性。 SAIL-VL2的参数设置分为2B 和8B，在106个数据集上实现了性能的突破，尤其在 MMMU、MathVista 等复杂推理基准测试中表现优异。这个模型展示了一种新范式，即 “小模型也能有强能力”。为了确保这一点，SAIL-VL2在数据、训练及架构设计上进行了三大方面的创新。
在架构设计上，SAIL-VL2引入了稀疏混合专家（MoE），以优化性能和计算效率。其视觉编码器 SAIL-ViT 采用渐进式优化，逐步提升视觉 - 语言的对齐能力。这种创新设计使得 SAIL-VL2在推理时仅需激活部分参数，大幅度提升了模型的计算效率。 数据层面上，SAIL-VL2构建了高质量的多模态语料库，通过评分过滤和合成增强手段，确保数据的准确性和多样性。同时，团队还设计了一套渐进式的训练框架，从基础感知逐步过渡到复杂推理，使得模型在不同任务中的表现更加出色。 通过全链路优化，SAIL-VL2在基础模型的性能上取得了显著进展。数据显示，该模型在多项基准测试中脱颖而出，其8B 规模的模型在推理能力上，已然与最新的 GPT-4o 不相上下。这样的进展不仅为科研界带来了新的希望，也为未来多模态模型的应用开辟了新的道路。 SAIL-VL2的开源代码和模型也已在 GitHub 和 Hugging Face 上发布，便于研究者和开发者的使用与深入探索。无论是在学术研究还是工业应用中，SAIL-VL2都展现出强大的潜力与应用前景。 |
官方手机版
微信公众号
商务合作
评论