VibeVoice 框架致力于通过连续语音标记实现下一个标记的扩散，涵盖了多种变体以适应长篇多语者音频的需求，如播客。研究团队表示，主版本的 VibeVoice 模型能够合成长达90分钟的语音，支持多达4名说话者在64k 的上下文窗口中生成声音。

VibeVoice-Realtime 使用一种交错窗口设计，输入的文本被拆分成小块。模型在编码新文本块的同时，还能继续从先前的上下文中生成声学特征。这样，文本编码与声学解码之间的重叠使得该系统能在合适的硬件上达到约300毫秒的首音延迟。

与长篇 VibeVoice 变体不同，实时模型只使用声学标记器，且以7.5赫兹的速度运行。声学标记器基于 LatentLM 的 σ VAE 变体，采用对称的编码器 - 解码器架构，能够对24kHz 音频进行3200倍的下采样。

该模型的训练分为两个阶段，首先对声学标记器进行预训练，随后冻结标记器并训练大语言模型（LLM）及扩散头。VibeVoice-Realtime 在 LibriSpeech 测试集上取得了零样本性能，字错误率(WER)为2.00%，说话者相似度为0.695，表现与其他近期的 TTS 系统相当。

推荐的集成模式是将 VibeVoice-Realtime-0.5B 与对话 LLM 一起运行，LLM 在生成过程中流式传输标记。该 TTS 过程具有固定的8k 上下文和约10分钟的音频预算，适合于典型的代理对话、支持呼叫和监控仪表板。

huggingface：https://huggingface.co/microsoft/VibeVoice-Realtime-0.5B