字节提出基于LLM的新范式PolyVoice

在最近的研究中，字节提出了基于流畅语言模型（Language-Modeling Lattices，简称LLM）的新范式PolyVoice，该范式仅使用解码器实现语音翻译。PolyVoice是一种多轮机器翻译（Machine Translation，简称MT）的方法，旨在提高语音翻译的质量和效率。

提升语音翻译质量的需求和挑战

随着全球化的不断推进和人们跨国交流的增加，语音翻译的需求也越来越迫切。然而，传统的语音翻译系统往往存在质量不高、错误率较高以及译文流畅度差等问题。这些问题主要源于两个方面：语音识别和机器翻译。

语音识别是语音翻译的第一步，其准确性直接影响翻译质量。然而，语音中的噪声、口音、发音不标准等因素都会导致识别错误。此外，语音识别系统对于一些特殊的词汇和语法结构识别能力有限，使得翻译结果不准确。而机器翻译的挑战在于语言的多样性和复杂性，不同语言之间存在着较大的差异，机器翻译系统需要克服词义歧义、句法结构差异、文化差异等问题。

PolyVoice：基于LLM的新范式

PolyVoice是字节提出的用于语音翻译的新范式，其核心思想是使用解码器实现翻译任务。传统的语音翻译系统通常采用两个模型：语音识别模型和机器翻译模型，通过将两个模型串联起来实现翻译任务。而PolyVoice的创新之处在于将这两个模型合二为一，使用解码器直接进行翻译，简化了系统结构。

具体而言，PolyVoice首先利用LLM生成候选翻译结果集合，然后使用解码器进行筛选和排序，得到最终的翻译结果。LLM是一种基于语言模型的方法，可以生成多个可能的译文候选。解码器根据翻译模型对这些候选进行评分，并选择最优的翻译结果。

PolyVoice的优势在于，它将语音识别和机器翻译任务合并为一个解码器任务，减少了计算和传输的开销，大大提高了翻译的效率；同时，使用LLM生成候选翻译结果，增加了翻译的准确性和流畅度。此外，PolyVoice还可以根据用户的反馈和上下文信息对翻译结果进行修改和优化，进一步提升翻译质量。