脸书研究人员开发出了他们所谓的最大的自动语音识别(ASR)模型，该模型在训练了超过16,000小时的录音后学会了用51种语言理解单词。在预印本服务器Arxiv.org上发表的一篇论文中，合著者说，该系统包含大约十亿个参数，与基准相比，在一个基准上，语音识别性能提高了28.8%。

出于多种原因，需要设计一个模型来识别多种语言的语音。一方面，它简化了后端生产流程，而且研究表明，在类似语言上训练多语言模型可以降低总的单词错误率(WER)。

脸书的模型-所谓的联合序列到序列(Seq2Seq)模型-经过培训，同时在所有语言中共享来自编码器，解码器和令牌集的参数。编码器将输入音频序列映射到中间表示，而解码器将这些表示映射到输出文本，并且令牌集通过以不同频率对句子进行采样来简化使用多种语言的过程。

研究人员将51种语言分为不同的组，每个组具有不同的解码器，然后他们为每个单独的语言组选择10,000个“子词”单元作为标记集。接下来，他们将一些较小的语言组手动组合在一起，直到最终总共只有六个语言组，这防止了组大小因其所包含的语言数量而过度扭曲。

共同作者根据脸书公开分享的匿名视频创建了培训数据集，将其分为三类：由600多个小时的培训数据组成的高资源语言(例如，英语，北印度语，法语)，具有300种资源的中资源语言长达500小时的数据(孟加拉语，日语，俄语)，以及资源少的语言，具有100至150小时的数据(挪威语，斯瓦希里语，立陶宛语)。根据某些准则对视频进行转录后，他们调整了模型的超参数或参数值，这些参数的值用于控制学习过程。

研究人员报告说，在多个实验中，他们模型的最佳版本对高资源语言的WER平均提高了9.1%，对中资源语言的提高了12.44%，对低资源语言的提高了28.76%。在包括繁体中文，波斯文和泰卢固文在内的以前从未见过的低资源语言上，它也表现出色。

脸书研究人员写道：“据我们所知，这项工作是第一个大规模研究多语言系统的工作。”“我们证明，有可能为51种不同的语言训练一个庞大的单一ASR体系结构，我们发现在实践中，与51种不同的单语基线相比，调优的时间要少得多。”

新模型的发布是在脸书详细发布了wav2vec 2.0之后的，它是一种用于自我监督语音识别的改进框架。在一篇论文中，研究人员声称，wav2vec 2.0在概念上更简单，性能优于最佳的半监督方法，仅用10分钟的标记数据并在53,000小时的未标记数据上进行预训练即可达到最新的结果。