Google представил технологию синхронного перевода устной речи

Компания Google представила инновационную технологию для синхронного перевода устной речи под названием Translatotron

Новая технология от Google пропускает этап расшифровки речи в текст. Нейросеть принимает спектрограмму исходной аудиозаписи с голосом и синтезирует спектрограмму с речью на другом языке. После этого она синтезирует аудиофайл.

Также, Translatotron умеет сохранять интонации и паузы в речи, а также голос говорящего при переводе. Однако при сохранении исходного голоса перевод немного отличается, поскольку эта версия нейросети обучена на меньшем количестве данных.
Недавно Google запустил Планировщик результатов.