Дедлайн для апрува: как научить ASR не ломаться при смене языков
В реальной жизни люди иногда говорят на смеси языков, например — русского и английского, а порой и переключаются между разными языками во время диалога. Особенно это характерно для международных компаний, у которых сотрудники, клиенты и партнёры могут быть из разных стран. Для систем преобразования речи в текст (ASR) переключение между языками представляет сложность. Они определяют язык диалога по первым репликам и фиксируют его кодовое обозначение, а при смене языка начинают вести себя непредсказуемо. Одни модели заменяют иностранные слова латиницей, другие — подбирают похожие по звучанию (но неверные по смыслу) слова из русского языка, третьи — просто игнорируют нераспознанные фрагменты. Существенных успехов в решении этой проблемы добились специалисты по обработке аудиоданных из лаборатории искусственного интеллекта российской ИТ-компании «Криптонит». Они разработали методику дообучения моделей транскрибирования речи, устойчивую к переключению языка собеседников. Она позволяет добавить поддержку смены языка (code-switch) в Whisper, GigaAM и другие модели ASR. Эта разработка может применяться в любых системах обработки речи. Например, для транскрибации совещаний, обработки диалогов технической поддержки, в универсальных приложениях для голосового ввода, для анализа больших массивов речевых аудиоданных, словом — везде, где требуется качественное распознавание аудиозаписей на смеси языков. Читать далее