Я протестировал 10 голосовых ИИ, или насколько мы близки к революции фанатского ИИ-дубляжа?
Полноценный дубляж стоит дорого. Очень и очень дорого. Особенно это заметно в аниме. Чтобы у каждого героя был свой голос, а реплики попадали в движение губ, нужен переводчик, который перепишет текст под длину каждой фразы, режиссер, студия и отдельный актер на каждую роль, который вытянет то, что озвучил сэйю (так называют актеров дубляжа аниме). Фанатским командам такое и не снилось. Почему? Как я и сказал, все упирается в деньги, поэтому фанатская озвучка обычно закадровая: один-три человека читают за всех героев поверх приглушенного японского оригинала, перевод уже сделали энтузиасты и выложили субтитры, а зритель, в итоге, слышит обе дорожки сразу. Но сейчас же есть нейросети, и они продавали (и продолжают продавать) идею мира, в котором языковой барьер сломан. ElevenLabs продает дубляж как услугу, YouTube уже переводит голос в роликах части каналов автоматически, а открытые модели клонируют голос по нескольким секундам звука и запускаются на домашней видеокарте. Для фанатов это выглядит как мечта: взять голос актера дубляжа прямо из серии, заставить его говорить по-русски и уложить слова в губы. Трудностей у такой мечты четыре, давайте по порядку. Читать далее