Синтез речи: что это такое и как он работает

Содержание статьи:

• Понятие синтеза речи
• Подходы к речевому синтезу
• Как работает Text-to-Speech
• Какие задачи способен решить перевод текста в аудиоформат
• Что сделать для того, чтобы голос после синтезирования звучал естественно
• Популярные инструменты и сервисы для синтеза речи
• Итоги

Многие пользуются навигатором, колонками “Алиса” от Яндекса и рядом иных сервисов с применением виртуального помощника. Но мало кто задумывается над тем, как же они функционируют. А принцип действия всех этих инноваций заключается в использовании технологической методики преобразования — синтеза речи. Что же это такое, как работает синтезирование и для каких целей оно может пригодиться, рассмотрим более подробно.

Понятие синтеза речи

Сам по себе речевой синтез означает технологию, способную переводить текст в речь, т.е. в аудиопоток: “text-to-speech”, что сокращенно обозначают TTS. Это в дословном переводе на английский определяют понятие синтез речи (speech synthesis). Примерами применения технологии является система преобразования текста для направления водителя по навигатору, перевод иностранного текста и пр. Синтез используется в самых простых ресурсах — функционировании виртуальных помощников. Примером могут быть голосовые помощники операторов мобильной сети.

TTS имеет важное значение и помогает людям с ограниченными возможностями читать тексты при помощи вокодера — устройства для синтезирования речи. Из-за дислексии или проблем со зрением человек не может самостоятельно прочитать определенную информацию. Здесь на помощь приходит синтез речи. Причем он позволяет не только слышать написанный текст, но и общаться с роботизированной программой, задавать вопросы.

Синтез речи является автоматическим ресурсом. Его задача — представление возможности роботизированного озвучивания текста. Так приложение получает определенный текст на любом из поддерживаемых языков и впоследствии обработки читает этот фрагмент хорошо поставленным дикторским голосом.

Основные виды применения технологии:

• адаптация сайтов и интерфейсов различных ресурсов для использования людьми с плохим зрением или тех, кто в силу заболевания не может соединить прочитанную информацию в цельную композицию;
• озвучивание основного функционала в приложениях — воспроизведение голосом ключевых команд навигатора и других пользовательских сервисов;
• преобразование текста для создания голосовых скриптов для роботов, используемых при обзвонах на номер пользователей;
• озвучка лекций, отдельных упражнений — применяется на онлайн-образовательных платформах.

Зачастую синтез работает совместно с технологией распознавания речи. Работа разработчиков в этой сфере осуществляется благодаря выстроенной спектрограмме, которая показывает вход звуковой волны и прочие параметры. Примерами служат виртуальные ассистенты Алиса, Сири, Алекса и ряд других. В них объединены функции автоматизированного анализа речи и ее синтезирование.

Распространение технологии синтеза позволяет упрощать жизнь людей и минимизировать человеческие ресурсы для решения конкретных задач.

Подходы к речевому синтезу

Выделяют три подхода, каждый из которых обладает собственными характеристиками и применяется в определенных областях:

• Конкатенативный. Его использование предполагает наличие базы готовых записей речи, которые впоследствии объединяются в полноценное предложение. Данный подход характеризуется высоким качеством звучания и максимальным приближением к естественной речи. Для использования этого типа синтеза необходим внушительный объем данных. Конкатенативный синтез применяется в навигации и для виртуальных помощников.
• Формантный. Основывается на моделировании свойств акустики голоса человека. Данный подход дает возможность создавать речь с нуля. Он отличается гибкостью по сравнению с конкатенативным синтезом. Применяют такой синтез в приложениях образовательного формата, научных исследованиях. Формантный метод способен воспроизводить различные голоса и интонации.
• Нейронный или параметрический. Подход, при котором используется глубокое изучение речи человека, чтобы результат получался более естественным и отличался высоким качеством. Для этого необходимы серьезные вычислительные ресурсы, но в итоге сгенерированная речь почти не отличается от человеческой. Параметрический синтез имеет обширное применение и затрагивает практически все отрасли жизнедеятельности.

Для оценки моделей речевого синтеза используют метрики качества. Они предполагают сравнение алгоритмов. Один и тот же фрагмент текста можно читать по-разному, поэтому единого правильного варианта попросту нет. В связи с этим и метрики качества воспринимаются весьма субъективно, т.е. зависит от слухового восприятия пользователя. При помощи стандартной метрики MOS можно вычислить степень естественности воспроизводимой речи: где 1 — неправдоподобная, а 5 — практически неотличима от человеческой.

Как работает Text-to-Speech

Технология имеет четкий алгоритм действия. Так синтез речи состоит из нескольких основных стадий:

• Аналитика текста. На данном этапе текст разделяется на фрагменты: предложения и отдельные слова. Проводится анализирование лексики, синтаксиса, чтобы была понятна структура. Сюда включено определение частей речи, знаков препинания и их расстановку. Все это позволяет значительно улучшить качество речи, полученной посредством синтеза.
• Фонемный разбор — транскрипция. Фонема является минимальной звуковой единицей. Программа определяет  последовательность фонем. Это позволяет определить правила произношения и ударений. Система позволяет учесть произношение в зависимости от определенного диалекта и акцента. Так синтезированная речь становится понятной и естественной.
• Непосредственное производство сигнала в виде аудио. Данный процесс напрямую зависит от подхода, используемого при синтезе: соединения готовых речевых фрагментов, моделирования голоса, генерации, к которым подключены нейросети. Сюда включена настройка интонации, а также ритмика голоса, его тембр. Это позволяет получить эмоциональную живую речь.
• Итоговая обработка. В финале улучшается качество звучания, добавляется нужная интонация. Здесь может быть включена фильтрация посторонних шумов, регулирование громкости, создание определенных эффектов, например, добавление эха. Стадия такой обработки делает речь более комфортной для прослушивания.

От числа дополнительных параметров анализирования и обработки текста зависит качество звука, его эффективное восприятие человеческим слухом.

Какие задачи способен решить перевод текста в аудиоформат

Технологии воспроизводства речи используются во разных отраслях:

• Создание голосовых ассистентов. Они необходимы для взаимодействия с пользователями в рамках CRM, например, Google Assistant. Использование виртуальных собеседников набирает популярность, ведь они помогают решать многие задачи, включая поиск определенной информации в сети Интернет и управление умным домом.
• Работа систем навигации. В устройства GPS внедряют голосовые инструкции, которые позволяют лучшему ориентированию на дорогах и обеспечивают безопасность вождения. Такая же система действует для пешеходов, позволяя им проходить заданный маршрут в соответствии с воспроизводимыми инструкциями.
• Функционирование образовательных приложений. Сюда относятся сервисы по изучению иностранного языка, чтения лекций в аудиоформате. Подобные технологии помогают лучше усваивать учебный материал, улучшать навыки восприятия текста на слух.
• Внедрение технологий доступности. Благодаря синтезу речи люди с ограниченными возможностями получают возможность работать на компьютере и мобильных устройствах. Это касается тех, у кого проблемы со зрением, а также слухом. в последнем случае пользователи могут беспрепятственно общаться с окружающими.
• Использование приложений в медицинской сфере. Синтез применяется в ряде сервисов медицины, например, диагностики или реабилитации больных. С помощью программ пациентам можно получать инструкции. Также технология позволяет создавать искусственные голоса для тех, кто утратил способность разговаривать.
• Создание коммерческих продуктов. Сюда относятся умные колонки, а также приложения для мобильных устройств и системы управления авто. Такие продукты направлены на улучшение повседневной жизни пользователей.

Посредством распространения технологии синтеза речи можно создавать удобные в использовании и интуитивно понятные интерфейсы, которые заметно улучшают пользовательский опыт.

Озвучка контента

Речевой синтез понадобится для озвучивания текстов в любом формате вне зависимости от его объема. При этом отсутствует потребность в специализированном оборудовании. Технологии применяются для создания аудиокниг, чтения лекций. Преимущество синтеза в том, что нет необходимости нанимать профессиональных дикторов и платить им за озвучку.

Озвучка интерфейсов

При помощи TTS можно озвучивать различные навигационные элементы сайтов: онлайн чат, инструкции, описание в карточках товаров и пр. Таким же образом воспроизводят в аудиоформате приложени и различные сервисы. Благодаря данной технологии, можно повысить лояльность пользователей, помочь в использовании ресурсов слабовидящим людям и привлечь новых клиентов.

Подключение автоответчика

Данный функционал стал уже привычным для большинства людей. Но инновационная технология синтезирования позволяет создавать уникальные реалистичные голоса. Таким образом шаблонные фразы робота преобразуются в эмоциональную озвучку, которую можно выбрать из предлагаемой библиотеки.

Автоматизация работы отделов по работе с клиентами

Синтезатор дает возможность оптимизировать ресурсы менеджеров, улучшить их производительность. При использовании TTS нет необходимости в увеличении штата сотрудников. За счет распознавания речи в телефонии голосовые помощники могут рассказать об имеющихся предложениях компании, сориентировать по ассортименту и даже дает ответ на вопросы в связи с запрограммированной ситуацией. В большинстве случаев проблемы пользователей решаются без привлечения реальных операторов.

Озвучивание субтитров

С использованием программ-синтезаторов пользователи могут без проблем смотреть кинокартины заграничного производства на оригинальном языке. Сервис помогает смотреть не только фильмы, но и лекции, а также другой иностранный видеоконтент.

Работа голосовых помощников

Виртуальных ассистентов можно внедрить в любое приложение. Они упрощают использование сервисов. помогают решить определенные вопросы. Клиентам не придется ждать оператора, поскольку они смогут найти решение практически мгновенно. Сейчас автоматизированные системы становятся более человечными, т.е. приобретают эмоциональность. Это повышает лояльность пользователей.

Помощь автомобилистам

Навигаторы стали озвучивать уже некоторое время назад. Однако сейчас функционал расширяется и при помощи голосового помощника водителей направляют неординарными фразами, приятным тембром голоса.

Что сделать для того, чтобы голос после синтезирования звучал естественно

Многие настороженно относятся к роботизированным системам. При попытках дозвониться в определенную организацию тебе зачастую отвечает монотонный неэмоциональный голос, что вызывает раздражение. Для комфортного взаимодействия человека с системой необходимо использовать технологию синтеза, способного сделать голос более естественным, приятным для слуха. В связи с этим учитываются все нюансы языка, а также подключается к работе нейросеть. Применяют в работе такие нейронные сети, как например, Wavenet, Tacotron и др.

Что нужно сделать для улучшения качества речи:

• Нормализация текста. Все сокращения разворачиваются до полных фраз, в необходимых местах добавляется буква “ё” вместо печатного “е”. Все числа переводятся в текстовый формат.
• Распознавание омографов, т.е. слов, написанных одинаково, но которые произносятся по-разному.
• Расставление ударений в соответствии со словарем.
• Распределение текста на части по смыслу и интонационные фрагменты, расставление пауз.
• Выбор подходящего тона озвучки: высота голоса, его ритм и окрас по интонации. Смысловые ударения должны стоять в правильном порядке.
• Проверка аллофонов, т.е. реализация всех фонем в зависимости от фонетического окружения. В реальной речи фонемы звучат по-разному, благодаря соседствующим звукам. Также влияет на это и скорость воспроизведения текста.
• Добавление фоновых шумов. Например, при добавлении звука работающей клавиатуры можно создать впечатление, что пользователь разговаривает с реальным оператором колл-центра. Это придает реалистичности, вызывает доверие слушателя.

Для выполнения всех этих действий важно, чтобы искусственный интеллект (ИИ) понимал контекст. Это помогают делать встроенные языковые модели, которые предварительно обучают русскому языку с использованием огромного числа различных текстов.

Популярные инструменты и сервисы для синтеза речи

Сейчас существует множество разнообразных инструментов, а также сервисов, которые доступны для разработчиков и конечных пользователей. Вот некоторые из них:

• Amazon Polly — коммерческий ресурс, предлагающий синтез высокого качества. В данной программе доступен выбор языка, голоса, настройки интонации и темпа воспроизведения. Сервис в основном используют для крупномасштабных проектов. Синтезируемая речь эмоциональна и максимально приближена к естественной.
• Google Text-to-Speech — бесплатный сервис с возможностью использования широкого спектра языков и различных акцентов. Качество воспроизводимой речи высокое, а к выбору доступны разноплановые голоса. Сервис достаточно просто внедрить в приложение посредством API.
• Salute Speech от Сбер — российский сервис, способный распознавать и синтезировать речь. Платформа использует уникальный цифровой декодер, а также передовые акустические и речевые модели, которые дают возможность максимально точно распознавать слова, приближая воспроизводимую речь к натуральной. Голоса постоянно проходят переформатирование по результатам их обучения, корректируются фонетические ошибки.
• IBM Watson Text to Speech — сервис, предлагающий высококачественный синтез с применением гибких настроек. Инструментарий включает большое количество языков, а также акцентов. Использование программы предполагает анализирование текста и возможность настройки итоговой речи. Это универсальный сервис, который легко интегрируется во многие приложения.
• Microsoft Azure Cognitive Services — ресурс с мощным инструменталом для эффективного синтеза речи. Имеется поддержка большого количества языков. База голосов также внушительная. Платформа применяется для решения корпоративных задач. В функционал включен анализ текста и настройки речи.
• Balabolka — программа предлагает синтез на бесплатной основе. Способна преобразовывать текст в аудиозапись высокого качества с возможностью настроек синтезированной речи. В библиотеке присутствует большое количество разнообразных голосов. Используют сервис в основном для личного пользования или небольших проектов.

Технология синтеза речи применяется и в ряде других сервисов. Она постоянно развивается и находит новые сферы применения. Независимо от типа внедрения функции синтезирования она помогает лучше взаимодействовать с пользователями, создавая комфортную и непринужденную атмосферу живого общения.

Итоги

Речевой синтез пользуется спросом у обычных пользователей, расширяя возможности продуктивного получения информации для решения большого спектра задач. Но также это мощный инструментал для бизнеса. В связи с предпринимательской деятельностью он имеет ряд преимуществ:

• Дает возможность эффективно увеличить свою аудиторию. Сейчас люди не хотят тратить время на чтение текстов, но при этом они охотно прослушивают предоставляемую информацию. Спрос на формат подкаста позволяет прослушивать статьи в дороге.
• Повышение доверия клиентов, увеличение их лояльности. Это касается внедрения виртуальных ассистентов и голосовых помощников. Использование продвинутой технологии даст возможность решать внушительный поток задач с экономией человеческого ресурса. Ярким примером служит колл-центр, где в автоматическом режиме клиенту можно оформить заказ, уточнить статус доставки, проверить оплату и многое другое.
• Экономия финансовых затрат. Это касается практически всех сфер бизнеса. Если взять в пример звукозаписывающую студию, то синтез речи позволит сэкономить на найме актеров для озвучки, продюсеров. Так без привлечения определенных кадров можно эффективно создавать аудиокниги, предлагая услуги компании с минимальными затратами ресурсов.
• Поддержание связи с клиентами. Роботизированные системы, основанные на технологии TTS, не зависят от времени суток. Голосовые помощники не требуют сна и отдыха, поэтому в любой момент могут проконсультировать клиента по интересующим вопросам. Обученные виртуальные ассистенты, способные отвечать как реальный человек, могут общаться с пользователями в выходные дни, предоставляя данные о графике работы компании, напоминать клиентам о записи на прием и т.п.

Технология TTS обладает широким спектром возможностей, облегчающих работу бизнеса, способствующих росту продаж и улучшающих пользовательский опыт.

Речевой синтез постоянно совершенствуется. Многие уже заметили это, потому как не всегда могут на начальных стадиях разговора отличить робота от реального человека. Технологии прочно входят в нашу жизнь, создавая качественные условия для ведения бизнеса и взаимодействия пользователей с мобильными сервисами, техникой.