Полное руководство по разговорному ИИ с Dialogflow и Google Cloud

const {
 dialogflow,
 Image
} = require('actions-on-google')

// Создать экземпляр приложения
const app = dialogflow();

// Зарегистрировать обработчики для намерений Dialogflow
app.intent('Default Welcome Intent', conv => {
 conv.ask('Hi, how is it going?')
 conv.ask(`Here's a picture of a cat`)
 conv.ask(new Image({
  url: 'https://developers.google.com/web/fundamentals/accessibility/semantics-builtin/imgs/160204193356-01-cat-500.jpg',
  alt: 'A cat',
 }));
});

// Намерение в Dialogflow под названием `Goodbye`, которое закрывает действие
app.intent('Goodbye', conv => {
 conv.close('See you later!')
});

// 1)
const { actionssdk } = require('actions-on-google');
const dialogflow = require('@google-cloud/dialogflow');
const uuid = require('uuid');

// 2)
const app = actionssdk();

// 3)
app.intent('actions.intent.MAIN', async (conv) => {
 // 4)
 var queryInput = {
  event: {
   name: 'WELCOME',
   languageCode: 'en'
  }
 };
 var response = await dialogflowDetection(queryInput);
 // 5)
 conv.ask(response.response.queryResult.fulfillmentText);
})

app.intent('actions.intent.TEXT', (conv, input) => {
 // 6)
 var queryInput = {
  text: {
   text: input,
   languageCode: 'en'
  }
 };
 var response = await dialogflowDetection(queryInput);
 conv.ask(response.queryResult.fulfillmentText);
});

async function dialogflowDetection(qInput){ // Pass qInput here
 // 7)
 const sessionId = uuid.v4();
 const sessionClient = new dialogflow.SessionsClient();
 const sessionPath = sessionClient.projectAgentSessionPath(projectId, sessionId); // Use projectId from scope

 // 8)
 const request = {
  session: sessionPath, // Use sessionPath defined above
  queryInput: qInput,  // Use the passed qInput
  queryParams: null
 };

 // 9)
 const [response] = await sessionClient.detectIntent(request); // Use sessionClient defined above
 return response;
}

{
 "actions": [
  {
   "description": "Default Welcome Intent",
   "name": "MAIN",
   "fulfillment": {
    "conversationName": "welcome"
   },
   "intent": {
    "name": "actions.intent.MAIN",
    "trigger": {
     "queryPatterns":["talk to CCAIDemo"]
    }
   }
  },
  {
   "description": "Dialogflow Intents",
   "name": "TEXT",
   "fulfillment": {
    "conversationName": "dialogflow_intent"
   },
   "intent": {
    "name": "actions.intent.TEXT"
   }
  }
 ],
 "conversations": {
  "welcome": {
   "name": "welcome",
   "url": "https://www.leeboonstra.dev/webhook/"
  },
  "dialogflow_intent": {
   "name": "dialogflow_intent",
   "url": "https://www.leeboonstra.dev/webhook/"
  }
 },
 "locale": "en"
}

{
 "description": "Direct access",
 "name": "BUY",
 "fulfillment": {
  "conversationName": "ExampleAction"
 },
 "intent": {
  "name": "com.example.ExampleAction.BUY",
  "parameters": [
   {
    "name": "color",
    "type": "org.schema.type.Color"
   }
  ],
  "trigger": {
   "queryPatterns": [
    "find some $org.schema.type.Color:color sneakers",
    "buy some blue suede shoes",
    "get running shoes"
   ]
  }
 }
}

Рисунок 7-13. Всплывающее окно телефонного шлюза Dialogflow, выберите страну и код города

5. Возможно выбрать язык и код страны.

Примечание: Хотя эта функция все еще находится в бета-версии, единственными языками и телефонными номерами, которые в настоящее время поддерживаются для интеграции телефонного шлюза, являются английский США/испанский США, +1 США.

6. При желании вы можете указать американский код города, например, 516, код города Нью-Йорка. Как только вы начнете печатать, появится поле выбора, позволяющее выбрать коды городов. Вы также можете запросить номер телефона с кодом города 833, который является бесплатным номером. Обратите внимание, что бесплатные номера имеют более высокую цену.
7. Нажмите Далее.
8. Отсюда вы можете выбрать из некоторых предварительно выбранных телефонных номеров.
9. В настоящее время вы можете выбрать телефонный номер, размещенный Google. В будущем вы также сможете перенести существующий телефонный номер.
10. Нажмите Создать (Рисунок 7-14).

Рисунок 7-14. Всплывающее окно телефонного шлюза Dialogflow, выберите номер

Теперь телефонный номер подключен к вашему голосовому боту. Кроме того, вы можете выбрать среду. Теперь вы можете позвонить по номеру и следовать голосовым подсказкам, предоставляемым вашими намерениями Dialogflow. После этого вы также увидите историю звонков и аналитику на вкладках История и Аналитика.

Сообщения ответа для телефонного шлюза

В консоли Dialogflow вы можете настроить голосовые ответы для использования расширенных (аудио) сообщений ответа через блок ответов в каждом намерении. Вы можете нажать кнопку +, чтобы включить телефонный шлюз Dialogflow. (См. Рисунок 7-15.)

Рисунок 7-15. Телефонный шлюз Dialogflow, нажмите +, чтобы добавить пользовательские ответы

По умолчанию он использует ответы с вкладки По умолчанию.

Когда вы нажимаете кнопку Добавить ответы, есть выбор из трех различных расширенных сообщений. Обратите внимание на Рисунок 7-16.

Рисунок 7-16. Пользовательские ответы телефонного шлюза Dialogflow

• Воспроизвести аудио: Возможно воспроизвести предоставленный аудиофайл. Этот аудиофайл должен быть размещен в Google Cloud Storage. Вы можете ввести URI Google Cloud Storage в этом поле, например, gs://bucket/object. Объект должен содержать один канал (моно) линейного аудио PCM (2 байта/сэмпл) с частотой 8 кГц.
• Синтезировать речь: Вместо использования текста с вкладки По умолчанию вы можете ввести текст на вкладке Синтезировать речь. Таким образом, вы можете вернуть другой устный голос, чем письменный текст. Иногда ваши устные диалоги могут отличаться от письменного текста. Вы также можете использовать этот блок для написания SSML (языка разметки синтеза речи) в ваших ответах. Вы прочитаете больше в этой главе об этой функции для настройки голосов TTS, чтобы они звучали более естественно.
• Перевести звонок: Возможно перевести звонок на другой (во время бета-тестирования, американский) номер телефона, например, чтобы передать его человеку. Когда этот ответ будет заполнен, он переведет звонок, как только намерение будет обнаружено.

Рисунок 7-17 показывает, как это будет выглядеть, как только вы включите их все.

Рисунок 7-17. Примеры пользовательских ответов телефонного шлюза Dialogflow

В блоке телефонного шлюза Dialogflow также есть переключатель для установки намерения в конце разговора. Как только намерение будет обнаружено, оно может завершить звонок.

Создание ботов для контакт-центров с помощью Contact Center AI

Различные исследования показали, что чат-боты могут сократить бизнес-издержки на миллиарды в год. Контакт-центры — это огромная статья расходов, поэтому в этой области можно многое выиграть.

Когда опыт звонка клиентов приятен, клиенты готовы платить премиальную цену, оставаться лояльными к вашему сервису и делиться хорошим опытом. Клиенты ожидают отличного, гибкого и личного опыта. 60% клиентов хотят более легкого доступа к решениям самообслуживания, 64% желают получать помощь в режиме реального времени, а 75% предпочитают личные взаимодействия, не обязательно с людьми, чтобы разговор мог быть с ботом.*

*Источник: Zendesk, Statista, Strategy Analytics, HBR, Ovum, CISCO VNI

Однако реальность такова, что часто, когда вы звоните по сервисному номеру, вы столкнетесь с долгим временем ожидания, временем удержания, неограниченными переводами звонков, сложными для навигации IVR, доступностью и неадекватной информацией. Автоматизируя эти разговоры, можно быть доступным 24/7, не иметь больше ожидания или времени удержания и предоставлять однородные ответы.

Google Cloud Contact Center AI использует искусственный интеллект, чтобы сделать опыт звонка по сервисному номеру лучше. Это лучше для клиента и лучше для агента. С помощью Contact Center AI (CCAI) боты могут понимать и отвечать на ваши вопросы (Виртуальный агент) и могут слушать и давать советы на экране живому агенту (Agent Assist). Живые агенты всегда предоставят правильный ответ на вопрос, и он может автоматически предварительно заполнять формы. Бизнесы могут получать аналитику по этим разговорам через компонент Insights. Рисунок 7-18 показывает архитектуру.

Рисунок 7-18. Архитектура Contact Center AI

Обратите внимание на Рисунок 7-19 и посмотрите, как это работает:

1. Contact Center AI интегрируется с вашей текущей телефонной системой IVR. Пользователи могут позвонить по сервисному номеру. Партнеры по телефонии, такие как Avaya, Genesys, Cisco, Mitel и Twilio, реализовали компоненты Google Cloud для Speech-to-Text, Text-to-Speech и Dialogflow поверх своей собственной инфраструктуры для обработки звонка. Он использует специальные функции IVR, такие как вмешательство (barge-in) (прерывание потока чат-бота), обнаружение тишины (как долго мы ждем, пока не поймем, что ничего не было сказано), распознавание тона DTMF (разбор тонов в числовые сущности) и асинхронное выполнение (позволяет выполнять длительные операции на бэкэнде клиента для продления 5-секундного времени ответа выполнения).
2. Робот поднимет трубку; он может понять вашу речь, даже на телефонном качестве (8 кГц моно), с фоновыми шумами и прерываниями друг от друга.
3. Он обнаружит намерения в Dialogflow, запросит информацию из базы знаний или извлечет данные из систем через (асинхронные) веб-перехватчики выполнения.
4. Ответы будут произнесены через Text-to-Speech. Он использует модели WaveNet, чтобы голоса звучали по-человечески.
5. Когда бот не знает правильного ответа, он может передать разговор живому агенту-человеку. Бот все равно будет слушать, чтобы предоставлять предложения на экране. Эта функция называется Agent Assist; она поможет агентам сократить время звонка и ожидания.
6. Это решение покажет транскрипции, моделирование агента и аналитику, чтобы бизнесы могли получать инсайты и учиться на прошлых разговорах.

Рисунок 7-19. Объяснение архитектуры Contact Center AI

Если это звучит интересно для вас, либо свяжитесь с вашим текущим поставщиком телефонии, либо используйте интеграции телефонии одним щелчком мыши из Dialogflow. Даже если это планы на будущее, уже сейчас стоит начать. Вы можете создавать многоканальных чат-ботов, которые включают все путешествия клиентов (входящие и исходящие), телефонные звонки, гибридные чаты, социальные сети или умную помощь.

Включение Contact Center AI

Предприятия с существующим оборудованием телефонии/IVR могут связаться с поставщиками телефонии, чтобы включить Contact Center AI. Возможно передать идентификатор проекта Dialogflow для использования текущего агента Dialogflow в их контакт-центре.

Предприятия или компании, новые в этой технологии, могут либо связаться с выбранным поставщиком IVR, либо использовать интеграции телефонии одним щелчком мыши (Рисунок 7-20), доступные на странице интеграций Dialogflow. Это позволяет вам следовать различным мастерам Avaya, SignalWire, Voximplant, AudioCodes, Genesys Cloud или Twilio.

Google Cloud предоставляет документацию по использованию API Agent Assistant и Insights, если вы хотите интегрировать эти части в свои собственные приложения для сотрудников.

Рисунок 7-20. Различные интеграции телефонии на выбор

Улучшение качества Speech to Text

Когда мы говорим о моделях машинного обучения речи, модели Speech to Text обучаются на больших наборах данных. На основе аудиопримеров, которые он слышал раньше, он пытается сопоставить текстовые фразы. Сказав это, неправильное распознавание речи сложно не только для людей; это может быть сложно и для машин. Однако мы можем сместить модель машинного обучения, предоставляя подсказки. В Dialogflow при создании голосовых агентов это на самом деле легко; вам просто нужно включить переключатель автоматической адаптации речи, который можно найти на вкладке Настройки ➤ Речь (Рисунок 7-21). Намерения и (помеченные) сущности будут использоваться в качестве подсказок.

Рисунок 7-21. Настройки речи

На момент написания эта функция находится в бета-версии. Если вы не можете найти вкладку речи на панели настроек, вам нужно будет сначала включить бета-функции. Это можно найти на вкладке Настройки ➤ Общие.

Как только вы включите автоматическую адаптацию речи, вы можете создавать своих голосовых агентов Dialogflow таким образом, чтобы использовать ее преимущества. Вы можете протестировать это в симуляторе, используя свой микрофон. Если вы разработчик, я бы предложил использовать мой пример распознавания речи Dialogflow, потому что он даст вам доступ к дополнительной отладочной информации.

Для достижения наилучших результатов вам также потребуется включить расширенные модели: https://cloud.google.com/dialogflow/docs/data-logging.

Примечание: Автоматическая адаптация речи не работает для Actions on Google (Google Assistant). С фреймворком AoG распознавание речи выполняется Actions on Google перед отправкой данных в Dialogflow.

Следующие примеры показывают, как можно улучшить распознавание речи с помощью определенных изменений в вашем агенте.

Подсказки пользовательских сущностей

Если вы определяете сущности для названий продуктов или услуг, предлагаемых вашей компанией, и конечный пользователь упоминает эти термины в высказывании, они с большей вероятностью будут распознаны. Например, без включенной адаптации речи и без наличия пользовательской сущности для редкой игровой консоли Ouya, он бы понял «О да» вместо Ouya.

Подсказки системных сущностей

Предыдущий пример использует пользовательские сущности. Но он будет работать аналогично с системными сущностями, такими как @sys.number. Подумайте о речевых выражениях пользователя, когда пользователь говорит «два»; это может быть распознано как «to», «too», «2» или «two». А «от 4 до 5» может быть понято как «425», «четыре четыре два пять» и так далее. Когда включена функция адаптации речи, системные сущности будут использоваться в качестве подсказок.

Подсказки намерений

Если вы определяете обучающие фразы с фразой типа «Мы едем на Ибицу», похожее по звучанию высказывание пользователя надежно распознается как «Мы едем на Ибицу», а не «Мы собираемся съесть пиццу».

Переопределение речевых подсказок в вашем коде

Вы также можете настроить адаптацию речи в своем коде. Это удобно, когда вы реализуете интеграции через API. Предоставление явных speech_contexts в inputAudioConfig переопределит неявные подсказки контекста речи, сгенерированные автоматической адаптацией речи для конфигурации входного аудио (речь-в-текст) в консоли Dialogflow. speechContexts принимает объект с массивом фраз[], содержащих слова и фразы, которые распознаватель речи должен распознавать с большей вероятностью.

Объект speechContexts также может принимать необязательное свойство boost (float). Усиление для этого контекста по сравнению с другими контекстами:

• Если усиление положительное, Dialogflow увеличит вероятность того, что фразы в этом контексте будут распознаны по сравнению с похоже звучащими фразами.
• Если усиление не указано или неположительное, Dialogflow не будет применять никакого усиления.

Dialogflow рекомендует использовать усиления в диапазоне (0, 20) и найти значение, которое подходит для вашего сценария использования, с помощью бинарного поиска.

Вот пример. Рассмотрим следующий поток чата:

«Когда я получу уведомление, когда PlayStation 5 появится в вашем магазине?»

> Я могу отправить его вам по электронной почте или текстовым сообщением.

«Почта»

Чтобы убедиться, что агент понимает «Mail», а не «Male» или «Nail», я предоставил speechContexts в коде Листинга 7-5.

Листинг 7-5. Смещение речевой модели с помощью speechContexts

const uuid = require('uuid');
const df = require('dialogflow').v2beta1;

const sessionId = uuid.v4();
const sessionClient = new df.SessionsClient();
const sessionPath = sessionClient.sessionPath(projectId, sessionId); // Assume projectId is defined

let request = {
 session: sessionPath,
 queryInput: {
  audioConfig: {
   sampleRateHertz: 16000,
   encoding: 'AUDIO_ENCODING_LINEAR_16',
   languageCode: 'en-US',
   speechContexts: [
    {
     phrases: [
      'mail',
      'email'
     ],
     boost: 20.0
    }
   ]
  },
  // Assuming singleUtterance is defined elsewhere, e.g., true or false
  // singleUtterance: singleUtterance
 }
}

// Assuming 'audio' contains the audio buffer
// request.inputAudio = audio;
// const responses = await sessionClient.detectIntent(request);

Совет: На что смещать? Вы можете отдать предпочтение модели речи Dialogflow для сильного контекста или слабых примеров контекста.

Сценарии использования сильного контекста — это, например, когда голос используется в системе IVR/телефонии, чтобы убедиться, что определенные ожидаемые «потоки» или общие команды будут работать.

История пользователя или важные именованные сущности также могут быть подходящими сценариями использования. Например, когда поток запрашивает номер телефона, убедитесь, что ваш уклон для чисел.

Сценарии использования слабого контекста — это использование для опечаток. Вы можете захотеть исправить нечастые, но важные именованные сущности, которые часто неправильно понимаются моделью STT.

Адаптация речи будет работать для всех языков Dialogflow, которые поддерживают голос.

Точная настройка вывода Text to Speech голосовых ботов с помощью SSML

Вывод Text to Speech (TTS) голосовых ботов, голосовых помощников и колл-ботов (ботов в контакт-центрах) можно настроить так, чтобы он звучал более естественно. Мы можем использовать для этого SSML, что означает Speech Synthesis Markup Language (язык разметки синтеза речи). Это язык разметки, такой же, как HTML (HyperText Markup Language) для веб-сайтов. В HTML вы бы поместили все теги разметки в тег HTML-документа; с SSML вы поместите все специфичные теги SSML для создания пауз или ударений в тег .

SSML — это язык разметки на основе XML для приложений синтеза речи. Это рекомендация рабочей группы W3C по голосовым браузерам.

Когда у вас включен Автоматический Text to Speech в настройках Dialogflow, вы можете начать писать теги SSML на вкладках ответов вашего намерения.

На Рисунке 7-22 вы можете видеть, как вкладка По умолчанию возвращает SSML в качестве ответа.

Рисунок 7-22. Написание кода SSML на вкладке DEFAULT

Некоторые интеграции, такие как телефонный шлюз Dialogflow или Google Assistant, предоставляют свои собственные поля ответа для ввода текстовых и SSML версий ответов. Вы можете видеть, как это работает для Google Assistant на Рисунке 7-23.

Рисунок 7-23. Написание кода SSML на вкладке Google Assistant путем настройки аудиовыхода

Внимание: Будьте осторожны при написании кода SSML на вкладке Ответы по умолчанию. Хотя это отлично работает для одноканальных интеграций, это может быть неидеально для кросс-канальных агентов, где вам придется поддерживать как текст, так и голос в качестве решений. Тогда текстовая версия будет включать теги SSML, что будет несколько странно.

Лучший подход — использовать вкладки Ответа интеграции, такие как вкладки Google Assistant или Телефонного шлюза Dialogflow, чтобы предоставить устную версию вашего ответа, когда ваша реализация недоступна как готовая интеграция. Например, вы интегрируете голос в веб-сайт. Вы также можете различать SSML и текстовую версию через код выполнения.

Дизайн UX для голосовых диалогов имеет значение!

Прежде чем я продолжу, позвольте мне рассказать вам забавную историю не по теме. Каждый год мы с друзьями организуем турнир по боулингу. Вы можете привести других друзей, так что у нас собирается большая компания. Это социальное мероприятие, но вы можете выиграть призы. Однажды кто-то привел своего друга, который явился в полном боулинговом снаряжении. На нем была профессиональная рубашка для боулинга, перчатки, и он даже принес свой собственный счастливый шар для боулинга. Мы все смотрели на него снизу вверх; «вау, он, должно быть, профессиональный игрок в боулинг!» Однако, как только все игры закончились и мы объявили победителя, он не был в топ-3. Фактически, он занимал одно из последних мест.

Так что мораль моей истории: Мы можем использовать первоклассные инструменты Google для автоматизации разговоров, но если мы не напишем отличный диалог, который лучше всего подходит для соответствующего голосового канала, вы не предоставите своим пользователям хороший пользовательский опыт. К сожалению, когда пользовательский опыт недостаточно хорош, ваши пользователи не вернутся.

Я начинаю этот раздел с этой темы, потому что я видел слишком много реализаций голосового чата, где чат-боты, изначально созданные для веба (текстовый интерфейс), напрямую передаются в вывод Text to Speech Google без переписывания диалога для его канала. При таком подходе вот некоторые примеры того, что может произойти:

• Длинные истории, когда говорит бот: На экране текст может быть длинным и содержать несколько абзацев. Вы можете пропустить части, которые вас не интересуют. Но слушать бота, говорящего слишком долго, не сделает ваших пользователей счастливыми.
• Отсутствие уточняющих вопросов: Замечательно включать вопросы из базы знаний FAQ в ваши голосовые чаты. Обычно на веб-интерфейсах это заканчивается предоставлением ответа на вопрос. По телефону вы привыкли задавать вопросы и обмениваться репликами. «Чем еще я могу вам помочь?» Было бы странно, если бы человек на другом конце внезапно замолчал.
• Гиперссылки, таблицы, изображения, аббревиатуры и так далее: На экране вы можете сослаться на изображение или щелкнуть ссылку. Вы не можете сделать это на устройстве без экрана.
• Коды ошибок: Слышать Ошибку 404 — это не лучший опыт и не имеет смысла. В разговорах нет ошибок. Ваши пользователи повысят голос и повторят тот же ответ, который не сработает.

Итак, имея это в виду, давайте посмотрим на лучшие практики для голоса:

• Пишите компактные диалоги, которые легко понять вашей аудитории.
• Всегда заканчивайте вопросом, чтобы направить разговор и заставить его продолжаться.
• Не используйте гиперссылки, таблицы, изображения, аббревиатуры. Вы могли бы сослаться на веб-сайт, когда данные табличные, вернуть лучшее совпадение и спросить, хочет ли пользователь услышать альтернативные варианты.
• Не сокращайте слова, а упоминайте полное название.
• Когда что-то идет не так, лучше предоставить резервный диалог, который все поймут. Помогите пользователям быть успешными; направьте их, чтобы они точно сказали то, что вы хотели бы услышать в качестве ответа. Например, если вы предоставляете варианты, не спрашивайте «Хотите A или B?» — потому что тогда пользователь может ответить «да».
• Вместо этого спросите: «У меня есть A и B. Какой вы предпочитаете?»
• Начните с приветственного сообщения, объясните, что вы виртуальный агент, и объясните, на какие типы вопросов виртуальный агент будет отвечать. Например, «Привет, я виртуальный агент video games dot com. Я могу рассказать вам, какие релизы игр скоро появятся, и вы можете приобрести видеоигры. Чем я могу помочь?» А не: «Доброе утро, я Ли. Что бы вы хотели узнать?» С последним примером вы рискуете тем, что ваши пользователи задают вопросы, на которые виртуальный агент не был обучен. Пользователь мог бы спросить: «В каких городах рядом со мной есть аркадные залы?» Ваш чат-бот вернет резервный ответ. Пользователь мог бы задать вопрос по-другому, но он все равно не будет знать ответа. Это создаст впечатление, что ваш чат-бот ничего не знает. Он знает; у него просто нет этого конкретного потока.
• Это также означает, что вы хотели бы собирать аналитику о том, что спрашивают ваши пользователи, чтобы реализовать эти потоки, предоставляя эти обучающие данные. Ваш чат-бот со временем станет умнее. Это также означает, что вы можете выйти в производство со своим виртуальным агентом как можно скорее и продолжать улучшать опыт, учась до тех пор, пока вы устанавливаете свои границы.
• Создайте персону для вашего виртуального агента. Это лицо, с которым разговаривают ваши клиенты. Так что вы можете подумать о стиле, поле, как будет звучать голос, тоне голоса, какие слова и фразы вы используете и так далее. Вы можете представить, что виртуальный агент видеоигр может быть нацелен на молодежь и молодых взрослых. Для пожилых людей у вас может быть другой выбор слов или стиль.
• Используйте SSML для изменения интонации ваших предложений, чтобы ваши голоса звучали более естественно.

Голоса Text to Speech

Dialogflow и Google Assistant используют голоса WaveNet, чтобы голоса звучали по-человечески и менее роботизированно.

При создании виртуальных агентов для IoT, веб-страниц или контакт-центров доступен широкий выбор пользовательских голосов для выбора в Dialogflow. При создании агентов для Google Assistant он будет использовать синтезатор Text to Speech из Google Assistant, и поэтому вам придется выбирать голоса из Actions on Google.

Все голоса различаются по языку, полу и акценту (для некоторых языков). Некоторые языки имеют несколько голосов на выбор. В Dialogflow вы можете настроить голос, установив язык агента, выбор голоса, скорость речи, высоту тона и усиление громкости на вкладке Настройки ➤ Речь. (См. Рисунок 7-24).

Рисунок 7-24. Настройки голоса

Также возможно изменить профиль аудиоэффектов, как показано на Рисунке 7-25. Когда вы развертываете свой голос на наушниках или среднем динамике, вы можете захотеть иметь лучшее качество голоса. На портативном устройстве вы можете снизить качество. Это уменьшает размер аудиопотока, и он будет меньше, и, следовательно, будет воспроизводиться быстрее.

Рисунок 7-25. Изменение аудиопрофилей

Внизу вкладки Настройки ➤ Речь есть текстовое поле SSML (Рисунок 7-26), которое позволяет вам протестировать ваше написание SSML, чтобы вы могли поиграть с тегами и посмотреть, оптимален ли звук.

Рисунок 7-26. Проба SSML в редакторе речи

Управление интонацией

С помощью SSML вы можете придать больше структуры или интонации вашим предложениям.

Определение интонации — это то, как высота вашего голоса повышается и понижается, когда вы говорите или произносите что-то, напевая. Примером интонации является то, как ваш голос повышается в конце вопроса. С помощью интонации вы можете придавать предложениям разные значения и эмоции.

Вы будете писать все свои теги SSML в родительском теге .

Вы можете группировать абзацы и предложения с помощью тегов

"p" и "s". Группируя эти предложения, вы можете встроить больше пауз. Группируя предложения с абзацем, пауза будет немного длиннее, чем между предложениями

Определенные знаки препинания также изменят интонацию. Например, запятая создаст небольшую паузу и повысит интонацию. Вопросительный знак обеспечит, что предложение будет звучать больше как вопрос, потому что он увеличивает интонацию в конце.

С помощью тега "break" вы можете управлять временем паузы в секундах (s) или миллисекундах (ms) вручную

Элемент позволяет указать информацию о типе текстовой конструкции внутри элемента. Вы можете убедиться, что слова будут произнесены как кардинальные числа, порядковые числа, символы, дроби, единицы измерения, телефонные номера, дословно, даты и время. Вы даже можете заглушить цензурированный текст.

Вот пример, произнесенный как «Двенадцать тысяч триста сорок пять» (для американского английского) или «Двенадцать тысяч триста и сорок пять» (для британского английского):

12345

_{указывает, что текст в значении атрибута alias заменяет содержащийся текст для произношения. Это удобно для аббревиатур, но вы также можете использовать его для «настройки» произношения, если чувствуете, что синтезатор TTS неправильно произносит ваше слово на определенном языке.}

_W3C

используется для настройки высоты тона, скорости речи и громкости текста элемента.

Также есть теги для воспроизведения аудиофайлов или управления медиа с помощью элементов

Резюме

Эта глава предоставила много информации о создании голосовых ботов для умных помощников, таких как Google Assistant, и создании голосовых ботов для телефонных систем. Последние разделы этой главы включали способы улучшения Speech to Text и Text to Speech голосовых ботов:

• Вы хотите создать разговор для Google Assistant.
• Вы хотите создать простой разговор для телефона с помощью телефонного шлюза, чтобы создать входящий бесплатный номер.
• Вы хотите иметь ИИ в своих контакт-центрах для предоставления продвинутых автоматизированных разговоров с Contact Center AI.
• Вы хотите улучшить качество Speech to Text для голоса и колл-ботов.
• Вы хотите, чтобы вывод Text to Speech ваших голосовых разговоров звучал более естественно.

Дополнительные материалы

• Документация Actions on Google
  https://developers.google.com/assistant/conversational/overview
• Консоль Actions on Google
  https://console.actions.google.com
• Документация Actions on Google по типам ответов с расширенными сообщениями
  https://developers.google.com/assistant/conversational/rich-responses
• Документация Actions on Google по отправке действия
  https://developers.google.com/assistant/conversational/submit-project
• Контрольный список для отправки вашего действия
  https://developers.google.com/assistant/conversational/checklist
• Документация Dialogflow по интеграции Actions on Google
  https://cloud.google.com/dialogflow/es/docs/integrations/aog
• Документация Dialogflow по управлению версиями
  https://cloud.google.com/dialogflow/es/docs/agents-versions
• Клиентская библиотека Actions on Google Node.js
  https://github.com/actions-on-google/actions-on-google-nodejs
• Инструмент Conversational Actions
  https://developers.google.com/assistant/conversational/overview
• Определение действий с помощью Actions SDK
  https://developers.google.com/assistant/conversational/df-asdk/actions-sdk/define-actions
• Инструмент командной строки gactions
  https://developers.google.com/assistant/conversational/df-asdk/actions-sdk/gactions-cli
• ngrok
  https://ngrok.com/
• actions-sdk на npm
  https://www.npmjs.com/package/actions-on-google
• Документация Dialogflow по интеграции телефонного шлюза
  https://cloud.google.com/dialogflow/es/docs/integrations/phone-gateway
• Цены Dialogflow на использование телефонного шлюза
  https://cloud.google.com/dialogflow/pricing
• Документация Contact Center AI
  https://cloud.google.com/solutions/contact-center
• Как Contact Center AI работает с Genesys
  https://www.youtube.com/watch?v=3PWd520W6ns
• Документация Dialogflow по адаптации речи
  https://cloud.google.com/dialogflow/es/docs/speech-adaptation
• Адаптация речи в SDK
  https://cloud.google.com/dialogflow/es/docs/reference/rpc/google.cloud.dialogflow.v2beta1#google.cloud.dialogflow.v2beta1.SpeechContext
• Руководство Google Assistant по лучшим практикам для голосовых диалогов
  https://designguidelines.withgoogle.com/conversation/conversation-design/
• Документация Google Assistant по SSML
  https://developers.google.com/assistant/actions/reference/ssml

Другие статьи по этой теме:

• Практическое руководство по созданию агентов ИИ
• Выявление и масштабирование сценариев использования ИИ
• Агенты ИИ