Как отметили в пресс-службе Тинькофф, объединение голосового помощника с технологиями синтеза и распознавания речи в этой социальной сети произошло впервые, пишет .
Благодаря речевым технологиям Tinkoff VoiceKit, разработанных специалистами Тинькофф в рамках стратегии AI First, которые применены в Олеге, голосовой ассистент может синтезировать и распознавать речь спикеров в режиме реального времени, вести текстовые трансляции в своем телеграмм-канале «Олег в Клаухаузе», а также самому быть модератором комнат в ClubHouse, озвучивать вопросы спикеров, контролировать тайминг, регламент и т.д.
Таким образом, Олег функционирует в сети как полноценный пользователь. Это, в свою очередь, открывает для модераторов комнат дополнительные возможности для общения с пользователями ClubHouse.
Первый опыт трансляции с текстовой расшифровкой Олег провел из комнаты Тинькофф Инвестиций 11 марта, где проходил конференц-звонок с участием топ-менеджеров группы Тинькофф под председательством Оливера Хьюза, журналистов и инвесторов. Темой комнаты было обсуждение рекордной прибыли группы в 2020 году.
По данным Павла Калайдина, директора по технологиям искусственного интеллекта Тинькофф, первая комната с участием Олега прошла успешно.
В настоящее время команда создателей голосового ассистента Олега апробирует его на разных пользовательских сценариях в Клабхаусе. В этой связи, как отметил Калайдин, было бы интересно провести совместные эксперименты с сообществами в ClubHouse, чтобы Олег стал помощником контент-мейкеров и слушателей.
Функционал Олега поможет создателям комнат и модераторам дискуссий максимально продуктивно общаться с пользователями. Например, когда слушатель в силу каких-то причин не может задать вопрос голосом — например, вокруг очень шумно или он хочет задать вопрос анонимно. Для таких случаев разрабатывается интерфейс по приёму вопросов через чат с Олегом в Телеграме: слушатели присылают ему вопросы, а он их четко озвучивает.
Также актуален вопрос о суммаризации информации в ходе распознавания коллективного голосового общения. Случается, что даже в хорошо распознанной стенограмме трудно воспринимать междометия, слова-паразиты. В Тинькофф намерены сделать текст максимально очищенным, чтобы текстовая транскрипция была предельно понятной.
Технология Tinkof VoiceKit будет полезна, например, при создании собственных голосовых помощников, роботов для автоматизации работы колл-центра, программ для людей с ограниченными возможностями, для транскрибирования любых звукозаписей, быстрой записи аудиокниг, озвучки видеороликов, и это далеко не все возможности.
Более подробную информацию по использованию ассистента Олега в ClubHouse можно узнать по media@tinkoff.ru. Заявки на подключение Tinkoff VoiceKit принимаются на