У голосовий соцмережі ClubHouse з'явився асистент Тінькофф на ім'я Олег. Це перший випадок інтеграції голосового помічника і технологій синтезу і розпізнавання мови на цій платформі.
Як виявилося асистент завдяки своїм навичкам розпізнавання і синтезування мови в режимі онлайн зможе функціонувати в соцмережі в якості повноцінного інтернет-користувача надаючи модераторам кімнат додаткові інструменти для контакту з передплатниками та моделювання дискусії. Голосовий помічник отримає можливість відвідувати кімнати сервісу і слухати спікерів одночасно розшифровуючи тексти і ведучи прямі трансляції в своєму Telegram-каналі «Олег в Клабхаузе». Він зможе виступати в ролі модератора озвучувати слова спікерів нагадувати про регламент і таймінг і виконувати масу інших дій повідомляє live24.ru
Асистент 11 березня вже провів з кімнати Тінькофф Інвестицій першу трансляцію з текстовою розшифровкою. Під час заходу з журналістами і інвесторами транслювався дзвінок топ-менеджера Олівера Хьюза.
Обговорення в кімнаті було присвячено темі фінансових результатів і рекордний прибуток групи по
діяльності за 2020 рік. Директор з технологій ІІ Тінькофф Павло Калайдін розповів що на даному етапі команда експериментує з різними сценаріями в ClubHouse які можуть виявитися корисними для розробників і цікавими для слухачів. Тестування інструменту перетворення аудіозвонка в текст у власний
виявилося успішним.
Голосовий помічник Олег корисний також для творців кімнат і модераторів дискусій коли немає можливості поставити запитання голосом. Для таких випадків розробники підготували інтерфейс дозволяє приймати питання через чат з асистентом в Телеграма. Олег здатний не тільки бездоганно зачитувати тексти але і зберігати анонімність авторів. На даному етапі роботи по вдосконаленню помічника тривають. Серед іншого вивчаються можливості суммарізаціі інформації та очищення тексту щоб транскрипція була більш читабельною.
Представлений голосовий помічник заснований на базі мовних технологій Tinkoff VoiceKit. Це глибокі нейромережеві моделі розроблені в рамках проекту AI First. Даний інструмент використовувався в тому числі і для створення асистента по імені Олег який є першим в світі фінансовим голосовим помічником розробки Тінькофф. Технологія Tinkoff VoiceKit може застосовуватися з метою створення роботів для автоматизації роботи в колл-центрах для швидкого запису аудіокниг а також редагування і озвучування відео.
Ці моделі допоможуть в розробці власних
і програм для людей з обмеженими можливостями. Крім цього дані інструменти можна використовувати для пошукової оптимізації в тому числі для пошуку по аудіо та відео транскрибування будь-яких публічних звукозаписів і побудови системи мовної аналітики по транскрибуватися ісходникам.
Павло Калайдін підкреслив що в групі готові до спільних експериментів з спільнотами ClubHouse оскільки сподіваються що Олег стане хорошим помічником для слухачів і контент-мейкерів. З питань співпраці слід звертатися за адресою [email protected]. Залишити заявку на підключення Tinkoff VoiceKit можна за посиланням
.