AI-секретарь для телефонных звонков: голосовой агент, который отвечает через обычную телефонную сеть
Это не игрушка из серии давайте прикрутим нейронку ради модного слова AI. Это реальный заказной проект, где мы сделали цифрового секретаря, способного принимать обычные телефонные звонки, разговаривать с людьми человеческим голосом, понимать смысл сказанного, фиксировать результат разговора и отправлять отчёты в Telegram. Да, уже не в теории, а в бою =)
Эта статья про первую версию секретаря, детерминированную. В ней нейросеть не сочиняет ни одного слова: она слушает абонента и выбирает номер сценария, а всё, что звучит в трубке, заранее написали и проверили люди. Вторую версию мы выпустили на свободу, она разговаривает своими словами, и про неё есть отдельный кейс. Здесь честно разберём первую: как устроена, чем хороша, где спотыкается и когда её стоит выбрать вместо «живой».
Главная идея проекта проста и опасна одновременно: если правильно собрать SIP-телефонию, speech-to-text (распознавание речи, то есть перевод голоса в текст), LLM (большую языковую модель, то есть мозг агента) и text-to-speech (синтез речи, когда текст превращается обратно в голос), получается уже не чатик, а полноценный голосовой интерфейс для бизнеса.
На видео как раз детерминированная версия в работе: приветствие, уточнения по сценарию, прощание и отчёт в Telegram.
Что хотел заказчик
Заказчик пришёл не за абстрактным искусственным интеллектом, а за вполне приземлённой вещью: нужен был цифровой секретарь, который сможет отвечать на входящие звонки вместо человека, принимать сообщения, не терять контекст разговора и передавать информацию владельцу.
По сути, это SaaS-сервис, где пользователь может завести себе персонального голосового помощника для реальной телефонной сети. Не для демонстрации на конференции, не для вау-ролика, а для обычной жизни и обычных рабочих звонков. Кто-то звонит вам на номер, а вместо пропущенного вызова получает внятный диалог, после которого вы видите итог в Telegram-боте.
Что такое детерминированный секретарь
Детерминированный значит предсказуемый: на одинаковый вход система даёт одинаковый выход. В нашем секретаре это устроено так. Вся речь секретаря лежит в банке заранее написанных фраз. Модель получает звук реплики абонента и обязана ответить одним числом, номером сценария. Свободным текстом она ответить не может физически: так настроен сам вызов. Дальше номер превращается в готовую фразу, а фраза в голос.
Представьте администратора на ресепшене с пачкой карточек. Он внимательно слушает, понимает, какая карточка подходит, и зачитывает её с выражением. Импровизировать ему запрещено. Зато и ляпнуть лишнего он не может, даже если очень захочется =)
Как он работает
Снаружи всё выглядит просто: человек звонит на номер, агент отвечает, задаёт уточняющие вопросы, фиксирует, кто звонил и что нужно передать. Но внутри там не магия, а довольно плотная инженерия.
- Звонок. Владелец ставит переадресацию на секретаря, и пропущенный вызов уходит к нам. Секретарь здоровается одной и той же фразой с именем владельца.
- Конец реплики. Детектор голосовой активности решает, что абонент договорил. Это та самая задача, которую мы потом месяцами исследовали в лаборатории.
- Классификация. Модель слушает реплику и возвращает номер одного из девяти сценариев. Это единственное место, где ИИ принимает решение о смысле разговора.
- Фраза. Из банка берётся следующий по кругу вариант этого сценария на нужном языке и для нужного голоса, а имя владельца подставляется в правильном падеже.
- Голос. Синтез речи озвучивает фразу. Одна реплика абонента, ровно один ответ, без наложений.
- Финал и отчёт. Финальные сценарии вежливо прощаются и кладут трубку, а запись и расшифровка разговора прилетают владельцу в Telegram.
Если говорить человеческим языком, то система устроена как хорошо собранный оркестр: один музыкант слушает, второй понимает, третий говорит, а четвёртый записывает, кто вообще пришёл на этот концерт и зачем =) В детерминированной версии третий играет строго по нотам: партитура написана заранее, и от неё ни шагу.
Сценарии и банк фраз
Сценариев девять, плюс приветствие. Назвался и сказал зачем: «всё передам», прощание. Сказал зачем, но не назвался: спросить имя. Срочно: объяснить, что владелец занят, и уточнить. «Где он? Соедините!»: секретарь не в курсе, его просто попросили ответить. Вопросы про самого секретаря: представиться. Реклама, грубость, плохая связь и «не разобрал» получают свои отдельные ответы.
Каждый сценарий написан на двух языках (русском и украинском), для мужского и женского голоса и в нескольких вариантах, чтобы на третий вопрос подряд секретарь не звучал как заевшая пластинка. В фразах стоят шаблоны с падежами имени владельца и пометки эмоций для синтеза речи. Ударения мы правим прямо в тексте большими буквами: «чтО ему передать». Звучит смешно, работает отлично.
У последнего варианта в большинстве сценариев есть особая роль: это вежливый выход. Если абонент третий раз подряд спрашивает одно и то же, секретарь говорит, что у него вторая линия, обещает всё передать и прощается. Наш любимый способ корректно сбежать из разговора, честное слово, подсмотрели у живых секретарей.
Как это звучит в жизни
Настоящий тестовый звонок из отчёта бота первой версии, номер скрыт, пометки эмоций убраны. Разговор шёл на украинском:
Секретар: Ало! Вітаю! Олег трохи зайнятий і попросив відповісти. Підкажіть, хто ви і що йому передати?
Абонент: Ааа, а це хто?
Секретар: Чую, що мені передати Олегу?
Абонент: Так а хто це?
Секретар: Мене звуть Кирилл та Олег просто попросив мене відповісти на дзвінок.
Абонент: А де він зараз?
Секретар: На жаль, я не знаю, він просто попросив відповісти на дзвінок. Підкажіть, хто ви і що йому передати?
Абонент: А де він зараз?
Секретар: Я не знаю... Він просто попросив мене відповісти. Скажіть, будь ласка, хто ви і що йому передати?
Абонент: А де він зараз?
Секретар: Перепрошую, у мене друга лінія і потрібно відповісти. Я все передам Олегу і він вам передзвонить. До побачення!
Тут видно всё сразу. На первое «а це хто?» модель не узнала вопрос про секретаря и выбрала «не разобрал». Со второго раза попала. На упрямое «а де він?» секретарь трижды ответил по-разному, а потом вежливо сбежал. Предсказуемо до последней буквы. И так же предсказуемо упрямо.
Telegram-бот и монитор
Владелец номера живёт в Telegram. Первая версия бота называется Robo-secretary: подключение, отчёты о звонках с записью и расшифровкой, избранные контакты, которым секретарь не отвечает, напоминания, звонок-спасатель, чтобы «притвориться занятым» и уйти со встречи, голосовые сообщения вместо набора текста и покупка токенов.
В рамках разработки мы собрали не только сам голосовой модуль, но и служебную внутреннюю панель управления. Это важный момент, который часто недооценивают. Многие думают, что главное, чтобы нейросеть что-то сказала. На практике главное, чтобы бизнес потом мог это контролировать.
- Приём входящих телефонных звонков через обычную телефонию
- Голосовой AI-диалог по заданным сценариям
- Расшифровка звонков в текстовом виде
- Прослушивание аудиозаписей разговоров
- Контроль качества звонка и технических событий
- Номер сценария у каждой реплики, чтобы ошибку выбора было видно сразу
- Интеграция с Telegram-ботом для уведомлений и отчётов
То есть это уже не просто голосовой бот, а маленькая операционная система для телефонных коммуникаций. Такая себе диспетчерская башня, только вместо самолётов входящие звонки, сценарии, сообщения и человеческая нервная система, которую желательно беречь.
Плюсы детерминированного подхода
- Предсказуемые фразы. Секретарь никогда не скажет того, чего нет в банке. Ни обещаний скидок, ни медицинских советов, ни философии о смысле жизни в два часа ночи.
- Предсказуемая озвучка. Слова всегда одни и те же, голос один и тот же, ударения выверены заранее. Фраза синтезируется заново на каждом звонке, поэтому интонация может чуть дышать, но текст не меняется никогда. Если нужна побитовая одинаковость, фразы можно записать заранее и проигрывать файлом.
- Контроль, юридическая и брендовая безопасность. Тексты согласуют юрист и маркетолог до запуска, как скрипт колл-центра. Тон бренда не уплывёт, потому что плыть ему некуда.
- Стоимость. Модель возвращает одно число вместо того, чтобы сочинять и озвучивать ответ. Короткие фразы дёшево синтезировать. Минута разговора выходит дешевле, чем у свободного диалога.
- Скорость. Ответ не надо придумывать: текст готов в момент выбора сценария, и синтез стартует сразу.
- Тестируемость. Реплик конечное число, все их можно прослушать до запуска. Диалог прогоняется автотестом, а в мониторе у каждой реплики виден номер сценария.
- Простая отладка. Если секретарь ответил невпопад, это ошибка выбора сценария, а не загадочное «нейросеть что-то придумала». Нашли, поправили описание сценария или добавили новый, проверили.
Минусы, о которых честно
- Жёсткость. Девять коробочек. Всё, что в них не помещается, падает в «не разобрал» или «плохая связь».
- Неестественность. Формулировки повторяются, второй звонок от того же человека звучит так же, как первый. Внимательный абонент распознаёт скрипт за полминуты.
- Плохо с отклонениями от сценария. На «а когда он освободится?» или «а вы его жена?» содержательного ответа нет, есть только ближайшая карточка.
- Ошибка классификации звучит целиком. Если модель выбрала не тот номер, абонент слышит не ту фразу полностью, как в примере выше.
- Нет живых манер. Никаких «угу» и «ага» по ходу речи, никакой подстройки темпа под собеседника. Это пришло только во второй версии.
- Дорогое расширение. Новый сценарий означает новые фразы на двух языках, для двух голосов, в нескольких вариантах, и всё это нужно прослушать.
В демонстрации, кстати, честно виден и живой нюанс продукта: агент слишком быстро завершает разговор после подтверждения сообщения. Это мелочь только на словах. В реальном UX (пользовательском опыте, то есть как человек ощущает систему) такие вещи очень важны. И именно поэтому мы любим не сказки про AI, а нормальную инженерную итерацию: посмотрели, заметили шероховатость, докрутили, выпустили новую версию.
Где это можно применять
Поле применения тут буквально непаханое. Технология подходит и для больших компаний, и для стартапов, которые хотят построить сервис вокруг голосовых сценариев.
- Цифровой секретарь для предпринимателя, эксперта, врача, юриста, менеджера
- Автоматизация приёма входящих звонков для малого и среднего бизнеса
- AI-колл-центр для обработки типовых обращений
- Голосовые уведомления и обзвоны по сценариям
- Сбор лидов, заявок, уточнений, статусов доставки, бронирований
Детерминированная версия особенно уместна там, где цена неудачной фразы выше цены неестественности: медицина, финансы, юридические услуги, госсектор, линии крупных брендов, приём заявок по чек-листу и массовые обзвоны. А ещё как страховочный контур: наша первая версия до сих пор работает рядом со второй и подхватывает звонки, когда это нужно.
Детерминированный или недетерминированный: честное сравнение
Во второй версии мы дали модели свободу: она сама формулирует ответ, говорит своими словами, вставляет «угу», реагирует на перебивания и ведёт разговор как собеседник, а не как автоответчик с хорошими манерами. Подробно про неё в кейсе «ИИ-секретарь реального времени: латентность, VAD и лаборатория живого разговора».
Чем свободный секретарь лучше: звучит живо и не повторяется; отвечает на вопросы, которых нет в сценарии; подстраивается под манеру собеседника; новые роли и профили настраиваются описанием, а не сотней новых фраз.
Чем он хуже: дороже минута разговора, сложнее тестировать, сложнее объяснить юристу, что именно скажет секретарь. И самое главное: в недетерминированной версии генерация фраз и озвучка могут быть непредсказуемыми. Модель каждый раз формулирует ответ заново, а синтез речи каждый раз заново решает, как его произнести. Мы это минимизируем, и довольно успешно, но гарантированный ноль непредсказуемости даёт только детерминированный подход. Как именно минимизируем, оставим за кадром.
Как выбрать? Если ошибка в формулировке стоит дороже, чем лёгкая роботизированность, берите детерминированного. Если важнее живость и разговор «как с человеком», берите свободного. А часто правильный ответ где-то посередине, и его мы подбираем под конкретный сценарий на консультации.
Лаборатория и наш опыт с реалтаймом
Пока писали обе версии, мы построили себе лабораторию: веб-приложение, где с секретарём можно поговорить прямо из браузера и на каждом звонке поменять детектор конца реплики, модель, голос, роль и темп. Детерминированный секретарь живёт там же, его экран на обложке этой статьи. В лаборатории мы ловили миллисекунды задержки, сравнивали детекторы на 81 минуте живого звука и учили секретаря не перебивать человека, который подбирает слова. На том же голосовом ядре живёт и INGELLA, голосовой ИИ-агент с аватаром, который управляет Codex и Claude Code.
Голос по телефону для нас не первый реалтайм. До него были видеосвязь из браузера в браузер для премиальной социальной платформы, P2P-соединения через NAT, телефония и потоки с датчиков, которые нельзя поставить на паузу. Реалтайм это область, где «обновите страницу и попробуйте ещё раз» не работает: фраза уже сказана, кадр уже улетел. Про этот опыт мы написали отдельно: «Потоковая обработка данных в реальном времени: стриминг, P2P, телефония».
Почему этот проект технически интересный
У голосовых AI-систем есть одна неприятная особенность: пользователь очень быстро чувствует фальшь. В текстовом чате человек ещё простит паузу или странную формулировку. В телефонном разговоре нет. Там любое промедление, неестественная интонация или слишком ранний сброс звонка мгновенно ломают доверие.
Поэтому в таких системах критичны:
- Latency budget (бюджет задержек, то есть сколько миллисекунд можно потратить, пока человек не начал раздражаться)
- Turn-taking (логика смены реплик, чтобы агент не перебивал и не молчал как обиженный бухгалтер)
- Observability (наблюдаемость, когда вы видите, где именно система дала сбой)
- Fallback-сценарии (аварийные ветки, если человек говорит не по шаблону)
- Cost control (контроль себестоимости минуты разговора)
Что остаётся за кадром
Описания сценариев для модели, правила выбора и таймеры, рабочие настройки детекторов и голосов, админка и инфраструктура телефонии остаются внутри проекта. Это та часть айсберга, на которую ушла основная инженерия, и именно её мы приносим в ваш проект готовой.
Почему такие проекты нельзя делать с наскока
Вот тут начинается взрослая часть разговора. Проекты с голосовым AI экономически опасны, если бросаться в них без проектирования. Потому что себестоимость у такого решения складывается не из одного запроса в нейросеть, а из целого конвейера: телефонная инфраструктура, распознавание речи, генерация ответа, озвучивание, хранение логов и аудио, панель контроля, интеграции и поддержка.
Если не считать архитектуру заранее, можно очень быстро получить красивую демку с плохой юнит-экономикой. А потом выяснится, что каждая минута разговора ест деньги как голодный сервер под нагрузкой. Поэтому мы такие вещи проектируем через архитектурный контур, сценарии, ограничения, роли, SLA (уровень ожидаемой надёжности) и только потом запускаем в разработку. Выбор между детерминированным и свободным секретарём как раз из этой серии: он меняет и бюджет, и риски.
Что особенно ценно для бизнеса
Самое интересное здесь даже не в том, что AI умеет говорить. Самое интересное в том, что телефонный звонок наконец-то становится данными. Не эфемерным разговором, который исчез через минуту, а структурированной сущностью: кто звонил, что хотел, какой был итог, как агент обработал обращение, какое качество связи и ответа было у системы.
А когда звонок становится данными, его можно анализировать, проверять, маршрутизировать, обогащать интеграциями и включать в бизнес-процессы. Вот здесь и начинается настоящая автоматизация, а не цирк с нейросетями для презентации инвестору.
Такой AI-агент легко становится частью более крупной платформы: связывается с CRM и карточкой клиента, проверяет статусы заказов и доставок, создаёт задачи менеджерам, записывает клиента на встречу, подключает аватар, чат, web-интерфейс и мультиканальность. Если вам интересна тема голоса и синтеза речи, посмотрите наш кейс NaturalTTS, это отдельное направление по text↔voice сервисам. Если интересна автоматизация разработки и AI-модули как часть большого продукта, будет уместен кейс FRACTAL. А если вы смотрите на это с позиции интеграции в бизнес-процессы компании, то полезно также посмотреть на FORMA CRM и platFORMA, где мы строим системный каркас для отделов и ролей.
Кому подходит такой проект
Стартапам, если вы хотите запускать SaaS, B2B-сервис или новую AI-функцию вокруг телефонии, приёма заявок, обзвонов и автоматизации коммуникаций.
Системным компаниям, если у вас есть продажи, сервис, диспетчеризация, поддержка клиентов, логистика, медицинские записи, бронирования или внутренняя телефония, которая сейчас живёт в ручном хаосе.
Проще говоря, если у вас звонки это важная часть бизнеса, то их уже давно пора перестать считать просто звонками. Это интерфейс. А интерфейс можно проектировать.
Итог
Этот кейс показывает не просто голосового бота, а архитектурный шаблон для целого класса продуктов: AI-секретари, голосовые ассистенты, автоматизированные call-flow системы, интеллектуальные обзвоны, контроль качества разговоров и интеграция телефонии с внутренними бизнес-системами. Детерминированная версия в нём отвечает за спокойствие: каждое слово известно заранее. Свободная версия отвечает за живость. Правильная пропорция между ними и есть инженерия.
Такие решения выглядят просто только на видео. На практике это смесь телефонии, AI, сценарного проектирования, наблюдаемости, UX и экономики. Но когда всё собрано правильно, получается очень сильный инструмент: бизнес меньше теряет звонки, люди меньше тонут в рутине, а данные начинают работать, а не пылиться в пустоте.
Если вы хотите сделать подобный AI-проект для Украины, Европы, США или Израиля, с нормальной архитектурой, договором, этапностью и без шаманства на коленке, посмотрите наш лендинг systems.ingello.com. Там есть отзывы, описание подхода, этапы работы и возможность оставить заявку на бесплатную консультацию.
Что ещё посмотреть по теме
- ИИ-секретарь реального времени: вторая, недетерминированная версия, латентность, VAD и лаборатория
- Потоковая обработка данных в реальном времени: стриминг, P2P, телефония
- INGELLA: голосовой ИИ-агент с аватаром на том же голосовом ядре
- NaturalTTS: SaaS-платформа text↔voice
- FRACTAL: автоматизация программирования и разработки ПО
- Vorfahr: AI-модули, генерация контента и автоматизация
- FORMA CRM: системная работа с клиентами и процессами
- platFORMA: корпоративная платформа для отделов компании
Где посмотреть
Похожее решение: ИИ-агент, который сам продёт.
