Компания
О комапнии
olga@epoch8.co
Контакты
Блог

Как устроена платформа для разработки AI-ассистентов Epoch8

Наши клиенты часто заказывают разработку AI-ассистентов для автоматизации внутренних бизнес-процессов, например:

  • поддержку пользователей и партнеров;
  • помощь отделу продаж (например, формирование коммерческих предложений или ведение переговоров с клиентами);
  • ответы на частые вопросы.

Для реализации таких решений мы используем платформу, построенную на основе открытых компонентов:


Botfront даёт дизайнерам возможность реализовывать сложные сценарии диалогов без программирования (за исключением интеграций с API).

Платформу можно развернуть в облаке или в инфраструктуре клиента для соблюдения требований безопасности.

Возможности AI-ассистентов

1. Ответы на частые вопросы

AI-ассистенты отвечают на вопросы, используя информацию из базы знаний. Контент-менеджеры могут легко добавлять статьи и ассоциированные с ними вопросы. Когда пользователь задает запрос, ассистент ищет релевантные статьи и возвращает ответы в чат.
Мы часто используем Chatwoot для интерфейсов операторов и управления базой знаний.
Интерфейс базы знаний Chatwoot
Интерфейс одной статьи в Chatwoot
Диалог с пользователем, ассистент дает ответ ссылками на статьи в базе знаний
Ассистент также может использовать большие языковые модели (например, GPT) для генерации ответов или анализа пользовательских данных.

2. Автоматизация сложных сценариев

Наши чат-боты поддерживают сложные сценарии, такие как управление подписками или прием платежей. Эти сценарии разрабатываются в визуальном интерфейсе Botfront, что минимизирует необходимость программирования.
Интерфейс управления диалогом в Botfront
Основная концепция платформы строится на "историях" — цепочках интентов и ответов.

История – это фрагмент диалога, который начинается с намерения (интента) пользователя, за которым следует серия ответов пользователя и бота.

Чтобы написать диалог, нам нужно:

  • определить ключевые интенты пользователя
  • написать фрагменты историй, которые отвечают этим интентам.
Интерфейс Botfront со списком интентов
Когда пользователь общается с AI-ассистентом, RASA распознает интент для каждой фразы пользователя и принимает решение о следующем ответе ассистента:
  • либо это ответ по базе знаний (FAQ)
  • либо это ответ по одной из существующих историй (например, истории “узнать статус заказа”)
  • либо это запрос в API и получение ответа из API и др.

3. Интеграция с большими языковыми моделями (GPT, Claude и другие)

Для более сложных диалогов используются большие языковые модели. Они помогают:
  • генерировать ответы на основе базы знаний;
  • извлекать данные из пользовательских сообщений (например, имя или дату рождения);
  • временно передавать управление для сбора данных или обработки нестандартных запросов.
Промпты в gpt можно писать прямо из сценария чат-бота

Общая архитектура решения

Общая архитектура системы выглядит так:
Архитектура платформы AI-ассистентов

Компоненты системы

AI Assistant Manager

В основе платформы — AI Assistant Manager, который:
  • принимает запросы пользователей;
  • определяет, какой агент (например, RAG, LLM Pipelines) должен обработать запрос;
  • возвращает результат пользователю.
Мы используем RASA для распознавания интентов и управления сценариями. Истории в RASA могут вызывать других ассисентов.

Assistants

Ассистенты – это доступные для системы AI-агенты, каждый из которых выполняет определенную задачу. Типовые ассистенты:
  • RAG: отвечает на вопросы по загруженной базе документов. Работает с вектороной базой данных, в которую умеет загружать документы и отвечать на вопросы по этим документам.
  • LLM Pipelines: осуществляют сложные обработки пользовательского запроса с помощью цепочек LLM (например, генерируют контент-план и черновики постов, извлекают данные из комментариев в CRM итп итп)
  • RASA Stories: осуществляют сценарное взаимодействие чат-бота и пользователя с обращением во внутренние сервисы заказчика. Например, принимает багрепорт, заводит тикет в JIRA и возвращает пользователю номер тикета.
Список агентов может легко расширяться.

Как это выглядит

AI Assistant Manager UI

Интерфейс для создания сценариев диалогов. Сейчас в нашей системе несколько интерфейсов:
  • Botfront: создание и настройка сценариев.
  • LPE (LLM Pipeline Editor): проектирование сложных цепочек обработки запросов.
  • RAG: управление базой знаний, загрузка документов и тестирование ответов.

Роли пользователей

Клиент: общается с чат-ботом в удобном интерфейсе (например, в мессенджере или на сайте).
Диалог-дизайнер: работает в интерфейсе и настраивает сценарии и поведение ассистентов под бизнес-задачи.
Оператор: работает в интерфейсе Chatwoot и перехватывает диалог с пользователем, когда пользователь просит перевести на оператора (роль опциональная).

Поток данных и взаимодействие компонентов

Пользователь отправляет сообщение в чат.
AI Assistant Manager получает сообщение и определяет, какой ассистент должен обработать сообщение:
  • Для ответов на вопросы запрашивает данные из RAG.
  • Для сложной обработки запроса пользователя с помощью LLM вызывается ассистент LLM Pipelines
  • итп
Ответ от AI Assistant Manager возвращается пользователю в чат.
Такая архитектура позволяет гибко развивать AI-ассистента, добавлять сценарии и исправлять ошибки практически без привлечения разработчиков.
ИИ