Call-Center Assistant
Ми пропонуємо використання готового потужного RAG-рушія для максимально швидкого пошуку відповідей на запитання клієнтів
1 день
швидкий старт
100%
точність відповідей
Це ідеальний варіант для швидкого впровадження. DKB, що виступає як готове, інкапсульоване рішення, беручи на себе всю роботу з індексації та пошуку інформації.
Бізнес - задача
Швидко знаходити точні відповіді на запитання клієнтів за внутрішніми регламентами та уникнути "галюцинацій" штучного інтелекту.
Рішення
В основі рішення лежить DKB - база знань, що забезпечує комунікацію з корпоративними даними в форматі чату. Логіка рішення:
- Препроцесинг даних (Jupyter/Airflow + MLFlow): Розробник налаштовує пайплайн підготовки документів. За необхідності, на цьому етапі можна використати LLM для трейсингу процесу оброки текстів перед їх завантаженням (трейси ллм). Оскільки це відкритий процес підготовки, його метрики та якість логуються через MLFlow для контролю.
- Побудова бази знань (DKB + Ollama + vLLM): Підготовлені документи завантажуються в DKB через API. Для створення векторних представлень тексту (Embeddings) DKB автоматично звертається до Ollama, який виділено виключно під ефективний хостинг ембедінг-моделей, та також робить запит до vLLM (LLM inference server).
- Генерація відповідей (vLLM): Коли оператор ставить запитання, DKB знаходить потрібний фрагмент інструкції і відправляє його разом із запитом у vLLM - високопродуктивний сервер для інференсу великих мовних моделей, який генерує фінальну відповідь.
- Контроль доступу та білінг (LiteLLM): Усі запити до vLLM проходять виключно через LiteLLM. Це дозволяє адміністраторам налаштувати ліміти використання для кожного оператора або технічного акаунту, а також моніторити, який відділ чи застосунок споживає найбільше ресурсів.
- Робоче місце користувача: Оператор взаємодіє із системою через готовий вбудований UI від DKB. Додатково можна інтегруватися з вже існуючою CRM та кол-центром замовника для отримання більших деталей.
Що ми можемо зробити для вашого бізнесу?
Ваш надійний
партнер
