Schnell präzise Antworten auf Kundenanfragen auf Basis interner Richtlinien bereitstellen und sogenannte „Halluzinationen“ der künstlichen Intelligenz vermeiden.

Die Lösung basiert auf DKB – einer Wissensdatenbank, die die Interaktion mit Unternehmensdaten im Chat-Format ermöglicht. Die Logik der Lösung:

1. Datenvorverarbeitung (Jupyter/Airflow + MLflow)
   Die Entwickler:innen richten eine Pipeline zur Dokumentenaufbereitung ein. Bei Bedarf können LLMs für das Tracing der Textverarbeitung eingesetzt werden. Da dieser Prozess offen gestaltet ist, werden Metriken und Qualität über MLflow erfasst und überwacht.
2. Aufbau der Wissensbasis (DKB + Ollama + vLLM)
   Die vorbereiteten Dokumente werden über eine API in DKB geladen. Für die Erstellung von Embeddings greift DKB automatisch auf Ollama zurück, das für das Hosting von Embedding-Modellen optimiert ist, sowie auf vLLM für die Inferenz.
3. Antwortgenerierung (vLLM)
   Bei einer Anfrage identifiziert DKB relevante Informationsfragmente und übergibt diese zusammen mit der Anfrage an vLLM – einen leistungsstarken Inferenzserver für große Sprachmodelle, der die finale Antwort generiert.
4. Zugriffskontrolle und Abrechnung (LiteLLM)
   Alle Anfragen an vLLM laufen über LiteLLM. Dadurch können Nutzungsgrenzen pro Nutzer:in oder technischem Account definiert sowie der Ressourcenverbrauch transparent überwacht werden.
5. Benutzerarbeitsplatz
   Die Interaktion erfolgt über die integrierte Benutzeroberfläche von DKB. Zusätzlich ist eine Integration mit bestehenden CRM- und Call-Center-Systemen möglich, um den Zugriff auf weiterführende Informationen zu erweitern.