Live Session: einen RAG-Chatbot liefern und das Team zur Eigenständigkeit befähigen

Liefern allein reicht nicht

Die meisten Dienstleister liefern ein Projekt und verschwinden danach. Das Ergebnis: Der Kunde meldet sich beim ersten Fehler zurück, versteht die Blackbox in seinen Händen nicht und ist am Ende frustriert.

Für das Projekt Live Session habe ich das Problem umgedreht. Das Ergebnis war nicht nur ein funktionierender RAG-Chatbot, sondern ein Team, das ihn ohne mich betreiben, diagnostizieren und weiterentwickeln kann.

Der gelieferte Chatbot

Live Session brauchte einen Assistenten, der auf einer dichten und heterogenen Dokumentenbasis antworten kann. Ich habe einen maßgeschneiderten RAG-Chatbot mit mehreren auf den Anwendungsfall zugeschnittenen Bausteinen bereitgestellt:

• Intelligente Umformulierung der Nutzerfragen vor dem Retrieval, um ungenaue Formulierungen abzufangen
• Automatische OCR-Erkennung gescannter PDFs, um nicht nativ textbasierte Dokumente zu indizieren
• Fortgeschrittene Tabellenverarbeitung, oft die Schwachstelle generischer RAG-Pipelines

In Produktion: 95% Antwortrelevanz und eine Antwortzeit unter 5 Sekunden.

Der echte Unterschied: die Schulung

Ein leistungsfähiges RAG-System, das intern niemand versteht, wird am Tag des ersten Vorfalls zu technischer Schuld. Deshalb habe ich einen Wissenstransfer in 4 Sitzungen aufgebaut, vom Konzept bis zum Betrieb.

1. Die Grundlagen von RAG

Das Ziel: Das Team versteht die Technologie, statt sie nur zu ertragen.

• Wie Embeddings funktionieren
• Der Indizierungs- und Retrieval-Prozess
• Die verschiedenen existierenden RAG-Typen

2. Ihre eigene Implementierung

Das Ziel: Sie beherrschen ihr Produkt perfekt, nicht RAG im Allgemeinen.

• Die intelligente Umformulierung der Fragen
• Die automatische OCR-Erkennung von PDFs
• Die fortgeschrittene Tabellenverarbeitung

3. Die Grenzen des Systems

Das Ziel: wissen, wie man reagiert, wenn es hakt, statt in Panik zu geraten.

• Die Fragetypen, bei denen das System scheitert
• Die Dokumente, bei denen RAG an seine Grenzen stößt
• Erste Hilfe im Fehlerfall

4. Praxis-Workshop

Das Ziel: maximale Eigenständigkeit unter realen Bedingungen.

• Wiederherstellung der Datenbank
• Lesen und Nutzen des Grafana-Dashboards
• Vorausschauendes Scaling
• Die laufende technologische Beobachtung

Das Ergebnis: Eigenständigkeit

Heute braucht Live Session mich für die große Mehrheit der Handgriffe nicht mehr. Das Team beherrscht sein Produkt, weiß im Problemfall, wo es nachsehen muss, und kann es eigenständig weiterentwickeln.

Danke an Laurent Janolin und das gesamte Live-Session-Team für ein ebenso technisch wie menschlich bereicherndes Projekt, und an Ailog für den Rahmen.

Über Pierre Kasparian

Pierre ist Freelancer für KI-Integration und Data Engineering und Partner bei Ailog. Er implementiert LLMs, RAG-Systeme und KI-Agenten für KMU und Startups, mit einer klaren Regel: Daten niemals außerhalb Europas senden, im Einklang mit der DSGVO.

Mehr über seine Projekte und seinen Ansatz auf pierrekasparian.com.

---

Sie möchten einen RAG-Chatbot, den Ihr Team wirklich beherrscht? Entdecken Sie Ailog oder sprechen Sie direkt mit Pierre.