Retrieval Augmented Generation (RAG) mit Python

Retrieval Augmented Generation RAG) verbindet Large Language Models LLMs mit unternehmenseigenen Dokumenten und Wissensbeständen. In diesem dreitägigen Praxistraining entwickeln Sie Schritt für Schritt ein RAGSystem mit Python – von der Dokumentenverarbeitung über die Suche nach relevanten Informationen bis zur Antwortgenerierung mit überprüfbaren Quellenangaben.

Warum ist dieses Training wertvoll für Sie?
Ob technische Dokumentation, interne Richtlinien oder umfangreiche Wissenssammlungen: Eine überzeugende KIAnwendung muss relevante Informationen zuverlässig finden und daraus nachvollziehbare Antworten erzeugen. Eine erste RAGPipeline ist schnell gebaut. Die eigentliche Herausforderung liegt darin, ihre Qualität systematisch zu bewerten, Fehler zu erkennen und Verbesserungen messbar zu machen. Genau hier setzt das Training an. Sie arbeiten mit einem gemeinsamen Übungskorpus und einem festen Testset, erstellen eine erste Baseline und verbessern Ihr System gezielt durch hybride Suche, Reranking sowie geeignete Chunking- und Kontextstrategien. Dabei betrachten Sie neben der Antwortqualität auch Latenz, Kosten, Sicherheit und Zugriffsberechtigungen. Rund die Hälfte der Seminarzeit ist für praktische Übungen vorgesehen. Sie bauen die grundlegenden Komponenten zunächst in reinem Python auf und lernen anschließend, wie sich Frameworks wie LangChain, LangGraph, LlamaIndex und Haystack einordnen lassen. Zum Abschluss optimieren Sie Ihr System in einem Teamprojekt und präsentieren die Ergebnisse anhand nachvollziehbarer Messungen. Nach dem Training können Sie eine RAGPipeline aufbauen und evaluieren, geeignete Verbesserungsmaßnahmen auswählen und die wesentlichen Architektur- und Betriebsentscheidungen für den Einsatz im Unternehmen beurteilen.

Block 1: RAG aufbauen, Grenzen erkennen und Qualität messen

Einführung in Retrieval Augmented Generation

• Möglichkeiten und Grenzen von LLMs: Trainingsstichtag, unternehmensinterne
• Daten und Halluzinationen
• Architektur eines RAG-Systems: Indexierung und Anfrageverarbeitung
• RAG, Long Context, Fine-Tuning und Tool Calls: Einsatzgebiete und
• Entscheidungskriterien
• Praktischer Einstieg: Aufbau einer einfachen RAG-Pipeline in reinem Python

Embeddings und Vektorsuche

• Texte als Vektoren: Embeddings, Kosinus-Ähnlichkeit und Bi-Encoder
• Auswahl geeigneter Embedding-Modelle: Query- und Dokument-Präfixe,
• Mehrsprachigkeit und Lizenzen
• Exakte und approximative Suche; HNSW im Überblick
• Praktische Vektorsuche mit qdrant-client im lokalen Modus
• Einordnung von Chroma, pgvector und Managed Services

Dokumentenverarbeitung und Chunking

• Einlesen von Markdown, HTML, PDF, Office-Dokumenten und Quellcode
• Herausforderungen beim PDF-Parsing: Textebene, Layout und Tabellen
• Werkzeuge zur Dokumentenaufbereitung: pymupdf4llm und Docling
• Chunking-Strategien: feste Größe, rekursive Aufteilung und Orientierung an der Dokumentstruktur
• Metadaten für nachvollziehbares Retrieval: Quelle, Abschnitt, Seite, Version und Zugriffsgruppe

Erste Evaluation und Baseline

• Warum einzelne, plausibel wirkende Antworten keine verlässliche
• Qualitätsmessung ersetzen
• Retrieval Augmented Generation (RAG) mit Python 2
• Aufbau eines Referenz-Testsets mit Fragen, erwarteten Quellen und erwarteten Antworten
• Erste Retrieval-Metriken: Hit Rate, Recall@k und Mean Reciprocal Rank 
• Dokumentation der Ausgangsqualität und systematische Erfassung von Fehlern

Block 2: Retrieval gezielt verbessern und Ergebnisse nachweisen

Evaluation von Retrieval und Antwortqualität

• Vertiefende Retrieval-Metriken: Precision@k und nDCG
• Bewertung der Antworten: Quellentreue (Faithfulness), Korrektheit und Relevanz
• LLM-as-Judge: automatisierte Bewertungen und Abgleich mit eigenen Beurteilungen
• Synthetische Testfragen, nicht beantwortbare Fragen und Pflege des Testsets
• Evaluationswerkzeuge im Vergleich: Ragas, DeepEval und eigene Auswertungen in Python

Hybride Suche

• Grenzen der Vektorsuche bei Fehlercodes, Teilenummern, Namen und anderen exakten Begriffen
• Grundlagen der lexikalischen Suche mit BM25 und praktische Umsetzung mit rank_bm25
• Kombination von Suchergebnissen mit Reciprocal Rank Fusion
• Gewichtete Fusion und Normalisierung unterschiedlicher Relevanzwerte
• Kombination von Dense- und Sparse-Retrieval in einer Qdrant-Abfrage

Reranking

• Bi-Encoder und Cross-Encoder: Funktionsweise und Einsatzgebiete
• Zweistufiges Retrieval: zunächst eine breite Kandidatenmenge suchen, anschließend die relevantesten Inhalte auswählen
• Auswirkungen auf Qualität, Latenz und Koste
• Praktischer Vergleich mit der bisherigen Baseline

Chunking und Kontextanreicherung optimieren

• Chunk-Größe und Überlappung als messbare Optimierungsparameter
• Parent-Child-Retrieval: kleine Textabschnitte für die Suche, größere Zusammenhänge für die Antwort
• Kontext durch Dokument- und Abschnittspfade in Chunk-Headern
• Contextual Retrieval: Anreicherung einzelner Chunks mit LLM-generiertem Kontext

Anfragen verbessern und Komplexität gezielt erweitern

• Query Rewriting, Multi-Query und Hypothetical Document Embeddings HyDE
• Metadatenfilter und Self-Querying
• Auswahl geeigneter Techniken anhand konkreter Fehlerbilder
• Zusätzliche Verarbeitungsschritte nur dort einsetzen, wo ihr Nutzen messbar ist

Block 3: Vom Prototyp zum vertrauenswürdigen System

Quellengestützte Antwortgenerierung

• Aufbau geeigneter Prompts für die Verarbeitung des abgerufenen Kontexts
• Auswahl, Reihenfolge und Anzahl der Chunks
• Nachprüfbare Quellenangaben und automatische Prüfung im Code
• Umgang mit fehlenden oder unzureichenden Informationen: Wann das System keine Antwort geben sollte

Sicherheit, Berechtigungen und Dokumentqualität

• Prompt Injection über Dokumente: Risiken und Schutzmaßnahmen
• Modellausgaben als nicht vertrauenswürdige Eingaben behandeln; Besprechung eines konkreten Sicherheitsfalls
• Zugriffskontrolle bereits bei der Suche: Berechtigungen durch Pre-Filter berücksichtigen 4 Retrieval Augmented Generation (RAG) mit Python
• Umgang mit veralteten und doppelten Dokumenten sowie unterschiedlichen Dokumentversionen

Architekturentscheidungen und weiterführende Ansätze

• RAG, Long Context mit Prompt Caching oder Tool Calls: Auswahl passend zum Anwendungsfall
• Model Context Protocol MCP) zur Integration externer Werkzeuge und Datenquellen
• Retrieval als Werkzeug in agentischen Abläufen
• Überblick über GraphRAG, visuelles Dokument-Retrieval mit der ColPali Familie, Late Chunking und Fine-Tuning von Embeddings
• Einordnung von LangChain, LangGraph, LlamaIndex und Haystack anhand der selbst aufgebauten Pipeline

Vorbereitung auf den Produktivbetrieb

• Tracing und Monitoring mit Langfuse und Phoenix
• Aktualisierung des Index und erneute Erstellung von Embeddings
• Planung und Überwachung von Kosten- und Latenzbudgets
• Gehostete Lösungen und On-Premises-Betrieb: Anforderungen und Abwägungen
• Datenschutz und regulatorische Rahmenbedingungen: DSGVO und Transparenzpflichten des EU AI Act im Überblick

• Entwickler*innen und Data Scientists mit Python-Erfahrung, die RAG Anwendungen aufbauen und systematisch verbessern möchten
• ITProfessionals und KI Praktiker*innen, die LLMs mit unternehmenseigenen Dokumenten und Wissensbeständen verbinden möchten
• Technische Teams aus Unternehmen, Forschung und Consulting, die die Qualität und Zuverlässigkeit ihrer RAGLösungen bewerten möchten 5 Retrieval Augmented Generation (RAG) mit Python Technische Verantwortliche, die Architekturentscheidungen sowie Anforderungen an Sicherheit und Betrieb besser beurteilen möchten

Gute Grundlagen in der Python-Programmierung sind erforderlich. Sie sollten Funktionen schreiben, mit gängigen Datenstrukturen arbeiten sowie Python Pakete installieren und verwenden können. Erste Erfahrungen mit APIs und LLMAnwendungen sind von Vorteil. Grundkenntnisse in Machine Learning und Information Retrieval sind hilfreich, aber keine Voraussetzung. Die für das Training benötigten Konzepte werden im Seminar erläutert. Vorkenntnisse in RAGFrameworks oder Vektordatenbanken sind nicht erforderlich.