Bitte wählen Sie die Bereiche, die Sie exportieren möchten:
Schulung LLM Observability: KI-Anwendungen in Produktion überwachen
Die Blackbox öffnen: Tracing, Feedback-Loops und Drift Detection
Schulungsformen
Inhouse-/Firmenschulung
- 2 Tage - anpassbar
- Termin nach Wunsch
- In Ihrem Hause oder bei der GFU
- Preis nach Angebot
- Lernumgebung in der Cloud
- Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Beschreibung
Unternehmen profitieren von voller Kostentransparenz, einer drastisch reduzierten Fehlerrate im Live-Betrieb und der Gewissheit, dass ihre KI-Anwendungen datenschutzkonform und sicher agieren - die Basis für echtes Vertrauen in Enterprise-KI.
Bei Interesse an einem passenden KI Training, werfen Sie einen Blick auf unser gesamtes Portfolio.
Schulungsziel
Die Teilnehmenden erlernen die technische Implementierung von Observability-Lösungen für LLM-basierte Applikationen. Ziel ist es, Tracing-Pipelines aufzusetzen, die Kosten pro User/Feature in Echtzeit zu überwachen und Sicherheits-Dashboards zu erstellen, die toxische Outputs oder Injections detektieren, um eine gleichbleibend hohe Qualität der KI-Services zu garantieren.
Details
Inhalt
- Ziele und Erwartungen der Teilnehmenden
- Klärung individueller Lernziele und Erwartungen für ein praxisnahes und relevantes Seminar
- 1. Grundlagen der LLM Observability
- Status Quo: Warum klassisches Monitoring (CPU/RAM) für LLMs nicht ausreicht.
- KPIs der KI: Definition von Latenz (TTFT: Time To First Token), Token-Durchsatz und Genauigkeit.
- Observability vs. Evaluation: Echtzeit-Monitoring vs. Offline-Testing.
- 2. Tracing und Span-Hierarchien
- Full Request Trace: Vom User-Input über Retrieval (RAG) bis zum finalen Output.
- Deep Dive Spans: Identifikation von Flaschenhälsen (Dauert das Embedding oder der LLM-Call zu lange?).
- Tool-Integration: Instrumentierung von LangChain- und LlamaIndex-Applikationen.
- 3. Tool-Landschaft: LangSmith und Langfuse
- LangSmith: Native Integration, Debugging-Playgrounds und Datensatz-Management.
- Langfuse (Open Source): Architektur, Self-Hosting für maximale DSGVO-Konformität.
- Phoenix & Arize: Visualisierung von Embedding-Vektoren und Cluster-Analysen.
- 4. Cost Monitoring und Budgetierung
- Token-Granularität: Kosten-Tracking pro User, pro Feature oder pro Agent-Task.
- Budget-Alerts: Implementierung automatisierter Benachrichtigungen bei Kostenexplosionen.
- Modell-Vergleich: Analyse des ROI beim Wechsel von GPT-4 zu günstigeren Modellen.
- 5. Feedback-Loops und Daten-Veredelung
- Implicit vs. Explicit Feedback: Thumbs Up/Down vs. manuelle Korrekturen durch Experten.
- Golden Datasets: Aufbau von Referenz-Datensätzen aus echten Produktionsdaten.
- Fine-Tuning Pipeline: Vorbereitung von geloggten Daten für das Nachtrainieren von Modellen.
- 6. Drift Detection: Wenn die Qualität sinkt
- Prompt Drift: Wie verändern sich Antworten nach einer Prompt-Anpassung?
- Model Drift: Auswirkungen von Provider-Updates (z.B. OpenAI "Laziness") erkennen.
- Data Drift: Erkennung, wenn User-Anfragen sich massiv vom Trainingsstand unterscheiden.
- 7. Safety & Security Monitoring
- Injection Logging: Detektion und Dokumentation von Manipulationsversuchen.
- Toxizitäts-Checks: Automatisierte Überwachung auf unangemessene KI-Outputs.
- PII-Leakage Guardrails: Protokollierung von Verstößen gegen Datenschutz-Vorgaben.
- 8. Evaluation in Produktion (Online Eval)
- LLM-as-a-Judge: Nutzung eines zweiten Modells zur Echtzeit-Bewertung der Antwortqualität.
- Heuristiken: Prüfung auf leere Antworten, Halluzinationen oder verbotene Keywords.
- A/B Testing: Live-Vergleich von zwei verschiedenen Prompts oder Modellversionen.
- 9. RAG Observability: Den Kontext prüfen
- Retrieval Quality: Wurden die richtigen Dokumente für die Antwort gefunden?
- Context Relevance: Wie viel des gefundenen Textes war für die Antwort wirklich nötig?
- Vector Store Performance: Überwachung von Latenz und Relevanz der Vektorsuche.
- 10. Dashboards und Reporting
- Stakeholder-Views: Strategische Dashboards für das Management vs. technische Views für Devs.
- Alerting-Policies: Wann muss ein Mensch eingreifen? (Fehlerraten, Kosten-Spikes).
- Compliance-Reports: Dokumentation der KI-Sicherheit für Audits und Zertifizierungen.
- 11. Praxis-Workshop: "The AI Control Room"
- Tracing-Task: Integration von Langfuse in eine bestehende Python-KI-Applikation.
- Analysis-Task: Identifikation eines Performance-Flaschenhalses in einem komplexen Trace.
- Safety-Task: Konfiguration eines Filters, der versuchte Prompt Injections im Dashboard markiert.
- Final Roadmap: Erstellung eines individuellen Observability-Plans für Ihr nächstes Projekt.
Zielgruppe & Vorkenntnisse
- Software-Entwickler & AI Engineers: Zur Fehlerdiagnose und Performance-Steigerung.
- DevOps- & SRE-Spezialisten: Zur Integration von KI-Monitoring in bestehende Systeme.
- Product Owner & CTOs: Zur Überwachung von Budgets, ROI und Service-Qualität.
- Data Privacy & Security Officers: Zur Detektion von Datenlecks und Missbrauch.
Ihre Schulung
In Präsenz | Online |
|---|---|
| Lernmethode | |
Ausgewogene Mischung aus Theorie und Praxis | Wie auch bei unseren Präsenz-Seminaren: Ausgewogene Mischung aus Theorie und praktischen Übungen. Trainer durchgehend präsent. |
| Unterlagen | |
Seminarunterlagen oder Fachbuch inklusive. Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne. | Seminarunterlagen oder Fachbuch inklusive (via DHL). Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne. |
| Arbeitsplatz | |
|
|
| Lernumgebung | |
Neu aufgesetzte Remote-Systeme für jeden Kurs in Abstimmung mit dem Seminarleiter, sodass Sie über ein perfektes Setup für die Durchführung aller praktischen Übungen verfügen. | |
| Arbeitsmaterialien | |
Din A4 Block, Notizblock, Kugelschreiber, USB-Stick, Textmarker, Post-its | |
| Teilnahmezertifikat | |
Nach Abschluss des Seminars erhalten Sie das Teilnahmezertifikat inkl. Inhaltsverzeichnis per E-Mail als PDF. | |
Organisation
In Präsenz | Online | |
|---|---|---|
| Teilnehmendenzahl | ||
min. 1, max. 8 Personen | ||
| Garantierte Durchführung * | ||
Ab 1 Teilnehmenden | ||
| Schulungszeiten | ||
| ||
| Ort der Schulung | ||
 GFU SchulungszentrumAm Grauen Stein 27 51105 Köln-Deutz oder online im Virtual Classroom oder europaweit bei Ihnen als Inhouse-Schulung Um ein optimales Raumklima zu gewährleisten, haben wir das Schulungszentrum mit 17 hochmodernen Trotec TAC V+ Luftreinigern ausgestattet. Diese innovative Filtertechnologie (H14 zertifiziert nach DIN EN1822) sorgt dafür, dass die Raumluft mehrfach pro Stunde umgewälzt wird und Schadstoffe zu 99.995% im HEPA-Filter abgeschieden und infektiöse Aerosole abgetötet werden. Zusätzlich sind alle Räume mit CO2-Ampeln ausgestattet, um jederzeit eine hervorragende Luftqualität sicherzustellen. | ||
| Räumlichkeiten | ||
Helle und modern ausgestattete Räume mit perfekter Infrastruktur | Bequem aus dem Homeoffice von überall | |
| All-Inclusive | ||
Frühstück, Snacks und Getränke ganztägig, Mittagessen im eigenen Restaurant, täglich 6 Menüs, auch vegetarisch | Eine Auswahl unserer Frühstücks-Snacks und Nervennahrungs-Highlights senden wir Ihnen mit den Seminarunterlagen via DHL zu. | |
| Barrierefreiheit | ||
Das GFU-Schulungszentrum (Am Grauen Stein 27) ist barrierefrei | - | |
Kostenfreie Services
In Präsenz | Online |
|---|---|
|
|
Buchungsmöglichkeiten
Online oder in Präsenz teilnehmen
Sie können sowohl Online als auch in Präsenz am Seminar teilnehmen. Klicken Sie bei Ihrer Buchung oder Anfrage einfach die entsprechende Option an.
- Lernumgebung in der Cloud
- Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Was bedeutet Offene Schulung und Inhouse Schulung?
Bei einer offenen Schulung stehen Ort und Termin vorab fest. Jeder Interessent kann eine offene Schulung buchen, daher treffen Teilnehmer aus verschiedenen Unternehmen aufeinander.
Inhouse Schulungen können auf Ihren individuellen Schulungsbedarf zugeschnitten werden. Sie bestimmen den Teilnehmerkreis, Termin und Schulungsort.
Ist eine Inhouse Schulung die richtige Wahl?
Bei einer Inhouse Schulung gehen wir auf die individuellen Bedürfnisse Ihres Unternehmens ein und decken den Schulungsbedarf direkt bei Ihnen im Unternehmen ab.
Das spart Zeit und Geld und sorgt für einen schnellen Wissenstransfer Ihrer Mitarbeiter.
Wer kümmert sich um die Technik bei Inhouse Schulungen?
Eine komplette Lernumgebung in der Cloud mit Remote Zugriff ist für uns selbstverständlich. Sie müssen sich um nichts kümmern. Lediglich ein funktionierender PC oder Notebook mit Internetanschluss sollte für jeden Teilnehmer am Schulungstag bereit stehen.
Vorteile einer Inhouse Schulung
- Kompetente Seminarberatung
- Dozenten aus der Praxis
- Auf Ihre Bedürfnisse zugeschnittener individueller Lernstoff
- Sie können den Termin flexibel gestalten, so wie es für Sie am besten passt
- Unsere Inhouse Schulungen können Europaweit durchgeführt werden
- Der Fokus liegt auf Ihrem Schulungsbedarf, somit schonen Sie Ihr Budget
- Wissenslücken Ihrer Mitarbeitet werden schnell geschlossen