Bitte wählen Sie die Bereiche, die Sie exportieren möchten:
Schulung LLM-Inferenz-Infrastruktur: vLLM, Ollama und TGI
Enterprise AI Hosting: Souveräne Infrastruktur für Large Language Models
Schulungsformen
Offene Schulung
- 3 Tage
- 5 gesicherte Termine
- Köln / Online
- 2.030,00 p. P. zzgl. MwSt.
- Dritter Mitarbeitende kostenfrei
- Learning & Networking in einem. Garantierte Durchführung ab 1 Teilnehmenden.
Inhouse-/Firmenschulung
- 3 Tage - anpassbar
- Termin nach Wunsch
- In Ihrem Hause oder bei der GFU
- Preis nach Angebot
- Lernumgebung in der Cloud
- Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Individualschulung
- 3 Tage - anpassbar
- Termin nach Wunsch
- In Ihrem Hause oder bei der GFU
- Preis nach Angebot
- Lernumgebung in der Cloud
- 1 Teilnehmender = Fokus aufs Fachliche und maximaler Raum für individuelle Fragen.
Beschreibung
Unternehmen profitieren von massiv reduzierten Cloud-Kosten für GPUs, einer deutlich besseren Nutzererfahrung durch geringe Latenzen und der vollen Kontrolle über ihre KI-Workloads.
Schulungsziel
Die Teilnehmenden erlernen die Auswahl, Installation und Optimierung des passenden Inferenz-Stacks für verschiedene Einsatzszenarien. Ziel ist es, Modelle mittels vLLM für hohen Durchsatz zu skalieren, Ollama für lokale Workflows zu nutzen und durch Quantisierungstechniken wie AWQ oder GGUF die Hardware-Anforderungen drastisch zu reduzieren, ohne die Modellqualität signifikant zu beeinträchtigen.
Details
Inhalt
- Ziele und Erwartungen der Teilnehmenden
- Klärung individueller Lernziele und Erwartungen für ein praxisnahes und relevantes Seminar
- 1. Grundlagen der LLM-Inferenz
- Decode-Phasen: Prefill vs. Autoregressive Decoding und deren Flaschenhälse.
- Compute vs. Memory Bound: Warum der Grafikspeicher (VRAM) oft das Limit ist.
- Metriken: Tokens Per Second (TPS), Time To First Token (TTFT) und Latenz-Varianz.
- 2. vLLM: Die High-Speed Engine
- PagedAttention: Effizientes Management des KV-Caches zur Vermeidung von Speicherfragmentierung.
- Continuous Batching: Dynamisches Hinzufügen von Anfragen zur Maximierung der GPU-Auslastung.
- Architektur: Multi-GPU-Support und Ray-Integration für massive Skalierung.
- 3. TGI: Der Standard von Hugging Face
- Text Generation Inference: Architektur und Besonderheiten des TGI-Stacks.
- Production-Ready Features: Integriertes Tracing, Monitoring und Prometheus-Metriken.
- Einsatzbereiche: Wann TGI gegenüber vLLM im Vorteil ist.
- 4. Ollama & llama.cpp: Lokal und Flexibel
- Ollama: Einfaches Management und Deployment lokaler Modelle (LLaMA, Mistral, Phi).
- llama.cpp: Die Basis für CPU-Inferenz und Multi-Plattform-Support (Metal, CUDA, ROCm).
- GGUF-Format: Warum dieses Format die Portabilität von Modellen revolutioniert hat.
- 5. Quantisierung: Weniger Bit, mehr Speed
- Methoden im Vergleich: GPTQ (Post-Training), AWQ (Activation-aware) und Bitsandbytes (4-bit/8-bit).
- Trade-offs: Analyse des Qualitätsverlusts (Perplexity) vs. Performance-Gewinn.
- Hardware-Support: Welche GPUs welche Quantisierung optimal unterstützen.
- 6. Speicher-Management und KV-Cache
- KV-Cache Optimization: Strategien zur Reduzierung des Speicherbedarfs bei langen Kontexten.
- Context Window Management: Sliding Window Attention und RoPE Scaling.
- Offloading: Auslagerung von Modellteilen auf den System-RAM (System Memory Offloading).
- 7. Fortgeschrittene Durchsatz-Optimierung
- Speculative Decoding: Nutzung kleinerer Entwurfs-Modelle zur Beschleunigung großer LLMs.
- Batching-Strategien: Statisches vs. dynamisches Batching und deren Impact auf die TTFT.
- Triton Inference Server: Orchestrierung verschiedener Modell-Typen (KI + Klassisch) mit NVIDIA Triton.
- 8. Deployment-Strategien und Hardware
- GPU-Sizing: A100/H100 vs. Consumer-Karten (RTX 4090) - was lohnt sich?
- Multi-Node Inferenz: Verteilung großer Modelle (z.B. LLaMA 70B/405B) über mehrere Server.
- Serverless Inferenz: Hosting-Optionen und Kaltstart-Problematik.
- 9. Praxis-Workshop: "The 1000 TPS Challenge"
- Workshop: Setup eines vLLM-Servers und Performance-Benchmarking gegen TGI.
- Optimization-Task: Anwendung von AWQ-Quantisierung zur Halbierung des Speicherbedarfs.
- Scaling-Task: Konfiguration eines Speculative Decoding Setups.
- Final Roadmap: Auswahl des optimalen Inferenz-Stacks für das eigene Unternehmen.
Zielgruppe & Vorkenntnisse
- Machine Learning Engineers: Zur Optimierung der Modell-Bereitstellung.
- DevOps & Platform Engineers: Zum Aufbau skalierbarer Inferenz-Cluster.
- AI Architects: Zur Evaluation von Hosting-Strategien und Hardware-Sizing.
- Software-Entwickler: Zum Verständnis der Performance-Charakteristiken von KI-APIs.
Ihre Schulung
In Präsenz | Online |
|---|---|
| Lernmethode | |
Ausgewogene Mischung aus Theorie und Praxis | Wie auch bei unseren Präsenz-Seminaren: Ausgewogene Mischung aus Theorie und praktischen Übungen. Trainer durchgehend präsent. |
| Unterlagen | |
Seminarunterlagen oder Fachbuch zum Seminar inklusive, das man nach Rücksprache mit dem Trainer individuell auswählen kann. | Seminarunterlagen oder Fachbuch inklusive (via DHL). Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne. |
| Arbeitsplatz | |
| PC/VMs für jeden Teilnehmenden Hochwertige und performante Hardware Große, höhenverstellbare Bildschirme Zugang zu Ihrem Firmennetz erlaubt |
|
| Lernumgebung | |
Neu aufgesetzte Systeme für jeden Kurs in Abstimmung mit dem Seminarleiter. | |
| Arbeitsmaterialien | |
DIN A4 Block, Notizblock, Kugelschreiber, USB-Stick, Textmarker, Post-its | |
| Teilnahmezertifikat | |
Nach Abschluss des Seminars erhalten Sie das Teilnahmezertifikat inkl. Inhaltsverzeichnis per E-Mail als PDF. | |
Organisation
In Präsenz | Online | |
|---|---|---|
| Teilnehmendenzahl | ||
min. 1, max. 8 Personen | ||
| Garantierte Durchführung | ||
Ab 1 Teilnehmenden* | ||
| Schulungszeiten | ||
| ||
| Ort der Schulung | ||
 GFU SchulungszentrumAm Grauen Stein 27 51105 Köln-Deutz oder online im Virtual Classroom oder europaweit bei Ihnen als Inhouse-Schulung Um ein optimales Raumklima zu gewährleisten, haben wir das Schulungszentrum mit 17 hochmodernen Trotec TAC V+ Luftreinigern ausgestattet. Diese innovative Filtertechnologie (H14 zertifiziert nach DIN EN1822) sorgt dafür, dass die Raumluft mehrfach pro Stunde umgewälzt wird und Schadstoffe zu 99.995% im HEPA-Filter abgeschieden und infektiöse Aerosole abgetötet werden. Zusätzlich sind alle Räume mit CO2-Ampeln ausgestattet, um jederzeit eine hervorragende Luftqualität sicherzustellen. | ||
| Räumlichkeiten | ||
Helle und modern ausgestattete Räume mit perfekter Infrastruktur | Bequem aus dem Homeoffice von überall | |
| Preisvorteil | ||
Dritter Mitarbeitende nimmt kostenfrei teil. Eventuell anfallende Prüfungskosten für den dritten Teilnehmenden werden zusätzlich berechnet. Hinweis: Um den Erfolg der Schulung zu gewährleisten, sollte auch der dritte Teilnehmende die erwarteten Vorkenntnisse mitbringen. | ||
| KOMPASS — Förderung für Solo-Selbstständige | ||
Solo-Selbstständige können für dieses Seminar eine Förderung via KOMPASS beantragen. | ||
| All-Inclusive | ||
Gebäck, Snacks und Getränke ganztägig, Mittagessen im eigenen Restaurant, täglich 6 Menüs, auch vegetarisch | Eine Auswahl unserer Frühstücks-Snacks und Nervennahrungs-Highlights senden wir Ihnen mit den Seminarunterlagen via DHL zu. | |
| Barrierefreiheit | ||
Das GFU-Schulungszentrum (Am Grauen Stein 27) ist barrierefrei | - | |
Buchen ohne Risiko
| Rechnungsstellung |
Erst nach dem erfolgreichen Seminar. Keine Vorkasse. |
| Stornierung |
Kostenfrei bis zum Vortag des Seminars |
| Vormerken statt buchen |
Sichern Sie sich unverbindlich Ihren Seminarplatz schon vor der Buchung - auch wenn Sie selbst nicht berechtigt sind zu buchen |
Kostenfreie Services
In Präsenz | Online |
|---|---|
|
|
Buchungsmöglichkeiten
Online oder in Präsenz teilnehmen
Sie können sowohl Online als auch in Präsenz am Seminar teilnehmen. Klicken Sie bei Ihrer Buchung oder Anfrage einfach die entsprechende Option an.
Gesicherte offene Termine
| Termin | Ort | Preis | ||
|---|---|---|---|---|
| 22.06.-24.06.2026 Plätze vorhanden Köln / Online 2.030,00 | Köln / Online | 2.030,00 | Buchen Vormerken | |
| 31.08.-02.09.2026 Plätze vorhanden Köln / Online 2.030,00 | Köln / Online | 2.030,00 | Buchen Vormerken | |
| 02.11.-04.11.2026 Plätze vorhanden Köln / Online 2.030,00 | Köln / Online | 2.030,00 | Buchen Vormerken | |
| 2027 | ||||
| 01.03.-03.03.2027 Plätze vorhanden Köln / Online 2.030,00 | Köln / Online | 2.030,00 | Buchen Vormerken | |
| 03.05.-05.05.2027 Plätze vorhanden Köln / Online 2.030,00 | Köln / Online | 2.030,00 | Buchen Vormerken | |
- Lernumgebung in der Cloud
- Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
- Lernumgebung in der Cloud
- 1 Teilnehmender = Fokus aufs Fachliche und maximaler Raum für individuelle Fragen.
Unterstützung nach der Schulung durch
individuelle Nachbetreuung
- Alle folgenden Schulungsformen können auch Online als Virtual Classroom durchgeführt werden.
- Eine Offene Schulung findet zu einem festgelegten Zeitpunkt im voll ausgestatteten Schulungszentrum oder Online/Remote statt. Sie treffen auf Teilnehmende anderer Unternehmen und profitieren vom direkten Wissensaustausch.
- Eine Inhouse-/Firmen-Schulung geht auf die individuellen Bedürfnisse Ihres Unternehmens ein. Sie erhalten eine kostenfreie Beratung von Ihrem Seminarleiter und können Inhalte und Dauer auf Ihren Schulungsbedarf anpassen. Inhouse-Schulungen können Europaweit durchgeführt werden.
- Bei einer Individual-Schulung erhalten Sie eine 1-zu-1 Betreuung und bestimmen Inhalt, Zeit und Lerntempo. Der Dozent passt sich Ihren Wünschen und Bedürfnissen an.
Sie können unsere Schulungen auch als Remote Schulung im Virtual Classroom anfragen.
In drei Schritten zum Online Seminar im Virtual Classroom:
- Seminar auswählen und auf "Buchen" klicken
- Wählen Sie bei "Wie möchten Sie teilnehmen?" einfach "Online" aus.
- Formular ausfüllen und über den Button "Jetzt buchen" absenden.
Unser Kundenservice meldet sich bei Ihnen mit der Buchungsbestätigung.
Unsere Online Schulungen finden im Virtual Classroom statt. Ein Virtual Classroom bündelt mehrere Werkzeuge, wie Audio-Konferenz, Text-Chat, Interaktives Whiteboard, oder Application Sharing.
Vorteile von Virtual Classroom:
- Sie erhalten 1 zu 1 die gleiche Lernumgebung, die Sie auch vor Ort bei uns vorfinden
- Die technische Vorbereitung wird von den GFU-Technikern vorgenommen
- Sie erhalten remote Zugriff auf Ihren persönlichen Schulungs-PC im GFU-Seminarraum
- Die Virtual Classroom Lösung lässt sich auch im Browser betreiben
- Die GFU-Technik leistet wie gewohnt Soforthilfe bei Problemen
- Die Schulungsunterlagen bekommen Sie via DHL zugeschickt
- Sie sparen Reisekosten und Zeit
- 22. Jun. - 24. Jun. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- 31. Aug. - 02. Sep. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- 02. Nov. - 04. Nov. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- 01. Mär. - 03. Mär. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- 03. Mai - 05. Mai ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
- Auch als Inhouse-Schulung, bundesweit mit Termin nach Wunsch und individuellen Inhalten
- Buchen ohne Risiko! Kostenfreie Stornierung bis zum Vortag des Seminars
Die Seminare der GFU finden in angenehmer Atmosphäre statt und sind perfekt organisiert. Profitieren Sie von dem Rundum-Service der GFU!
Machen Sie sich keinen Kopf um die Anreise! Unser Shuttle fährt Sie. Oder Sie parken einfach auf einem extra für Sie reservierten Parkplatz.
Hotelzimmer gesucht? Wir organisieren Ihnen eins. Ihr Vorteil: Sie sparen Zeit und Geld!
Stornierung bei offenen Seminaren kostenfrei bis einen Tag vor Schulungsbeginn.
Unsere Techniker sind immer zur Stelle, egal ob online oder vor Ort.