settings
OTEX_BIG
Süddeutsche Zeitung Institut Auszeichnung
 Image
Alle KI Schulungen

Schulung Lokale KI im Unternehmen: DeepSeek, LLaMA und Mistral mit Ollama/vLLM selbst betreiben

Datensouveränität durch Open-Source-KI: DeepSeek & Co. im Eigenbetrieb

3 Tage / S6520
Neues Seminar
Per E-Mail senden

Schulungsformen

Offene Schulung


  • Dritter Mitarbeitende kostenfrei
  • Learning & Networking in einem. Garantierte Durchführung ab 1 Teilnehmenden.
Präsenz Online

Inhouse-/Firmenschulung

  • 3 Tage - anpassbar
  • Termin nach Wunsch
  • In Ihrem Hause oder bei der GFU
  • Preis nach Angebot

  • Lernumgebung in der Cloud
  • Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Präsenz Online Hybrid

Individualschulung

  • 3 Tage - anpassbar
  • Termin nach Wunsch
  • In Ihrem Hause oder bei der GFU
  • Preis nach Angebot

  • Lernumgebung in der Cloud
  • 1 Teilnehmender = Fokus aufs Fachliche und maximaler Raum für individuelle Fragen.
Präsenz Online Hybrid

Beschreibung

Dieses Fachseminar vermittelt Ihnen das strategische und technische Fundament, um hochleistungsfähige Sprachmodelle wie DeepSeek , LLaMA und Mistral vollständig innerhalb Ihrer eigenen Infrastruktur zu betreiben. In Zeiten strenger Compliance-Anforderungen und steigender Cloud-Kosten bietet der Eigenbetrieb (Self-Hosting) die ultimative Souveränität über Unternehmensdaten. Sie lernen, wie Sie Inferenz-Engines wie Ollama für einfache Integrationen und vLLM für hochskalierbare Enterprise-Szenarien einsetzen. Wir behandeln die gesamte Kette - von der Hardware-Auswahl und GPU-Optimierung bis hin zur Anbindung an interne Anwendungen.
Unternehmen profitieren von absoluter Datensouveränität, kalkulierbaren Fixkosten statt variabler API-Gebühren und der Freiheit, ihre KI-Lösungen exakt an interne Sicherheitsvorgaben anzupassen.


Noch nicht das, was Sie suchen? Wir haben bestimmt ein passendes KI Seminar für Sie im Seminarportfolio.

Schulungsziel

Die Teilnehmenden erlernen die Installation, Konfiguration und Optimierung lokaler Sprachmodelle. Ziel ist es, DeepSeek, LLaMA und Mistral mittels Ollama (für Workstations) oder vLLM (für Server-Cluster) bereitzustellen, die passende Quantisierung für die vorhandene Hardware zu wählen und eine API-Schnittstelle zu etablieren, die DSGVO-konforme KI-Services für das gesamte Unternehmen bereitstellt.

Details

Inhalt

  • Ziele und Erwartungen der Teilnehmenden
    • Klärung individueller Lernziele und Erwartungen für ein praxisnahes und relevantes Seminar
  • 1. Die neue Ära der Open-Source-Modelle
    • Modell-Landschaft: DeepSeek (Coder/V3), LLaMA (Meta) und Mistral im Vergleich.
    • Capabilities: Welches Modell eignet sich für Coding, Reasoning oder kreatives Schreiben?
    • Wirtschaftlichkeit: Cloud-API-Kosten vs. Investition in eigene Hardware/Strom.
  • 2. Hardware-Sizing und GPU-Infrastruktur
    • VRAM-Kalkulation: Wie viel Speicher benötigen 7B, 32B oder 70B Modelle?
    • NVIDIA vs. Apple Silicon vs. CPU: Auswahl der passenden Rechenleistung.
    • Multi-GPU-Setups: Tensor-Parallelismus und Verteilung großer Modelle.
  • 3. Ollama: Die unkomplizierte Einstiegslösung
    • Installation & Management: Betrieb unter Linux, Windows (WSL2) und Docker.
    • Modelfiles: Anpassung von System-Prompts und Parametern für DeepSeek & Co.
    • Desktop-Integration: Lokale KI als Copilot-Ersatz in der Entwicklungsumgebung.
  • 4. vLLM: High-Performance Inferenz für Teams
    • Architektur: Durchsatzmaximierung durch PagedAttention und Continuous Batching.
    • Server-Betrieb: Bereitstellung eines OpenAI-kompatiblen API-Endpunkts.
    • Scaling: vLLM im produktiven Einsatz für hunderte gleichzeitige Nutzer.
  • 5. Quantisierung: Effizienz ohne Qualitätsverlust
    • Formate im Fokus: GGUF, AWQ und GPTQ - was passt zu welcher Hardware?
    • Bit-Tiefe: Der Trade-off zwischen 4-bit, 8-bit und FP16 Precision.
    • Modell-Kompression: Große Modelle auf kleineren GPUs lauffähig machen.
  • 6. Integration und API-Orchestrierung
    • Standardisierung: Nutzung von OpenAI-kompatiblen Schnittstellen für einfachen Austausch.
    • LangChain & LlamaIndex: Einbindung lokaler Modelle in komplexe Workflows.
    • Function Calling: Lokale Modelle zur Steuerung interner APIs befähigen.
  • 7. RAG: Wissen lokal verarbeiten
    • Retrieval Augmented Generation: Anbindung lokaler Dokumentendatenbanken.
    • Embedding-Modelle: Lokale Vektorisierung für maximale Sicherheit.
    • Souveränität: Warum RAG mit lokalen LLMs der Goldstandard für Firmengeheimnisse ist.
  • 8. Monitoring, Sicherheit und Governance
    • Observability: Überwachung von Token-Durchsatz, Latenz (TTFT) und Fehlerraten.
    • Access Control: Absicherung der API-Endpunkte und Nutzer-Authentifizierung.
    • Compliance: Audit-Logging und DSGVO-Aspekte beim Self-Hosting.
  • 9. Praxis-Workshop: "The Local AI Powerhouse"
    • Setup-Challenge: Installation von DeepSeek-R1 oder LLaMA-3 auf einem Server.
    • Benchmarking: Vergleich der Performance zwischen Ollama und vLLM.
    • Integration-Task: Aufbau eines einfachen Chat-Interfaces (z. B. Open WebUI) für das Team.
    • Final Roadmap: Migrationsplan von Cloud-APIs zu einer lokalen Infrastruktur.

  • IT-Administratoren & Platform Engineers: Zum Aufbau und Betrieb der KI-Infrastruktur.
  • CTOs & IT-Entscheider: Zur Evaluation von Open-Source-Alternativen zu OpenAI/Claude.
  • Datenschutzbeauftragte & Compliance-Manager: Zur Sicherstellung der Datensouveränität.
  • AI & Software Engineers: Zur Integration lokaler LLMs in Unternehmenssoftware.


In Präsenz

Online
Lernmethode

Ausgewogene Mischung aus Theorie und Praxis

Wie auch bei unseren Präsenz-Seminaren: Ausgewogene Mischung aus Theorie und praktischen Übungen. Trainer durchgehend präsent.

Unterlagen

Seminarunterlagen oder Fachbuch zum Seminar inklusive, das man nach Rücksprache mit dem Trainer individuell auswählen kann.

Seminarunterlagen oder Fachbuch inklusive (via DHL). Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne.

Arbeitsplatz
PC/VMs für jeden Teilnehmenden
Hochwertige und performante Hardware
Große, höhenverstellbare Bildschirme
Zugang zu Ihrem Firmennetz erlaubt
  • Online Meeting + Remote Zugriff auf persönlichen GFU-Schulungs-PC
  • Keine Installation auf dem eigenen PC notwendig
Lernumgebung

Neu aufgesetzte Systeme für jeden Kurs in Abstimmung mit dem Seminarleiter.

Arbeitsmaterialien

DIN A4 Block, Notizblock, Kugelschreiber, USB-Stick, Textmarker, Post-its

Teilnahmezertifikat

Nach Abschluss des Seminars erhalten Sie das Teilnahmezertifikat inkl. Inhaltsverzeichnis per E-Mail als PDF.


In Präsenz

Online
Teilnehmendenzahl

min. 1, max. 8 Personen

Garantierte Durchführung

Ab 1 Teilnehmenden*

Schulungszeiten
3 Tage, 09:00 - 16:00 Uhr
Ort der Schulung
GFU Schulungszentrum oder Virtual Classroom
GFU Schulungszentrum
Am Grauen Stein 27
51105 Köln-Deutz

oder online im Virtual Classroom oder europaweit bei Ihnen als Inhouse-Schulung

Um ein optimales Raumklima zu gewährleisten, haben wir das Schulungszentrum mit 17 hochmodernen Trotec TAC V+ Luftreinigern ausgestattet. Diese innovative Filtertechnologie (H14 zertifiziert nach DIN EN1822) sorgt dafür, dass die Raumluft mehrfach pro Stunde umgewälzt wird und Schadstoffe zu 99.995% im HEPA-Filter abgeschieden und infektiöse Aerosole abgetötet werden.

Zusätzlich sind alle Räume mit CO2-Ampeln ausgestattet, um jederzeit eine hervorragende Luftqualität sicherzustellen.

Räumlichkeiten

Helle und modern ausgestattete Räume mit perfekter Infrastruktur

Bequem aus dem Homeoffice von überall

Preisvorteil

Dritter Mitarbeitende nimmt kostenfrei teil.
(Nicht mit anderen Rabatten kombinierbar.)

Eventuell anfallende Prüfungskosten für den dritten Teilnehmenden werden zusätzlich berechnet.

Hinweis: Um den Erfolg der Schulung zu gewährleisten, sollte auch der dritte Teilnehmende die erwarteten Vorkenntnisse mitbringen.

KOMPASS — Förderung für Solo-Selbstständige

Solo-Selbstständige können für dieses Seminar eine Förderung via KOMPASS beantragen.

Ausführliche Informationen dazu finden Sie hier.

All-Inclusive

Gebäck, Snacks und Getränke ganztägig, Mittagessen im eigenen Restaurant, täglich 6 Menüs, auch vegetarisch

Eine Auswahl unserer Frühstücks-Snacks und Nervennahrungs-Highlights senden wir Ihnen mit den Seminarunterlagen via DHL zu.

Barrierefreiheit

Das GFU-Schulungszentrum (Am Grauen Stein 27) ist barrierefrei

-
Rechnungsstellung

Erst nach dem erfolgreichen Seminar. Keine Vorkasse.

Stornierung

Kostenfrei bis zum Vortag des Seminars

Vormerken statt buchen

Sichern Sie sich unverbindlich Ihren Seminarplatz schon vor der Buchung - auch wenn Sie selbst nicht berechtigt sind zu buchen


In Präsenz

Online
  • Eigener Shuttle-Service
  • Reservierte Parkplätze
  • Hotelreservierung
  • Technik-Sofort-Support

Buchungsmöglichkeiten

Online oder in Präsenz teilnehmen

Sie können sowohl Online als auch in Präsenz am Seminar teilnehmen. Klicken Sie bei Ihrer Buchung oder Anfrage einfach die entsprechende Option an.

Weiterbildung Lokale KI im Unternehmen: DeepSeek, LLaMA und Mistral mit Ollama/vLLM selbst betreiben

TerminOrtPreis
22.06.-24.06.2026
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
31.08.-02.09.2026
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
02.11.-04.11.2026
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
2027
01.03.-03.03.2027
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
03.05.-05.05.2027
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
  • Buchen ohne Risiko
  • Keine Vorkasse
  • Kostenfreies Storno bis zum Vortag des Seminars
  • Rechnung nach erfolgreichem Seminar
  • All-Inclusive-Preis
  • Garantierter Termin und Veranstaltungsort
  • Preise pro Person zzgl. Mehrwertsteuer
  • Dritter Mitarbeitende kostenfrei (Nicht mit anderen Rabatten kombinierbar.)
Inhouse-/Firmenschulung
  • Lernumgebung in der Cloud
  • Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Präsenz Online Hybrid
Individualschulung
  • Lernumgebung in der Cloud
  • 1 Teilnehmender = Fokus aufs Fachliche und maximaler Raum für individuelle Fragen.
Präsenz Online Hybrid
Nachbetreuung

Unterstützung nach der Schulung durch
individuelle Nachbetreuung

Details & Anfrage

So haben GFU-Kunden gestimmt

Zu diesem Seminar wurden noch keine Bewertungen abgegeben.

FAQ für Offene Schulungen
  • Alle folgenden Schulungsformen können auch Online als Virtual Classroom durchgeführt werden.
  • Eine Offene Schulung findet zu einem festgelegten Zeitpunkt im voll ausgestatteten Schulungszentrum oder Online/Remote statt. Sie treffen auf Teilnehmende anderer Unternehmen und profitieren vom direkten Wissensaustausch.
  • Eine Inhouse-/Firmen-Schulung geht auf die individuellen Bedürfnisse Ihres Unternehmens ein. Sie erhalten eine kostenfreie Beratung von Ihrem Seminarleiter und können Inhalte und Dauer auf Ihren Schulungsbedarf anpassen. Inhouse-Schulungen können Europaweit durchgeführt werden.
  • Bei einer Individual-Schulung erhalten Sie eine 1-zu-1 Betreuung und bestimmen Inhalt, Zeit und Lerntempo. Der Dozent passt sich Ihren Wünschen und Bedürfnissen an.

Sie können unsere Schulungen auch als Remote Schulung im Virtual Classroom anfragen.

In drei Schritten zum Online Seminar im Virtual Classroom:

  1. Seminar auswählen und auf "Buchen" klicken
  2. Wählen Sie bei "Wie möchten Sie teilnehmen?" einfach "Online" aus.
  3. Formular ausfüllen und über den Button "Jetzt buchen" absenden.

Unser Kundenservice meldet sich bei Ihnen mit der Buchungsbestätigung.

Unsere Online Schulungen finden im Virtual Classroom statt. Ein Virtual Classroom bündelt mehrere Werkzeuge, wie Audio-Konferenz, Text-Chat, Interaktives Whiteboard, oder Application Sharing.

Vorteile von Virtual Classroom:

  • Sie erhalten 1 zu 1 die gleiche Lernumgebung, die Sie auch vor Ort bei uns vorfinden
  • Die technische Vorbereitung wird von den GFU-Technikern vorgenommen
  • Sie erhalten remote Zugriff auf Ihren persönlichen Schulungs-PC im GFU-Seminarraum
  • Die Virtual Classroom Lösung lässt sich auch im Browser betreiben
  • Die GFU-Technik leistet wie gewohnt Soforthilfe bei Problemen
  • Die Schulungsunterlagen bekommen Sie via DHL zugeschickt
  • Sie sparen Reisekosten und Zeit
  • 22. Jun. - 24. Jun. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • 31. Aug. - 02. Sep. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • 02. Nov. - 04. Nov. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • 01. Mär. - 03. Mär. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • 03. Mai - 05. Mai ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • Auch als Inhouse-Schulung, bundesweit mit Termin nach Wunsch und individuellen Inhalten
  • Buchen ohne Risiko! Kostenfreie Stornierung bis zum Vortag des Seminars
Das GFU-Sorglos-Paket

Die Seminare der GFU finden in angenehmer Atmosphäre statt und sind perfekt organisiert. Profitieren Sie von dem Rundum-Service der GFU!

Shuttle-Service

Machen Sie sich keinen Kopf um die Anreise! Unser Shuttle fährt Sie. Oder Sie parken einfach auf einem extra für Sie reservierten Parkplatz.

Hotelreservierung

Hotelzimmer gesucht? Wir organisieren Ihnen eins. Ihr Vorteil: Sie sparen Zeit und Geld!

Kostenfreies Storno

Stornierung bei offenen Seminaren kostenfrei bis einen Tag vor Schulungsbeginn.

Technik-Support

Unsere Techniker sind immer zur Stelle, egal ob online oder vor Ort.

aegallianzaxaElement 1deutsche-bankdeutsche-postlufthansamercedessonyzdf