settings
OTEX_BIGISTQB®
Süddeutsche Zeitung Institut Auszeichnung
Alle LLM-Betrieb & Infrastruktur Schulungen

Schulung Das KI-Gateway: Kosten, Regeln und Nachweise an einem Punkt

Modellrouting, Zwischenspeicher und Kontingente messbar einsetzen
3 Tage / S7414
Neues Seminar

Schulungsformen

Offene Schulung


  • Dritter Mitarbeitende kostenfrei
  • Learning & Networking in einem. Garantierte Durchführung ab 1 Teilnehmenden.
Präsenz Online

Inhouse-/Firmenschulung

  • 3 Tage - anpassbar
  • Termin nach Wunsch
  • In Ihrem Hause oder bei der GFU
  • Preis nach Angebot

  • Lernumgebung in der Cloud
  • Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Präsenz Online Hybrid

Individualschulung

  • 3 Tage - anpassbar
  • Termin nach Wunsch
  • In Ihrem Hause oder bei der GFU
  • Preis nach Angebot

  • Lernumgebung in der Cloud
  • 1 Teilnehmender = Fokus aufs Fachliche und maximaler Raum für individuelle Fragen.
Präsenz Online Hybrid

Beschreibung

Die meisten Häuser sind an derselben Stelle: Es gibt vier oder fünf Anwendungen, die ein Sprachmodell aufrufen, jede mit eigenem Schlüssel, jede direkt beim Anbieter. Die Rechnung kommt monatlich und als eine Zahl. Welches Team welchen Anteil verursacht hat, lässt sich nicht sagen. Ob eine Eingabe mit Kundendaten an das Modell ging, lässt sich nicht nachweisen. Und wenn eine Prüferin nach Protokollen fragt, gibt es keine.
Dieser Kurs schiebt eine Schicht dazwischen und holt sich damit drei Dinge gleichzeitig. Am ersten Tag steht das Gateway, mit mehreren Anbietern dahinter, virtuellen Schlüsseln je Team, Rückfall bei Ausfall und einem Protokoll, dessen Felder vorher entschieden wurden. Am zweiten Tag wird gerechnet: Kosten je Vorgang, der Anteil des Prompts daran, Modellrouting nach Aufgabe statt nach Gewohnheit, Zwischenspeicher mit gemessener Trefferquote, und die Break-even-Rechnung zwischen eigener GPU und eingekauften Token. Am dritten Tag kommen Kontingente, Prüfungen vor und nach dem Modell samt ihrer Fehlalarmquote, und die Frage, welche regulatorischen Pflichten sich an dieser Stelle technisch erfüllen lassen und welche nicht. Am Ende steht keine Strategie, sondern eine laufende Schicht mit Zahlen.


Entdecken Sie auch unsere anderen LLM-Betrieb & Infrastruktur Kurse.

Schulungsziel

Wer das Seminar besucht hat, kann ein Gateway vor mehrere Modellanbieter setzen, Teams über virtuelle Schlüssel abbilden und deren Verbrauch aus dem Protokoll belegen, Zeitüberschreitung, Wiederholung und Rückfall einrichten und unter Last auslösen, Kosten je Vorgang berechnen und den Anteil des Prompts beziffern, Modellrouting und Zwischenspeicher einrichten und die Einsparung gegen einen Qualitätsprüfsatz halten, eine Break-even-Rechnung zwischen Eigenbetrieb und Einkauf aufstellen, Kontingente setzen, Eingabe- und Ausgabeprüfungen mit gemessener Fehlalarmquote betreiben und den Monatsbericht samt Prüfnachweisen erzeugen.

Details

Inhalt

  • Ziele und Erwartungen der Teilnehmenden
    • Klärung individueller Lernziele und Erwartungen für ein praxisnahes und relevantes Seminar
  • Tag 1: Alles durch einen Punkt
  • 1. Warum ein Kontrollpunkt
    • Was ohne ihn passiert: Schlüssel in Repositories, eine Rechnung ohne Zuordnung, kein Protokoll
    • Was die Schicht dazwischen ändert, und welche drei Dinge sie ausdrücklich nicht leistet
    • Die Entscheidung vorab: selbst betreiben oder einen Dienst einkaufen, mit Kriterien
  • 2. Das Gateway aufsetzen
    • Ein einheitlicher Endpunkt für mehrere Anbieter, und was die Vereinheitlichung an Funktionen kostet
    • Schlüsselverwaltung: ein Anbieterschlüssel, viele virtuelle Schlüssel
    • Teams, Projekte und Mandanten abbilden, damit die Zuordnung später trägt
    • Die erste Messung: was nach einer Stunde Betrieb im Protokoll steht
  • 3. Durchsatz und Ausfall
    • Zeitüberschreitung, Wiederholung und Rückfall auf ein zweites Modell
    • Was passiert, wenn der Anbieter drosselt, und woran die Anwendung es merkt
  • 4. Was ins Protokoll gehört
    • Pflichtfelder: wer, wann, welches Modell, wie viele Token, welche Kosten
    • Was nicht hineingehört, und wie man Eingaben vor dem Protokollieren maskiert
    • Aufbewahrungsdauer festlegen, bevor das erste Protokoll läuft
  • Praxis-Übung 1: Jede teilnehmende Person setzt ein Gateway auf, hängt zwei Modellanbieter dahinter und legt drei virtuelle Schlüssel für drei fiktive Teams an. Danach wird eine Lastspitze erzeugt, bis der Rückfall auf das zweite Modell auslöst. Zum Schluss wird aus dem Protokoll beantwortet, welches Team wie viele Token verbraucht hat und was das gekostet hat.
  • Tag 2: Was es kostet, und was es kosten müsste
  • 1. Die Rechnung lesen lernen
    • Eingabe-, Ausgabe- und Reasoning-Token: warum dieselbe Frage unterschiedlich teuer ist
    • Das Kontextfenster als Kostentreiber: was ein zu großer Prompt pro Aufruf wirklich kostet
    • Zwischenspeicherung beim Anbieter: wann sie greift, wann nicht, und wie man den Treffer sieht
    • Kosten je Vorgang berechnen statt Kosten je Monat schätzen
  • 2. Billiger werden, ohne schlechter zu werden
    • Modellwahl je Aufgabe: wann ein kleines Modell genügt, und wie man das belegt statt es zu vermuten
    • Zwischenspeicher vor dem Modell, wörtlich und semantisch, mit Trefferquote und dem Risiko falscher Treffer
    • Stapelverarbeitung und zugelassene Verzögerung: welche Aufrufe nicht sofort beantwortet werden müssen
  • 3. Selbst betreiben oder einkaufen
    • Die Break-even-Rechnung: GPU-Stunde gegen Token-Preis, mit der Auslastung als eigentlichem Hebel
    • Was Eigenbetrieb zusätzlich kostet und in dieser Rechnung regelmäßig fehlt
    • Der gemischte Betrieb: welche Last nach innen gehört und welche nach außen
    • Wann die Rechnung gegen den Eigenbetrieb ausgeht, und das ist häufiger als erwartet
  • Praxis-Übung 2: Für drei gestellte Aufgaben werden die Kosten je Vorgang gemessen und der Anteil des Prompts daran beziffert. Danach werden Modellrouting und ein Zwischenspeicher eingerichtet und erneut gemessen. Die Qualität wird mit einem vorbereiteten Prüfsatz gegengehalten, damit die Einsparung nicht auf Kosten der Antworten geht. Für eine der drei Aufgaben entsteht eine Break-even-Rechnung gegen Eigenbetrieb.
  • Tag 3: Regeln erzwingen, Nachweise erzeugen
  • 1. Grenzen setzen
    • Kontingente je Team und je Schlüssel, mit Warnschwelle und harter Grenze
    • Was im Produktivbetrieb passiert, wenn die harte Grenze greift, und wie man das abfedert
  • 2. Prüfung vor und nach dem Modell
    • Eingabeprüfung: was man abweist, bevor es Geld kostet
    • Prompt Injection über fremde Inhalte, und warum das Gateway dafür der richtige und gleichzeitig unzureichende Ort ist
    • Ausgabeprüfung: personenbezogene Daten, Geheimnisse, unerwünschte Inhalte
    • Die Fehlalarmquote messen, bevor die Prüfung scharf gestellt wird
  • 3. Welche Pflichten hier ansetzen
    • Transparenzpflichten nach Artikel 50: was seit August 2026 gilt und was am 2. Dezember 2026 fällig wird
    • Was der Digital Omnibus verschoben hat und was ausdrücklich nicht
    • Welche dieser Pflichten am Gateway technisch erfüllt werden und welche anderswo bleiben
  • 4. Der Nachweis
    • Was eine Prüferin sehen will, und welche Felder ein Protokoll dafür braucht
    • Kostenzuordnung je Team als monatlicher Bericht, der verschickt werden kann
    • Modellwechsel dokumentieren: welches Modell wann welche Antwort gegeben hat
    • Die Stelle, an der das Protokoll selbst zum Datenschutzproblem wird
  • Praxis-Übung 3: Kontingente werden gesetzt und im laufenden Betrieb bis zum Greifen ausgelöst. Eine Eingabe- und eine Ausgabeprüfung werden eingerichtet und ihre Fehlalarmquote an einem vorbereiteten Prüfsatz gemessen, der echte und harmlose Fälle mischt. Zum Abschluss entsteht ein Monatsbericht je Team, und daraus werden die drei Nachweise gezogen, die eine Prüfung verlangt.

  • Plattform- und Infrastrukturverantwortliche, die KI-Zugänge für mehrere Teams bereitstellen
  • Entwickler und Architekten, die mehrere Anwendungen gegen Sprachmodelle gebaut haben und sie jetzt zentral betreiben sollen
  • Verantwortliche für IT-Kosten, die eine Rechnung ohne Zuordnung erklären müssen
  • Sicherheits- und Compliance-Beauftragte, die wissen müssen, welche Pflichten technisch erfüllbar sind und welche nicht
Voraussetzungen: Sicherer Umgang mit Containern und HTTP-Schnittstellen, Lesefähigkeit in JSON und YAML, und praktische Erfahrung mit mindestens einer Anwendung, die ein Sprachmodell aufruft. Kenntnisse im Betrieb von Modellen werden nicht vorausgesetzt , dafür ist S6519 vorgesehen. Keine Rechtskenntnisse; die behandelten Pflichten werden aus der Betreibersicht erklärt.


In Präsenz

Online
Lernmethode

Ausgewogene Mischung aus Theorie und praktischen Übungen auf persönlichem Schulungs-PC.

Wie auch bei unseren Präsenz-Seminaren: Ausgewogene Mischung aus Theorie und praktischen Übungen. Trainer durchgehend präsent.

Unterlagen

Seminarunterlagen oder Fachbuch inklusive. Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne.

Seminarunterlagen oder Fachbuch inklusive (via DHL). Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne.

Arbeitsmaterialien

DIN A4 Block, Notizblock, Kugelschreiber, USB-Stick, Textmarker, Post-its

Teilnahmezertifikat

Nach Abschluss des Seminars erhalten Sie das Teilnahmezertifikat inkl. Inhaltsverzeichnis per E-Mail als PDF.


In Präsenz

Online
Teilnehmendenzahl

min. 1, max. 8 Personen

Garantierte Durchführung

Ab 1 Teilnehmenden*

Schulungszeiten
3 Tage, 09:00 - 16:00 Uhr
Ort der Schulung
GFU Schulungszentrum oder Virtual Classroom
GFU Schulungszentrum
Am Grauen Stein 27
51105 Köln-Deutz

oder online im Virtual Classroom oder europaweit bei Ihnen als Inhouse-Schulung

Um ein optimales Raumklima zu gewährleisten, haben wir das Schulungszentrum mit 17 hochmodernen Trotec TAC V+ Luftreinigern ausgestattet. Diese innovative Filtertechnologie (H14 zertifiziert nach DIN EN1822) sorgt dafür, dass die Raumluft mehrfach pro Stunde umgewälzt wird und Schadstoffe zu 99.995% im HEPA-Filter abgeschieden und infektiöse Aerosole abgetötet werden.

Zusätzlich sind alle Räume mit CO2-Ampeln ausgestattet, um jederzeit eine hervorragende Luftqualität sicherzustellen.

Räumlichkeiten

Helle und modern ausgestattete Räume mit perfekter Infrastruktur

Bequem aus dem Homeoffice von überall

Preisvorteil

Dritter Mitarbeitende nimmt kostenfrei teil.
(Nicht mit anderen Rabatten kombinierbar.)

Eventuell anfallende Prüfungskosten für den dritten Teilnehmenden werden zusätzlich berechnet - auch bei Seminaren inkl. Prüfungsgebühr.

Hinweis: Um den Erfolg der Schulung zu gewährleisten, sollte auch der dritte Teilnehmende die erwarteten Vorkenntnisse mitbringen.

KOMPASS — Förderung für Solo-Selbstständige

Solo-Selbstständige können für dieses Seminar eine Förderung via KOMPASS beantragen.

Ausführliche Informationen dazu finden Sie hier.

All-Inclusive

Gebäck, Snacks und Getränke ganztägig, Mittagessen im eigenen Restaurant, täglich 6 Menüs, auch vegetarisch

Eine Auswahl unserer Frühstücks-Snacks und Nervennahrungs-Highlights senden wir Ihnen mit den Seminarunterlagen via DHL zu.

Barrierefreiheit

Das GFU-Schulungszentrum (Am Grauen Stein 27) ist barrierefrei

-
Rechnungsstellung

Erst nach dem erfolgreichen Seminar. Keine Vorkasse.

Stornierung

Kostenfrei bis zum Vortag des Seminars

Vormerken statt buchen

Sichern Sie sich unverbindlich Ihren Seminarplatz schon vor der Buchung - auch wenn Sie selbst nicht berechtigt sind zu buchen


In Präsenz

Online
  • Eigener Shuttle-Service
  • Reservierte Parkplätze
  • Hotelreservierung
  • Technik-Sofort-Support

Buchungsmöglichkeiten

Online oder in Präsenz teilnehmen

Sie können sowohl Online als auch in Präsenz am Seminar teilnehmen. Klicken Sie bei Ihrer Buchung oder Anfrage einfach die entsprechende Option an.

Weiterbildung Das KI-Gateway: Kosten, Regeln und Nachweise an einem Punkt

TerminOrtPreis
2027
10.02.-12.02.2027
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
12.04.-14.04.2027
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
14.06.-16.06.2027
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
16.08.-18.08.2027
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
18.10.-20.10.2027
Plätze vorhanden
Köln / Online 2.030,00
Köln / Online 2.030,00 Buchen Vormerken
  • Buchen ohne Risiko
  • Keine Vorkasse
  • Kostenfreies Storno bis zum Vortag des Seminars
  • Rechnung nach erfolgreichem Seminar
  • All-Inclusive-Preis
  • Garantierter Termin und Veranstaltungsort
  • Preise pro Person zzgl. Mehrwertsteuer
  • Dritter Mitarbeitende kostenfrei (Nicht mit anderen Rabatten kombinierbar.)
Inhouse-/Firmenschulung
  • Lernumgebung in der Cloud
  • Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Präsenz Online Hybrid
Individualschulung
  • Lernumgebung in der Cloud
  • 1 Teilnehmender = Fokus aufs Fachliche und maximaler Raum für individuelle Fragen.
Präsenz Online Hybrid

So haben GFU-Kunden gestimmt

Zu diesem Seminar wurden noch keine Bewertungen abgegeben.

FAQ für Offene Schulungen
  • Alle folgenden Schulungsformen können auch Online als Virtual Classroom durchgeführt werden.
  • Eine Offene Schulung findet zu einem festgelegten Zeitpunkt im voll ausgestatteten Schulungszentrum oder Online/Remote statt. Sie treffen auf Teilnehmende anderer Unternehmen und profitieren vom direkten Wissensaustausch.
  • Eine Inhouse-/Firmen-Schulung geht auf die individuellen Bedürfnisse Ihres Unternehmens ein. Sie erhalten eine kostenfreie Beratung von Ihrem Seminarleiter und können Inhalte und Dauer auf Ihren Schulungsbedarf anpassen. Inhouse-Schulungen können Europaweit durchgeführt werden.
  • Bei einer Individual-Schulung erhalten Sie eine 1-zu-1 Betreuung und bestimmen Inhalt, Zeit und Lerntempo. Der Dozent passt sich Ihren Wünschen und Bedürfnissen an.

Sie können unsere Schulungen auch als Remote Schulung im Virtual Classroom anfragen.

In drei Schritten zum Online Seminar im Virtual Classroom:

  1. Seminar auswählen und auf "Buchen" klicken
  2. Wählen Sie bei "Wie möchten Sie teilnehmen?" einfach "Online" aus.
  3. Formular ausfüllen und über den Button "Jetzt buchen" absenden.

Unser Kundenservice meldet sich bei Ihnen mit der Buchungsbestätigung.

Unsere Online Schulungen finden im Virtual Classroom statt. Ein Virtual Classroom bündelt mehrere Werkzeuge, wie Audio-Konferenz, Text-Chat, Interaktives Whiteboard, oder Application Sharing.

Vorteile von Virtual Classroom:

  • Sie erhalten 1 zu 1 die gleiche Lernumgebung, die Sie auch vor Ort bei uns vorfinden
  • Die technische Vorbereitung wird von den GFU-Technikern vorgenommen
  • Sie erhalten remote Zugriff auf Ihren persönlichen Schulungs-PC im GFU-Seminarraum
  • Die Virtual Classroom Lösung lässt sich auch im Browser betreiben
  • Die GFU-Technik leistet wie gewohnt Soforthilfe bei Problemen
  • Die Schulungsunterlagen bekommen Sie via DHL zugeschickt
  • Sie sparen Reisekosten und Zeit
  • 10. Feb. - 12. Feb. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • 12. Apr. - 14. Apr. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • 14. Jun. - 16. Jun. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • 16. Aug. - 18. Aug. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • 18. Okt. - 20. Okt. ✓ Noch einige Plätze frei ▶ Köln + Online/Remote
  • Auch als Inhouse-Schulung, bundesweit mit Termin nach Wunsch und individuellen Inhalten
  • Buchen ohne Risiko! Kostenfreie Stornierung bis zum Vortag des Seminars
Das GFU-Sorglos-Paket

Die Seminare der GFU finden in angenehmer Atmosphäre statt und sind perfekt organisiert. Profitieren Sie von dem Rundum-Service der GFU!

Shuttle-Service

Machen Sie sich keinen Kopf um die Anreise! Unser Shuttle fährt Sie. Oder Sie parken einfach auf einem extra für Sie reservierten Parkplatz.

Hotelreservierung

Hotelzimmer gesucht? Wir organisieren Ihnen eins. Ihr Vorteil: Sie sparen Zeit und Geld!

Kostenfreies Storno

Stornierung bei offenen Seminaren kostenfrei bis einen Tag vor Schulungsbeginn.

Technik-Support

Unsere Techniker sind immer zur Stelle, egal ob online oder vor Ort.

aegallianzaxaElement 1deutsche-bankdeutsche-postlufthansamercedessonyzdf