Bitte wählen Sie die Bereiche, die Sie exportieren möchten:
Schulung Kafka Schema Management: Schema Registry, Avro und Protobuf
Evolution ohne Downtime: Kompatibilitätsstrategien für Event-driven Architekturen
Schulungsformen
Inhouse-/Firmenschulung
- 2 Tage - anpassbar
- Termin nach Wunsch
- In Ihrem Hause oder bei der GFU
- Preis nach Angebot
- Lernumgebung in der Cloud
- Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Beschreibung
Unternehmen profitieren von einer massiv erhöhten Systemstabilität, geringeren Cloud-Kosten durch reduzierte Datenmengen und einer reibungslosen Zusammenarbeit zwischen Teams, da Datenschnittstellen klar definiert und automatisiert validiert sind.
Noch mehr Kafka Wissen erhalten Sie auch in unseren weiteren Kafka Trainings.
Schulungsziel
Die Teilnehmenden erlernen die Implementierung eines zentralen Schema-Managements für Kafka. Ziel ist es, Producer und Consumer für die Nutzung der Schema Registry zu konfigurieren, Avro-Schemas zu entwerfen und Kompatibilitätsregeln so zu setzen, dass Schema-Updates die Datenverarbeitung nicht unterbrechen.
Details
Inhalt
- Ziele und Erwartungen der Teilnehmenden
- Klärung individueller Lernziele und Erwartungen für ein praxisnahes und relevantes Seminar
- 1. Warum Schema Management? Das Problem der "Poison Pill"
- Herausforderung: Was passiert, wenn ein Producer das Datenformat ändert?
- Lösung: Entkoppelung von Daten und Metadaten durch eine Registry.
- Vorteile: Geringerer Payload (binär), Typsicherheit und automatisierte Validierung.
- 2. Confluent Schema Registry Architektur
- Zentraler Hub: Wie die Registry mit Kafka-Brokern und Clients interagiert.
- Speichermodell: Das _schemas Topic als "Source of Truth".
- IDs & Versionen: Eindeutige Identifizierung von Schemas im binären Header.
- 3. Avro: Der Standard für Big Data & Kafka
- Kompaktheit: Warum Avro-Daten ohne eingebettetes Schema so klein sind.
- Definition: Erstellung von .avsc Dateien (JSON-basiert).
- Code-Generierung: Nutzung von Maven/Gradle Plugins zur Erzeugung von Java-Klassen.
- 4. Protobuf: Die performante Alternative
- Google Protocol Buffers: Strengere Typisierung und gRPC-Kompatibilität.
- Syntax: Definition von .proto Files und Unterschiede zu Avro.
- Use Cases: Wann Protobuf gegenüber Avro im Vorteil ist (z.B. Mobile Apps).
- 5. Kompatibilitätsmodi: Evolution ohne Schmerz
- BACKWARD: Neue Consumer können alte Daten lesen (Standard).
- FORWARD: Alte Consumer können neue Daten lesen.
- FULL: Maximale Flexibilität in beide Richtungen.
- NONE: Deaktivierung der Prüfung (Risiken und Nebenwirkungen).
- 6. Schema Evolution in der Praxis
- Erlaubte Änderungen: Hinzufügen von Feldern mit Default-Werten, Löschen optionaler Felder.
- Breaking Changes: Umbenennen von Feldern, Ändern von Datentypen.
- Strategie: Wie man ein Schema ändert, ohne die Produktion zu stoppen.
- 7. Serializer und Deserializer (SerDes)
- KafkaAvroSerializer: Automatische Registrierung und ID-Einbettung.
- Deserialisierung: Wie der Consumer das passende Schema aus der Registry lädt.
- Konfiguration: schema.registry.url, auto.register.schemas und use.latest.version.
- 8. JSON Schema in Kafka
- Flexibilität: Für Teams, die kein binäres Format wünschen.
- Validierung: Nutzung von JSON Schema zur Durchsetzung von Strukturen.
- Nachteil: Größerer Overhead im Vergleich zu Avro/Protobuf.
- 9. CDC & Schema Evolution: Der Debezium-Workflow
- Datenbank-Sync: Automatische Erzeugung von Avro-Schemas aus SQL-Tabellen.
- Schema-Mapping: Wie ALTER TABLE Befehle in der Registry landen.
- Downstream-Impact: Auswirkungen von DB-Änderungen auf Stream-Processing-Apps.
- 10. Tools für die Entwicklung und Fehlersuche
- Schema Registry UI: Grafische Verwaltung von Versionen und Modellen.
- kcat (kafkacat): Konsumieren und Produzieren von Avro-Daten auf der Kommandozeile.
- REST API: Direkte Abfrage der Registry für administrative Aufgaben.
- 11. Security und Governance
- RBAC: Wer darf neue Schemas registrieren oder löschen?
- Audit: Nachverfolgbarkeit von Schema-Änderungen.
- Multi-Tenancy: Isolation von Schemas durch Subjects und Namespaces.
- 12. Praxis-Workshop: „The Schema Guard“
- Coding-Task: Implementierung eines Java-Producers mit Avro-Serialisierung.
- Evolution-Task: Update eines Schemas (Feld hinzufügen) und Test der Consumer-Kompatibilität.
- Debugging-Task: Analyse einer "Poison Pill" (falsche Schema-ID) mittels kcat.
- Final Roadmap: Erstellung einer Checkliste für Schema-Änderungen im Team.
Zielgruppe & Vorkenntnisse
- Data Engineers: Zur Sicherstellung der Datenqualität in Pipelines.
- Software-Architekten: Zur Definition von Schnittstellen in Microservices.
- Backend-Entwickler: Zur Implementierung von robusten Producern/Consumern.
- DevOps-Engineers: Zur Verwaltung der Schema Registry Infrastruktur.
Ihre Schulung
In Präsenz | Online |
|---|---|
| Lernmethode | |
Ausgewogene Mischung aus Theorie und Praxis | Wie auch bei unseren Präsenz-Seminaren: Ausgewogene Mischung aus Theorie und praktischen Übungen. Trainer durchgehend präsent. |
| Unterlagen | |
Seminarunterlagen oder Fachbuch inklusive. Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne. | Seminarunterlagen oder Fachbuch inklusive (via DHL). Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne. |
| Arbeitsplatz | |
|
|
| Lernumgebung | |
Neu aufgesetzte Remote-Systeme für jeden Kurs in Abstimmung mit dem Seminarleiter, sodass Sie über ein perfektes Setup für die Durchführung aller praktischen Übungen verfügen. | |
| Arbeitsmaterialien | |
Din A4 Block, Notizblock, Kugelschreiber, USB-Stick, Textmarker, Post-its | |
| Teilnahmezertifikat | |
Nach Abschluss des Seminars erhalten Sie das Teilnahmezertifikat inkl. Inhaltsverzeichnis per E-Mail als PDF. | |
Organisation
In Präsenz | Online | |
|---|---|---|
| Teilnehmendenzahl | ||
min. 1, max. 8 Personen | ||
| Garantierte Durchführung * | ||
Ab 1 Teilnehmenden | ||
| Schulungszeiten | ||
| ||
| Ort der Schulung | ||
 GFU SchulungszentrumAm Grauen Stein 27 51105 Köln-Deutz oder online im Virtual Classroom oder europaweit bei Ihnen als Inhouse-Schulung Um ein optimales Raumklima zu gewährleisten, haben wir das Schulungszentrum mit 17 hochmodernen Trotec TAC V+ Luftreinigern ausgestattet. Diese innovative Filtertechnologie (H14 zertifiziert nach DIN EN1822) sorgt dafür, dass die Raumluft mehrfach pro Stunde umgewälzt wird und Schadstoffe zu 99.995% im HEPA-Filter abgeschieden und infektiöse Aerosole abgetötet werden. Zusätzlich sind alle Räume mit CO2-Ampeln ausgestattet, um jederzeit eine hervorragende Luftqualität sicherzustellen. | ||
| Räumlichkeiten | ||
Helle und modern ausgestattete Räume mit perfekter Infrastruktur | Bequem aus dem Homeoffice von überall | |
| All-Inclusive | ||
Frühstück, Snacks und Getränke ganztägig, Mittagessen im eigenen Restaurant, täglich 6 Menüs, auch vegetarisch | Eine Auswahl unserer Frühstücks-Snacks und Nervennahrungs-Highlights senden wir Ihnen mit den Seminarunterlagen via DHL zu. | |
| Barrierefreiheit | ||
Das GFU-Schulungszentrum (Am Grauen Stein 27) ist barrierefrei | - | |
Kostenfreie Services
In Präsenz | Online |
|---|---|
|
|
Buchungsmöglichkeiten
Online oder in Präsenz teilnehmen
Sie können sowohl Online als auch in Präsenz am Seminar teilnehmen. Klicken Sie bei Ihrer Buchung oder Anfrage einfach die entsprechende Option an.
- Lernumgebung in der Cloud
- Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Was bedeutet Offene Schulung und Inhouse Schulung?
Bei einer offenen Schulung stehen Ort und Termin vorab fest. Jeder Interessent kann eine offene Schulung buchen, daher treffen Teilnehmer aus verschiedenen Unternehmen aufeinander.
Inhouse Schulungen können auf Ihren individuellen Schulungsbedarf zugeschnitten werden. Sie bestimmen den Teilnehmerkreis, Termin und Schulungsort.
Ist eine Inhouse Schulung die richtige Wahl?
Bei einer Inhouse Schulung gehen wir auf die individuellen Bedürfnisse Ihres Unternehmens ein und decken den Schulungsbedarf direkt bei Ihnen im Unternehmen ab.
Das spart Zeit und Geld und sorgt für einen schnellen Wissenstransfer Ihrer Mitarbeiter.
Wer kümmert sich um die Technik bei Inhouse Schulungen?
Eine komplette Lernumgebung in der Cloud mit Remote Zugriff ist für uns selbstverständlich. Sie müssen sich um nichts kümmern. Lediglich ein funktionierender PC oder Notebook mit Internetanschluss sollte für jeden Teilnehmer am Schulungstag bereit stehen.
Vorteile einer Inhouse Schulung
- Kompetente Seminarberatung
- Dozenten aus der Praxis
- Auf Ihre Bedürfnisse zugeschnittener individueller Lernstoff
- Sie können den Termin flexibel gestalten, so wie es für Sie am besten passt
- Unsere Inhouse Schulungen können Europaweit durchgeführt werden
- Der Fokus liegt auf Ihrem Schulungsbedarf, somit schonen Sie Ihr Budget
- Wissenslücken Ihrer Mitarbeitet werden schnell geschlossen