settings
OTEX_BIG
Süddeutsche Zeitung Institut Auszeichnung
 Image
Alle Weitere Themen Schulungen

Schulung DuckDB: Analytische In-Process-Datenbank

In-Process BI: Geschwindigkeit und Integration für Data Science & Engineering

2 Tage / S6481
Neues Seminar
Per E-Mail senden

Schulungsformen

Inhouse-/Firmenschulung

  • 2 Tage - anpassbar
  • Termin nach Wunsch
  • In Ihrem Hause oder bei der GFU
  • Preis nach Angebot

  • Lernumgebung in der Cloud
  • Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Präsenz Online Hybrid

Beschreibung

Dieses Fachseminar führt Sie in die Welt von DuckDB ein, der „SQLite für Analytics“. DuckDB hat die Art und Weise, wie wir lokale Daten analysieren, revolutioniert, indem sie die Leistung einer spaltenorientierten Enterprise-Datenbank in eine einfache, einbettbare Library packt. Sie lernen, wie Sie die Vectorized Execution Engine nutzen, um Milliarden von Zeilen in Sekunden zu verarbeiten, und wie die Zero-Copy-Integration den nahtlosen Datenaustausch mit Pandas, Polars und Arrow ermöglicht. Wir behandeln zudem den direkten Zugriff auf Cloud-Storage via httpfs sowie die Verarbeitung von Parquet - und JSON -Dateien ohne vorherigen Import.
Unternehmen profitieren von drastisch verkürzten Analyse-Zyklen, massiven Einsparungen bei Cloud-Compute-Kosten und der Fähigkeit, Petabyte-Strukturen (Parquet) direkt und ohne Infrastruktur-Overhead zu explorieren.

Schulungsziel

Die Teilnehmenden erlernen die Installation und Integration von DuckDB in bestehende Analyse-Workflows. Ziel ist es, SQL-Abfragen direkt auf CSV-, JSON- und Parquet-Dateien auszuführen, die Interoperabilität mit Python-Libraries (Pandas/Polars) zu meistern und komplexe analytische Aufgaben lokal schneller zu lösen als mit herkömmlichen Datenbank-Servern.

Details

Inhalt

  • Ziele und Erwartungen der Teilnehmenden
    • Klärung individueller Lernziele und Erwartungen für ein praxisnahes und relevantes Seminar
  • 1. Einführung und Architektur
    • In-Process vs. Server-basiert: Warum DuckDB kein „Postgres-Ersatz“, sondern ein neues Paradigma ist.
    • Column-Oriented Storage: Wie Spaltenspeicherung analytische Queries beschleunigt.
    • Vectorized Execution: Effiziente CPU-Nutzung durch Batch-Verarbeitung von Daten.
  • 2. Datenquellen: Abfragen ohne Import
    • Direct Querying: SQL-Zugriff auf CSV, JSON und Excel.
    • Parquet Power: Warum DuckDB der beste Freund von Apache Parquet ist (Metadata-Scans, Projection Pushdown).
    • Globbing: Abfragen über hunderte Dateien hinweg mit Wildcards.
  • 3. Das Ökosystem: Zero-Copy-Integration
    • Python-Integration: Nahtloser Wechsel zwischen SQL und df.to_duckdb().
    • Apache Arrow: Blitzschneller Datenaustausch ohne Serialisierungs-Overhead.
    • Pandas & Polars: DuckDB als „Turbo“ für bestehende Dataframe-Workflows.
  • 4. Fortgeschrittenes SQL für Analytics
    • ASOF Joins: Zeitreihenanalyse leicht gemacht.
    • Window Functions: Komplexe Berechnungen über Daten-Partitionen.
    • Nested Types: Effiziente Handhabung von Listen und Structs (JSON-Daten).
  • 5. Extensions: Funktionsumfang erweitern
    • httpfs: Direkte Abfrage von S3, Azure Blob oder https-URLs.
    • Spatial: Geodaten-Verarbeitung innerhalb von DuckDB.
    • ICU & Full Text Search: Lokalisierung und Volltextsuche in analytischen Daten.
  • 6. Performance-Tuning und Interna
    • Indexing: Wann sind Indizes in analytischen Workloads sinnvoll?
    • Memory Management: Kontrolle über den RAM-Verbrauch bei großen Datensätzen.
    • Query Profiling: Engpässe mit EXPLAIN ANALYZE identifizieren.
  • 7. DuckDB im modernen Data Stack
    • dbt-duckdb: Aufbau von lokalen Datentransformations-Pipelines.
    • MotherDuck: Die Brücke zur Cloud - Hybrid-Analytics zwischen lokal und Server.
    • Wasm: DuckDB direkt im Browser ausführen (Client-side Analytics).
  • 8. Persistenz und Dateiformate
    • DuckDB-Files: Das native Speicherformat für maximale Performance.
    • ACID-Garantien: Transaktionale Sicherheit in einer Single-File-Datenbank.
    • Export-Strategien: Daten effizient zurück nach Parquet oder in andere DBs schreiben.
  • 9. Praxis-Simulation: Das „Desktop-Lakehouse“
    • Workshop: Aufbau einer Analyse-Pipeline über 100GB Rohdaten auf einem Laptop.
    • Integration-Task: Kombination von SQL-Abfragen mit Python-Visualisierungen.
    • Cloud-Challenge: Direkte Analyse eines S3-Buckets ohne Download der Daten.
    • Final Audit: Performance-Vergleich: DuckDB vs. klassische Datenbank-Engines.

  • Data Scientists & Analysten: Zur Beschleunigung lokaler Exploration und Modellierung.
  • Data Engineers: Zur Entwicklung von effizienten ETL-Strecken und Data-Apps.
  • Software-Entwickler: Zur Einbettung analytischer Funktionen in Desktop- oder Web-Apps.
  • BI-Spezialisten: Zur Erstellung schneller Prototypen ohne Datenbank-Administration.


In Präsenz

Online
Lernmethode

Ausgewogene Mischung aus Theorie und Praxis

Wie auch bei unseren Präsenz-Seminaren: Ausgewogene Mischung aus Theorie und praktischen Übungen. Trainer durchgehend präsent.

Unterlagen

Seminarunterlagen oder Fachbuch inklusive. Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne.

Seminarunterlagen oder Fachbuch inklusive (via DHL). Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne.

Arbeitsplatz
  • PC/VMs für alle Teilnehmenden
  • Hochwertige und performante Hardware
  • Große, höhenverstellbare Bildschirme
  • Zugang zu Ihrem Firmennetz erlaubt
  • 86-90 Zoll Bildschirm für perfekte Präsentationen in jedem Schulungsraum
  • Online Meeting + Remote Zugriff auf persönlichen GFU-Schulungs-PC
  • Keine Installation auf dem eigenem PC notwendig
Lernumgebung

Neu aufgesetzte Remote-Systeme für jeden Kurs in Abstimmung mit dem Seminarleiter, sodass Sie über ein perfektes Setup für die Durchführung aller praktischen Übungen verfügen.

Arbeitsmaterialien

Din A4 Block, Notizblock, Kugelschreiber, USB-Stick, Textmarker, Post-its

Teilnahmezertifikat

Nach Abschluss des Seminars erhalten Sie das Teilnahmezertifikat inkl. Inhaltsverzeichnis per E-Mail als PDF.


In Präsenz

Online
Teilnehmendenzahl

min. 1, max. 8 Personen

Garantierte Durchführung *

Ab 1 Teilnehmenden

Schulungszeiten
2 Tage, 09:00 - 16:00 Uhr
Ort der Schulung
GFU Schulungszentrum oder Virtual Classroom
GFU Schulungszentrum
Am Grauen Stein 27
51105 Köln-Deutz

oder online im Virtual Classroom oder europaweit bei Ihnen als Inhouse-Schulung

Um ein optimales Raumklima zu gewährleisten, haben wir das Schulungszentrum mit 17 hochmodernen Trotec TAC V+ Luftreinigern ausgestattet. Diese innovative Filtertechnologie (H14 zertifiziert nach DIN EN1822) sorgt dafür, dass die Raumluft mehrfach pro Stunde umgewälzt wird und Schadstoffe zu 99.995% im HEPA-Filter abgeschieden und infektiöse Aerosole abgetötet werden.

Zusätzlich sind alle Räume mit CO2-Ampeln ausgestattet, um jederzeit eine hervorragende Luftqualität sicherzustellen.

Räumlichkeiten

Helle und modern ausgestattete Räume mit perfekter Infrastruktur

Bequem aus dem Homeoffice von überall

All-Inclusive

Frühstück, Snacks und Getränke ganztägig, Mittagessen im eigenen Restaurant, täglich 6 Menüs, auch vegetarisch

Eine Auswahl unserer Frühstücks-Snacks und Nervennahrungs-Highlights senden wir Ihnen mit den Seminarunterlagen via DHL zu.
Barrierefreiheit

Das GFU-Schulungszentrum (Am Grauen Stein 27) ist barrierefrei

-

In Präsenz

Online
  • Eigener Shuttle-Service
  • Reservierte Parkplätze
  • Hotelreservierung
  • Technik-Sofort-Support

Buchungsmöglichkeiten

Online oder in Präsenz teilnehmen

Sie können sowohl Online als auch in Präsenz am Seminar teilnehmen. Klicken Sie bei Ihrer Buchung oder Anfrage einfach die entsprechende Option an.

Inhouse-/Firmenschulung
  • Lernumgebung in der Cloud
  • Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Präsenz Online Hybrid

So haben GFU-Kunden gestimmt

Zu diesem Seminar wurden noch keine Bewertungen abgegeben.

FAQ für Inhouse Schulungen

Bei einer offenen Schulung stehen Ort und Termin vorab fest. Jeder Interessent kann eine offene Schulung buchen, daher treffen Teilnehmer aus verschiedenen Unternehmen aufeinander.

Inhouse Schulungen können auf Ihren individuellen Schulungsbedarf zugeschnitten werden. Sie bestimmen den Teilnehmerkreis, Termin und Schulungsort.

Bei einer Inhouse Schulung gehen wir auf die individuellen Bedürfnisse Ihres Unternehmens ein und decken den Schulungsbedarf direkt bei Ihnen im Unternehmen ab.

Das spart Zeit und Geld und sorgt für einen schnellen Wissenstransfer Ihrer Mitarbeiter.

Eine komplette Lernumgebung in der Cloud mit Remote Zugriff ist für uns selbstverständlich. Sie müssen sich um nichts kümmern. Lediglich ein funktionierender PC oder Notebook mit Internetanschluss sollte für jeden Teilnehmer am Schulungstag bereit stehen.

  • Kompetente Seminarberatung
  • Dozenten aus der Praxis
  • Auf Ihre Bedürfnisse zugeschnittener individueller Lernstoff
  • Sie können den Termin flexibel gestalten, so wie es für Sie am besten passt
  • Unsere Inhouse Schulungen können Europaweit durchgeführt werden
  • Der Fokus liegt auf Ihrem Schulungsbedarf, somit schonen Sie Ihr Budget
  • Wissenslücken Ihrer Mitarbeitet werden schnell geschlossen
aegallianzaxaElement 1deutsche-bankdeutsche-postlufthansamercedessonyzdf