settings
OTEX_BIGISTQB®
Süddeutsche Zeitung Institut Auszeichnung
Image
Alle KI Schulungen

Schulung Milvus: Open-Source-Vektordatenbank für KI-Anwendungen

Similarity Search in Produktion: Indexierung, Abfragen und RAG-Integration

2 Tage / S6820
Neues Seminar
Per E-Mail senden

Schulungsformen

Inhouse-/Firmenschulung

  • 2 Tage - anpassbar
  • Termin nach Wunsch
  • In Ihrem Hause oder bei der GFU
  • Preis nach Angebot
  • Lernumgebung in der Cloud
  • Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Präsenz Online Hybrid
Unverbindlich anfragen

Beschreibung

Vektordatenbanken sind die unsichtbare Infrastruktur hinter jeder modernen KI-Anwendung : RAG-Chatbots, semantische Suche, Empfehlungssysteme, Bildähnlichkeitssuche, Anomalie-Erkennung. Milvus ist die führende Open-Source-Vektordatenbank - entwickelt für Produktionsumgebungen mit Milliarden von Vektoren, horizontal skalierbar und mit einem aktiven CNCF-Ökosystem. Im Gegensatz zu leichtgewichtigen Alternativen (ChromaDB für Prototypen) und Managed Services (Pinecone) bietet Milvus volle Kontrolle über Daten und Infrastruktur - ein entscheidender Vorteil für Unternehmen mit Datenschutzanforderungen.
Dieses Seminar verbindet Theorie und Praxis: Sie lernen die Architektur von Milvus (Standalone und Cluster), wählen den richtigen Indextyp für Ihren Use Case (IVF_FLAT, HNSW, DiskANN), bauen eine Embedding-Pipeline mit OpenAI oder Open-Source-Modellen und implementieren eine hybride Suche, die Vektorähnlichkeit mit klassischer Filterung kombiniert. Im Workshop bauen Sie eine semantische Dokumentensuche als RAG-Backend - direkt einsetzbar als Basis für Ihren eigenen KI-Assistenten.

Beachten Sie auch unsere weiteren KI Trainings.

Schulungsziel

Eine funktionierende semantische Dokumentensuche mit RAG-Anbindung - von der Daten-Ingestion über die hybride Suche bis zur LLM-gestützten Antwortgenerierung.

Details

Inhalt

Tag 1: Grundlagen, Installation und Datenmodellierung
  • Ziele und Erwartungen der Teilnehmenden
    • Klärung individueller Lernziele und Erwartungen für ein praxisnahes und relevantes Seminar
  • 1. Vektoren und Ähnlichkeitssuche: Grundlagen auffrischen
    • Embeddings: Texte, Bilder und andere Daten als hochdimensionale Vektoren darstellen - warum „König - Mann + Frau ≈ Königin" funktioniert.
    • Distanzmetriken: Cosine Similarity (Standardwahl für Text), Euclidean Distance (L2), Inner Product (IP) - wann welche Metrik?
    • Approximate Nearest Neighbor (ANN): Warum exakte Suche bei Millionen Vektoren zu langsam ist und wie ANN-Algorithmen 99 % Genauigkeit bei 100× Geschwindigkeit liefern.
    • Milvus im Vektordatenbank-Markt: Milvus vs. Pinecone (managed, einfacher, aber teuer und US-Cloud) vs. ChromaDB (leichtgewichtig, Prototyping) vs. Weaviate (GraphQL-API) vs. Qdrant (Rust-basiert) vs. pgvector (PostgreSQL-Extension). Wann Milvus die richtige Wahl ist: Skalierung, On-Premises, DSGVO, Kostenkontrolle.
  • 2. Milvus-Architektur und Installation
    • Standalone vs. Cluster: Standalone (ein Prozess, ideal für Entwicklung und kleine Produktionslasten, bis ~10 Mio. Vektoren) vs. Distributed Cluster (horizontal skalierbar, Milliarden Vektoren, Cloud-Native mit etcd, MinIO, Pulsar/Kafka).
    • Komponenten: Proxy (API-Gateway), Query Node (Suche), Data Node (Speicherung), Index Node (Indexaufbau), Coordinator (Orchestrierung). Wie die Komponenten zusammenspielen.
    • Installation: Docker Compose (Standalone, 5 Minuten), Helm Chart auf Kubernetes (Cluster), Milvus Lite (eingebettet in Python, für Prototypen).
    • Zilliz Cloud: Die managed Variante von Milvus - wann sinnvoll (kein Ops-Team, schneller Start), wann nicht (Datenhoheit, Kosten bei Volumen).
    • Praxis-Übung: Milvus Standalone per Docker Compose starten, Attu (Web-UI) verbinden, erste Verbindung mit pymilvus (Python SDK) herstellen.
  • 3. Datenmodellierung: Collections, Schemas und Partitionen
    • Collections: Das Äquivalent zu Tabellen - eine Collection pro Embedding-Typ (Dokumente, Bilder, Produkte). Schema definieren: Vektorfeld (Dimensionen festlegen), Primärschlüssel, Skalarfelder (Metadaten: Kategorie, Datum, Sprache, Autor).
    • Datentypen: FloatVector (Standard), BFloat16Vector (speichersparend), SparseFloatVector (für Sparse Embeddings / BM25-Hybrid), JSON-Felder (flexible Metadaten), Array-Felder.
    • Dynamic Schema: Felder zur Laufzeit hinzufügen, ohne die Collection neu zu erstellen - flexibel für sich ändernde Metadaten.
    • Partitionen: Daten logisch aufteilen (nach Mandant, Sprache, Dokumenttyp) - schnellere Suche, weil nur relevante Partitionen durchsucht werden. Partition Key für automatische Zuordnung.
    • Praxis-Übung: Eine Collection für Dokumente anlegen (Vektor 1536-dim für OpenAI ada-002, plus Metadaten: Titel, Kategorie, Datum), Daten einfügen, erste Vektorsuche durchführen.
  • 4. Indextypen: Die richtige Balance zwischen Geschwindigkeit und Genauigkeit
    • Flat (Brute Force): Exakte Suche, 100 % Recall, aber langsam bei Millionen Vektoren. Nur für kleine Datenmengen oder als Baseline.
    • IVF_FLAT / IVF_SQ8: Inverted File Index - Vektoren in Cluster unterteilen, nur relevante Cluster durchsuchen. Parameter: nlist (Anzahl Cluster), nprobe (wie viele Cluster bei der Suche). Trade-off: mehr nprobe = besserer Recall, aber langsamer.
    • HNSW: Hierarchical Navigable Small World - Graph-basierter Index, hoher Recall, schnell, aber speicherintensiv (alle Vektoren im RAM). Parameter: M (Verbindungen pro Knoten), efConstruction (Bauqualität). Standardwahl für die meisten Anwendungen.
    • DiskANN: Index auf SSD statt RAM - für Milliarden Vektoren, wenn RAM-Kosten zu hoch werden. Etwas langsamer als HNSW, aber drastisch günstiger.
    • GPU-Indizes (IVF_FLAT_GPU, CAGRA): NVIDIA-GPU-beschleunigte Suche - für Echtzeit-Anwendungen mit extremen Latenz-Anforderungen (<1ms).
    • Index-Auswahl-Matrix: Datenmenge × Latenz-Anforderung × Budget -> empfohlener Indextyp.
    • Praxis-Übung: Verschiedene Indextypen auf demselben Datensatz vergleichen - FLAT vs. IVF_FLAT vs. HNSW: Recall, Latenz, Speicherverbrauch messen.
Tag 2: Suche, Integration und Produktionsbetrieb
  • 5. Suche: Vektor, Filter und Hybrid
    • Vektorsuche (ANN): Top-K ähnlichste Vektoren finden - search() mit Query-Vektor, Metrik, Top-K, Output-Feldern.
    • Gefilterte Suche: Vektorsuche mit Metadaten-Filter kombinieren - „Finde die 10 ähnlichsten Dokumente, aber nur aus der Kategorie 'Technik' und nach dem 01.01.2025." Filter-Ausdrücke: ==, !=, in, >, <, and, or, JSON-Pfade.
    • Hybride Suche (Dense + Sparse): Dense Embeddings (semantische Ähnlichkeit: „Auto" findet „Fahrzeug") + Sparse Embeddings (lexikalische Übereinstimmung: BM25, „BMW X3" findet exakt „BMW X3"). Reciprocal Rank Fusion (RRF) oder Weighted Sum für Score-Kombination. Best Practice für RAG 2026.
    • Range Search: Alle Vektoren innerhalb einer Distanzschwelle finden - für Anomalie-Erkennung, Duplikat-Erkennung.
    • Grouping Search: Ergebnisse nach einem Feld gruppieren - „zeige pro Dokument nur den besten Chunk" (vermeidet redundante Ergebnisse bei Chunk-basierten RAG-Pipelines).
    • Praxis-Übung: Hybride Suche implementieren - Dense-Embedding (OpenAI) + Sparse-Embedding (BM25) kombinieren, Ergebnisse vergleichen mit reiner Vektorsuche.
  • 6. Embedding-Pipelines: Daten in Vektoren verwandeln
    • Text-Embeddings: OpenAI text-embedding-3-small/large (1536/3072 dim), Cohere embed-v3, Open-Source: sentence-transformers (all-MiniLM, multilingual-e5-large). Modellwahl: Dimensionen, Sprache, Kosten.
    • Chunking-Strategien: Dokumente in Abschnitte teilen, bevor sie eingebettet werden - Fixed-Size (500 Tokens), Sentence-based, Semantic Chunking (Absätze nach Themenwechsel trennen), Recursive Character Splitting (LangChain-Standard). Chunk-Größe vs. Retrieval-Qualität.
    • Bild-Embeddings: CLIP (OpenAI), SigLIP - multimodale Suche: Text-Query findet ähnliche Bilder.
    • Batch-Einbettung: Tausende Dokumente effizient einbetten - Batching, Parallelisierung, Fortschrittsanzeige, Fehlerbehandlung bei API-Limits.
    • Milvus Model Integration: Built-in Embedding-Funktionen in Milvus 2.4+ - Collection mit auto-embedding, kein separater Embedding-Schritt nötig.
    • Praxis-Übung: Eine PDF-Dokumentensammlung (10+ Dateien) chunken, einbetten und in Milvus laden - vollständige Ingestion-Pipeline in Python.
  • 7. Milvus als RAG-Backend: Integration mit LangChain und LLM-APIs
    • RAG-Architektur: User-Frage -> Embedding -> Milvus-Suche -> Top-K relevante Chunks -> LLM-Prompt mit Kontext -> Antwort mit Quellenangabe.
    • LangChain-Integration: MilvusVectorStore als Retriever in einer LangChain-Chain - setup in 20 Zeilen Python. Brücke zu GFU-Seminaren: LangChain (5×), RAG-Anwendungen (S6225, 5T).
    • LlamaIndex-Integration: MilvusVectorStore als Alternative - Vergleich LangChain vs. LlamaIndex für RAG.
    • Retrieval-Qualität verbessern: Re-Ranking (nach der Vektorsuche die Ergebnisse mit einem Cross-Encoder neu sortieren), Metadata Filtering (nur relevante Dokument-Kategorien), Multi-Query (die Frage in 3 Varianten reformulieren und alle Ergebnisse zusammenführen).
    • Praxis-Übung: Einen RAG-Chatbot bauen - Milvus als Vektorstore, OpenAI oder Claude als LLM, LangChain als Framework. Fragen an die eigene Dokumentensammlung stellen und Antworten mit Quellenangabe erhalten.
  • 8. Produktion: Betrieb, Skalierung und Monitoring
    • Milvus auf Kubernetes: Helm-Chart-Deployment, Skalierung von Query Nodes (mehr Suchkapazität) und Data Nodes (mehr Durchsatz beim Einfügen) unabhängig voneinander.
    • Datenpersistenz: MinIO/S3 als Object Storage für Segmente, etcd für Metadaten. Backup-Strategien: Collection-Level-Backup mit milvus-backup-Tool.
    • Performance-Tuning: Segment-Größe, Index-Build-Timing (wann wird der Index neu gebaut?), Consistency Level (Strong, Bounded Staleness, Eventually - Trade-off Konsistenz vs. Latenz), Load Balancing.
    • Monitoring: Prometheus-Metriken (Query-Latenz, Insert-Rate, Speicherverbrauch, Index-Build-Status) + Grafana-Dashboards (Brücke zu Grafana Aufbau). Attu als Web-UI für Collection-Management.
    • Security: TLS-Verschlüsselung, RBAC (User/Roles/Privileges), Authentifizierung.
    • Multi-Tenancy: Daten mehrerer Mandanten in einer Milvus-Instanz - Partition Key pro Mandant, RBAC für Zugriffskontrolle.
  • 9. Praxis-Workshop: „Semantic Search Application"
  • Phase 1 - Ingestion-Pipeline (30 Min):
    • Dokumentensammlung (PDF/Markdown) laden, chunken, einbetten und in Milvus mit Metadaten speichern.
    • Index konfigurieren (HNSW) und Performance messen.
  • Phase 2 - Hybride Suche + RAG (30 Min):
    • Semantische Suche mit Metadaten-Filtern implementieren.
    • RAG-Pipeline anschließen: Milvus -> LangChain -> LLM -> Antwort mit Quellen.
  • Phase 3 - Evaluation und Tuning (20 Min):
    • 5 Testfragen formulieren, Retrieval-Qualität bewerten (wurde das richtige Dokument gefunden?).
    • Parameter tunen: Top-K, Chunk-Größe, Re-Ranking ein/aus - Qualität vergleichen.

  • ML- und KI-Engineers: Die Embedding-basierte Suche in Produktionsanwendungen integrieren.
  • Backend-Entwickler: Die Vektordatenbanken als Baustein für RAG-Pipelines, Empfehlungssysteme oder semantische Suche einsetzen.
  • Data Engineers: Die Milvus in bestehende Datenpipelines und Infrastrukturen einbinden.
  • DevOps- und Platform-Engineers: Die Milvus als Cluster betreiben, skalieren und überwachen.
Voraussetzungen: Grundkenntnisse in Python. Grundverständnis von Embeddings und Vektoren ist hilfreich (was sind Vektoren? was bedeutet Ähnlichkeit?), wird aber in Topic 1 kurz aufgefrischt. Wer eine breitere Einführung in Vektordatenbanken sucht, findet bei der GFU „Vektordatenbanken: Grundlagen für KI-Anwendungen" (S6226, 3T).


In Präsenz
Online
Lernmethode

Ausgewogene Mischung aus Theorie und praktischen Übungen auf persönlichem Schulungs-PC.

Wie auch bei unseren Präsenz-Seminaren: Ausgewogene Mischung aus Theorie und praktischen Übungen. Trainer durchgehend präsent.

Unterlagen

Seminarunterlagen oder Fachbuch inklusive. Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne.

Seminarunterlagen oder Fachbuch inklusive (via DHL). Das Fachbuch wählt der Trainer passend zum Seminar aus - Ihren individuellen Buch-Wunsch berücksichtigen wir auf Nachfrage gerne.

Arbeitsmaterialien

Din A4 Block, Notizblock, Kugelschreiber, USB-Stick, Textmarker, Post-its

Teilnahmezertifikat

Nach Abschluss des Seminars erhalten Sie das Teilnahmezertifikat inkl. Inhaltsverzeichnis per E-Mail als PDF.


In Präsenz
Online
Teilnehmendenzahl

min. 1, max. 8 Personen

Garantierte Durchführung *

Ab 1 Teilnehmenden

Schulungszeiten
2 Tage, 09:00 - 16:00 Uhr
Ort der Schulung
GFU Schulungszentrum oder Virtual Classroom
GFU Schulungszentrum
Am Grauen Stein 27
51105 Köln-Deutz

oder online im Virtual Classroom oder europaweit bei Ihnen als Inhouse-Schulung

Um ein optimales Raumklima zu gewährleisten, haben wir das Schulungszentrum mit 17 hochmodernen Trotec TAC V+ Luftreinigern ausgestattet. Diese innovative Filtertechnologie (H14 zertifiziert nach DIN EN1822) sorgt dafür, dass die Raumluft mehrfach pro Stunde umgewälzt wird und Schadstoffe zu 99.995% im HEPA-Filter abgeschieden und infektiöse Aerosole abgetötet werden.

Zusätzlich sind alle Räume mit CO2-Ampeln ausgestattet, um jederzeit eine hervorragende Luftqualität sicherzustellen.

Räumlichkeiten

Helle und modern ausgestattete Räume mit perfekter Infrastruktur

Bequem aus dem Homeoffice von überall

All-Inclusive

Frühstück, Snacks und Getränke ganztägig, Mittagessen im eigenen Restaurant, täglich 6 Menüs, auch vegetarisch

Eine Auswahl unserer Frühstücks-Snacks und Nervennahrungs-Highlights senden wir Ihnen mit den Seminarunterlagen via DHL zu.
Barrierefreiheit

Das GFU-Schulungszentrum (Am Grauen Stein 27) ist barrierefrei

-

In Präsenz
Online
  • Eigener Shuttle-Service
  • Reservierte Parkplätze
  • Hotelreservierung
  • Technik-Sofort-Support

Buchungsmöglichkeiten

Online oder in Präsenz teilnehmen

Sie können sowohl Online als auch in Präsenz am Seminar teilnehmen. Klicken Sie bei Ihrer Buchung oder Anfrage einfach die entsprechende Option an.

Mehr Infos
Inhouse-/Firmenschulung
  • Lernumgebung in der Cloud
  • Inhalte werden auf Wunsch an die Anforderungen Ihres Teams angepasst.
Präsenz Online Hybrid
Unverbindlich anfragen

So haben GFU-Kunden gestimmt

Zu diesem Seminar wurden noch keine Bewertungen abgegeben.

FAQ für Inhouse Schulungen

Bei einer offenen Schulung stehen Ort und Termin vorab fest. Jeder Interessent kann eine offene Schulung buchen, daher treffen Teilnehmer aus verschiedenen Unternehmen aufeinander.

Inhouse Schulungen können auf Ihren individuellen Schulungsbedarf zugeschnitten werden. Sie bestimmen den Teilnehmerkreis, Termin und Schulungsort.

Bei einer Inhouse Schulung gehen wir auf die individuellen Bedürfnisse Ihres Unternehmens ein und decken den Schulungsbedarf direkt bei Ihnen im Unternehmen ab.

Das spart Zeit und Geld und sorgt für einen schnellen Wissenstransfer Ihrer Mitarbeiter.

Eine komplette Lernumgebung in der Cloud mit Remote Zugriff ist für uns selbstverständlich. Sie müssen sich um nichts kümmern. Lediglich ein funktionierender PC oder Notebook mit Internetanschluss sollte für jeden Teilnehmer am Schulungstag bereit stehen.

  • Kompetente Seminarberatung
  • Dozenten aus der Praxis
  • Auf Ihre Bedürfnisse zugeschnittener individueller Lernstoff
  • Sie können den Termin flexibel gestalten, so wie es für Sie am besten passt
  • Unsere Inhouse Schulungen können Europaweit durchgeführt werden
  • Der Fokus liegt auf Ihrem Schulungsbedarf, somit schonen Sie Ihr Budget
  • Wissenslücken Ihrer Mitarbeitet werden schnell geschlossen

Verwandte Seminare

aegallianzaxaElement 1deutsche-bankdeutsche-postlufthansamercedessonyzdf
161.397
Teilnehmende
4.817
Seminarthemen
39.348
Durchgeführte Seminare