Was bedeutet Web Scraping

Das Web Scraping einer Webseite beinhaltet das Abrufen und Extrahieren von Seiten. Unter Abrufen versteht man das Herunterladen einer Seite (was ein Browser durchführt, wenn ein Benutzer eine Seite anschaut). Daher ist Web-Crawling eine Hauptkomponente des Web-Scraping, um Seiten für die spätere Verarbeitung abzurufen. Nach dem Abrufen kann dann die Extraktion erfolgen. Der Inhalt einer Seite kann geparst, durchsucht, neu formatiert, seine Daten in eine Tabellenkalkulation kopiert oder in eine Datenbank (siehe Datenbank Seminar) geladen werden. Web Scraper nehmen typischerweise etwas aus einer Seite heraus, um es an anderer Stelle für einen anderen Zweck zu verwenden. Ein Beispiel wäre, Namen und Telefonnummern oder Firmen und deren URLs oder E-Mail-Adressen zu finden und in eine Liste zu kopieren (Contact Scraping).

Web-Scraping wird für Kontakt-Scraping und als Bestandteil von Anwendungen für Web-Indizierung, Web-Mining und Data-Mining, Überwachung von Online-Preisänderungen und Preisvergleichen, Scraping von Produktrezensionen (um die Konkurrenz zu beobachten), Sammeln von Immobilienangeboten, Überwachung von Wetterdaten, Erkennung von Website-Änderungen, Forschung, Verfolgung von Online-Präsenz und Reputation, Web-Mashup und Web-Datenintegration verwendet.