Crawler

Ein Crawler, Webcrawler oder Spider, ist ein Computerprogramm, das vollautomatisch im Internet Informationen sammelt. Er speichert vor allem für Suchmaschinen alle Informationen einer Webseite in einer eigenen Datenbank ab. Bei einer Suchanfrage zieht sich die Suchmaschine aus dieser Datenbank seine Informationen, um passende Ergebnisse zu liefern.

Thumbnail Image: spiderman von Masaaki Komori via CC BY-SA 2.0.