Webcrawler
Webcrawler auch nur Crawler oder Spider oder Searchbot bezeichnet sind Computerprogramme die das Internet durchsuchen, analysieren und teilweise sortieren. Die meisten Webcrawler werden von Suchmaschinen eingesetzt um Webseiten zu indizieren.
Funktionsweise
Webcrawler funktionieren so gut wie eigenständig und wiederholen immer wieder ihren Aufgaben. Sie gelangen durch Hyperlinks von einer Website zur nächsten. Die gefundenen Websiten werden in einer festgelegten Reihenfolge aufgerufen. Ein Webseiten Betreiber kann mit Hilfe der Datei robots.txt und bestimmer Metadaten im Header mitteilen ob und wie seine Webseite durchsucht werden soll.
Geschichte
1993 entwickelte Mathew Gray mit dem WordWideWeb Wanderer den ersten Webcrawler. Dieser durchsuchte von 1993 – 1996 zweimal jährlich das Internet.
Beispiele
Quellen
1. http://www.gruenderszene.de/lexikon/begriffe/crawler (Abgerufen am 17.7.2015)
2. http://www.suchmaschinen-online.de/technik/geschichte.htm (Abgerufen am 17.7.2015)