https://somm.fernkurs-wiki.de/w/index.php?action=history&feed=atom&title=Webcrawler 2026-04-13T18:24:05Z Versionsgeschichte dieser Seite in Social Media Manager MediaWiki 1.37.0 https://somm.fernkurs-wiki.de/w/index.php?title=Webcrawler&diff=374&oldid=prev 2015-07-17T15:19:20Z

<p>Die Seite wurde neu angelegt: „&#039;&#039;&#039;Webcrawler&#039;&#039;&#039; auch nur Crawler oder Spider oder Searchbot bezeichnet sind Computerprogramme die das Internet durchsuchen, analysieren und teilweise sortiere…“</p> <p><b>Neue Seite</b></p><div>&#039;&#039;&#039;Webcrawler&#039;&#039;&#039; auch nur Crawler oder Spider oder Searchbot bezeichnet sind Computerprogramme die das Internet durchsuchen, analysieren und teilweise sortieren. <br /> Die meisten Webcrawler werden von Suchmaschinen eingesetzt um Webseiten zu indizieren.<br /> == Funktionsweise ==<br /> Webcrawler funktionieren so gut wie eigenständig und wiederholen immer wieder ihren Aufgaben. Sie gelangen durch Hyperlinks von einer Website zur nächsten. Die gefundenen Websiten werden in einer festgelegten Reihenfolge aufgerufen.<br /> Ein Webseiten Betreiber kann mit Hilfe der Datei robots.txt und bestimmer Metadaten im Header mitteilen ob und wie seine Webseite durchsucht werden soll.<br /> == Geschichte ==<br /> 1993 entwickelte Mathew Gray mit dem WordWideWeb Wanderer den ersten Webcrawler. Dieser durchsuchte von 1993 – 1996 zweimal jährlich das Internet.<br /> == Beispiele ==<br /> * [https://support.google.com/webmasters/answer/182072?hl=de Googlebot]<br /> * [https://support.apple.com/de-de/HT204683 Applebot]<br /> ==Quellen ==<br /> 1. http://www.gruenderszene.de/lexikon/begriffe/crawler (Abgerufen am 17.7.2015)&lt;br /&gt;<br /> 2. http://www.suchmaschinen-online.de/technik/geschichte.htm (Abgerufen am 17.7.2015)&lt;br /&gt;</div>

Lomerit