https://somm.fernkurs-wiki.de/w/index.php?action=history&feed=atom&title=Robots.txt 2026-04-13T22:05:26Z Versionsgeschichte dieser Seite in Social Media Manager MediaWiki 1.37.0 https://somm.fernkurs-wiki.de/w/index.php?title=Robots.txt&diff=3798&oldid=prev 2018-06-19T10:22:52Z

<p>Die Seite wurde neu angelegt: „Die Text-Datei &quot;robots.txt&quot; steuert das (Such-)Verhalten der <a href="/w/index.php/Webcrawler" title="Webcrawler">Webcrawler</a> auf Internetseiten. == Allgemeines == Die Datei &quot;robots.txt&quot; befindet sich immer…“</p> <p><b>Neue Seite</b></p><div>Die Text-Datei &quot;robots.txt&quot; steuert das (Such-)Verhalten der [[Webcrawler]] auf Internetseiten. <br /> <br /> == Allgemeines ==<br /> <br /> Die Datei &quot;robots.txt&quot; befindet sich immer im Root einer Internetpräsenz. Hierin wird geregelt, welche Bereiche der jeweiligen Website besucht werden dürfen und welche zu meiden sind. Auch ist eine Sperrung für Crawler einzelner Suchmaschinen möglich. <br /> <br /> <br /> == Robots-Exclusion-Standard-Protokoll ==<br /> <br /> Über die Übereinkunft im Robots-Exclusion-Standard-Protokoll (kurz &#039;&#039;REP&#039;&#039;; weitere Informationen siehe [http://www.weltsicher.de/robots.html hier]) wird geregelt, dass Webcrawler zuerst diese Datei auslesen.<br /> Wichtig ist, dass das Protokoll ausschließlich als Empfehlung verstanden werden darf. Man muss grundsätzlich auf die Mitarbeit der Crawler vertrauen, diese werden auch &#039;&#039;freundliche&#039;&#039; Webcrawler genannt. <br /> <br /> <br /> <br /> == Quellen ==<br /> [http://www.weltsicher.de/robots.html Allgemeines zum Robots-Exclusion-Standard-Protokoll]<br /> <br /> [https://www.seo-book.de/onpage/was-der-seo-uber-die-robots-txt-wissen-sollte Zusammenfassung für SEO]]</div>

Andreas Ol