Was ist die robots.txt?
Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis einer Website. Sie gibt Suchmaschinen Hinweise, welche Bereiche sie durchsuchen dürfen und welche sie besser auslassen sollen.
Beispiel: Ein Online-Shop möchte nicht, dass interne Suchergebnis- oder Login-Seiten bei Google auftauchen. Über die robots.txt lässt sich festlegen, dass diese Bereiche vom Crawler ignoriert werden.
Worauf es ankommt: Die Datei muss sorgfältig gepflegt sein: Eine falsche Zeile kann im schlimmsten Fall die ganze Website von Google ausschließen. Sie steuert das Crawling – nicht zwingend, ob eine Seite im Index erscheint.
Wichtig: Die robots.txt ist ein technisches Grundelement jeder Website. Schon ein kleiner Fehler kann große Auswirkungen auf die Sichtbarkeit haben – deshalb gehört sie in fachkundige Hände.
