Mit der robots.txt jemanden sperren

Verfasst am: 26.12.2006, 19:01

Oft möchte man dass man gar nicht indiziert wird, oder dass bestimmte Dateien
bzw. Verzeichnisse nicht von Suchmaschinen indiziert werden.
Begibt man sich auf die Suche wie man das am Besten bewerkstelligt,
stößt man sehr schnell auf Tipps wie Einträge in der "robots.txt".

So heißt es z.B. ein Eintrag in der robots.txt

Useragent *
Disallow /

sperrt alle Suchrobots, also in diesem Falle auch Google und Co.

Tatsache ist jedoch, dass robots.txt niemanden aussperrt.
Die Einhaltung von robots.txt ist freiwillig.
Man kann, MUSS sich aber nicht dran halten.

Jeder Link der mit der Maus anklickbar ist, ist auch für einen Bot/Crawler zugänglich.

Also:

Useragent *
Disallow /

ist keine Sperre,es ist eine "Bitte".
".bitte nicht indizieren."

Eine tatsächliche Sperre erfolgt per Server, in der .htaccess
Hier kann man sowohl IP Adressen (auch ganze Blöcke)
als auch URLs (also webadressen) sperren.

Administrator Anmeldungsdatum: 26.11.2004 Beiträge: 903

Ja das stimmt, dragobert.

Die .htaccess ist die wirklich effektivere Waffe, ich hatte zur .htaccess schonmal einen Beitrag zur Abwehr von Referer-Spam geschrieben, der mich von diesem Problem befreit hatte.