Websites vor Suchmaschinen verstecken

Es gibt die Möglichkeit Berechtigungen für verschiedene Verzeichnisse über die robots.txt festzulegen oder durch Meta-Tags den Suchmaschinen zu verdeutlichen, dass die Website nicht indiziert werden soll.

Verwendung der Datei robots.txt

Name der Datei: robots.txt

Inhalt der Datei:

User-agent: *
Disallow: /test/

Damit gilt die Einstellung für alle Spiders. Zu dem Ordner test hat jedoch keiner Zugriff.

Es können für allemöglichen Webcrawler Regeln angegeben werden. Pro Spider muss eine Zeile mit User-Agent angelegt werden.

Verwendung von Meta Tags

Der Meta-Tag sollte auf jeder Seite auftauchen, da Suchmaschinen nicht zur jeder Suchanfrage nur auf die Home-Seite gelangen. Eine tieferliegende Seite, ein Deep Link, könnte von einem Robot erfasst werden, daher besser auf jeder Seite den Meta-Tag eben setzen.

<meta name="robots" content="noindex, nofollow">

http://www.robotstxt.org/orig.html

Advertisements

Kommentare

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s