Robots.txt Generator

Erstellen Sie eine neue, leere Textdatei und benennen Sie diese in robots.txt um. Alle Buchstaben des Dateinamens (robots.txt) müssen klein geschrieben werden.

Speichern Sie die Datei robots.txt in Ihrem Hauptverzeichnis Ihrer Domain und fügen Sie den folgenden benötigen Code in die Datei ein.

Allen Spidern verbieten Ihre Webseiten zu indizieren.

User-agent: *
Disallow: /

Allen Spidern erlauben Ihre Webseiten zu indizieren.

User-agent: *
Disallow:

Allen Spidern bestimmte Pfade erlauben oder verbieten  zu indizieren.
Einfach den Code auf deine Bedürfnisse anpassen.

User-agent: *
Disallow: 
/verbotener-pfad-1/
/verbotener-pfad-2/
Allow: 
/erlaubter-pfad-1/
/erlaubter-pfad-2/

Mehr Informationen zur robots.txt

Jedem, der sich mit einer Webseite beschäftigt, ist er irgendwie schon einmal untergekommen. Der Robots TXT Generator ist ein hilfreiches Tool, mit dem ein Webmaster festlegen kann, welche seiner Unterseiten sowie seiner Webseitenverzeichnisse durch eine Suchmaschine nicht in den Index übernommen werden sollen. Es gibt ganz unterschiedliche Ausgangslagen, die es notwendig machen, eine Seite noch nicht indexieren zu lassen. Einige Seitenbetreiber möchten gerne, dass sich das Impressum nicht über die Suchmaschine finden lässt. Gerne werden auch Unterseiten, die bisher nicht bearbeitet oder noch nicht vollständig bearbeitet sind, durch Robots TXT vor der Indexierung geschützt.

Wie alles begann

Damit es möglich ist, auf die Indexierung ganz oder für einen bestimmten Zeitraum zu verzichten, wurde im Jahr 1997 das Robots Exclusion Standard gegründet. Dieses Protokoll hat bis heute einen hohen Stellenwert und ist sozusagen die Grundlage für den Robots TXT Generator in jeglicher Form.

Dieses Protokoll besagt, dass der Robot immer erst in das Root-Verzeichnis von einer Seite gehen muss. Hier macht er sich auf die Suche nach einem robots.txt. Dies ist eine Datei, die interpretiert werden muss. Über diese Datei ist es möglich festzulegen, inwiefern der Robot die Webseite überhaupt oder mit Einschränkungen besuchen darf. Damit sie ausgelesen werden kann ist es notwendig, dass die gesamte Datei ausschließlich mit kleinen Buchstaben bezeichnet wird. Suchmaschinen, die eine Seite indexieren, gehen nach den durch die Robots vorgegebenen Anweisungen vor. Dafür ist es aber notwendig, dass die Syntax stimmt.

Hinweis: Bedenken Sie, dass ein Robots TXT Generator zwar dabei helfen kann, dass eine Seite nicht indexiert wird. Das heißt aber nicht, dass sie unsichtbar ist. Dafür braucht es Verfahren, die anders arbeiten. Sie könnten in diesem Fall beispielsweise auf eine Access Control List zurückgreifen.

Schnell Anweisungen fertigstellen mit dem Robots TXT Generator

Sie haben nun die Möglichkeit, eine Robots.txt komplett selbst aufzubauen. Dafür braucht es ein Händchen für den Texteditor sowie die Grundlagen in der Erstellung der Vorgaben. Einfacher geht es aber auch. Sie können zu einem Robots TXT Generator greifen. Die Zusammenstellung der Anweisungen für die Spider ist mit diesem Tool innerhalb einer kurzen Zeit erledigt. Wie funktioniert es?

  • Sie geben die Adresse Ihrer Webseite ein sowie die Sitemap
  • Sie legen fest, welche Seiten oder auch Ordner nicht indexiert werden sollen
  • Sie können Spider auch komplett ausschließen

Mehr Angaben braucht es gar nicht für die Erstellung der robot.txt. Diese können dann eingesetzt werden.

Nicht zu vergessen ist eine Prüfung der Robots. Auch wenn sich Fehler mit einem Robots TXT Generator eher selten einschleichen, kann es nicht schaden, über ein Webmaster Tool einen Test durchzuführen, der sich mit dem Crawler-Zugriff beschäftigt.

Die häufigsten Fehler bei einer Robots TXT Datei

Es gibt einige Fehler die dafür sorgen können, dass Ihre Robots TXT Datei nicht wie gewünscht funktioniert. Auch hier ist es so, dass diese Fehler nicht unbedingt anfallen, wenn Sie mit einem Robots TXT Generator arbeiten. Dennoch kann es sein, dass sich die eine oder andere Problematik einschleicht. Wir haben für Sie die häufigsten Fehler im Überblick:

  1. Nicht richtig gespeichert

Damit die Datei auch funktioniert, muss sie richtig abgespeichert werden. Einer der häufigsten Fehler ist es, dass der Webmaster die Datei nicht im Root-Verzeichnis der Seite ablegt. Dabei wird meist ausschließlich das Root-Verzeichnis durch die Crawler durchsucht. Wenn die Datei hier nicht gespeichert ist, dann kann sie ihre Wirkung auch nicht entfalten.

  1. Fehlende Anweisungen

Es kann durchaus passieren, dass Sie eine Datei durch den Robots TXT Generator erstellen lassen, hier aber einige Anweisungen fehlen. Wenn sich gar nichts in der Datei befindet, dann wird sie auch nicht wahrgenommen durch die Crawler. Achten Sie daher immer darauf, dass sich die richtigen Anweisungen in der Datei finden.

  1. Die Kleinschreibung

Wie bereits erwähnt sollte Ihre Datei immer klein geschrieben sein. Damit vermeiden Sie Fehler und die Datei wird ganz sicher ausgelesen. Gehen Sie also direkt auf Nummer Sicher.

  1. Die falschen Verzeichnisse blockiert

Im Eifer des Gefechts kann es durchaus sein, dass Sie falsche Verzeichnisse blockieren. Das wird dann zum Problem, wenn Sie den Fehler nicht bemerken und sich wundern, warum bestimmte Verzeichnisse nicht in der Suchmaschine auftauchen. Gehen Sie daher alle durch den Robots TXT Generator zusammengestellten Dateien noch einmal zur Kontrolle durch.

  1. Mehrere Verzeichnisse in einer Reihe

Einer der ebenfalls sehr häufigen Fehler ist es, dass sich in einer Reihe mehrere Verzeichnisse befinden. Jedes Verzeichnis braucht eine eigene Zeile.

  1. Allow im Einsatz

Das wohl wichtigste Kommando bei einer robots.txt ist das „Disallow“. Ohne diesen Kommentar würden die Seiten weiterhin indexiert werden. Damit es nicht passiert, dass dennoch eine Indexierung stattfindet, darf auf keinen Fall der Kommentar „allow“ irgendwo in der Datei erscheinen. Dies wird durch einen Robots TXT Generator zwar nicht passieren. Falls Sie nach der Erstellung aber noch ein wenig an der Datei basteln, achten Sie unbedingt auf diesen Punkt.

Auf unserer Webseite erfahren Sie mehr über den Robots TXT Generator und können das Tool natürlich auch nutzen. Entscheiden Sie selbst, welche Ihrer Seiten und Unterseiten durch die Suchmaschinen indexiert werden.