Contao und die robots.txt
Die robots.txt ist eine Datei, die Webcrawlern wie Googlebot mitteilt, welche Teile einer Website sie indexieren dürfen. Sie ist ein wichtiger Bestandteil der Suchmaschinenoptimierung (SEO), da sie die Indexierung von unnötigen oder nicht indexierbaren Inhalten verhindert.
In Contao wird die robots.txt automatisch generiert und im Hauptverzeichnis der Website abgelegt. Sie enthält standardmäßig die folgenden Anweisungen:
user-agent:*
disallow:/contao/
disallow:/_contao/
sitemap:https://www.example.org/sitemap.xmlErläuterungen
- Alle Dateien und Unterordner im Verzeichnis "contao" sind für Suchmaschinen gesperrt. Dies ist sinnvoll, da diese Verzeichnisse keine für die Suchmaschinen relevanten Inhalte enthalten.
- Alle Dateien und Unterordner im Verzeichnis "_contao" sind für Suchmaschinen gesperrt. Dies ist sinnvoll, da diese Verzeichnisse keine für die Suchmaschinen relevanten Inhalte enthalten.
- Die Sitemap ist unter https://www.example.org/sitemap.xml zu finden.
Anpassung der robots.txt in Contao
Die robots.txt kann in Contao angepasst werden, um die Indexierung bestimmter Bereiche der Website zu ermöglichen oder zu verhindern. Dies kann zum Beispiel sinnvoll sein, wenn Sie bestimmte Dateien oder Ordner nur für angemeldete Benutzer zugänglich machen möchten.
Um die robots.txt anzupassen, gehen Sie folgendermaßen vor:
- Öffne die Seitenstruktur im Cotnao Backend
- Bearbeite den gewünschten Startpunkt deiner Website (Rootseite)
- Bearbeite das Feld "Individuelle robots.txt-Anweisungen" unter Website-Einstellungen
- Speichere deine Änderungen mit "Speichern" oder "Speichern und schließen"
Rufe anschließend https://example.org/robots.txt auf um die Änderungen anzuzeigen.
Beispiele
Erlauben Sie die Indexierung aller Dateien und Ordner im Verzeichnis "dokumente":
User-agent: *
Allow: /dokumente/Verbieten Sie die Indexierung aller Dateien und Ordner im Verzeichnis "dokumente":
User-agent: *
Disallow: /dokumente/Verbiete die Indexierung aller Dateien und Ordner im Verzeichnis "mitgliederbereich", erlaube aber die Indexierung für den GoogleBot
User-agent: *
Disallow: /mitgliederbereich/
User-agent: Googlebot
Allow: /mitgliederbereich/Verbiete die Indexierung aller Dateien und Ordner für bestimmte Crawler bzw. Bots, die Informationen für Suchmaschinen und Datensammlern verarbeiten und speichern. In dem Beispiel wird der EtaoSpider, der GPTBot und CCBot von der Indexierung ausgeschlossen.
User-agent: EtaoSpider
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /Beispiel der Ergänzung der robots.txt aus dem Contao Backend
Was sind die wichtigsten User-Agenten?
Hier eine Auswahl der wichtigsten User-Agenten Bezeichnungen:
|
Crawler |
User-agent |
|
|
Googlebot |
|
Bing |
Bingbot |
|
Yahoo |
Slurp |
|
MSN |
Msnbot |
Fazit
Die robots.txt ist in Contao ein wichtiges Werkzeug für die SEO. Durch eine sorgfältige Anpassung der robots.txt kann die Indexierung der Website für Suchmaschinen optimiert werden.
