Erstelle kostenlos eine robots.txt Datei und steuere, welche Suchmaschinen deine Seiten crawlen dürfen.
Speichere diese Datei als robots.txt im Root-Verzeichnis deiner Website.
Prufe ob deine robots.txt richtig konfiguriert ist und ob Suchmaschinen deine Seiten finden.
Jetzt kostenlos mit Shift07 prüfenGibt an, für welchen Crawler die Regeln gelten. * bedeutet alle Crawler. Du kannst auch spezifische Bots wie Googlebot angeben.
Blockiert den Zugriff auf bestimmte Pfade. Disallow: /admin/ verhindert das Crawling des Admin-Bereichs. Ein leeres Disallow erlaubt alles.
Erlaubt den Zugriff auf bestimmte Pfade, selbst wenn ein übergeordneter Pfad blockiert ist. Nützlich für Ausnahmen.
Verweist Crawler auf deine XML-Sitemap. Hilft Suchmaschinen, alle Seiten deiner Website zu finden und zu indexieren.
Gibt die Wartezeit (in Sekunden) zwischen Requests an. Nützlich bei schwachen Servern, wird aber nicht von allen Crawlern beachtet.
Die robots.txt muss im Root-Verzeichnis liegen: https://example.com/robots.txt. Nur dort wird sie von Crawlern gefunden.