Fehlerbehebung bei Crawling-Fehlern

Hier erfahren Sie, wie Cloudflare mit Suchmaschinen-Crawlern (insbesondere von Google) interagiert und wie Crawling-Fehler behoben werden.


Übersicht

Cloudflare setzt Suchmaschinen-Crawler und -Bots auf Whitelists. Wenn Sie Crawling-Probleme oder Cloudflare-Challenges für den Suchmaschinen-Crawler oder -Bot beobachten, sollten Sie den Cloudflare-Support kontaktieren und dabei die Informationen angeben, die Sie bei der Behebung der Crawling-Fehler mit den in dieser Anleitung beschriebenen Methoden sammeln.


Einstellung der Crawling-Frequenz für Google und Bing

Um die CDN-Performance zu optimieren, weisen Google und Bing Websites, die CDN-Dienste nutzen, spezielle Crawling-Frequenzen zu. Spezielle Crawling-Frequenzen wirken sich nicht nachteilig auf die Suchmaschinenoptimierung (SEO) und die-Ergebnisseiten von Suchmaschinen (SERPs) aus. Befolgen Sie die nachstehenden Richtlinie, um Ihre Crawling-Frequenzen für Bing und Google zu ändern:

  • Um die Crawling-Frequenz für Google zu ändern, sollten Sie die Google-Dokumentation durchsehen.
  • Zur Änderung Ihrer Crawling-Frequenz für Bing finden Sie Hilfe in der Bing-Dokumentation:

Verhinderung von Crawling-Fehlern

Gehen Sie die folgenden Empfehlungen zur Verhinderung von Crawler-Fehlern durch:

  • Blockieren Sie IP-Adressen von Google-Crawlern nicht mit Firewall Rules oder IP Access Rules innerhalb von Cloudflares Firewall-App.
Bestätigen Sie, dass eine IP-Adresse zu Google gehört, indem Sie Googles Dokumentation zur Überprüfung von Googlebot-IP-Adressen konsultieren.
  • Blockieren Sie die USA nicht mit Firewall Rules oder IP Access Rules innerhalb von Cloudflares Firewall-App.
  • Blockieren Sie User-Agents von Google oder Bing nicht in .htaccess, Ihrer Serverkonfiguration, robots.txt oder der Web-Applikation.
Google setzt zum Crawling Ihrer Website unterschiedliche User-Agents ein. Sie können Ihre robots.txt über Google testen.
  • Lassen Sie kein Crawling von Dateien im /cdn-cgi/-Verzeichnis zu. Dieser Pfad wird intern von Cloudflare verwendet, und Google stößt bei seinem Crawling auf Fehler. Lassen Sie kein Crawling von cdn-cgi über robots.txt zu:
Disallow: /cdn-cgi/
Fehler für cdn-cgi wirken sich nicht auf Website-Rangfolgen aus.

Fehlerbehebung bei Crawling-Fehlern

Die Schritte zur Fehlerbehebung für die am häufigsten gemeldeten Crawling-Fehler sind unten aufgeführt.

HTTP-4XX-Fehler

HTTP-4XX-Fehler sind der häufigste Typ von Crawling-Fehlern. Cloudflare übermittelt diese Fehler von Ihrem Webserver an Google. Diese Fehler werden aus unterschiedlichen Gründen verursacht, z. B. durch eine fehlende Seite auf Ihrem Webserver oder einen falsch formatierten Link in Ihrer HTML. Die Lösung hängt von dem aufgetretenen Problem ab.

HTTP-5XX-Fehler

HTTP-5XX-Fehler weisen darauf hin, dass entweder bei Cloudflare oder Ihrem Ursprungswebserver ein interner Fehler aufgetreten ist. Um das Auftreten von Crawling-Fehlern mit Website-Ausfällen zu korrelieren, sollten Sie den Zustand Ihres Ursprungswebservers überwachen. Durch Überwachung des Zustands Ihrer Website sowohl über Cloudflare als auch direkt über die IPs Ihres Ursprungswebserver lässt sich bestimmen, ob Fehler aufgrund von Cloudflare oder aufgrund Ihres Ursprungswebserver aufgetreten sind.

DNS-Fehler

Abhängig davon, ob Ihre Domain über ein Full- oder ein CNAME-Setup auf Cloudflare ist, sind die Schritte bei der Fehlerbehebung unterschiedlich. Um zu überprüfen, welches Setup Ihre Domain verwendet, sollten Sie ein Terminal öffnen und den folgenden Befehl ausführen (ersetzen Sie www.example.com durch Ihre Cloudflare-Domain):

dig +short SOA www.example.com

Bei Domains mit einem CNAME-Setup enthält die resultierende Antwort cdn.cloudflare.net. Zum Beispiel:

example.com.cdn.cloudflare.net.

Bei Domains mit einem Full-Setup enthält die resultierende Antwort die cloudflare.com-Domain in den aufgeführten Nameservern. Zum Beispiel:

  josh.ns.cloudflare.com. dns.cloudflare.com. 2013050901 10000 2400 604800 3600

Sobald Sie bestätigt haben, wie Ihre Domain mit Cloudflare eingerichtet wurde, können Sie mit den Schritten zur Fehlerbehebung für Ihr jeweiliges Domain-Setup fortfahren.

CNAME

Kontaktieren Sie Ihren Hosting-Provider, um DNS-Fehler zu untersuchen und das Datum anzugeben, an dem Google auf DNS-Fehler gestoßen ist. Überprüfen Sie außerdem die Cloudflare-Systemstatus-Seite auf Netzwerkausfälle an dem Datum, an dem Google auf die Fehler gestoßen ist.

Full

Kontaktieren Sie den Cloudflare-Support und geben Sie das Datum und die Uhrzeit des Moments an, an dem Google die Fehler beobachtet hat.

Anforderung von Unterstützung bei der Fehlerbehebung

Wenn Ihre Crawling-Fehler durch die obigen Schritte zur Fehlerbehebung nicht gelöst werden, sollten Sie die folgenden Schritte durchgehen, um Crawler-Fehler als .csv-Datei von Ihrem Google-Webmaster-Tools-Dashboard zu exportieren. Schließen Sie diese .csv-Datei mit ein, wenn Sie den Cloudflare-Support kontaktieren.

  1. Melden Sie sich bei Ihrem Google Webmaster-Tools-Konto an und navigieren Sie zum Abschnitt Zustand der betroffenen Domain.
  2. Klicken Sie in der linken Navigationsleiste auf Crawling-Fehler.
  3. Klicken Sie auf Download, um die Liste der Fehler als .csv-Datei zu exportieren.
  4. Geben Sie die heruntergeladene .csv-Datei an den Cloudflare-Support weiter.

Verwandte Ressourcen

Googles Dokumentation zu Crawling-Fehlern und Fehlerbehebung

 

Not finding what you need?

95% of questions can be answered using the search tool. This is the quickest way to get a response.

Powered by Zendesk