Mittwoch, 8. August 2012

Neue Benachrichtigungen über Crawling-Fehler von Webmaster-Tools


Ab heute erhaltet ihr Benachrichtigungen über Crawling-Fehler, damit ihr stets über den Status eurer Website informiert seid.

Da eure Website regelmäßig vom Googlebot besucht wird, erfahren wir, wenn auf eurer Website Verbindungsprobleme auftreten oder Seiten plötzlich HTTP-Fehler wie etwa 404 – Datei nicht gefunden, 403 – Unzulässig oder 503 – Dienst nicht verfügbar, zurückgeben. Wenn auf eurer Website Zeitüberschreitungen oder Systemfehler während des Zugriffs durch den Googlebot auftreten, könnten andere Besucher eurer Website das gleiche Problem haben.

Sobald wir solche Fehler feststellen, senden wir gegebenenfalls entsprechende Benachrichtigungen in Form von Meldungen im Nachrichten-Center in Webmaster-Tools. So habt ihr die Möglichkeit, die potenziellen Probleme zu beheben, die ansonsten möglicherweise die Besucher eurer Website oder die Präsenz eurer Website in der Suche beeinträchtigen würden.

Wie in unserem Blogpost zur neuen Crawling-Fehler-Funktion in Webmaster-Tools erläutert, werden Crawling-Fehler in zwei Typen unterteilt: Website-Fehler und URL-Fehler.

Benachrichtigungen über schwerwiegende Probleme, die die gesamte Website betreffen

Website-Fehler verhindern den Zugriff auf eure Website und deuten eher auf Systemprobleme als auf Probleme mit einzelnen Seiten hin. Website-Fehler können beispielsweise durch folgende Situationen entstehen:
  • Euer DNS-Server ist ausgefallen oder falsch konfiguriert. 
  • Euer Webserver selbst wird durch die Firewall abgeschottet. 
  • Euer Webserver weist Verbindungsanfragen vom Googlebot zurück. 
  • Euer Webserver ist überlastet oder ausgefallen. 
  • Auf die robots.txt eurer Website kann nicht zugegriffen werden. 
Diese Fehler betreffen die komplette Website. Theoretisch dürften sie bei einer gut funktionierenden Website nie vorkommen und bei den allermeisten von uns gecrawlten Websites treten sie auch nicht auf. Wenn der Googlebot eine beträchtliche Anzahl dieser Website-Fehler findet, informieren wir euch unabhängig von der Größe eurer Website in Form einer Nachricht im Nachrichten-Center:




Beispiel einer Benachrichtigung über einen Website-Fehler

Die Benachrichtigung enthält neben der Anzahl der Fehler, die der Googlebot beim Crawlen eurer Website festgestellt hat, auch die Gesamtrate der Crawling-Fehler für eure Website, einen Link zum entsprechenden Abschnitt in Webmaster-Tools, wo ihr euch die Daten genauer ansehen könnt, sowie Vorschläge zur Behebung des Problems.

Sollte eure Website in einer dieser Kategorien eine Fehlerrate von 100 % aufweisen, ist eure Website wahrscheinlich ausgefallen oder auf irgendeine Weise falsch konfiguriert. Liegt die Fehlerrate in einer dieser Kategorien unter 100 %, könnte dies lediglich auf eine vorübergehende Situation hinweisen. Es könnte jedoch auch bedeuten, dass eure Website überlastet oder fehlerhaft konfiguriert ist. Es empfiehlt sich, diesen Problemen nachzugehen oder eine entsprechende Frage in unserem Forum zu stellen.

Unter Umständen benachrichtigen wir euch auch, wenn die Gesamtfehlerrate sehr gering ist. Nach unseren Erfahrungen sollten bei einer gut funktionierende Website keine Fehler in diesen Kategorien auftreten.

Benachrichtigungen über eine Zunahme von potenziell weniger kritischen URL-Fehlern

Während eine beträchtliche Anzahl von Website-Fehlern darauf hinweisen könnte, dass eure Website falsch konfiguriert, überlastet oder einfach nicht erreichbar ist, können URL-Fehler (Seiten, die einen Nicht-200-HTTP-Code oder im Fall von Soft 404-Fehlern einen HTTP-200-Code falsch zurückgeben) auf jeder korrekt konfigurierten Website auftreten. Da verschiedene Websites eine unterschiedliche Anzahl von Seiten oder externen Links aufweisen, kann eine bestimmte Fehleranzahl bei einer kleinen Website auf ein schwerwiegendes Problem hindeuten, bei einer großen Website jedoch völlig normal sein.

Aus diesem Grund senden wir bei URL-Fehlern nur Benachrichtigungen, wenn wir eine deutliche Zunahme von Fehlern in einer der fünf Fehlerkategorien (Serverfehler, Soft 404, Zugriff verweigert, Nicht gefunden oder Nicht gefolgt) feststellen. Wenn eure Website beispielsweise routinemäßig 100 Seiten mit 404-Fehlern aufweist, benachrichtigen wir euch bei leichten Abweichungen von dieser Zahl nicht. Unter Umständen benachrichtigen wir euch jedoch, wenn sich die Zahl deutlich erhöht, zum Beispiel auf 500 oder 1000. 404-Fehler sind nicht unbedingt negativ, sie können ein natürlicher Bestandteil einer intakten Website sein (siehe früherer Blogpost: Schaden 404-Fehler meiner Website?).

Ein deutlicher Anstieg der Fehleranzahl kann darauf hindeuten, dass sich etwas auf eurer Website geändert hat. So könnten sich durch eine Neukonfiguration die Berechtigungen für einen Abschnitt eurer Website geändert haben oder eine neue Version eines Skripts stürzt regelmäßig ab oder jemand hat aus Versehen ein ganzes Verzeichnis verschoben oder gelöscht oder eine Umstrukturierung eurer Website hat dazu geführt, dass externe Links nicht mehr funktionieren. Es könnte sich auch nur um eine vorübergehende Schwankung handeln oder die Änderung könnte externe Ursachen haben (jemand hat einen Link auf nicht vorhandene Seiten eingefügt), sodass gar kein echtes Problem vorliegt. Wenn wir jedoch eine ungewöhnlich hohe Fehlerzahl bei eurer Website feststellen, benachrichtigen wir euch, damit ihr entsprechende Nachforschungen anstellen könnt:




Beispiel einer Benachrichtigung über eine Zunahme von URL-Fehlern

Die Benachrichtigung enthält eine Beschreibung der Kategorie von Webfehlern, für die wir einen Anstieg festgestellt haben, einen Link zum entsprechenden Abschnitt der Webmaster-Tools, wo ihr sehen könnt, welche Seiten unserer Ansicht nach problematisch sind, sowie Vorschläge zur Fehlerbehebung.

Weiterleitung von Benachrichtigungen an euren Posteingang

Wir wissen, dass ihr viel zu tun und möglicherweise keine Zeit habt, regelmäßig in den Webmaster-Tools zu prüfen, ob neue Benachrichtigungen eingegangen sind. Daher ist es empfehlenswert, die Nachrichtenweiterleitung zu aktivieren. Wir senden alle Webmaster-Tools-Nachrichten an die E-Mail-Adresse eurer Wahl.

Wir würden uns über Feedback von euch freuen. Wenn ihr Kommentare oder Vorschläge zu unseren neuen Benachrichtigungen habt, postet sie bitte in unserem Forum.


Autor: Brian Malcolm, Webmaster-Tools-Team. Veröffentlicht von Uli Lutz, Search Quality

Kommentare:

Peer Wandiger hat gesagt…

Ich habe die Anzahl der Artikel auf der Startseite und im Archiv (page/...) von 5 auf 8 erhöht.

Das führte dazu, dass es nun weniger Archiv-Seiten gibt.

Seit dieser Änderung gibt es in den Google Webmaster-Tools aber hunderte Fehler über nicht gefundene Archiv-Seiten. Diese gab es natürlich vor der Änderung der Anzahl Artikel pro Seite, aber nun nicht mehr.

Was kann ich tun, um den Webmaster Tools klar zu machen, dass diese Archiv-Seiten nicht mehr existieren und das in Ordnung und kein Fehler ist?

Unknown hat gesagt…

Die Funktion ist buggy. Wenn man versucht, die Benachrichtigungen zu aktivieren ("aktivieren" anegreuzt und dann Klick auf "speichern"), kommt die Medlung, dass Benachrichtigungen deaktiviert wurden :-(

Search Quality Team hat gesagt…

@Unknown: Seit ein paar Tagen gibt es da einen Fehler - eine Korrektur ist bereits in Arbeit!

Grüße,
Sven

Unknown hat gesagt…

wir haben diesen fehler seit neuem .. was bedeutet dieser Allgemeiner HTTP-Fehler: HTTP-Fehler 403: (Verboten)
HTTP-Fehler: 403

Search Quality Team hat gesagt…

@unkown: Das bedeutet lediglich, dass wir beim Crawlen der Website auf Seiten gestoßen sind, die einen sog. 403-Status liefern - und diese Seite deshalb nicht crawlen konnten.

Hier würde ich empfehlen, zu schauen, um welche Seiten es sich konkret dabei handelt: Falls es dabei um Inhalte handelt, die absichtlich nicht öffentlich erreichbar sein sollen, würde dies ja wie geplant funktionieren und du könntest diese Fehlermeldung in den Webmaster-Tools dann einfach ignorieren.

Falls es sich bei dieser Seite um Inhalte handelt, die öffentlich erreichbar und für Suchmaschinen auffindbar sein sollen, dann wäre diese Fehlermeldung ein Hinweis, deine Serverkonfiguration zu prüfen, um festzustellen, weshalb es hier zu einer solchen Statusmeldung kommt.

Grüße,
Sven

Unknown hat gesagt…

hallo search quality team -- vielen dank für eure schnelle antwort.. toll thanks jürgen

Thomas Jansen - EDDL-Spotter hat gesagt…

Noch mal zum Verständnis nachgefragt: Wenn man in der Liste 16.000 "403"-Fehler hat, bei einem Forum, dann kann man das so belassen? Die Fehler werden von internen Bereichen des Forums, den Benutzerprofilfeldern usw. ausgelöst auf die Gäste bzw. Robots auch keinen Zugriff haben sollen.