Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Änderungen der Crawling-Fehlermeldungen für Weiterleitungen
Dienstag, 28. Januar 2014
In der Vergangenheit gab es bei Webmastern gelegentlich Verwirrung darüber, wie
Crawling-Fehler
auf weiterleitenden Seiten in den
Webmaster-Tools
angezeigt werden. Es ist also an der Zeit, die Diagnose klarer und einfacher zu gestalten! Während wir früher den Fehler auf der ursprünglichen weiterleitenden URL gemeldet haben, zeigen wir jetzt den Fehler auf der endgültigen URL an. Diese URL gibt den eigentlichen Fehlercode zurück.
Hier ein Beispiel:
URL A leitet auf URL B weiter, die wiederum einen Fehler zurückgibt. Die Art der Weiterleitung und der Fehlertyp sind hier nicht relevant.
In der Vergangenheit haben wir den am Ende aufgezeichneten Fehler unter URL A gemeldet. Jetzt wird er stattdessen unter URL B gemeldet. Dies vereinfacht die Diagnose der in den Webmaster-Tools angezeigten Crawling-Fehler. Mit Tools wie
cURL
oder eurer bevorzugten
Online-Server-Header-Prüfung
könnt ihr nun einfach bestätigen, dass der eigentliche Fehler von URL B ausgeht.
Diese Änderung ist möglicherweise auch in der Gesamtfehleranzahl mancher Websites sichtbar. Wenn eure Website beispielsweise auf eine neue Domain umzieht, werden nur diese Fehler für die neue Domain angezeigt, vorausgesetzt, die alte Domain leitet korrekt weiter. Dies kann zu merklichen Änderungen der Gesamtfehleranzahl für solche Websites führen.
Beachtet, dass diese Änderung sich nur darauf auswirkt, wie die Crawling-Fehler in den Webmaster-Tools angezeigt werden. Bedenkt außerdem, dass Crawling-Fehler für URLs, die Fehler zurückgeben sollten (z. B. nicht vorhandene URLs)
keine negativen Auswirkungen auf die Indexierung oder das Ranking der übrigen Website haben
(auch
diskutiert auf Google+
).
Wir hoffen, diese Änderung vereinfacht das Aufspüren von Crawling-Fehlern und die Bereinigung von unbeabsichtigten Fehlern, die euch nicht bewusst waren. Falls ihr noch Fragen habt, könnt ihr sie gerne hier posten oder einen Blick in die
Foren für Webmaster von Google
werfen.
Post von
John Mueller
, Webmaster Trends Analyst (Veröffentlicht von
Johannes Mehlem
, Search Quality Team)
Ein neuer Googlebot-User-Agent für das Crawling von Smartphone-Content
Donnerstag, 23. Januar 2014
Im Laufe der Jahre hat Google unterschiedliche Crawler verwendet, um Content für Feature-Phones und Smartphones zu crawlen und zu indexieren. Diese für Mobilgeräte konzipierten Crawler wurden alle als Googlebot-Mobile bezeichnet. Feature-Phones und Smartphones weisen jedoch deutlich unterschiedliche Geräteleistungen auf. So haben Webmaster in einigen Fällen versehentlich das Crawling oder die Indexierung von Smartphones blockiert, obwohl sie eigentlich nur das Crawling und Indexieren von Feature-Phones blockieren wollten. Diese Doppeldeutigkeit machte es Google unmöglich, Smartphone-Content auf einigen Websites zu indexieren oder zu erkennen, dass diese Websites für Smartphones optimiert sind.
Ein neuer Googlebot für Smartphones
Zur Klärung der Situation und um Webmastern mehr Kontrolle zu geben, werden wir in 3 bis 4 Wochen den "Googlebot-Mobile" für Smartphones als User-Agent ausmustern.Von da an wird der User-Agent für Smartphones sich einfach als "Googlebot" ausweisen, er wird jedoch weiterhin als "mobil" anderswo im User-Agent-String gelistet sein. Hier die neuen und alten User-Agents:
Der neue Googlebot-User-Agent für Smartphones:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible;
Googlebot
/2.1; +http://www.google.com/bot.html)
(Update August 2015)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot
/2.1;
+http://www.google.com/bot.html)
Der Googlebot-Mobile-User-Agent für Smartphones wird demnächst ausgemustert:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot-Mobile
/2.1;
+http://www.google.com/bot.html)
Diese Änderung betrifft nur den Googlebot-Mobile für Smartphones. Der User-Agent des regulären Googlebot wird nicht geändert. Die verbleibenden zwei Googlebot-Mobile-Crawler werden sich in ihren User-Agent-Strings weiterhin auf Feature-Phone-Geräte beziehen. Dies sind folgende User-Agents:
Regulärer Googlebot-User-Agent:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Die beiden Googlebot-Mobile-User-Agents für Feature-Phones:
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Ihr könnt eure Website mit der
Funktion "Abruf wie durch Google" in den Webmaster-Tools
testen und eine komplette Liste unserer
vorhandenen Crawler in der Hilfe für Webmaster
einsehen.
Crawling und Indexierung
Bitte beachtet folgende wichtige Auswirkung des User-Agent-Updates:
Der neue Googlebot-Crawler für Smartphones wird anstelle des Googlebot-Mobile den robots.txt-, den Robots-Meta-Tag- und den HTTP-Header-Anweisungen für den Googlebot folgen.
Mit dem neuen Crawler blockiert beispielsweise die folgende robots.txt-Anweisung jedes Crawling durch den neuen Googlebot-User-Agent für Smartphones sowie den regulären Googlebot:
User-Agent: Googlebot
Disallow: /
Diese robots.txt-Richtlinie wird das Crawling durch die Feature-Phone-Crawler von Google blockieren:
User-Agent: Googlebot-Mobile
Disallow: /
Unseren internen Analysen zufolge wirkt sich dieses Update auf weniger als 0,001 % der URLs aus. Gleichzeitig erhalten Webmaster mehr Kontrolle über das Crawling und die Indexierung ihrer Inhalte.Wie immer könnt ihr bei Fragen
unsere
Empfehlungen für den Aufbau von Smartphone-optimierten Websites
lesen,
weitere Informationen über
die Steuerung des Crawlings und der Indexierung durch den Googlebot
(in Englisch) erhalten und
in unseren
Foren für Webmaster
nachfragen oder einen unserer
Hangouts während der Geschäftszeiten der Webmaster-Zentrale
besuchen.
Post von Zhijian He, Smartphone Search Engineer (Veröffentlicht von
Johannes Mehlem
, Search Quality Team)
Labels
#NoHacked
2
2017
1
Accessibility
13
AJAX
1
AMP
7
Android
2
api
1
App-Indexierung
3
Best Practices
99
Bildersuche
2
captcha
1
Chrome
4
Code
12
Crawling
1
Crawling und Indexierung
126
Diskussionsforum
15
Duplicate Content
17
Dynamic Rendering
1
Einsteiger
8
Event
1
events
1
Feedback
1
Geo-Targeting
11
Google Analytics
6
Google Dance
1
Google News
1
Google Places
4
Google-Assistant
1
Google-Suche
59
Google+
9
Hacking
16
Hangouts
1
https
3
JavaScript
3
Kanonische URL
1
Kommentare
1
Konferenz
19
Lighthouse
3
Links
18
Malware
17
Mobile
38
Mobile-first indexing
1
Nachrichten-Center
16
Optimisation
3
PageSpeed Insights
2
Penalties
1
Performance
3
Ranking
1
reCaptcha v3
1
Rendering
2
Rich Snippets
18
Richtlinien für Webmaster
36
robots.txt
7
Safe Browsing
5
Search Console
19
Search Results
1
Security
4
Seitenzugriff
1
SEO
4
Sicherheit
38
Site Clinic
5
Sitemaps
30
Spam Report
9
SSL
1
Structured Data
8
Tools und Gadgets
17
Verschlüsselung
1
Video
132
Webmaster blog
1
Webmaster Community
1
Webmaster-Academy
1
Webmaster-Tools
154
webspam
3
Archiv
2020
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
2019
Dez.
Nov.
Okt.
Sept.
Juni
Mai
Feb.
Jan.
2018
Dez.
Nov.
Okt.
Sept.
Juli
Juni
Mai
Apr.
Feb.
Jan.
2017
Dez.
Nov.
Juni
Apr.
März
Jan.
2016
Nov.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Jan.
2015
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Mai
Apr.
März
Feb.
Jan.
2014
Nov.
Okt.
Sept.
Aug.
Juni
Mai
Apr.
März
Feb.
Jan.
2013
Dez.
Nov.
Okt.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2012
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2011
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2010
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2009
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2008
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feb.
Jan.
2007
Dez.
Nov.
Okt.
Sept.
Aug.
Juli
Juni
Mai
Apr.
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster