Unser Blog: Einfach verständlich

Roboter

Der Ausdruck Googlebot wird Ihnen zwangsläufig begegnen, wenn Sie sich mit der SEO (Search Engine Optimization) für Ihre Website beschäftigen. Google ist dabei mit einem Marktanteil von über 90% die wichtigste Adresse. Entscheidend für die Indexierung Ihrer Seite bei Google ist dabei der Vorgang des sogenannten Crawlings durch die Googlebots.

Was ist der Googlebot?

Die Websites werden von Google mithilfe des Googlebots gelesen. Der Name Googlebot setzt sich aus dem Firmennamen und der technischen Bezeichnung Bot, kurz für Robot, zusammen. Eine spezielle Sorte Bots sind Webcrawler oder Searchbots, die so programmiert werden, dass sie das Internet durchsuchen und Webseiten analysieren. Google nutzt seinen Bot dazu, um Inhalte zu analysieren und auffindbar machen zu können. Zu erkennen gibt sich der Robot beispielsweise durch die User-Agent-Kennung Googlebot/2.1.

Was macht der Googlebot?

Der Googlebot besucht und crawlt Webseiten, indem er sich von Link zu Link bewegt. Alle vom Robot gefundenen Inhalte werden dabei heruntergeladen und je nach Relevanz im Googleindex abgelegt. Die Analyse durch den Googlebot bildet also einen entscheidenden Schritt für die Platzierung Ihrer Seite bei den Suchergebnissen auf Google. Neben dem Googlebot für die Websuche existieren weitere spezielle Bots. Beispielsweise Googlebot-News, Googlebot-Video oder Googlebot-Mobile für Smartphoneseiten. Wurde die Seite kürzlich von einem der Bots gecrawlt, legt er die Informationen für die anderen Crawler in einem Cache zurück.

Wie oft besucht der Googlebot eine Seite?

Wann der Googlebot wieder kommt, hängt von verschiedenen Faktoren ab. Der Bot bewegt sich anhand von Links. Deswegen sind der PageRank und die Anzahl und die Qualität der vorhandenen Backlinks entscheidend, bis der Googlebot ein erneutes Crawling der Seite unternimmt. Auch die Ladezeiten und die Struktur einer Webseite sowie die Aktualisierungsfrequenz der Inhalte spielen eine Rolle. Ein Normwert lässt sich nicht ermitteln. Eine Seite, die viele hochwertige Backlinks besitzt, kann durchaus alle 10 Sekunden vom Googlebot ausgelesen werden. Bei kleineren Seiten mit wenig Backlinks kann es auch mal einen Monat oder länger dauern, bis der Crawler zurückkehrt und die Seite wieder von Google indiziert wird.

Grundlegendes was Sie als Webseiten-Inhaber beachten sollten, damit Änderungen schneller von Google indiziert werden

Grundsätzlich sollten Sie für einen nachhaltigen Linkaufbau sorgen und Ihre Inhalte regelmäßig aktualisieren. Halten Sie diese themenrelevant und hochwertig, um regelmäßig vom Crawler besucht zu werden. Sorgen Sie für eine suchmaschinenfreundliche Struktur Ihrer Webseiten-Navigation und halten Sie die Ladezeiten durch professionelles Webdesign gering. Versuche die Auswertung des Googlebots durch simple Techniken zu manipulieren, sind heute eher erfolglos und können sogar durch ein Herabsetzen im Ranking bei Google abgestraft werden. Eine bloße Anhäufung von Keywords, die besonders den Inhalt der Website hervorheben sollen, mindere Qualität oder eine Generierung von Backlinks zur Optimierung werden durch die Programme Google Penguin und Google Panda erkannt. Google bietet Ihnen jedoch weitere Möglichkeiten, um die Häufigkeit der Abfrage durch die Googlebots zu verbessern. Diese werden hier von uns vorgestellt und können sich von Ihnen mit einiger Recherche selbst angeeignet werden.

Tipps für Ihre SEO und das Crawling durch den Googlebot

  • Wenn Sie Neuerungen an Ihrer Seite vorgenommen haben, besteht die Möglichkeit, dass Sie die neue URL in der Google Search Console direkt abschicken. Auf diese Weise brauchen Sie nicht bis zum nächsten crawlen durch den Googlebot warten, sondern fordern seinen Besuch quasi selbst an.
  • In der Sitemap Ihrer Website ist es möglich, die Priorität der einzelnen Unterseiten festzulegen und Ihre gewünschte Frequenz für das Crawling einzustellen. Damit können Sie angeben, welche Seiten besonders häufig aktualisiert werden. Diese werden deshalb dann auch öfter vom Googlebot analysiert. Der Startseite würde dabei zum Beispiel mit der Nummer 1, besonders hohe Priorität und vermehrtes Crawling zu kommen.
  • Mit robots.txt kann der Webmaster bestimmen, welche Seiten eventuell vom Crawling durch den Googlebot ausgeschlossen werden sollen. Dies könnte der Fall sein, wenn Sie mit der Qualität einer Unterseite noch nicht zufrieden sind und diese deshalb noch nicht indexiert werden sollte.

Mit der Umsetzung dieser Tipps sorgen Sie dafür, dass Änderungen zügig in den Suchmaschinen dargestellt werden und verbessern im gleichen Schritt Ihre Position in den Suchergebnissen. Für Fragen und die professionelle Betreuung Ihres Onlinemarketings und Ihrer SEO steht Ihnen das Team der Media Company gerne zur Seite.


Thumbnail Image: Robot on the Taff von JohnGreenAway via CC BY-SA 2.0
Share on FacebookShare on Google+Tweet about this on TwitterPin on PinterestShare on LinkedInShare on Tumblr

Sandra Pries

Unsere Texterin und Wortakrobatin ist täglich unterwegs im World Wide Web und hält Sie auf dem Laufenden über die neuesten Meldungen und Trends.


1 Star2 Stars3 Stars4 Stars5 Stars (13 Bewertung(en), durchschnittlich: 4,85 von 5)

8 Kommentare

  • Hallo Sandra,

    Ich habe eine Frage zu Crawling Fehlern
    Das Problem ist das das Crawling alte seiten immer noch listet, was ja auch ok ist per .htaccess sage ich wo die neue adresse ist. Zur Frage wie sorge ich dafür das googel begreift das der link jetzt ein andere dauerhaft ist! und ich den eintrag aus der .htaccess löschen kann, zur zeit habe ich da 3000 weiterleitungen mit RedirectPermanent

    Danke für deine Hilfe,

    Gruß Silvio

    • Hallo Silvio,
      es spricht gar nichts dagegen, dauerhafte 301-Redirects einzurichten. Dieser Status sagt Google, dass die Seite dauerhaft an einen neuen Ort verschoben wurde. In einigen Fällen kann es sein, dass Google die Seite recrawlt und die Seite neu indexiert und damit auch den neuen Speicherort der Seite erkennt, jedoch ist eine Weiterleitung durch Redirects auf jeden Fall die sichere Variante.

      Viele Redirects ergeben für deine Seite keinerlei Nachteile, im Gegenteil. Wenn die Weiterleitungen gut gesetzt sind, spielen sie sogar deiner SEO wunderbar in die Karten, denn so vermeidest du Duplicate Content.
      Genaueres dazu gibt es auch in unserem Artikel zum Thema: https://www.media-company.eu/blog/allgemein/duplicate-content/

      Übrigens: die 404 Fehler können im Google-Webmastertool angesehen und nach dem Hinzufügen eines Redirects entfernt werden.
      Falls du noch offene Fragen hast, melde dich gerne bei uns.
      Beste Grüße aus Düsseldorf, Sandra

  • Toller Beitrag! Vielen Dank für diese Übersicht. Erstellen Sie auch SEO-optimierte Texte für Webseitenbetreiber?

    • Hallo Herr Karper,
      freut uns, dass Ihnen unser Artikel gefällt. Natürlich erstellen wir auch SEO-Texte. Gerne können Sie Kontakt zu uns aufnehmen unter 0211-59890740 oder mir erste Informationen unter zukommen lassen. Dann setzen wir uns mit Ihnen schnellstmöglich in Verbindung. Beste Grüße aus Düsseldorf, Sandra

  • Danke für die Infos.

    • Liebe Karin,
      wir freuen uns, dass dir unser Artikel gefällt.
      Beste Grüße aus Düsseldorf, Sandra

  • Hallo, danke für den Beitrag, können Sie mir helfen. Ich habe for kurzem 11 Backlinks gehabt laug Backlinkanalyse, jetzt habe ich 15 und bin bei dem gleichem Keyword bei google um 2 Positionen tiefer gelistet. Mein Seite ist ca. 10 Monate alt. Wie oft in der Woche würdet Ihr mir ratten backlinks zu setzen?

    • Hallo und danke für den Kommentar! Das Ranking basiert auf ca. 200 Kriterien. Ein schlechtere Platzierung kann aufgrund von schlechten Backlinks erfolgen, muss aber nicht. Um sicher bestimmen zu können, welche Faktoren für die Schwankungen verantwortlich sind, nutzen Sie am Besten die Hilfe eines Fachmanns oder eines etablierten Online-SEO-Dienstes. Wir empfehlen Ihnen zuerst die fehlerhafte Darstellung Ihres Shops zu beseitigen. Das ist nämlich ebenfalls entscheidend für Ihren Erfolg im Web. Gutes Gelingen!