So arbeitet Google mit Crawling, Index und Suchergebnissen

Grundlagen

Google beschreibt drei Phasen. Beim Crawling werden Inhalte abgerufen. Bei der Indexierung werden sie verarbeitet und gegebenenfalls im Suchindex berücksichtigt. Bei einer Suchanfrage wählen die Systeme passende Ergebnisse aus. Nicht jede Seite durchläuft alle Phasen, und keine davon garantiert eine bestimmte Position. Die grundlegende Darstellung finden Sie im Leitfaden zur Funktionsweise der Google Suche.

Eine URL kann beispielsweise über Verlinkungen oder eine Sitemap bekannt werden. Das bedeutet noch nicht, dass ihr Inhalt bereits vollständig abgerufen und verarbeitet wurde. Für Ihre praktische Prüfung sind deshalb mehrere Fragen zu unterscheiden. Ist die Seite überhaupt erreichbar? Gibt es einen nachvollziehbaren Weg dorthin? Wird das erwartete Angebot angezeigt oder eine Fehlermeldung?

Beginnen Sie mit der konkreten Adresse und nicht mit einer allgemeinen Vermutung über die gesamte Website. Ein Problem kann nur einen einzelnen Inhalt betreffen, während andere Seiten ordnungsgemäß erreichbar sind. Halten Sie fest, welche URL Sie prüfen und was genau beobachtet wurde. Diese einfache Eingrenzung verhindert, dass unterschiedliche Seitenzustände in einem Gespräch miteinander vermischt werden.

Eine indexierte Seite ist nicht automatisch für jede Suchfrage ein passendes Ergebnis. Google berücksichtigt bei der Auswahl unter anderem den Inhalt und den Kontext der Anfrage. Eine Suche nach einer örtlichen Dienstleistung kann deshalb andere Ergebnisse hervorbringen als eine allgemeine Informationsfrage. Auch ähnliche Formulierungen können unterschiedliche Erwartungen ausdrücken.

Für Ihren Betrieb ist daraus eine praktische Aufgabe abzuleiten. Beschreiben Sie, welche Frage die einzelne Seite beantworten soll und für wen sie gedacht ist. Prüfen Sie anschließend, ob Inhalt, Überschrift und weiterführende Informationen dazu passen. Wenn die Aufgabe unklar bleibt, hilft eine rein technische Änderung möglicherweise nicht weiter. Der nächste Schritt sollte sich aus dem tatsächlichen Problem ergeben.

Technik

Technische Regeln können steuern, wie Crawler mit einer Website umgehen. Sie erfüllen jedoch unterschiedliche Zwecke. Eine Anweisung zum Abruf einer Seite ist nicht dasselbe wie eine Vorgabe zur Aufnahme in Suchergebnisse. Diese Unterscheidung wird besonders wichtig, wenn Inhalte fehlen, nach einem Umbau nicht mehr auftauchen oder bewusst nicht öffentlich gefunden werden sollen.

Die robots.txt betrifft den Zugriff von Crawlern. Eine darüber gesperrte URL kann unter bestimmten Umständen trotzdem als Adresse in Suchergebnissen erscheinen. Die Datei ist deshalb kein verlässliches Mittel, vertrauliche Inhalte zu schützen oder jede Anzeige einer URL auszuschließen. Google erklärt diese Grenzen in der Dokumentation zu robots.txt.

Ändern Sie solche Regeln nicht allein aufgrund einer verkürzten Empfehlung. Prüfen Sie, welches Ziel erreicht werden soll und welche Bereiche betroffen sind. Eine pauschale Sperre kann unbeabsichtigt wichtige Inhalte oder benötigte Ressourcen betreffen. Vor einer Änderung sollten Ausgangsstand, Zuständigkeit und Rückweg geklärt sein. Bei einer Unternehmenswebsite ist eine nachvollziehbare technische Prüfung sinnvoller als das Übernehmen unbekannter Einstellungen.

Ein Ausschluss von der Indexierung kann anders umgesetzt sein als eine Crawling-Sperre. Entscheidend ist, welche Anweisung tatsächlich ausgeliefert wird und ob Google sie verarbeiten kann. Prüfen Sie deshalb nicht nur ein Häkchen im Verwaltungssystem. Auch Vorlagen, Plugins oder Servereinstellungen können den veröffentlichten Zustand beeinflussen. Eine technisch klingende Meldung sollte immer auf die konkrete URL bezogen werden.

Ein fiktives Beispiel ist eine überarbeitete Leistungsseite, die intern noch als Entwurf behandelt wurde. Wenn nach dem Start eine ungeeignete Einstellung bestehen bleibt, löst zusätzlicher Text das Problem nicht. Zunächst muss der veröffentlichte Zustand untersucht werden. Erst danach lässt sich entscheiden, ob eine technische Korrektur, eine bessere Verlinkung oder eine inhaltliche Überarbeitung erforderlich ist. Weitere Prüffelder beschreibt unser Ratgeber zu technischem SEO.

Vorgehen

Nach einer Veröffentlichung ist Geduld allein ebenso wenig eine vollständige Strategie wie ständiges Nachreichen derselben URL. Sinnvoll ist ein dokumentierter Ablauf. Was wurde verändert? Wann wurde es veröffentlicht? Welche Information liegt über den aktuellen Zustand vor? Diese Fragen helfen, eine neue Beobachtung mit dem tatsächlichen Arbeitsstand zu verbinden.

In der Search Console können berechtigte Nutzer einzelne URLs untersuchen und gegebenenfalls eine erneute Verarbeitung anstoßen. Google weist darauf hin, dass eine Anfrage keine Aufnahme garantiert und mehrfaches Einreichen denselben Vorgang nicht beschleunigt. Für größere Mengen kann eine Sitemap eine andere Aufgabe erfüllen. Die Möglichkeiten erläutert Google unter erneutes Crawlen anfragen.

Verwenden Sie einen Bericht als Hinweis zur nächsten Prüfung. Eine Meldung beschreibt nicht automatisch die gesamte Ursache und entscheidet nicht allein über die richtige Maßnahme. Notieren Sie das Datum und unterscheiden Sie einen aktuell geprüften Seitenzustand von älteren Informationen. So vermeiden Sie, eine bereits behobene Ursache erneut zu bearbeiten oder eine neue Änderung fälschlich einem alten Befund zuzuordnen.

Wenn die Seite nicht erreichbar ist, steht zunächst die technische Erreichbarkeit im Mittelpunkt. Wenn der Inhalt verarbeitet wurde, aber zur gewünschten Anfrage wenig beiträgt, ist eine inhaltliche Prüfung sinnvoll. Wenn mehrere fast gleiche Seiten miteinander konkurrieren, kann die Struktur untersucht werden. Diese Beispiele sind keine vollständige Diagnose, zeigen aber, warum nicht jedes Sichtbarkeitsproblem dieselbe Lösung hat.

Halten Sie für die weitere Arbeit eine konkrete Aufgabe fest. Benennen Sie betroffene URL, beobachtetes Problem, geplante Änderung und verantwortliche Person. Nach der Umsetzung wird genau dieser Befund überprüft. Eine laufend wechselnde Sammlung ungeprüfter Maßnahmen erschwert dagegen die Bewertung. Wie sich Analyse und Umsetzung zusammenführen lassen, zeigt der Ratgeber zum SEO-Prozess Schritt für Schritt.