So indexieren Sie Ihre Website erfolgreich bei Google

Sie haben eine neue Website für Ihr Unternehmen erstellt oder eine bestehende Homepage überarbeitet. Nun möchten Sie natürlich, dass Google die neuen Webinhalte möglichst schnell erkennt und sie bei einer Suche mit inhaltlich relevanten Suchbegriffen auf hohen Positionen in der Trefferliste anzeigt. Dann müssen Sie dafür sorgen, dass Google Ihre Website besucht, analysiert und indexiert, also in den Suchmaschinenindex aufnimmt. Aber wie stellen Sie es an, dass die Suchmaschine Ihre Seite schnell und vollständig in den Google-Index aufnimmt? Wir erklären Ihnen, was Sie dafür tun müssen und wie Sie damit die Such- und Content-Performance Ihrer Website optimieren.

Wie funktioniert der Crawler von Google?

Der Google-Index ist die Datenbank, in der Google alle Webseiten speichert, die die Suchmaschine im Internet gefunden hat. Nur Webseiten, die sich im Google-Index befinden, können in den Suchergebnissen von Google erscheinen. Der Crawler (auch Webcrawler, Spider oder Robot genannt) ist das Online-Tool, das die Index-Datenbank füllt. Der Crawler von Google wird Googlebot genannt. Er durchsucht das Web automatisch nach geänderten oder neuen Webseiten, analysiert diese selbstständig und überträgt die gefundenen Inhalte in den Index der Suchmaschine. Dazu folgt er den Links von einer Webseite zur nächsten und sammelt Informationen über jede Seite.

Zusätzlich erkennt der Crawler externe Links auf andere Websites und trägt diese in eine To-do-Liste ein. Sind die verlinkten Websites oder Landingpages noch nicht im Index enthalten oder wurden sie längere Zeit nicht aktualisiert, wird der Crawler sie demnächst besuchen. Auch Backlinks in sozialen Netzwerken auf Ihre Seite werden verfolgt. Für die Aufnahme Ihrer Seite bei Google und anderen Suchmaschinen müssen Sie sich somit in der Regel nicht anmelden, denn der Crawler kommt von selbst.

E-Book kostenlos anfordern – Online-Marketing für KMU!

Wurde meine Website bereits indexiert?

Auch wenn es für Ihr Online Marketing wünschenswert wäre, erfolgt die Indexierung durch Google nicht automatisch und sofort, wenn Sie Ihre Website online stellen oder aktualisieren. Es gibt keinen festen Zeitplan dafür, wie schnell Google Ihre neue Seite indexiert. Trotz hoher Indexdynamik kann es Tage und unter Umständen Wochen dauern, bis Google eine neue Homepage gefunden, gecrawlt und verarbeitet hat. Im schlimmsten Fall wird Ihre Website überhaupt nicht gecrawlt: Wenn keine Links von anderen Websites auf Ihre Website verweisen, hat Google auch keine Kenntnis von ihrer Existenz.

Möglicherweise wurde Ihre Website bereits von Google besucht und Ihre Inhalte in der Datenbank nur noch nicht aktualisiert. Es kann einige Zeit dauern, bis die zuletzt gecrawlten Inhalte in den Suchergebnissen erscheinen. Mit einem Schnellcheck über die Site-Abfrage in der Google-Suche können Sie sofort herausfinden, ob Google Ihre Seite grundsätzlich berücksichtigt: Geben Sie dazu site:ihredomain.de (ohne das www am Anfang der Domain) in die Adresszeile ein und ersetzen Sie ihredomain.de durch den Namen Ihrer Domain. Wenn Ihre Website jetzt auftaucht, kann sie prinzipiell auch vom Googlebot gecrawlt werden.

Kommt der Crawler immer wieder auf meine Seite?

Nach der Indexierung besucht der Crawler die Website immer wieder, um zu überprüfen, ob die Daten im Index noch aktuell sind oder ob sich die Website verändert hat und deshalb ein Index-Update fällig ist. Neben dem Textinhalt, der Seitenstruktur, den Keywords und Links der Webseite berücksichtigt der Crawler auch Bilder, Videos, PDF-Dateien und viele weitere Dateiformate.

Mit der Mobile-First-Indexierung folgt Google dem Trend, dass mittlerweile der größte Teil aller Suchanfragen über Smartphones und Tablets läuft. Um die Qualität der Google-Suchergebnisse bei der mobilen Suche zu gewährleisten, berücksichtigt der Crawler bei neuen Inhalten vor allem mobile Webseitenversionen. Wenn Ihre Website auf einem responsiven Webdesign basiert, sind die Voraussetzungen für den Mobile-First-Index erfüllt.

Ihr Vorteil: Haben Sie sich Ihre Homepage von uns erstellen lassen, brauchen Sie sich um SEO und die Google-Suche nicht zu kümmern – die Seiten sind schon optimiert!

Wie beschleunige ich die Indexierung bei Google?

Wenn Sie nicht auf die natürliche Indexierung warten möchten, können Sie den Googlebot ein wenig anschubsen. Dazu verwenden Sie die Google Search Console (früherer Name: Google Webmaster Tools), ein kostenloses Suchmaschinen-Tool von Google. Es hilft Ihnen, Ihre Website in der Google-Datenbank zu verwalten und die reduzierten Funktionen von Google Analytics zu optimieren. Sie benötigen lediglich ein Google-Konto:

Melden Sie sich mit Ihrer E-Mail-Adresse in Google Search Console an. Geben Sie die URL Ihrer Website ein und bestätigen Sie, dass Sie der Inhaber der Website sind. Unter „Indexierung > Seiten“ erfahren Sie, welche einzelnen Seiten Ihrer Website derzeit von Google berücksichtigt werden und welche nicht. Der Bericht enthält auch weitere Informationen zu möglichen Indexierungsproblemen.

Mit dem URL-Prüftool in der Search Console übermitteln Sie neue Seiten an Google, die das System dann nötigenfalls crawlt und indexiert. Auf diese Weise erfahren Sie, ob eine URL überhaupt indexierbar ist. Gleichzeitig wird Google über die Existenz der betreffenden Seite informiert. Um das URL-Prüftool zu öffnen, klicken Sie in der Search Console auf „URL-Prüfung“. Geben Sie die URL der gewünschten Seite sein – bei einer neuen Website die zentrale index.htm(l)-Datei. Meldet Google „URL ist nicht auf Google“ oder Ähnliches, stößt ein Klick auf „Indexierung beantragen“ das Crawlen an.

Der Trick mit der Sitemap als Indexierungshilfe

Ein einfacher, aber wirksamer Trick, um Google und anderen Suchmaschinen mitzuteilen, welche Webseiten sie indexieren sollen, ist die Erstellung einer Sitemap, also einer strukturierten Liste der einzelnen Seiten Ihres Webangebots. Der Googlebot nutzt diese Liste als Navigationshilfe, um Ihre Homepage systematisch zu durchsuchen und die Zusammenhänge zwischen den einzelnen Dateien zu verstehen.

Gerade bei großen Websites mit vielen Unterseiten und/oder einer unkonventionellen Struktur ist eine Sitemap für die Suchmaschinenoptimierung unabdingbar, da sonst Google womöglich einzelne Inhalte übersieht und nicht alle Seiten indexiert. Auch wenn eine Website neu ist, nur wenig Traffic hat und nur über wenige Backlinks verfügt, ist die Sitemap ein wichtiges SEO-Tool, damit der Google-Crawler die gesamte Seitenhierarchie und nicht nur die Hauptseiten berücksichtigt. Enthält Ihre Website viele Bilder und Videos, können Sie diese Inhalte in eine Sitemap aufnehmen und so die Wahrscheinlichkeit erhöhen, dass Ihre Fotos, Grafiken und Videos in der Google-Bildersuche und bei einer gezielten Suche nach Videoinhalten als Treffer erscheinen.

Der Google-Crawler unterstützt die Sitemap-Formate Text/HTML und XML. Um eine Sitemap-Datei zu erstellen, können Sie ein Online-Tool wie z. B. GlooMaps nutzen. Damit Google Ihre Sitemap findet, müssen Sie diese in der Datei robots.txt referenzieren. Fügen Sie dazu folgende Zeile ein:

Sitemap: http://www.ihredomain.de/sitemap.xml

Möchten Sie auch eine separate Bilder– und Video-Sitemap hinzufügen, erweitern Sie die Datei robots.txt um insgesamt drei Zeilen:

Sitemap: http://www.ihredomain.de/sitemap.xml

Sitemap: http://www.ihredomain.de/video-sitemap.xml

Sitemap: http://www.ihredomain.de/bilder-sitemap.xml

Damit Google Ihre Website aufgrund der Sitemap schneller berücksichtigt, sollten Sie die Sitemap zusätzlich zum Eintrag in der robots.txt-Datei über die Google Search Console im Menü „Indexierung > Sitemaps > Neue Sitemap hinzufügen“ hinterlegen. Auf der Google Search Console lassen sich anstelle von XML-Sitemaps auch RSS-Feeds übermitteln.

Was kann eine Google-Indexierung blockieren?

Es müssen gar nicht alle Seiten Ihrer Website im Google-Index enthalten sein. Es genügt, wenn die wichtigen und inhaltlich relevanten Seiten indexiert werden, die das Suchinteresse Ihrer Kunden und Nutzer widerspiegeln. Google erkennt, welches Suchinteresse hinter einer Suchanfrage steht und welches Informationsbedürfnis befriedigt werden soll. Webseiten, die dafür nicht relevant sind, werden im organischen Ranking nicht berücksichtigt. Dazu gehören beispielsweise Standardinhalte zu Lieferbedingungen, Versandkosten und Datenschutzbestimmungen, aber auch Inhalte auf Seiten, die eine Anmeldung erfordern.

Noch weitere Gründe können dazu führen, dass Webseiten ganz oder teilweise nicht von Google indexiert werden:

E-Book kostenlos anfordern – SEO für Einsteiger!

Die Indexierung von Webinhalten begrenzen oder verhindern

So wünschenswert es für ein Unternehmen ist, über Google optimal gefunden zu werden – es gibt Webinhalte, die nicht über Google gefunden werden sollten, zum Beispiel Landingpages, die Sie für bestimmte Aktionen vorgesehen haben.

Seiten generell sperren: Wenn Sie nicht möchten, dass der Googlebot den dort angebotenen Content crawlt, fügen Sie das Meta-Tag

in den -Bereich der betreffenden Seite ein. Dadurch verhindern Sie die Indexierung durch sämtliche Suchmaschinen. Mit dem Robots-Meta-Tag können Sie steuern, ob eine bestimmte Seite indexiert und in Suchergebnissen angezeigt werden soll. Mit dem Attribut name=“robots“ legen Sie fest, dass die Anweisung für alle Crawler gilt.

Bestimmte Suchmaschinen fernhalten: Wenn Sie einen bestimmten Crawler von der Indexierung ausschließen möchten, ersetzen Sie „robots“ durch den Namen des entsprechenden Crawlers. Wollen Sie z. B. ausschließlich Google aussperren, verwenden Sie dieses Meta-Tag:

Linkverfolgung erlauben: Damit der Google-Crawler Ihre gesamte Website zu SEO-Zwecken indexiert, sollte er allen Links folgen – was Sie mit dem Einsatz des noindex-Meta-Tags ja gerade verhindern. Die Lösung ist die Attributkombination „noindex, follow“ (Dokument nicht indexieren, Links folgen): Damit weisen Sie den Crawler an, die Inhalte zwar nicht in den Suchindex zu übernehmen, den Links darauf aber trotzdem zu folgen. So sieht das vollständige Meta-Tag aus:

 <meta name=“robots“ content=“noindex, follow“>

Spam verhindern: Auf Ihrer Seite gibt es öffentlich beschreibbare Bereiche – und genau auf die haben es Spammer typischerweise abgesehen, um automatisiert unerwünschte Werbebotschaften zu platzieren. Damit Spamversender erst gar nicht auf die betreffenden Webseiten gelangen, teilen Sie dem Suchmaschinenbot mit, dass Sie alle von der Seite ausgehenden Links (Outlinks) vom Crawlen ausschließen wollen:

<meta name=“robots“ content=“noindex, nofollow“>