MarketingRadar

Deindexierung von Webseiten ohne noindex – Schnell und sicher!

Knapp 2 Milliarden Websites gibt es. Nicht alle, aber sehr viele davon finden sich im Index von Suchmaschinen wie Google wieder und bieten den Betreibern somit die Möglichkeit Reichweite für die eigene Webseite zu erzielen. Allein die bloße Anzahl an Domains zeigt, dass für die Beurteilung dieser Webseiten Google gigantische Ressourcen bereit stellen muss. Da eine der zahlreichen Aufgaben denen sich der Suchmaschinengigant aus Mountain View (Kalifornien) ausgesetzt sieht, aber nicht nur die Indexierung von Webseiten, sondern auch die Deindexierung ist, sollte man es Google als Webseitenbetreiber so einfach wie nur möglich machen.

Vor allem als Webseitenbetreiber, der diese Aufgabe von einem Dienstleister umsetzen lässt, sollte an dieser Stelle ganz genau hinsehen…

Man hört oder liest immer wieder, dass Google bezüglich der Deindexierung von Webseiten träge bis sehr träge, bspw. mit der Wahrnehmung von Noindex-Meta-Tags, umgeht. Denn viele SEOs: haben ihre Seiten bspw. mit dem Meta-Tag oder X-Robots-Tag „noindex“ deindexiert, die Seiten erscheinen aber weiterhin munter in den Suchergebnissen. In unserem heutigen Artikel wollen wir euch zeigen, wie ihr diesen Schritt der Deindexierung beschleunigen könnt. Methoden zur Deindexierung gibt es zahlreiche. So werden bspw. zusätzliche Sitemaps angelegt, die nur deindexierte URLs enthalten – mit dem Hintergedanken, Google würde die Sitemap wahrnehmen und die URLs entsprechend dem Befehl deindexieren. Unsere Erfahrung lässt uns an der Wirksamkeit dieser Methode stark zweifeln, denn wir haben noch keinen Fall erlebt, in dem eine noindex-Sitemap die Deindexieung beschleunigt hat.

Deindexierung mit dem URL Removal Tool!

Ein weiterer Ansatz ist eine Funktion aus der Search Console – URLs aus dem Index zu entfernen. Diese Methode bringt den SEO schon näher an das Ziel, allerdings funktioniert dieser Ansatz jedoch von Haus aus nur für einzelne URLs und wäre somit für umfangreiche Webseiten eine echte Mamutaufgabe und alles andere als effizient. Das heißt, um eine Reihe der URLs mithilfe dieses Tools aus dem Google-Index zu entfernen, muss man jede einzelne URL manuell eingeben. Vor allem als Webseitenbetreiber, der diese Aufgabe von einem Dienstleister umsetzen lässt, sollte an dieser Stelle ganz genau hinsehen. Ansonsten wird es – richtig – sehr teuer (zumindest dann, wenn sie ihre Agentur nach Aufwand bezahlen)!

Das URL-Entfernungstool kann diesen Prozess ein wenig automatisieren, indem man die (kostenpflichtige) Chrome Erweiterung – GSC Bulk URL Removal Tool nutzt:

  • Chrome Erweiterung installieren und aktivieren,
  • Liste der zu entfernenden URLs in eine txt-Datei speichern (jede URL sollte hierzu in einer neuer Zeile angelegt werden)
  • Das URL-Entfernungstool in der eigenen Search Console aufrufen.
  • Ist die Erweiterung installiert und aktiviert, wird man das folgende Bild in der Search Console sehen:

Removal Tool zur Deindexierung von Webseiten - Google Search Console - Choose File

  • Man klicke die neue Option „Choose file“ an, wähle die Text-Datei mit der URL-Liste und, nach einer Weile, sieht man folgendes Bild:

Removal Tool zur Deindexierung von Webseiten - Google Search Console - Overview

Das Ergebnis ist sehr zufriedenstellend, denn alle URLs sind zur Removal Queue hinzugefügt.

Bitte beachten!

  1. Das URL Removal Tool eignet sich nach Aussage von Google nur für die zeitlich beschränkte Deindexierung!
  2. Google fand diese Erweiterung als zu ressourcenintensiv für seine Infrastruktur – daher kann man die Erweiterung direkt bei Github herunterladen. Installiert wird sie in den Einstellungen von Chrome: Developer Modus aktivieren und entpackte Erweiterung laden.
  3. 7.09.2018 Update: Mozilla Foundation geht nicht so zimperlich mit Google’s Ressourcen um und hat unsere Erweiterung innerhalb von Minuten freigeschaltet. Bitte sehr, da ist sie: Google Search Console Bulk URL Removal Tool for Firefox

Noindex Overkill – Für die Eiligen!

Jeder von Euch hat sicherlich schon einmal den Ausspruch gehört, dass Internet (und als Synonym hierfür wird oft Google gesehen), vergisst nie! Wenn wir jedoch bestimmte URLs für immer los werden wollen, und zwar so schnell es geht, müssen wir zu einer Overkill-Methode greifen, die definitiv und sehr schnell funktioniert. Ein großer Vorteil dieser Methode, dass für den Nutzer, auf der Seite selbst nichts ändert. Nutzer sehen die Seite mit ihrem Inhalt uneingeschränkt.

Diese Methode funktioniert am besten da, wo die einzelnen Seiten mit Schablonen gebaut werden. Wir fügen zu der Schablone-Datei, ganz am Anfang, folgende Zeilen hinzu:

<?php
     if ($_SERVER['QUERY_STRING'] !== '(^|&)(parameter_1|parameter_2)') {
     Header ("HTTP/1.1 410 Gone");
     Header("X-Robots-Tag: noindex, nofollow", true);
     }
?>

Was wollen wir mit der „Noindex Overkill“ erreichen?

Wir wollen alle parametrisierten URLs, außer solchen, die die Parameter parameter_1 oder parameter_2 haben, so schnell es geht aus dem Google-Index zu schmeißen. Dabei wollen wir, dass unsere menschlichen Besucher weiterhin die Seiten und ihre Inhalte sehen, und keine ErrorDocuments getriggert werden.

Wie setzen wir die Methode des „Noindex Overkill“ um?

Wir klären beim Laden jeder einzelnen Datei, ob die eventuell vorhandenen Parameter nicht unseren Ausschluß-Kriterien entsprechen. Sind es andere Parameter – spielen wir für sie den Status Code 410 Gone aus.

Was bewirkt die Methode „Noindex Overkill“?

  • Googlebot erfährt, dass die Seite ersatzlos gestrichen wurde, und in Kürze nachdem die Seite erneut gecrawlt wurde, wird sie aus dem Index entfernt,
  • Nutzer merken weiterhin nichts und bekommen ihre Inhalte bei der betroffenen URL wie gewöhnt.

In diesem Sinne wünschen wir Euch eine blitzschnelle Deindexierung dessen, was aus dem Google-Index verschwinden soll! Nutze die Chance, denn die Reduzierung der zu crawlenden Seiten einer Domain von bis zu 30% und mehr, zahlt sich definitiv aus. Die Hauptstichworte an dieser Stelle sind – Relevanz & Fokus! Außerdem gibt einem die Deindexierung von Webseiten ein ähnlich gutes Gefühl, wie der Herbstputz. Schmeißt den „unwichtigen Müll“ weg und ihr findet Dinge wieder (in dem Fall die Besucher Eurer Webseiten), die ihr lange vermisst habt bzw. glaubtet nicht mehr wieder zu finden. Sollten bei der technischen Umsetzung allerdings Fragestellungen entstehen, wisst ihr wo wir zu finden sind. Hinterlast einfach einen Kommentar und wir werden mit Sicherheit gemeinsam eine Lösung  finden.

Evgeniy Orlov

Evgeniy Orlov ist Senior SEO Consultant bei mediaworx berlin AG. Er hilft Unternehmen schnelle und effektive Seiten zu bauen, die von den Nutzern geliebt und von Google respektiert werden. Die Highlights in seinem Repertoire sind Indexierungsmanagement, Performance Optimierung, Data Mining sowie die Lösung außergewöhnlicher technischer Fragestellungen.

Newsletter-Anmeldung