Robots.txt – Double Content Einträge sind kontraproduktiv

@Francis: Ja stimmt, ein langweiliges SEO Leben wär das

@Michael: Ich kenne Drupal zwar nicht, aber das lässt sich sicher irgendwie lösen.

@Alex: Warum es ein Fehler sein soll, die Feeds auf noindex stehen zu haben, verstehe ich nicht ganz. In der Google Blogsuche vertreten zu sein steht da kontra Double Content. Bevor ich mich wie eine verrückte mit Double Content abschieße, bin ich lieber in der Google Blogsuche nicht vertreten.

@Markus: Es heißt ja nicht, dass die robots.txt generell der Vergangenheit angehört. Es geht nur darum seine Vorgehensweise bezüglich verlinkter Seiten (extern wie intern) die nicht indexiert werden sollen zu ändern. In diesen Fällen bringt der robots.txt Eintrag das kontraproduktive Gegenteil. Gerade bei Session IDs zum Beispiel damit verbunden, dass es zu Rankingverlusten führt. Die doppelte Absicherung funktioniert in solchen Fällen gar nicht mehr. Canonicals können z.B. nicht mal gewertet werden. Das erklärt der Google Mitarbeiter sehr schön in dem im Beitrag verlinkten Hilfe Artikel

@Bolle: Das kommt immer auf den Blog individuell, seine Einstellungen und seine Schreibweise an. Wenn man ständig die gleichen Beiträge in die gleichen z.B. Kategorien und Tags einstellt, noch dazu nicht verkürzt auf den Übersichtsseiten anzeigt, das Ganze indizieren lässt, dann gibt es DC vom Feinsten

@Kristin: Für die Canonical habe ich ein bestehendes Modul genommen und dieses für meine Bedürfnisse umprogrammiert (inc/get_canonical_url.php mit include in der header.php).

Die einzelnen Seiten mit dem robots meta Tag noindex zu versehen geht durch diverse php Abfragen in der metatags.php. Dazu musste ich den generellen robots meta Tag aber natürlich entfernen. Ich habe sowieso eine ziemlich lange metatags.php da ich schon vor längerem die doppelten Titel, Description etc. Meldungen in den WMTs manuell dadurch abfange. Ãœber die Filenames fängt man die einzelnen Seiten ab, z.B. if (strstr($PHP_SELF, FILENAME_ADVANCED_SEARCH))
In den einzelnen Filenames z.B. bei den Produktseiten, Kategorien etc. die ja auf index sind, fange ich zusätzlich noch mit request_tye SSL ab und setze die entsprechenden SSL Seiten auf noindex.
Theoretisch kannst Du es eventuell auch ganz unten in der metatags.php über den letzten else ausprobieren, musst aber kucken, dass oben dann alle extra drin sind, die auf index stehen sollen. Das kann u.U. in einer ziemlich großen Bastelei ausarten (bei mir war es eine solche).
Zudem sind noch ein paar php Dateien im Hauptverzeichnis, die selbst die metadaten eingetragen haben. Suchen, finden, mit den index mit noindex ersetzen (z.B. alle popup_xxx.php).
Das alles aber bitte mit Vorbehalt. Meine Shopversion ist Uralt (3.04 ohne jegliches SP) und entspricht wahrscheinlich nicht Deiner, die in einigen Bereichen schon wieder anders funktionieren könnte.

@Alex: Ich bin ganz und gar nicht in der Google Blog-Search zu finden Sollte das wirklich Nachteile haben?

@Francis: Okidoki, Du meinst den Feed auf index zu stellen bringt keine Probleme? Könnte ich natürlich mal ausprobieren. Bis dato wäre ich gar nicht auf die Idee gekommen (hab seit Urzeiten den meta tag noindex drin) und wenn ich so rumkucke auf anderen Blogs, ist das oft auch nicht anders. Als ich die Tage bei Dir gekuckt hatte, war der noindex Meta Tag auch noch aktiv, jetzt nicht mehr. Hast Du umgestellt?

@Francis: Ich probier das hier einfach mal aus und mal sehen was das und dann auch die Auswirkung auf die Blogsearch hat. Probieren geht über studieren.

@Francis und Alex: Ich bin jetzt gerade überrascht und irritiert. Habe soeben im Robots Meta Plugin umgestellt und das Häkchen bei “noindex all RSS Feeds” rausgenommen und wollte mir eine Aufgabe machen um die Indexierung in der Blogsearch zu überprüfen und sehe, dass ich doch in der Blogsearch drin bin seit ein paar Tagen *kopfkratz*. Als ich das letzte Mal geprüft hatte (durch Alex auf die Blogsearch aufmerksam gemacht) war ich nicht gelistet.
Das einzige was ich in der Zwischenzeit geändert hatte war der entsprechende robots.txt Disallow Eintrag, den ich aufgrund diesen Beitrages mal entfernt hatte (ich schleppe die alten robots.txt Einträge eh schon viel zu lange aus Änderungsfaulheit – tut ja auch nicht wirklich Not – mit mir rum und weiß dass ich sie nicht brauche).

Das bedeutet: robots.txt Disallow Feeds = keine Listung in Google Blogsearch ungeachtet dessen ob die Feeds auf index oder noindex steht mit dem entsprechenden Robots Meta Tag.
robots.txt Allow Feeds (will ich jetzt einfach mal so nennen) = Listung in Google Blogsearch ungeachtet dessen ob die Feeds auf index oder noindex stehen…

Theoretisch dürfte es dann ja wurscht sein, ob man den Noindex Meta Tag in den Feeds verwendet oder nicht. Oder macht es doch was aus im normalen Google Index? Ich verstehe gerade die Funktionsweise von Google nicht mehr

@Dieter: Den googlebot image schließe ich aus, weil ich keine Lust habe, dass meine Bilder bei der Google Bildersuche erscheinen. Das WebsiteWiki finde ich persönlich ziemlich nervig und deswegen steht es auch in meiner robots.txt. Die anderen beiden haben hier vor einigen Monaten tausende von 404 Seiten innerhalb kürzester Zeit produziert. Der robots.txt Ausschluß hilft aber nicht viel, mittlerweile habe ich sie zusätzlich noch über die htaccess gesperrt.

Ja, Du hast das richtig verstanden. Ich habe die beiden letzten beiden einfach noch drin gelassen in der robots.txt, obwohl sie raus könnten, weil ich sie ja mittlerweile mit der htaccess sperre

@Alex: Vor der robots.txt Entfernung, die ja schon einige Tage zurück liegt, war auch ich sicher nicht in der BlogSearch gelistet. Nun schon. Aber das liegt nicht an der Einstellung im Robots Meta Plugin sondern an der robots.txt. Und das wundert mich doch etwas, denn Google schreibt selbst in den Infos der Blogsearch, dass sie die robots.txt und die Meta Tags beachten. Letzeres scheint aber gerade wohl nicht der Fall zu sein
Habe alle meine Blogsysteme gestern durchgetestet und lustigerweise waren alle in der BlogSearch, die den Feed über die robots.txt nicht ausgeschlossen hatten. Mit dem Robots Meta Plugin standen aber alle Feeds auf noindex. Verwirrt mich doch etwas…

@Markus: Das liegt wohl daran, dass Du nicht mit dem Meta Tag robots noindex arbeitest. Scheinbar muss für Google nur eines der beiden (Meta Tag / robots.txt) aktiv sein, und das andere wird ignoriert. Da ich das aber für einen aktuellen Bug von Google halte (bei mir war es ja genau andersrum), würde ich lieber mal den robots.txt Eintrag entfernen. Abgesehen davon, was bringt Dir der robots.txt Eintrag, außer dass er kontraproduktiv werden kann?