Der ein oder andere von Euch, der sich das neue Feature der Google Webmastertools – Website Leistung – zu Gemüte geführt hat, mag sich vielleicht schon gefragt haben: „Was hat Google in meinem Adminbereich zu suchen“. Ein passwortgeschützter Bereich und die Suchmaschinen greifen munter darauf zu und rechnen aus, wie lange die einzelnen darin enthaltenen Funktionen und Seiten zum Laden brauchen. Und was machen beziehungsweise können die Suchmaschinen sonst noch alles in unserem Adminbereich? Keiner weiß das so genau…
Markus hat mich vor gestern darauf aufmerksam gemacht und mir gesagt, dass bei ihm keine einzige Seite des Adminbereichs in der Website Leistung der Google Webmaster Tools auftaucht und das wohl, weil er den Adminbereich zusätzlich noch einmal mit einem Passwortschutz versehen hat. Okidoki, bei unsereins funktioniert das mit der .htaccess und das wollen wir dann doch gleich mal ausprobieren, denn ehrlich gesagt passt es mir so ganz und gar nicht, dass Google und vielleicht auch noch tausende von anderen Suchmaschinen in meinem Adminbereich munter herumwühlen.
Eintrag in die robots.txt ist kontroproduktiv
Übrigens, wenn einer nun meint, dass er einfach den wp-admin Ordner in die robots.txt zu schreiben braucht, dann irrt er gewaltig. Gerade von Google wird die robots.txt seit einem halben Jahr ganz anders behandelt als sie sollte. Sie verhindert den Zugriff nicht mehr, sondern sorgt stattdessen dafür, dass die entsprechend enthaltenen Dateien im Index auftauchen. Es ist also kein Verbot mehr für die Suchmaschinen sondern eine Einladung. Wer das nicht glaubt, braucht sich einfach nur mal seine über die robots.txt gesperrten Bereiche in der Site-Abfrage ansehen. Das sieht dann z.B. beim Ordner /feed/, den ich bis dato noch nicht aus meiner robots.txt gelöscht habe, so aus:

Wenn man also den wp-admin Ordner in die robots.txt einträgt, dann sorgt man zumindest dafür, dass der gesamten Welt alle darin enthaltenen Dateien, Seiten, beziehungsweise Pfade bekannt werden. Das ist gesuchtes Futter für Angreifer von außen. Von einem Eintrag des wp-admin Ordners in die robots.txt rate ich also zwingend ab!
.htaccess Passwortschutz für den Adminbereich
Die einzig sinnvolle Lösung um Suchmaschinen vom Adminbereich fernzuhalten, scheint also ein weiterer Passwortschutz über die .htaccess zu sein. Eine ausführliche Beschreibung, wie das genau funktioniert, findet Ihr bei Chris.
Ich habe das Ganze nun einmal implementiert und warte gespannt darauf, ob in Kürze sich das Bild in den Webmaster Tools entsprechend verändert (es dauert ja ein paar Tage, bis Google das rafft und in den Webmaster Tools anzeigt). Bei den 10 Beispielseiten, die Google für die Berechnung der Website Leistung anführt, sind bei mir aktuell noch 6 Seiten aus dem Adminbereich enthalten. Und dabei sind ein paar echte lahme Krücken auszumachen, die mit Ladezeiten von 5,3 Sekunden etc. glänzen.
Wie schnell der Adminbereich ist, ist für die Performance der Webseite doch total unerheblich, denn in diesen Bereich greift sowieso kein User zu. Der Adminbereich ist einzig und alleine dem bzw. den Admins vorbehalten. Niemand anderes hat darin etwas zu suchen oder gar das Ganze für die Performance Berechnung heranzuziehen.
Update: Es sieht ganz so aus, als ob das mit dem htaccess Passwortschutz zumindest was die Website Leistung der Google Webmaster Tools betrifft nicht funktionieren kann und wird, da Google für diese Informationen auf Nutzer mit der Google Toolbar zugreift. Wer also selbst die Google Toolbar installiert hat und mit dieser auf seinen Adminbereich zugreift, liefert die Daten/Seiten unweigerlich an Google aus. Eigentlich müsste es ausreichen die PR Anzeige bei der Google Toolbar zu deaktiviert. Sicher bin ich mir dabei aber nicht. Ich für meinen Teil habe die Google Toolbar deativiert und anschließend auch deinstalliert.
An dieser Stelle noch mal Danke an Markus. Ohne Dich wäre ich nie darauf gekommen
Was mir dazu noch einfällt. Surfst Du zufällig mit Google Toolbar oder so? Evtl. kommt es auch daher das bei Dir Admin Seiten in den WMT´s auftauchen? Weil es ist mir immer noch schleierhaft wie Google die sonst zu Gesicht bekommt. Den eigentlich müsste ja auch der WP eigene Passwort Schutz einen Bot hintern was zu crawlen.
Danke für die Erwähnung
@Markus: Ja, die Google Toolbar habe ich aktiv. Soll ich das Ding mal eliminieren? Aber wahrscheinlich hilft es im Nachhinein auch nichts, um die Admin Seiten wieder rauszubekommen, oder? Ich habe ja noch so einige andere Domains mit denen ich das testen könnte.
Da kommen wir der Sache schon näher denk ich. Wenn Du die Möglichkeit hast die für bestimmte Domains mal auszumachen, kannst es so ja mal testen. Google sagt ja irgendwie, “Seiten die von Usern aufgerufen wurden” und irgendwie müssen die das ja registrieren. Ob die Seiten wieder verschwinden nach dem ausmachen der Toolbar weiß ich auch nicht, denke aber schon das wenn da ne Weile kein Zugriff mehr registriert wird, die das auch aktualisieren.
Jetzt hab ich doch was gefunden:
(http://www.google.com/support/webmasters/bin/answer.py?answer=158541&hl=de)
Es sollte reichen die PR Funktion zu deaktivieren meinem Verständnis nach?!
Heiliger Bimbam, dann brocke ich mir den Sch… also selbst ein

Wenn ich Dich nicht hätte
Im Ernst, ich werde die Toolbar nachher gleich mal deaktivieren und lass mich dann zukünftig von den Ergebnissen überraschen. Den einzigen Zweck den dieses Ding bei mir erfüllt hat war die PR Anzeige. Ich habe das Teil noch aus Zeiten, wo der PR noch wesentlich mehr Funktionen erfüllte.
Die Idee doch einfach mal bei Google selber nachzuschauen kam mir auch erst als ich den Kommentar vorher schrieb
Für den grünen balken nutze ich die SearchStatus Extension für den Firefox. Vielleicht ist das ja auch was für dich.
Okidoki danke, das habe ich mir auch gerade gezogen. Bis dato hatte ich SeoQuake, was aber doch ein bissi umständlich ist
Ihr meint also, das die Google Toolbar dafgür verantwortlich ist, das in den WMT unter Website-Leistung die WP-Admin Seiten auftauchen? Also bei mir sind auch 4 von 5 beispielseiten aus den wp-admin Bereich.
Welches Tool in der Google Toolbar soll da verantwortlich sein? Und wie könnte man da bestimmte Domains ausschliessen? Irgendwie kann ich das nicht erkennen.
Nun habe ich auf der Hilfeseite von Google zum Thema im Bereich “Über die Website-Leistung” im 2. Absatzt folgendes nach gelesen.
“… Diese Informationen werden direkt bei Nutzern abgerufen, die die Google Toolbar installiert und die PageRank-Funktion aktiviert haben. (Alle Daten werden gesammelt verarbeitet und es werden keinerlei personenbezogene Daten verwendet oder angezeigt.) …
Also müssen die Informationen über den “wp-admin” Bereich ja wirklich über diese Toolbar kommen. Die Frage ist nun. Wie schliesse ich für mich selber die Toolbar Informationen für meine eigene Domain aus. Ist dies überhaupt möglich?
@Stefan: Ob man einzelne Seiten ausschließen kann, weiß ich ehrlich gesagt nicht. Ich habe einfach die Google ‘Toolbar komplett runtergeworfen und deinstalliert. Du kannst ja mal versuchen, ob Du in den Toolbar Optionen selbst die PR Anzeige deaktivieren kannst. Eigentlich müsste das reichen. Ob und wie es geht, weiß ich jetzt leider nicht. Für mich war klar “runter damit”. Ohne PR Anzeige hat die Toolbar für mich so ganz und gar keinen Sinn…
@all: Gerade noch mal kurz darüber gebloggt (und auch hier einen kleinen Update eingefügt). Vielleicht gibt es ja noch weitere Experten wie Stefan und mich, die mit der Google Toolbar nur die Gegend heizen und sich wundern, warum ihre Adminseiten von Google in den WMTs angezeigt werden.
Was haltet ihr eigentlich von den Werte die da drin setehen? Nach meiner Meinung kann das nicht stimmen. Kommt mir viel zu lang vor.
Ich find die ehrlich gesagt auch zu hoch. Ich mess meistens mit Pingdom Tools.
Ich habe nun auch mein Ordner per Interface (Hetzner.de Webserver) die Datei eingestellt bzw. mit .htaccess versehen.
@Andy: Die Werte sind durchschnittliche Werte und wenn dann, wie z.B. bei mir, die Seite gemessen wird, mit der wir unsere Artikel posten, dann kommt da ein Wert von 5,x Sekunden raus, der wohl auch stimmt, in dem Moment wo wir publizieren oder aktualisieren. Das hat aber nichts mit den wirklichen Performance der Webseite in meinen Augen zu tun.
@Markus: Zu hoch oder zu niedrig, eigentlich ist es egal, denn es ist wie auch die vielen Statistiktools nur ein weiteres anderes Instrument.
@Noxed: Glückwunsch