• Anzeige

Spam-Bots wie trafficmonetize oder 4webmasters aus Analytics entfernen

Wir kennen sie alle! Denn momentan machen sie uns die Besucherstatistiken kaputt. Die Rede ist von Spam-Bots, wie semalt oder 4webmasters. Sie tauchen mit unzählig vielen Seitenzugriffen in unseren Statistiken auf und keiner weiß genau, warum oder wieso.

Schon vor einigen Monaten hab ich mich über die Bots geärgert und sie ausgeschlossen. Leider ohne Erfolg. Doch jetzt habe ich eine einfache Methode gefunden, um meine Statistiken wieder sauber zu halten 😉 Wie das geht, verrate ich dir hier:

Spam-Bots per htaccess ausschließen

Angefangen hat es bei mir mit semalt. Ständig hatte ich den Crawler oder Bot auf meiner Seite und er tat nichts außer meine Statistik zu verfälschen. Viele Seitenaufrufe, extrem hohe Absprungraten (von z. T. sogar 100%), Aufenthaltsdauer gleich Null. Genau das, was man als SEO besonders gerne mag.

Ich tracke meine Seiten mithilfe von Google Analytics und jeder der sich ein bisschen mit SEO auskennt, weiß wie wichtig Aufenthaltsdauer und Bounce Rate sein können. Die Aufrufe von semalt & Co. wurden in Analytics erfasst, also wusste Google davon. Da ich mir nicht sicher war, ob dies nun schädlich für meine Seite ist oder nicht, habe ich angefangen, solche Bots per htaccess zu sperren.

Philipp Clarin hat genau zu diesem Thema eine tolle Anleitung geschrieben. Mithilfe des Folgenden Code-Schnippsels, welches in die htaccess kommt, kann  man jeden X-beliebigen Crawler blockieren:

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule .* – [F]

Genau nach diesem Vorgehen habe ich so einige Spam-Bots ausgeschlossen. Ich hatte sogar einige Zeit lang Ruhe und eine saubere Besucherstatistik. Doch leider hielt dies nicht lange an.

Neue Spam-Bots tauchten in Google Analytics auf

Bildschirmfoto 2015-06-23 um 10.29.35

Getreu dem Motto: „Neue Spam-Bots braucht das Land“, ging es munter weiter und es kam der Tag an dem der Ausschluss über die htaccess nicht mehr ausreichte. Ihr seht im Screen wie viele Zugriffe allein 3 dieser Bots innerhalb von nur einem Monat erzeugt haben und das obwohl sie per htaccess gar keinen Zugriff auf die Seite haben.

1. Versuche: Bots ausschließen in Analytics

In Google Analytics habt ihr unter Verwalten und dann Einstellungen der Datenansicht die Möglichkeit Spam-Bots automatisch auszuschließen. 

Google_Analytics

Sobald ihr diesen Haken setzt, werden Bots und Spider herausgefiltert. Dummerweise funktioniert das nur mit den Bots und Spidern die Google bereits kennt. Gefühlt kommen aber fast täglich Neue dazu, sodass Google hier ziemlich hinter her hinkt.

Kurz gesagt, gegen 4webmasters & Co. bringt diese Funktion bis dato rein gar nichts.

2. Versuch: Ausschluss per Filter

Nachdem auch der Haken in Analytics nichts gebracht hat, war ich echt sauer. Mich nervten die Spam-Bots und ich wollte sie aus der Statistik raus haben. Ich wusste nur noch nicht wie, denn durch den htaccess-Ausschluss ging ich weiterhin davon aus, dass die Bots auch Zugriff auf meine Website hatten. Hatten sie aber gar nicht. Nicht meine Website war das Problem sondern mein Analytics.

Die Bots hatten es geschafft sich in meine Analytics-Statistik einzuschleichen und diese zu verfälschen. Also musste ich sie jetzt nur noch von der Statistik fern halten 😉

Es braucht nur 5 einfache Schritte und schon ist man den Mist los 😀

  1. Schritt: Geh in Google Analytics auf Verwalten
  2. Schritt: klicke auf Filter
    Bildschirmfoto 2015-06-23 um 10.55.01
  3. Schritt: erstelle einen neuen Filter
    Bildschirmfoto 2015-06-23 um 10.54.45
  4. Schritt: gib den Bot Namen als ausschließenden Faktor einBildschirmfoto 2015-06-23 um 10.51.20
  5. Schritt: speichern und mit dem nächsten Bot weiter machen

Es dauert ca. 24 Stunden bevor die Filter richtig greifen, also habt etwas Geduld. Es lohnt sich, denn seitdem ich die Spam-Bots per Filter ausgeschlossen habe, tauchen sie in meiner Statistik nicht mehr auf.

Leider muss man für jeden Bot einen eigenen Filter anlegen. Ich hatte es erst versucht, indem ich die Hostnamen mithilfe eines „|“ getrennt habe. Dies hat bei mir aber nicht funktioniert. Wer eine andere Lösung hat, immer her damit 😉

Falls ihr mehrere Properties in einem Analytics Konto habt, dann könnt ihr zumindest auf die bereits angelegten Filter zugreifen. D. h. ihr müsst nur für eine Website die Filter anlegen und könnt diese dann für alle anderen Seiten übernehmen. Dazu klickt ihr einfach auf „Vorhandene Filter“ und wählt die entsprechenden aus.

Fazit: manchmal sind die einfachsten Lösungen die besten

An die Idee einen Filter einzsetezn um die Spam-bots wie 4webmasters, traffimonetize oder best-seo-offer zu beseitigen, bin ich erst gar nicht gekommen. Dabei ist sie so simpel und wirklich effektiv.

Probierts einfach  mal aus und schreibt mir, wie ihr die Bots ausgeschlossen habt.

22 Comments:

  1. Mittlerweile verursachen diese Spambots auch viel „Traffic“ über Direktzugriffe, da kann man dann nicht so einfach die Referer sperren. Und auch bei den organischen Zugriffen hab ich sie schon gesehen. Ärgerlich auf jeden Fall, da sollte Google als Anbieter von Analytics so langsam auch mal eine globale Lösung präsentieren.

    • Hi Daniel,
      ja da warten wir alle wohl sehnsüchtigst drauf.
      Bis Google soweit ist,kann man sich nur mit solchen Tricks weiter helfen.
      Zumindest soweit wie es geht 😉

      • Hallo Sabrina,

        ich hab auch schon alle drei Möglichkeiten getestet. Die .htaccess künstlich aufblähen finde ich auf dauer nicht sehr geeignet. Die Filter helfen zwar, aber trotzdem kommt teilweise der eigentlich gefilterte Spam durch – warum auch immer.

        Die beste Lösung ist aktuell eine neue Property anzulegen. Hab ich jetzt seit gut drei Wochen. Seit ein paar Tagen fängt es aber auch hier an wieder mehr zu sein. Am Anfang war komplett ruhe. Auch die Spammer stellen sich eben auf unsere Lösungen ein.

        Wie Daniel schon gesagt hat, hier muss auf Dauer eine sehr schnelle Lösung von Googles Seite kommen. Da Google Analytics sonst extrem verfälscht wird. Und das kann ja auch nicht Google gefallen.

        Viele Grüße
        Johannes

    • Danke für diesen Beitrag und auch danke an Daniel für die Ergänzung. Hat mir sehr weitergeholfen. Hoffe auch das Google da bald eine Lösung parat hat, da ich bereits mehrmals nachhelfen musste.

    • Spam-Bots. Nervige Angelegenheit, die Dinger. Sehr informativer Artikel und ich stimme Daniel voll uns ganz zu. Google muss echt mal was dagegen unternehem, nervt nämlich sich immer selbst um die „Viecher“ zu kümmern.

  2. Als Ergänzung noch: wenn man den Filter etwas umstellt, sollte ein einzelner Filter ausreichen.

    Statt „Vordefiniert“ wählt man „Benutzerdefiniert“, im Filterfeld „Verweis“ und dann kann man beim Filtermuster einen regulären Ausdruck eingeben, z.B.

    (?:([^. ]+)\.)?(?:([^.]+)\.)?(buttons-for-website|darodar|econom|googlsucks|ilovevitaly|makemoneyonline|simple-share-buttons|social-buttons|semalt|free-social-buttons|event-tracking)\.(com?|de|net)

    Kann man natürlich noch beliebig erweitern.

  3. Ich hatte bis jetzt immer das Glück, dass ich von den Spam Bots verschont geblieben bin.. Trotzdem danke für den Tutorial – das habe ich gleich mal in meinen Favoriten gespeichert falls sie dann doch mal kommen =).

    Gruß
    Marvin

  4. Gegenüber der htaccess sicherlich die einfachere Lösung. Aber die Grundproblemtatik bleibt: man muss alles selber immer wieder nachpflegen.

    Ich hoffe da eher auf ein Vorgehen durch Google selbst. Oder gibt es diese Problematik in der kostenpflichtigen Variante von Analytics nicht? Dann kann ich vermutlich lange warten. Denn das Problem ist ja auch, dass zwischen Analytics-Code und URL-Angabe im Analytics-Backend kein Zusammenhang bestehen muss. Gezählt wird auch, wenn der Code woanders eingebaut ist.

  5. Pingback: Top 10 der Woche 26/15 - SEO-united.de Blog

  6. htaccess-Ausschluss und Bot-Filter in Analytics helfen bei dieser neuen Generation des Analytics-Spams nicht, weil die betroffene Domain nicht wirklich von Bots besucht wird. Wie du geschrieben hast, schleichen sie sich sozusagen in die Statistik ein.

    Der Referrer-Spamer baut den Analytics-Code der Ziel-Domain in eine andere Seite ein. Dabei handelt es sich ja immer um den gleichen Code, nur die Tracking-ID ist unique. Da es sich bei ihr um eine einfache dezimale Ziffernkombination handelt, ist es ein Leichtes diese über ein Script automatisch und regelmäßig hochlaufen zu lassen – so kriegt jeder Analytics-Nutzer irgendwann sein Fett ab. Das ist so simpel, dass es eigentlich ein Wunder ist, dass nicht noch viel mehr Seiten damit Schindluder treiben.

    Der Kniff, mit dem man alle diese Referrer-Spamer auf einen Schlag raus schmeißt, ist einfach: Man macht es so wie du es vorgeschlagen hast und wählt als Filterkriterium den Host. Doch statt nun „auszuschließen“ wählt man „einschließen“ und gibt den eigenen Host ein. Ich wende das als Segment an, müsste aber bei Filtern analog funktionieren. Der Effekt: Es werden nur Statistikdaten dargestellt, die durch Traffic auf dem eigenen Host entstanden sind – die oben beschriebenen Referrer-Spamer werden ausgeblendet.

    Ich sage bewusst ausgeblendet, denn die Daten liegen trotzdem in Analytics. Wenn Google darauf tatsächlich zugreifen sollte, kann er sie trotzdem sehen und in die Bewertung der Domain einfließen lassen, aber ich glaube, dass dieser Einfluss wenn überhaupt vorhanden, nur sehr gering ist.

  7. Vielen Dank für den Artikel!
    Hat bei dir in Analytics die Filterüberprüfung tatsächlich ein Resultat angezeigt?
    Greift bei mir nicht. Und ich habe vor einigen Wochen die „Einzelfilter“ für unterschiedliche Properties bzw. Datenansichten hinzugefügt (teilweise waren diese arg zugespammt, Daten hätten also vorliegen müssen).

    • Hi Patricia,

      ja seit dem ich die Filter drin hab, ist erstmal Ruhe.
      Hab aber schon den nächsten Bot entdeckt, den ich wahrscheinlich demnächst auch ausschließen muss.

      Lieben Gruß
      Sabrina

  8. Waren Anfangs sehr nützliche tipps… doch wenn man alle bekannten Bots ausschließt, kommen diese mit ihren „Subbots“. Hat man eine Adresse ausgeschlossen, folgen von der gleichen gleich 9 andere. Geschickt von einer Subdomain. ausschließen ist unmöglich und die Daten von G. Analytics sind komplett unbrauchbar. Ich warte auf die Ära, in der Google es versteht und massiv gegensteuert, falls überhaupt möglich… was man unternimmt, die Bots sind immer präsent. Pornoseiten, Versicherungen oder Kinderwagen. Schließt man einen Bot aus, folgen etliche neue!

    • Das mit den badbots ist ein echter Teufelskreislauf der kein Ende nimmt. Ich habe auch schon soviele gefiltert, dass ich kaum noch einen Überblick habe und es kommen immerwieder Neue. Langsam sind die mir echt egal.

  9. Wir haben für den letzten Julni Beitrag mal die Filter rausgenommen (bei einer durchschnittlich verlinkten Seite, ohne jeden sinnvollen Inhalt). Und trotzdem – am besten Tag kamen auf einmal 1400 Besucher (http://www.bitskin.de/blog/suchmaschinenmarketing/10587/werbung-klickzahlen-impressionen-bot) – dabei gings aber um AdWord Fake Impressionen und Klicks, das Problem ist das Gleiche.

  10. Meine htaccess ist schon so vollgestopft mit Bot-Filtern, dass ich es schon aufgegeben habe. Kommen sowieso immer Neue. Gut wäre mal eine Software oder Code der Bots automatisch blockt.

    • Hi,
      damit die htaccess nicht noch weiter vollgestopft wird, gibts ja den Trick mit den Filter in Analytics. Das musst du zwar auch noch händisch machen, aber du hast zumindest (halbwegs) saubere Daten 😉

  11. Super informativer Artikl. Habe auch dauernd Probleme mit den Spam-Bots, die irgendwie kein Ende nehmen, auch wenn ich verschiedene Filter drin habe.

  12. Oh man, mit dem Spam gibt’s echt kein Ende, echt nervenraubend das Ganze. Schon viele verschiedene Methoden benutzt, aber nichts hilft. Trotzdem war der Artikel sehr informativ 🙂

  13. Ich bin nur mal gespannt, wann wirklich mal jemand so schlau ist, dass ein ordentlicher Virenabwehrschutz entwickelt wird. Ich reche leider schon gar nicht mehr damit. Schade.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *