Bots in der Suchstatistik: Wenn Skripte Ihre Shopsuche verfälschen

Warum Bots in der Suchstatistik ein Problem sind

Die Suchstatistik ist eine der wertvollsten Datenquellen im Shop. Sie zeigt in den Worten Ihrer Kunden, was gesucht wird, was fehlt und was sich verkauft. Auf dieser Grundlage legen Sie Synonyme an, ändern Produkttitel, entscheiden über das Sortiment oder planen Kampagnen.

Zählt die Statistik auch Suchen von Programmen mit, kippen genau diese Entscheidungen. Die Liste der Top-Begriffe zeigt dann, was ein Skript abfragt, nicht was Kunden wollen. Die Klickrate wirkt schlechter, als sie ist, weil Bots nicht klicken. Und ein vermeintlicher Anstieg der Suchnutzung entpuppt sich als Programm, das seit ein paar Tagen läuft.

Welche Bots Ihre Suche abfragen

Die ersten drei Gruppen sind harmlos für die Statistik, weil sie sich zu erkennen geben. Schwierig sind die beiden letzten. Sie geben sich als gewöhnlicher Chrome- oder Firefox-Browser aus, damit sie nicht gesperrt werden. Für einen einfachen Bot-Filter sehen sie aus wie Kunden.

Zwei Fälle aus der Praxis

Ein Fachhändler mit springenden Zahlen

Im Kundenkonto eines Fachhändlers sprangen die Suchen jeden zweiten Tag von rund 600 auf 2.700 und wieder zurück. Ein Blick ins Zugriffsprotokoll zeigte ein Skript von einem Privatanschluss: Es startete gegen 22 Uhr und fragte rund 50 Artikelnummern jeweils etwa 45-mal ab. Es schickte keine Cookies mit und gab die eigene Trefferseite als Herkunft an. Nach der Bereinigung lagen die Tage wieder bei 600 bis 950 Suchen.

Ein Wächter für hochwertige Geräte

Bei einem Shop für gebrauchte Elektronik standen plötzlich 34 Begriffe ganz oben in der Statistik, alle nach demselben Muster: ein bestimmtes Gerätemodell mit Prozessor und viel Arbeitsspeicher, mal mit, mal ohne „GB“ oder „Zoll“. Jeder Begriff kam auf rund 70 Suchen, keiner auf einen einzigen Klick.

Die Auswertung des Zugriffsprotokolls ergab:

• alle Abrufe von einer einzigen Adresse eines Privatanschlusses, mit normaler Chrome-Kennung und ohne Herkunftsangabe,
• gleichmäßig über den ganzen Tag verteilt, auch nachts, insgesamt 1.000 bis 1.500 Abrufe am Tag, teils mit Seite 2 und 3 der Treffer,
• ausschließlich Suchen, keine Produktseite, kein Warenkorb.

Hier wartet offensichtlich jemand darauf, dass ein bestimmtes Gerät günstig hereinkommt, vermutlich ein Händler oder Aufkäufer. Für den Shop ist das kein Schaden. In neun Tagen kamen aber 2.490 gezählte Suchen zusammen, rund zwei Drittel aller Suchen dieser Zeit. Die echte Klickrate war entsprechend fast dreimal so hoch wie angezeigt.

Interessant: Die Begriffe tauchten zuerst unter einer anderen Adresse auf. Bei Privatanschlüssen wechselt die Adresse regelmäßig. Wer nur nach Adressen filtert, läuft solchen Wächtern deshalb hinterher.

Woran Sie Bot-Suchen erkennen

Der schnellste Test: Sortieren Sie Ihre Top-Begriffe nach Suchen und schauen Sie auf die Klicks. Ein Begriff mit 70 Suchen und null Klicks ist fast nie ein echter Kundenwunsch. Echte Begriffe mit vielen Suchen haben fast immer auch Klicks, selbst wenn die Treffer schlecht sind.

Im Zugriffsprotokoll nachsehen

Ob ein Verdacht stimmt, zeigt das Zugriffsprotokoll des Webservers. Bei Shopware ruft die Trefferseite die Adresse /search?search=… auf. Zählen Sie die Abrufe je Absender, fällt ein Wächter sofort auf:

grep "GET /search?search=" access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

Steht eine Adresse mit hunderten oder tausenden Abrufen ganz oben, sehen Sie sich deren Anfragen an: Uhrzeiten, Begriffe, Browserkennung und ob überhaupt andere Seiten abgerufen wurden. Ihr Hoster oder Ihre Agentur hilft dabei, falls Sie keinen Zugriff auf die Protokolle haben.

Was Sie dagegen tun können

Zählung filtern statt Adressen sperren. Wächter belasten den Shop selten spürbar, verfälschen aber die Auswertung. Deshalb gehört der Filter in die Zählung. Bewährt haben sich mehrere Stufen, die zusammenarbeiten:

• Browserkennung: Alles, was sich als Bot, Crawler, Monitoring oder Skript ausgibt, zählt nicht. Das ist die einfache, aber wichtige Grundlage.
• Entdopplung je Absender: Derselbe Begriff zählt von derselben Adresse mit derselben Browserkennung nur einmal in einem Zeitfenster, etwa einer halben Stunde. Das fängt Skripte ab, die einen Begriff in kurzer Folge wiederholen, und verhindert nebenbei Doppelzählungen durch Neuladen.
• Selbstverweis: Eine Trefferseite, die sich selbst als Herkunft angibt, ist ein Neuladen oder ein Skript, keine neue Suche.
• Tagesgrenze ohne Klick: Ein Absender zählt nur eine begrenzte Zahl Suchen am Tag, solange er nichts anklickt. Echte Kunden klicken früher oder später, danach zählen ihre Suchen wieder normal. Wächter, die nie klicken, bleiben unter der Grenze und fallen in der Statistik kaum noch ins Gewicht.

Alte Zahlen gezielt bereinigen. Ist ein Wächter erkannt, lassen sich seine Begriffe für den betroffenen Zeitraum aus der Statistik löschen. Prüfen Sie vorher, dass diese Begriffe wirklich keine Klicks haben, und sichern Sie die Daten.

Sperren nur bei Last. Bremst ein Bot den Shop tatsächlich aus, ist eine Begrenzung der Abrufe beim Hoster oder in der Firewall der richtige Weg. Bei einer Sperre einzelner Adressen von Privatanschlüssen treffen Sie nach dem nächsten Adresswechsel womöglich einen echten Kunden.

So schützt Suchklar Ihre Statistik

Suchklar zählt die Suchen im eigenen Suchfenster und auf der Trefferseite selbst und filtert dabei alle vier Stufen oben: bekannte Bots über die Browserkennung, Wiederholungen je Absender innerhalb einer halben Stunde, neu geladene Trefferseiten und seit Version 0.1.82.33 auch Wächter, die nie klicken. Tipp-Zwischenstände im Suchfenster zählen ebenfalls nicht. Die Filter wirken nur auf die Zählung, die Suche selbst funktioniert für alle Besucher weiter wie gewohnt.

Fällt im Kundenkonto oder im Wochenbericht ein verdächtiger Begriff auf, sehe ich mir das an und bereinige die Zahlen. Wie das Konto aussieht, zeigt die Seite Kundenkonto. Was in den letzten Versionen dazugekommen ist, steht unter Neu in Suchklar.