Bots, die Ihre Preise und Ihren Katalog kopieren: wie Sie sie erkennen und bremsen

Der Shop ist zu bestimmten Uhrzeiten langsam, die Statistik zeigt Besuche, die nichts kaufen, und eines Tages finden Sie Ihre Fotos und Beschreibungen auf einer anderen Website, mit leicht unterbotenen Preisen. Das ist kein Zufall: Ein Teil des Traffics jedes Onlineshops sind Bots, die den Katalog durchkämmen und mitnehmen, was sie finden.

Welche Arten von Bots einen Shop besuchen

Nicht alle sind schlecht, und alle zu sperren ist ein teurer Fehler. Es lohnt sich zu unterscheiden:

• Suchmaschinen: Google, Bing und andere. Die wollen Sie, denn ohne sie ranken Sie nicht.
• Dienste, die Sie selbst nutzen: Preisvergleicher, auf denen Sie listen, SEO-Tools, Verfügbarkeitsmonitore, der Crawler Ihrer Marketingplattform.
• KI-Crawler, die Inhalte sammeln, um Modelle zu trainieren oder Fragen zu beantworten. Wie man damit umgeht, ist Ansichtssache, aber die Entscheidung sollte Ihre sein.
• Preisbeobachtungs-Bots, beauftragt von Wettbewerbern oder Diensten, die diese Informationen verkaufen. Sie besuchen Ihre Produktseiten täglich, um zu wissen, was Sie verlangen und ob Sie Bestand haben.
• Katalog-Kopierer, die Produktseiten, Beschreibungen und Bilder herunterladen, um einen anderen Shop aufzubauen oder einen Marktplatz zu befüllen.
• Missbrauchs-Bots: Sie testen Karten im Checkout, legen Fake-Konten an, probieren Passwörter im Kunden-Login aus oder suchen verwundbare Module.

Welchen Schaden sie anrichten

Serverlast

Ein Kopier-Bot surft nicht wie ein Mensch: Er ruft Hunderte Seiten hintereinander ab, kombiniert alle Filter der Facettennavigation und fordert Seiten an, die niemand besucht und die nicht im Cache liegen. Jede davon zwingt PrestaShop, Preise, Bestand und Kombinationen zu berechnen. Bei knappem Hosting spüren das Ihre echten Kunden an der Geschwindigkeit.

Vorteil für die Konkurrenz

Kennt ein Wettbewerber Ihre Preise und Ihren Bestand in Echtzeit, kann er seine so anpassen, dass er immer knapp darunter liegt. Öffentliche Preise sind öffentlich, das lässt sich nicht ganz verhindern, aber Sie können es ihm schwerer machen.

Duplicate Content

Tauchen Ihre Beschreibungen auf anderen Websites auf, müssen die Suchmaschinen entscheiden, welche das Original ist. Meist liegen sie richtig, aber nicht immer.

Verfälschte Statistiken

Bot-Besuche blähen den Traffic auf, drücken die scheinbare Conversion-Rate und führen dazu, dass Sie Entscheidungen auf Basis verunreinigter Daten treffen.

Wie Sie sie in den Protokollen erkennen

Das wichtigste Werkzeug sind die Zugriffsprotokolle des Servers (die des Hosters, nicht die Shop-Statistik, die die meisten Bots nicht sieht, weil sie kein JavaScript ausführen). Was einen Bot verrät:

1. Volumen und Takt. Viele Anfragen pro Minute von derselben IP oder demselben Bereich, in gleichmäßigem Takt, zu jeder Uhrzeit.
2. Route. Nur Produktseiten, in der Reihenfolge ihrer ID, oder alle Filterkombinationen einer Kategorie. Nie der Warenkorb, nie die Startseite.
3. Der User-Agent. Seriöse Bots geben sich zu erkennen. Viele Kopierer geben sich als normaler Browser aus, manchmal aber als veralteter oder als derselbe für Tausende Anfragen.
4. Die Herkunft. Traffic aus Rechenzentren und von Cloud-Anbietern statt aus privaten oder mobilen Anschlüssen. Ein Mensch surft selten von einem Server aus.
5. Keine Ressourcen. Sie rufen das HTML ab, aber keine Stylesheets, kleinen Bilder oder Skripte.

Welche Maßnahmen wirken

Auf dem Server

• Anfragen pro IP begrenzen: Keine Adresse darf mehr als eine bestimmte Zahl von Seiten pro Minute abrufen. Einen Menschen betrifft das nicht, einen Kopierer sehr.
• Eine Web Application Firewall mit Bot-Regeln, beim Hoster oder als Dienst vor dem Shop. Viele unterscheiden verifizierte Suchmaschinen vom Rest.
• Rechenzentrums-Bereiche sperren, die Ihnen nichts bringen, mit Vorsicht: Auch Ihre eigenen Dienste können von dort kommen.

Im Shop

• Full-Page-Cache, wo möglich: Werden Seiten aus dem Cache ausgeliefert, belastet der Bot viel weniger.
• Nutzlose Filterkombinationen nicht indexieren: Wer steuert, welche URLs der Facettennavigation gecrawlt werden dürfen, verkleinert das Gelände, in dem sich Bots verlaufen, auch die guten.
• robots.txt für Bots, die sie respektieren: Suchmaschinen und die meisten bekannten KI-Crawler. Kopierer ignorieren sie, sie ist also kein Schutz, sondern ein Mittel, den legitimen Traffic zu ordnen.
• Schutz des Login- und Registrierungsformulars gegen massenhafte Versuche.

Beim Inhalt

• Bilder mit Ihrem Wasserzeichen, wenn Ihnen das Kopieren von Fotos schadet.
• Eigene Beschreibungen, nicht die des Lieferanten: Was Ihnen gehört und etwas bietet, lässt sich besser verteidigen.

Was Sie besser nicht tun

• Alles sperren, was kein bekannter Browser ist, ohne zu prüfen: Am Ende sperren Sie eine Suchmaschine oder Ihren eigenen Preisvergleicher.
• Allen Besuchern ein Captcha vorsetzen: Damit bestrafen Sie Ihre Kunden für die Bots.
• Die Preise verstecken, es sei denn, Ihr Modell ist B2B und rechtfertigt es.
• Auf eine einzelne IP reagieren: Professionelle Kopierer wechseln die Adressen. Suchen Sie nach Mustern, nicht nach Adressen.

Bots, die nach Schwachstellen suchen

In all diesem Traffic gibt es Bots, die keine Preise suchen, sondern Module mit bekannten Fehlern, vergessene Installationsordner oder Admin-Bereiche mit Standardnamen. Gegen diese ist die wichtigste Maßnahme nicht, sie zu sperren, sondern nichts zu haben, was sie finden könnten: PrestaShop, PHP und Module aktuell, keine verwaisten Module auf der Festplatte und ein umbenannter Backoffice-Ordner.

So lösen Sie es in PrestaShop

RKR Security Alert ist keine Firewall und sperrt keine Bots: Es erkennt und warnt. Was es tut, ist das abzudecken, wonach diese Bots suchen. Seine Prüfung meldet einen vorhandenen Ordner install/, den Backoffice-Ordner mit Standardnamen, eine robots.txt, die den Pfad zum Backoffice verrät, erreichbare Backups im Stammverzeichnis und Upload-Ordner, in denen PHP ausgeführt werden könnte, und benachrichtigt Sie per Telegram über Änderungen an Mitarbeitern, Modulen und Konfiguration sowie über Backoffice-Zugriffe von neuen IP-Adressen. Für den Bot-Traffic selbst analysieren wir mit einem Rekire-Support-Stundenpaket die Protokolle Ihres Servers, ermitteln, welche Bots Sie belasten, und richten die Limits und Regeln ein, die auf Ihrem Hosting sinnvoll sind.