Bot che copiano i tuoi prezzi e il tuo catalogo: come riconoscerli e fermarli

Il negozio è lento in certe ore, le statistiche mostrano visite che non comprano niente e un giorno trovi le tue foto e le tue descrizioni su un altro sito, con i tuoi prezzi leggermente ribassati. Non è un caso: una parte del traffico di qualsiasi negozio online sono bot che percorrono il catalogo e si portano via ciò che trovano.

Quali tipi di bot visitano un negozio

Non sono tutti cattivi, e bloccarli tutti è un errore che costa caro. Conviene distinguere:

• Motori di ricerca: Google, Bing e altri. Li vuoi, perché senza di loro non ti posizioni.
• Servizi che usi tu: comparatori su cui pubblichi, strumenti SEO, monitor di disponibilità, il crawler della tua piattaforma di marketing.
• Crawler di intelligenza artificiale, che raccolgono contenuti per addestrare modelli o per rispondere a domande. Ognuno decida come crede, ma la decisione deve essere tua.
• Bot di monitoraggio prezzi, ingaggiati da concorrenti o da servizi che vendono queste informazioni. Visitano le tue schede ogni giorno per sapere quanto fai pagare e se hai disponibilità.
• Copiatori di catalogo, che scaricano schede, descrizioni e immagini per aprire un altro negozio o alimentare un marketplace.
• Bot di abuso: provano carte nel checkout, creano account falsi, provano password nell'accesso clienti o cercano moduli vulnerabili.

Che danni fanno

Carico sul server

Un bot di copia non naviga come una persona: chiede centinaia di pagine di fila, combina tutti i filtri della navigazione a faccette e chiede pagine che nessuno visita e che non sono in cache. Ognuna costringe PrestaShop a calcolare prezzi, disponibilità e combinazioni. Su un hosting al limite, questo si nota nella velocità percepita dai tuoi clienti veri.

Vantaggio per la concorrenza

Se un concorrente conosce i tuoi prezzi e la tua disponibilità in tempo reale, può adeguare i suoi per restare sempre un po' sotto. I prezzi pubblici sono pubblici, e questo non si può evitare del tutto, ma puoi rendergli la vita più difficile.

Contenuti duplicati

Se le tue descrizioni compaiono su altri siti, i motori di ricerca devono decidere qual è l'originale. Di solito ci azzeccano, ma non sempre.

Statistiche false

Le visite dei bot gonfiano il traffico e affossano il tasso di conversione apparente, e ti fanno prendere decisioni con dati sporchi.

Come distinguerli nei log

Lo strumento principale sono i log di accesso del server (quelli dell'hosting, non le statistiche del negozio, che non vedono la maggior parte dei bot perché non eseguono JavaScript). Ciò che tradisce un bot:

1. Volume e ritmo. Molte richieste al minuto dallo stesso IP o dallo stesso intervallo, a ritmo regolare, a qualsiasi ora.
2. Percorso. Solo schede prodotto, in ordine di identificativo, o tutte le combinazioni di filtri di una categoria. Mai il carrello, mai la home page.
3. Lo user agent. I bot legittimi si identificano. Molti copiatori si presentano come un normale browser, ma a volte uno vecchio o lo stesso per migliaia di richieste.
4. L'origine. Traffico da data center e fornitori cloud invece che da connessioni domestiche o mobili. Una persona raramente naviga da un server.
5. Nessuna risorsa. Chiedono l'HTML ma non i fogli di stile, le immagini piccole né gli script.

Quali misure funzionano

Sul server

• Limitare le richieste per IP: che nessun indirizzo possa chiedere più di un certo numero di pagine al minuto. A una persona non cambia niente; a un copiatore, molto.
• Un firewall applicativo con regole per i bot, sull'hosting o in un servizio davanti al negozio. Molti distinguono i motori di ricerca verificati dal resto.
• Bloccare intervalli di data center che non ti portano niente, con attenzione: anche i tuoi servizi possono arrivare da lì.

Nel negozio

• Cache di pagina completa dove possibile: se le pagine vengono servite dalla cache, il bot pesa molto meno.
• Non indicizzare combinazioni di filtri inutili: controllare quali URL della navigazione a faccette si possono scansionare riduce il terreno in cui i bot si perdono, anche quelli buoni.
• robots.txt per i bot che lo rispettano: motori di ricerca e la maggior parte dei crawler di IA noti. I copiatori lo ignorano, quindi non è una protezione, ma un modo per mettere ordine nel traffico legittimo.
• Protezione del modulo di accesso e di registrazione contro i tentativi massivi.

Nei contenuti

• Immagini con la tua filigrana se la copia delle foto ti danneggia.
• Descrizioni proprie, non quelle del fornitore: ciò che è tuo e aggiunge valore si difende meglio.

Cosa non conviene fare

• Bloccare tutto ciò che non è un browser noto senza verificare: finirai per bloccare un motore di ricerca o il tuo stesso comparatore.
• Mettere un captcha a tutti i visitatori: punisci i tuoi clienti per colpa dei bot.
• Nascondere i prezzi, a meno che il tuo modello sia B2B e lo giustifichi.
• Reagire a un solo IP: i copiatori seri ruotano gli indirizzi. Cerca schemi, non indirizzi.

Bot che cercano vulnerabilità

In mezzo a tutto quel traffico ci sono bot che non cercano prezzi ma moduli con difetti noti, cartelle di installazione dimenticate o pannelli di amministrazione con il nome predefinito. Contro questi la misura principale non è bloccarli: è non avere niente che possano trovare. PrestaShop, PHP e moduli aggiornati, nessun modulo orfano su disco e la cartella del back-office rinominata.

Come risolverlo in PrestaShop

RKR Security Alert non è un firewall e non blocca i bot: rileva e avvisa. Quello che fa è coprire ciò che quei bot cercano. La sua verifica segnala la presenza della cartella install/, la cartella del back-office con il nome predefinito, un robots.txt che rivela il percorso del back-office, backup raggiungibili nella root e cartelle di upload in cui si potrebbe eseguire PHP, e ti avvisa via Telegram di modifiche a dipendenti, moduli e configurazione e di accessi al back-office da IP nuovi. Per il traffico dei bot vero e proprio, con un pacchetto di ore di supporto tecnico di Rekire analizziamo i log del tuo server, identifichiamo quali bot ti caricano e lasciamo configurati i limiti e le regole che hanno senso sul tuo hosting.