Bots que copiam os seus preços e o seu catálogo: como reconhecê-los e travá-los

A loja fica lenta a certas horas, as estatísticas mostram visitas que não compram nada e um dia encontra as suas fotos e descrições noutro site, com os seus preços ligeiramente rebaixados. Não é coincidência: uma parte do tráfego de qualquer loja online são bots que percorrem o catálogo e levam o que encontram.

Que tipos de bots visitam uma loja

Nem todos são maus, e bloqueá-los todos é um erro caro. Convém distinguir:

• Motores de pesquisa: Google, Bing e outros. Quer tê-los, porque sem eles não se posiciona.
• Serviços que você usa: comparadores onde publica, ferramentas de SEO, monitores de disponibilidade, o rastreador da sua plataforma de marketing.
• Rastreadores de inteligência artificial, que recolhem conteúdo para treinar modelos ou para responder a perguntas. Cada um decide como entender, mas a decisão deve ser sua.
• Bots de monitorização de preços, contratados por concorrentes ou por serviços que vendem essa informação. Visitam as suas fichas diariamente para saber quanto cobra e se tem stock.
• Copiadores de catálogo, que descarregam fichas, descrições e imagens para montar outra loja ou alimentar um marketplace.
• Bots de abuso: testam cartões no checkout, criam contas falsas, testam palavras-passe no acesso de clientes ou procuram módulos vulneráveis.

Que danos fazem

Carga no servidor

Um bot de cópia não navega como uma pessoa: pede centenas de páginas seguidas, combina todos os filtros da navegação por facetas e pede páginas que ninguém visita e que não estão em cache. Cada uma obriga o PrestaShop a calcular preços, stock e combinações. Num alojamento à justa, isso nota-se na velocidade que os seus clientes reais sentem.

Vantagem para a concorrência

Se um concorrente conhece os seus preços e o seu stock em tempo real, pode ajustar os dele para ficar sempre um pouco abaixo. Os preços públicos são públicos, isso não se pode evitar por completo, mas pode dificultar-lhe a tarefa.

Conteúdo duplicado

Se as suas descrições aparecem noutros sites, os motores de pesquisa têm de decidir qual é o original. Normalmente acertam, mas nem sempre.

Estatísticas falsas

As visitas de bots inflacionam o tráfego e afundam a taxa de conversão aparente, levando-o a tomar decisões com dados contaminados.

Como distingui-los nos registos

A ferramenta principal são os registos de acesso do servidor (os do alojamento, não as estatísticas da loja, que não veem a maioria dos bots porque estes não executam JavaScript). O que denuncia um bot:

1. Volume e ritmo. Muitos pedidos por minuto a partir do mesmo IP ou da mesma gama, a um ritmo regular, a qualquer hora.
2. Percurso. Só fichas de produto, por ordem de identificador, ou todas as combinações de filtros de uma categoria. Nunca o carrinho, nunca a página inicial.
3. O agente de utilizador. Os bots legítimos identificam-se. Muitos copiadores apresentam-se como um navegador normal, mas às vezes como um antigo ou o mesmo para milhares de pedidos.
4. A origem. Tráfego de centros de dados e fornecedores de nuvem em vez de ligações domésticas ou móveis. Uma pessoa raramente navega a partir de um servidor.
5. Sem recursos. Pedem o HTML, mas não as folhas de estilo, as imagens pequenas nem os scripts.

Que medidas funcionam

No servidor

• Limitar pedidos por IP: que nenhum endereço possa pedir mais do que um certo número de páginas por minuto. A uma pessoa não afeta; a um copiador, muito.
• Uma firewall de aplicação com regras para bots, no alojamento ou num serviço à frente da loja. Muitas distinguem os motores de pesquisa verificados do resto.
• Bloquear gamas de centros de dados que não lhe trazem nada, com cuidado: os seus próprios serviços também podem vir daí.

Na loja

• Cache de página completa onde for possível: se as páginas forem servidas a partir da cache, o bot pesa muito menos.
• Não indexar combinações de filtros inúteis: controlar que URL da navegação por facetas podem ser rastreados reduz o terreno onde os bots se perdem, incluindo os bons.
• robots.txt para os bots que o respeitam: motores de pesquisa e a maioria dos rastreadores de IA conhecidos. Os copiadores ignoram-no, por isso não é uma proteção, mas uma forma de ordenar o tráfego legítimo.
• Proteção do formulário de acesso e de registo contra tentativas em massa.

No conteúdo

• Imagens com a sua marca de água se a cópia de fotos o prejudicar.
• Descrições próprias, e não as do fornecedor: o que é seu e acrescenta valor defende-se melhor.

O que não convém fazer

• Bloquear tudo o que não seja um navegador conhecido sem verificar: vai acabar por bloquear um motor de pesquisa ou o seu próprio comparador.
• Pôr um captcha a todos os visitantes: castiga os seus clientes por culpa dos bots.
• Esconder os preços, salvo se o seu modelo for B2B e o justificar.
• Reagir a um único IP: os copiadores sérios vão rodando endereços. Procure padrões, não endereços.

Bots que procuram vulnerabilidades

No meio de todo esse tráfego há bots que não procuram preços, mas módulos com falhas conhecidas, pastas de instalação esquecidas ou painéis de administração com o nome predefinido. Contra esses, a medida principal não é bloqueá-los: é não ter nada que possam encontrar. PrestaShop, PHP e módulos atualizados, sem módulos órfãos em disco e com a pasta do back office renomeada.

Como resolver no PrestaShop

O RKR Security Alert não é uma firewall nem bloqueia bots: deteta e avisa. O que faz é cobrir aquilo que esses bots procuram. A sua auditoria assinala a presença da pasta install/, a pasta do back office com o nome predefinido, um robots.txt que revela o caminho do back office, cópias de segurança acessíveis na raiz e pastas de carregamento onde se poderia executar PHP, e avisa-o por Telegram de alterações em funcionários, módulos e configuração e de acessos ao back office a partir de IP novos. Para o tráfego de bots propriamente dito, com um pacote de horas de suporte técnico da Rekire analisamos os registos do seu servidor, identificamos que bots o sobrecarregam e deixamos configurados os limites e as regras que façam sentido no seu alojamento.