DescontoRealBot
O DescontoRealBot recolhe os preços que o DescontoReal mostra. Esta página explica quem somos, que páginas o bot lê, a que ritmo, e como pedir para mudar ou parar a recolha.
Como o reconhecer
Todos os pedidos levam este User-Agent:
DescontoRealBot/1.0 (+https://descontoreal.pt/bot)
Os pedidos partem de servidores do GitHub Actions, por isso o endereço IP muda de um dia para o outro. O User-Agent é a forma fiável de nos reconhecer.
O que lê
- As páginas de listagem das categorias de eletrónica e eletrodomésticos e, conforme a loja, as páginas dos produtos.
- Só factos públicos de cada artigo: nome, preço, preço riscado, disponibilidade, EAN, marca, modelo, características técnicas e o endereço da imagem.
- Nunca descrições, opiniões de clientes nem dados pessoais. Os artigos de outros vendedores (marketplace) ficam de fora.
A que ritmo
- Um pedido de cada vez por loja, com uma pausa aleatória de 2 a 5 segundos entre pedidos.
- Se o robots.txt da loja pedir uma pausa maior (Crawl-delay), o bot usa essa.
- Uma recolha por dia, que começa às 02:17 UTC (02:17 em Lisboa no inverno, 03:17 no verão), quando os sites têm menos visitas.
Regras que cumpre
- Respeita o robots.txt de cada loja.
- Para a recolha desse dia ao primeiro sinal de bloqueio: respostas 403 ou 429 repetidas, uma verificação anti-bot, ou um pedido para esperar mais de 5 minutos.
- Nunca usa proxies, outro User-Agent, browsers automatizados nem rotação de endereços IP.
Lojas recolhidas
Hoje: Radio Popular e Darty.
Contacto
Para pedir que deixemos de recolher um site, ou que mudemos o ritmo, basta escrever para contacto@descontoreal.pt. Cumprimos o pedido.
Se a loja tiver um feed de produtos, por exemplo num programa de afiliados, podemos usá-lo em vez de visitar as páginas.