Notre robot d'indexation
Popilnus construit son propre index du web. Ce robot visite des pages publiques pour le constituer.
Il s'identifie ainsi :
PopilnusBot/0.1 (+https://popilnus.ca/about/crawler)
Ce qu'il fait
- Il dit qui il est à chaque visite.
- Il respecte robots.txt, y compris le délai que vous demandez.
- Il ne retélécharge pas une page qui n'a pas changé.
- Il ne franchit pas les pages derrière un mot de passe et ne recueille aucune donnée personnelle.
Pour nous bloquer
Ajoutez ces deux lignes à votre fichier robots.txt :
User-agent: PopilnusBot Disallow: /
Pages déjà indexées
Cette règle suffit : vos pages sont retirées de notre index à la visite suivante, et nous vérifions à chaque passage.
Nous joindre
Une question, une erreur, ou une demande de retrait : contact@popilnus.ca