AubeActuBot, le robot de collecte d'AubeActu

Qui exploite ce robot

AubeActuBot est le robot de collecte d'AubeActu, journal d'information locale de l'Aube, édité par Adnan TOURAK EI (Tourak Digital). Directeur de la publication : Adnan TOURAK.

Une question, un incident, une charge anormale sur votre serveur : écrivez à contact@aubeactu.fr. Le robot porte cette adresse dans son en-tête pour que vous puissiez nous joindre plutôt que d'avoir à le bloquer.

Comment le reconnaître

Il se présente avec cet en-tête User-Agent, et avec aucun autre :

User-Agent: AubeActuBot/1.0 (+https://aubeactu.fr/robot; contact@aubeactu.fr)

Dans votre robots.txt, son nom est AubeActuBot.

Ce qu'il lit

Les flux RSS et les pages d'actualités publiés par les communes, les intercommunalités et les services de l'État dans l'Aube, et des jeux de données ouverts : météo, vigilance, prix des carburants, rappels de produits, agendas sous licence ouverte. Il n'entre dans aucun espace réservé et ne remplit aucun formulaire.

Ce qu'il fait de ce qu'il lit

Il ne publie rien lui-même. Ce qu'il lit alimente la réserve où la rédaction puise ses sujets : l'information y est vérifiée et réécrite, et sa source est citée sous l'article, avec un lien vers votre page. Seuls les alertes officielles, les événements d'agenda publiés sous licence ouverte et les données de service peuvent paraître sans réécriture.

Sa conduite, chiffres à l'appui

Ces plafonds sont ceux que le programme applique ; cette page les lit dans sa configuration, elle ne les recopie pas.

• Il lit le robots.txt d'un site avant d'y entrer, et le relit au plus tard toutes les 24 heures. Une règle Disallow qui le vise, ou qui vise tous les robots, est appliquée ; un Crawl-delay plus long que son propre espacement est respecté.
• Deux requêtes vers un même site sont espacées d'au moins 2 secondes.
• Une passe par site toutes les 5 minutes au plus, et 5 requêtes au plus par passe, pagination comprise.
• Au plus 12 requêtes par heure et 60 requêtes par jour vers un même site de collectivité.
• Au plus 1500 requêtes par jour, tous sites confondus.
• Aucune lecture des sites communaux aux heures de pointe : de 8 h à 9 h et de 14 h à 15 h.
• Sur un site de collectivité, il abandonne une connexion au bout de 5 secondes, une réponse au bout de 15 secondes, et tout document de plus de 8 Mo.
• Il envoie des requêtes conditionnelles (If-None-Match, If-Modified-Since) : un flux qui n'a pas changé n'est pas retéléchargé.
• Une réponse 429 ou 503 suspend toute requête vers ce site pendant la durée demandée par l'en-tête Retry-After, deux heures au plus ; sans cet en-tête, une minute.
• Les API publiques de données ouvertes (météo, vigilance, carburants, rappels de produits, géocodage) sont interrogées selon leurs propres conditions d'utilisation : les quotas par site ci-dessus visent les sites des collectivités ; l'espacement entre deux requêtes s'applique à tous.

Exclure le robot de votre site

Par votre robots.txt, sans avoir à nous écrire : ajoutez ces deux lignes. La règle est prise en compte au plus tard 24 heures après.

User-agent: AubeActuBot
Disallow: /

Pour n'exclure qu'une partie du site, remplacez la barre oblique par le chemin concerné.

Par courriel à contact@aubeactu.fr, en indiquant l'adresse de votre site : la rédaction désactive la source et vous le confirme par retour de courriel.