Scraper proprement

Récupérer des données sur un site public est facile techniquement, et c'est exactement le piège. Vingt lignes de Python suffisent à aspirer un catalogue. Les ennuis, eux, arrivent trois semaines plus tard : une adresse IP bloquée, un courrier d'avocat, ou pire, un fichier de données personnelles dont tu ne sais plus quoi faire.

L'ordre de ce guide est volontaire. La partie juridique et l'étiquette d'abord, la technique ensuite. Un script propre qui collecte des données qu'on n'avait pas le droit de collecter reste un problème.

Quatre questions avant la première requête

Que disent les conditions d'utilisation ? Beaucoup de sites interdisent explicitement l'extraction automatisée dans leurs CGU. « Publiquement accessible » ne veut pas dire « libre de réutilisation ». Lis la page, elle fait rarement plus de deux écrans.

Y a-t-il une base de données protégée ? En droit français, l'article L342-1 du code de la propriété intellectuelle permet au producteur d'une base de données d'interdire l'extraction d'une partie substantielle de son contenu, appréciée qualitativement ou quantitativement. Aspirer les dix mille annonces d'un site, c'est typiquement ce que vise ce texte.

Y a-t-il des données personnelles ? Un nom, un e-mail, un pseudonyme rattachable à quelqu'un, une photo de profil : le RGPD s'applique même quand la donnée est publiquement affichée. Il te faut alors une base légale, et tu dois informer les personnes concernées.

Est-ce que ta collecte dégrade le service ? Une centaine de requêtes par seconde sur un petit site, c'est une panne pour tout le monde. C'est le point qui transforme un désaccord en plainte.

robots.txt : ce que le fichier dit, et ce qu'il ne dit pas

Le protocole d'exclusion des robots est normalisé depuis septembre 2022 par la RFC 9309. Elle définit trois directives : user-agent, allow et disallow. Sitemap est une extension optionnelle très répandue. Crawl-delay, en revanche, ne fait pas partie du standard, et Google indique explicitement ne pas le prendre en charge. Certains robots l'honorent, beaucoup l'ignorent.

Le fichier doit se trouver à /robots.txt à la racine du service, en minuscules, et ne vaut que pour ce couple protocole plus hôte plus port. La RFC recommande de ne pas garder une version en cache plus de 24 heures.

Un point de méthode : robots.txt est un signal d'intention, pas une barrière juridique. Le respecter ne t'autorise pas à tout, et il n'existe pas de « Allow » qui annulerait les CGU.

import urllib.robotparser

AGENT = "VeilleInterne/1.0 (+https://monsite.fr/robot)"

rp = urllib.robotparser.RobotFileParser()
rp.set_url("https://exemple.fr/robots.txt")
rp.read()

if not rp.can_fetch(AGENT, "https://exemple.fr/annonces?page=2"):
    raise SystemExit("Chemin interdit par robots.txt")

print(rp.crawl_delay(AGENT))  # None si le site n'en declare pas
print(rp.site_maps())         # None si aucun Sitemap n'est declare

import time
import requests

HEADERS = {"User-Agent": "VeilleInterne/1.0 (+https://monsite.fr/robot)"}

for url in urls:
    r = requests.get(url, headers=HEADERS, timeout=20)

    if r.status_code == 429:
        # Retry-After contient soit un nombre de secondes, soit une date HTTP
        attente = r.headers.get("Retry-After", "60")
        time.sleep(int(attente) if attente.isdigit() else 300)
        continue

    traiter(r.text)
    time.sleep(2)

Ce qu'il ne faut pas faire

• Contourner une authentification, un paywall ou un captcha. On sort de la zone grise.
• Faire tourner le script depuis plusieurs IP pour échapper à une limitation. C'est l'aveu que la limitation était voulue.
• Se faire passer pour un navigateur ou pour Googlebot dans le User-Agent.
• Republier telle quelle une base extraite d'un autre site.
• Relancer une collecte complète chaque nuit alors qu'un delta suffit.

Quelques prompts pour aller plus loin

Cette page est en accès libre, n’hésite pas à la partager.