Proxies pour web scraping, payés en crypto sans KYC

Proxies résidentiels ou mobiles pour le web scraping ?

Utilisez des proxies résidentiels pour presque tout le scraping. Ils coûtent moins cher par GB, tournent à chaque connexion et permettent un ciblage pays et ville. Gardez des proxies mobiles 4G](/mobile-proxies/) pour les rares cibles mobiles-first qui bloquent aussi les IP domestiques.

Aucun proxy ne garantit l'accès. La recherche Proxyway 2026 a mesuré un taux de succès médian d'infrastructure de 99,28 % pour les pools résidentiels, mais seulement 74,43 % sur des cibles réelles comme Amazon, Google et Instagram. Votre fréquence de requêtes, les headers et la logique de retry comptent autant que l'IP.

Sessions tournantes ou collantes pour le scraping ?

Tournez pour les pages indépendantes, collez pour les flux. Un crawler qui récupère des milliers de pages produits sans lien doit obtenir une nouvelle sortie à chaque connexion : pas d’ID de session dans le nom d’utilisateur. Un flux qui doit ressembler à un seul visiteur, comme des résultats paginés ou un panier, nécessite une session collante : ajoutez -session-{id}-ttl-{minutes} et réutilisez l’ID.

N’oubliez pas que la rotation se fait par connexion. Un requests.Session maintient sa connexion HTTPS active, donc il reste sur une sortie jusqu’à la fermeture de cette connexion.

Combien de requêtes puis-je lancer en parallèle ?

Commencez bas et augmentez la concurrence par cible tant que le taux d’erreur reste stable. Le bon nombre dépend bien plus du site cible que du proxy. Une configuration pratique :

• Concurrence : commencez avec quelques connexions parallèles par domaine, puis augmentez progressivement.
• Retries : retentez sur 403, 429 et 5xx avec un backoff exponentiel ; un retry sur une nouvelle connexion obtient aussi une nouvelle IP de sortie.
• Rythme : respectez les headers Retry-After et les indications crawl-delay ; un crawl plus lent mais complet vaut mieux qu’un rapide bloqué.
• Sous-utilisateurs : donnez à chaque scraper ses propres identifiants et un plafond de trafic, pour qu’un job hors contrôle ne vide pas le solde.

Comment scraper avec Python requests ?

La fonction ci-dessous récupère une URL via une sortie kenyane tournante, retente avec backoff exponentiel, et identifie honnêtement le crawler dans son User-Agent. D’autres modèles (httpx, aiohttp, SOCKS5) sont dans le guide proxy Python.

import random
import time
import requests

GATEWAY = "gw.namelessproxy.com:7777"
USERNAME, PASSWORD = "USERNAME", "PASSWORD"
RETRY_CODES = {403, 429, 500, 502, 503, 504}
HEADERS = {"User-Agent": "PriceResearchBot/1.0 (+https://example.com/bot)"}

def fetch(url, country="ke", tries=4):
    proxy = f"http://{USERNAME}-country-{country}:{PASSWORD}@{GATEWAY}"
    for attempt in range(tries):
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy},
                             headers=HEADERS, timeout=30)
            if r.status_code not in RETRY_CODES:
                return r
            ra = r.headers.get("Retry-After", "")
            wait = int(ra) if ra.isdigit() else 0
        except requests.RequestException:
            wait = 0
        # New connection on retry = new exit IP
        time.sleep(max(wait, 2 ** attempt + random.random()))
    raise RuntimeError(f"giving up on {url}")

print(fetch("https://example.com/").status_code)

Comment configurer Scrapy avec des proxies tournants ?

Ajoutez un petit middleware downloader qui écrit l’URL du proxy dans request.meta ; le middleware proxy intégré de Scrapy envoie ensuite les identifiants. Les requêtes partageant une même valeur session dans leur meta gardent la même IP de sortie.

# middlewares.py
GATEWAY = "gw.namelessproxy.com:7777"
USERNAME, PASSWORD = "USERNAME", "PASSWORD"

class NamelessProxyMiddleware:
    def process_request(self, request, spider):
        user = f"{USERNAME}-country-{request.meta.get('country', 'eg')}"
        session = request.meta.get("session")  # same value = same exit IP
        if session:
            user += f"-session-{session}-ttl-10"
        request.meta["proxy"] = f"http://{user}:{PASSWORD}@{GATEWAY}"

# settings.py
ROBOTSTXT_OBEY = True
CONCURRENT_REQUESTS_PER_DOMAIN = 4
AUTOTHROTTLE_ENABLED = True
RETRY_TIMES = 3
RETRY_HTTP_CODES = [403, 429, 500, 502, 503, 504]
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.NamelessProxyMiddleware": 350,  # runs before HttpProxyMiddleware (750)
}

Quelle quantité de trafic utilise le scraping ?

Mesurez la taille moyenne de vos réponses, puis divisez. Le trafic est facturé en GB décimaux, donc si une page moyenne pèse 500 KB, 1 GB couvre environ 2 000 pages ; à 100 KB, cela couvre environ 10 000. Demander des endpoints JSON au lieu de pages complètes, et bloquer les images et polices dans les navigateurs sans interface, réduit encore la consommation.

Testez une cible avec le pack 1 GB d'abord, puis achetez un pack plus grand : les prix baissent à 0,53 $US/GB sur le pack 1 TB, et le trafic non utilisé n'expire jamais. Tous les niveaux sont sur la page des tarifs.

Le web scraping est-il légal ?

Cela dépend des données, de la méthode et du pays ; ceci n’est pas un conseil juridique. Les tribunaux américains ont rendu des décisions différentes selon la plainte (contrat, loi sur l’accès informatique ou droit d’auteur/DMCA) :

• hiQ contre LinkedIn : en avril 2022, la Cour d’appel du Neuvième Circuit a estimé que scraper des données publiques n’était probablement pas un accès "sans autorisation" selon la CFAA. En novembre 2022, un tribunal de district a néanmoins jugé que hiQ avait violé le contrat utilisateur de LinkedIn.
• Meta contre Bright Data : en janvier 2024, un juge fédéral a statué que les conditions de Meta n’interdisaient pas le scraping déconnecté des données publiques. Le jugement ne concernait que la plainte contractuelle.
• Google contre SerpApi : Google a allégué une contournement du DMCA en décembre 2025. Le 20 juillet 2026, le tribunal a rejeté les accusations DMCA concernant les résultats de recherche ordinaires, avec possibilité de révision sur une théorie plus restreinte.
• Reddit contre SerpApi et Perplexity : le 31 juillet 2026, la plupart des accusations ont survécu à une requête en rejet. C’est une décision au stade de la procédure, pas une reconnaissance de responsabilité.

Les données personnelles nécessitent une attention particulière. Selon le RGPD, les données personnelles incluent noms, données de localisation et identifiants en ligne, même sur des pages publiques, et doivent être limitées à ce qui est nécessaire pour la finalité.