Proxies para web scraping, pagos com cripto e sem KYC

Proxies residenciais ou móveis para web scraping?

Use proxies residenciais para quase todo tipo de scraping. Eles custam menos por GB, rotacionam por conexão e cobrem segmentação por país e cidade. Mantenha proxies móveis 4G](/mobile-proxies/) para os poucos alvos mobile-first que bloqueiam IPs residenciais.

Nenhum proxy garante acesso. A pesquisa da Proxyway para 2026 mediu uma taxa média de sucesso de infraestrutura de 99,28% para pools residenciais, mas 74,43% em alvos reais como Amazon, Google e Instagram. Sua taxa de requisições, headers e lógica de retry importam tanto quanto o IP.

Sessões rotativas ou sticky para scraping?

Rotacione para páginas independentes, use sticky para fluxos. Um crawler que acessa milhares de páginas de produtos não relacionadas deve obter uma nova saída por conexão: sem ID de sessão no nome de usuário. Um fluxo que precisa parecer um único visitante, como resultados de busca paginados ou carrinho, precisa de sessão sticky: adicione -session-{id}-ttl-{minutes} e reutilize o ID.

Lembre que a rotação é por conexão. Um proxy móvel 4Grequests.Session mantém a conexão HTTPS ativa, então permanece na mesma saída até que essa conexão feche.

Quantas requisições posso rodar em paralelo?

Comece baixo e aumente a concorrência por alvo enquanto a taxa de erro se mantiver estável. O número certo depende muito mais do site alvo do que do proxy. Uma configuração prática:

• Concorrência: comece com poucas conexões paralelas por domínio e aumente gradualmente.
• Retries: tente novamente em 403, 429 e 5xx com backoff exponencial; um retry em nova conexão também obtém um novo IP de saída.
• Pacing: respeite os headers Retry-After e dicas de crawl-delay; um crawl mais lento que completa é melhor que um rápido que é bloqueado.
• Sub-usuários: dê a cada scraper suas próprias credenciais e limite de tráfego, para que um job descontrolado não esgote o saldo.

Como faço scraping com Python requests?

A função abaixo busca uma URL através de uma saída rotativa do Quênia, tenta novamente com backoff exponencial e identifica o crawler honestamente no User-Agent. Mais padrões (httpx, aiohttp, SOCKS5) estão no guia de proxy Python.

import random
import time
import requests

GATEWAY = "gw.namelessproxy.com:7777"
USERNAME, PASSWORD = "USERNAME", "PASSWORD"
RETRY_CODES = {403, 429, 500, 502, 503, 504}
HEADERS = {"User-Agent": "PriceResearchBot/1.0 (+https://example.com/bot)"}

def fetch(url, country="ke", tries=4):
    proxy = f"http://{USERNAME}-country-{country}:{PASSWORD}@{GATEWAY}"
    for attempt in range(tries):
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy},
                             headers=HEADERS, timeout=30)
            if r.status_code not in RETRY_CODES:
                return r
            ra = r.headers.get("Retry-After", "")
            wait = int(ra) if ra.isdigit() else 0
        except requests.RequestException:
            wait = 0
        # New connection on retry = new exit IP
        time.sleep(max(wait, 2 ** attempt + random.random()))
    raise RuntimeError(f"giving up on {url}")

print(fetch("https://example.com/").status_code)

Como configurar Scrapy com proxies rotativos?

Adicione um pequeno middleware de downloader que escreve a URL do proxy em request.meta; o middleware de proxy embutido do Scrapy então envia as credenciais. Requisições que compartilham um valor session em seu meta mantêm o mesmo IP de saída.

# middlewares.py
GATEWAY = "gw.namelessproxy.com:7777"
USERNAME, PASSWORD = "USERNAME", "PASSWORD"

class NamelessProxyMiddleware:
    def process_request(self, request, spider):
        user = f"{USERNAME}-country-{request.meta.get('country', 'eg')}"
        session = request.meta.get("session")  # same value = same exit IP
        if session:
            user += f"-session-{session}-ttl-10"
        request.meta["proxy"] = f"http://{user}:{PASSWORD}@{GATEWAY}"

# settings.py
ROBOTSTXT_OBEY = True
CONCURRENT_REQUESTS_PER_DOMAIN = 4
AUTOTHROTTLE_ENABLED = True
RETRY_TIMES = 3
RETRY_HTTP_CODES = [403, 429, 500, 502, 503, 504]
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.NamelessProxyMiddleware": 350,  # runs before HttpProxyMiddleware (750)
}

Quanto tráfego o scraping usa?

Meça o tamanho médio da resposta e divida. O tráfego é cobrado em GB decimais, então se uma página média pesa 500 KB, 1 GB cobre cerca de 2.000 páginas; a 100 KB cobre cerca de 10.000. Pedir endpoints JSON em vez de páginas completas e bloquear imagens e fontes em browsers headless reduz ainda mais o uso.

Teste um alvo com o pacote 1 GB primeiro, depois compre um pacote maior: os preços caem para US$ 0,53/GB no pacote 1 TB, e o tráfego não usado nunca expira. Todos os níveis estão na página de preços.

Scraping web é legal?

Depende dos dados, do método e do país; isto não é aconselhamento jurídico. Tribunais dos EUA chegaram a resultados diferentes dependendo da alegação (contrato, lei de acesso a computadores ou direitos autorais/DMCA):

• hiQ v. LinkedIn: em abril de 2022 o Nono Circuito entendeu que scraping de dados públicos provavelmente não era acesso "sem autorização" sob a CFAA. Em novembro de 2022 um tribunal distrital ainda considerou que hiQ violou o Acordo de Usuário do LinkedIn.
• Meta v. Bright Data: em janeiro de 2024 um juiz federal decidiu que os termos da Meta não proibiam scraping de dados públicos sem login. A decisão cobriu apenas a alegação contratual.
• Google v. SerpApi: Google alegou violação do DMCA em dezembro de 2025. Em 20 de julho de 2026, o tribunal rejeitou as alegações DMCA sobre resultados de busca comuns, permitindo emenda apenas em uma teoria mais restrita.
• Reddit v. SerpApi e Perplexity: em 31 de julho de 2026, a maioria das alegações sobreviveu a uma moção de rejeição. Essa é uma decisão na fase inicial, não uma condenação.

Dados pessoais exigem cuidado extra. Sob o GDPR, dados pessoais incluem nomes, localização e identificadores online, mesmo em páginas públicas, e devem ser limitados ao necessário para o propósito.