Proxies rotativos vs sticky

O que é um proxy rotativo?

Um proxy rotativo é um ponto de acesso que envia cada nova conexão por um IP diferente de um pool. Você mantém um host, uma porta e um conjunto de credenciais; o gateway muda o IP de saída para você.

O objetivo é dispersar. Mil requisições vindas de mil IPs residenciais diferentes parecem mil visitantes, não um único servidor, e nenhum IP carrega muita carga. Isso é ideal para trabalhos feitos de requisições independentes, onde nenhuma depende da anterior.

Como funcionam os proxies rotativos?

O gateway escolhe um novo IP de saída toda vez que seu cliente abre uma nova conexão. No Nameless Proxy, um nome de usuário sem ID de sessão, como USERNAME-country-ma, significa "qualquer saída no Marrocos, nova para cada conexão".

O detalhe que confunde é a palavra conexão. A maioria dos clientes HTTP mantém uma conexão aberta e a reutiliza para várias requisições (keep-alive). Para HTTPS, o proxy carrega cada conexão dentro de um túnel CONNECT (RFC 9110), então todas as requisições nesse túnel saem pelo mesmo IP. Um requests.Session em Python, ou uma aba do navegador, pode portanto manter o mesmo IP até que a conexão seja fechada.

import requests

proxy = "http://USERNAME-country-ma:[email protected]:7777"
proxies = {"http": proxy, "https": proxy}

# New connection for each call: a different exit IP each time
for _ in range(3):
    print(requests.get("https://api.ipify.org", proxies=proxies, timeout=30).text)

# One Session reuses its connection: usually the same exit IP
with requests.Session() as s:
    s.proxies.update(proxies)
    for _ in range(3):
        print(s.get("https://api.ipify.org", timeout=30).text)

O que é uma sessão fixa?

Uma sessão fixa mantém o mesmo IP de saída em conexões separadas, pelo tempo que você desejar. Você cria uma adicionando um ID de sessão e um tempo em minutos ao nome de usuário: todas as conexões que usam o mesmo ID saem pelo mesmo IP.

No Nameless Proxy, uma sessão fixa dura por até 60 minutos. O ID é qualquer sequência curta de letras e números que você escolher, como cart42. Comece um novo ID sempre que quiser um IP novo.

Um limite honesto: os IPs residenciais são conexões reais de casa. Um dispositivo pode ficar offline, e então a sessão muda para outro IP antes do tempo acabar. Fluxos longos precisam de tentativas.

O que é um proxy residencial fixo?

Um proxy residencial fixo é um proxy residencial usado com uma sessão fixa: o mesmo IP residencial por um tempo determinado, em vez de um novo a cada conexão. Combina a confiança de um IP residencial com a estabilidade que fluxos multi-etapas precisam. Estes exemplos usam o mesmo pacote residencial:

Rotativo ou fixo: qual devo usar?

Faça uma pergunta: a próxima requisição depende do IP da anterior? Se não, rotacione. Se sim, mantenha sticky enquanto durar o fluxo, e não mais que isso.

Como é um setup misto na prática?

A maioria dos projetos reais usa os dois tipos de sessão ao mesmo tempo. Considere uma equipe que monitora preços públicos para uma linha de produtos em três cidades:

• Descoberta roda rotativa. Um crawler percorre milhares de URLs públicas de categorias e produtos, com uma nova saída para cada conexão, assim nenhuma residência carrega toda a carga.
• Cada verificação de cidade roda sticky. Para cada cidade, um trabalhador abre uma sessão sticky de 10 minutos com direcionamento para a cidade e lê a página do produto, a estimativa de entrega e a linha de estoque pelo mesmo IP, para que as três respostas pertençam juntas.
• Falhas reiniciam limpas. Se uma saída sticky cai, o trabalhador inicia um novo ID de sessão e repete a verificação daquela cidade, em vez de misturar dois IPs em um registro.

Um pacote e uma senha cobrem tudo: só o nome de usuário muda.

Como configurar sessões rotativas ou sticky?

Tudo acontece no nome de usuário do proxy, então você pode misturar os dois tipos de sessão com um pacote e uma senha. O formato é USERNAME-country-{cc}-city-{city}-session-{id}-ttl-{minutes}; deixe de fora a parte da sessão para rotacionar.

# Rotating: each run gets a new exit in Morocco
curl -x http://USERNAME-country-ma:[email protected]:7777 https://api.ipify.org

# Sticky: the same exit for 15 minutes, as long as you reuse session "job7"
curl -x http://USERNAME-country-ma-session-job7-ttl-15:[email protected]:7777 https://api.ipify.org

import uuid
import requests

GATEWAY = "gw.namelessproxy.com:7777"

def proxies(country, sticky_minutes=None):
    user = f"USERNAME-country-{country}"
    if sticky_minutes:  # a fresh session ID = a fresh exit IP
        user += f"-session-{uuid.uuid4().hex[:10]}-ttl-{sticky_minutes}"
    url = f"http://{user}:PASSWORD@{GATEWAY}"
    return {"http": url, "https": url}

# Each worker keeps its own exit for 20 minutes
worker_proxies = [proxies("za", sticky_minutes=20) for _ in range(4)]
for p in worker_proxies:
    print(requests.get("https://api.ipify.org", proxies=p, timeout=30).text)

E quanto a proxies móveis: rotativo ou sticky?

Uma porta dedicada 4G/5G funciona como uma sessão sticky longa que você controla: mantém seu IP de operadora até você rotacionar, por link, API ou temporizador, ou até a operadora reatribuir. Um novo IP leva cerca de 5–15 segundos, no máximo uma vez a cada 30 segundos por porta. Scripts: como rotacionar um IP móvel.

Tráfego móvel rotativo, cobrado por GB a partir de US$ 1,50/GB, é a opção rotativa: o pool troca o IP da operadora para você, com direcionamento por país.

Quais erros devo evitar?

• Assumir rotação por requisição. Com keep-alive, a rotação ocorre por conexão. Feche conexões se precisar de um IP novo a cada vez.
• Compartilhar um ID de sessão entre trabalhadores. Assim, todos saem do mesmo IP. Dê a cada trabalhador seu próprio ID.
• Pedir sessões mais longas do que precisa. Uma sessão curta perde menos quando uma saída residencial cai.
• Rotacionar no meio de um fluxo. Um IP novo no meio de um formulário multi-etapas no seu site pode reiniciá-lo.
• Não tentar novamente. Saídas são dispositivos reais; tente novamente com backoff e um novo ID de sessão.
• Ignorar as regras. Sessões não mudam a Política de Uso Aceitável: contas falsas, evasão de banimento e stuffing de credenciais são proibidos.