Proxys fürs Web Scraping, mit Krypto bezahlen ohne KYC

Residential-Proxys oder mobile Proxys fürs Web Scraping?

Verwenden Sie Residential-Proxys für fast alle Scraping-Aufgaben. Sie kosten weniger pro GB, rotieren pro Verbindung und ermöglichen Länder- und Stadttargeting. Behalten Sie 4G/5G mobile Proxys für die wenigen mobile-first Ziele, die Home-IP-Adressen herausfordern.

Kein Proxy kann Zugang garantieren. Die Proxyway-Studie 2026 ermittelte eine mittlere Erfolgsrate der Infrastruktur von 99,28 % für Residential-Pools, aber nur 74,43 % bei realen Zielen wie Amazon, Google und Instagram. Ihre Anfragerate, Header und Retry-Logik sind genauso wichtig wie die IP.

Rotierende oder Sticky Sessions fürs Scraping?

Rotieren Sie für unabhängige Seiten, nutzen Sie Sticky Sessions für Flows. Ein Crawler, der Tausende unabhängige Produktseiten abruft, sollte bei jeder Verbindung einen neuen Exit bekommen: keine Session-ID im Benutzernamen. Ein Flow, der wie ein einzelner Besucher wirken muss, z. B. paginierte Suchergebnisse oder ein Warenkorb, benötigt eine Sticky Session: fügen Sie -session-{id}-ttl-{minutes} hinzu und verwenden Sie die ID wieder.

Denken Sie daran, dass die Rotation pro Verbindung erfolgt. Eine requests.Session hält ihre HTTPS-Verbindung offen, sodass sie bis zum Schließen dieser Verbindung auf einem Exit bleibt.

Wie viele Anfragen kann ich parallel ausführen?

Beginnen Sie niedrig und erhöhen Sie die gleichzeitigen Verbindungen pro Ziel, solange die Fehlerrate stabil bleibt. Die richtige Anzahl hängt viel mehr von der Zielseite als vom Residential Proxy ab. Ein praktisches Setup:

• Gleichzeitigkeit: Starten Sie mit wenigen parallelen Verbindungen pro Domain und erhöhen Sie schrittweise.
• Wiederholungen: Wiederholen Sie bei 403, 429 und 5xx mit exponentiellem Backoff; ein erneuter Versuch mit einer neuen Verbindung erhält auch eine neue Exit-IP.
• Tempo: Beachten Sie Retry-After-Header und crawl-delay-Hinweise; ein langsamer Crawl, der abgeschlossen wird, ist besser als ein schneller, der blockiert wird.
• Sub-Benutzer: Geben Sie jedem Scraper eigene Zugangsdaten und Traffic-Limits, damit ein durchdrehender Job nicht das Guthaben aufbraucht.

Wie scrape ich mit Python requests?

Die Funktion unten ruft eine URL über einen rotierenden kenianischen Exit ab, wiederholt mit exponentiellem Backoff und identifiziert den Crawler ehrlich im User-Agent. Weitere Muster (httpx, aiohttp, SOCKS5) finden Sie im Python proxy guide.

import random
import time
import requests

GATEWAY = "gw.namelessproxy.com:7777"
USERNAME, PASSWORD = "USERNAME", "PASSWORD"
RETRY_CODES = {403, 429, 500, 502, 503, 504}
HEADERS = {"User-Agent": "PriceResearchBot/1.0 (+https://example.com/bot)"}

def fetch(url, country="ke", tries=4):
    proxy = f"http://{USERNAME}-country-{country}:{PASSWORD}@{GATEWAY}"
    for attempt in range(tries):
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy},
                             headers=HEADERS, timeout=30)
            if r.status_code not in RETRY_CODES:
                return r
            ra = r.headers.get("Retry-After", "")
            wait = int(ra) if ra.isdigit() else 0
        except requests.RequestException:
            wait = 0
        # New connection on retry = new exit IP
        time.sleep(max(wait, 2 ** attempt + random.random()))
    raise RuntimeError(f"giving up on {url}")

print(fetch("https://example.com/").status_code)

Wie richte ich Scrapy mit rotierenden Proxys ein?

Fügen Sie ein kleines Downloader-Middleware hinzu, das die Proxy-URL in request.meta schreibt; Scrapy's eingebaute Proxy-Middleware sendet dann die Zugangsdaten. Requests, die denselben session-Wert im Meta teilen, behalten dieselbe Exit-IP.

# middlewares.py
GATEWAY = "gw.namelessproxy.com:7777"
USERNAME, PASSWORD = "USERNAME", "PASSWORD"

class NamelessProxyMiddleware:
    def process_request(self, request, spider):
        user = f"{USERNAME}-country-{request.meta.get('country', 'eg')}"
        session = request.meta.get("session")  # same value = same exit IP
        if session:
            user += f"-session-{session}-ttl-10"
        request.meta["proxy"] = f"http://{user}:{PASSWORD}@{GATEWAY}"

# settings.py
ROBOTSTXT_OBEY = True
CONCURRENT_REQUESTS_PER_DOMAIN = 4
AUTOTHROTTLE_ENABLED = True
RETRY_TIMES = 3
RETRY_HTTP_CODES = [403, 429, 500, 502, 503, 504]
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.NamelessProxyMiddleware": 350,  # runs before HttpProxyMiddleware (750)
}

Wie viel Traffic verbraucht Scraping?

Messen Sie Ihre durchschnittliche Antwortgröße und teilen Sie dann. Traffic wird in dezimalen GB berechnet, also deckt 1 GB bei einer durchschnittlichen Seitengröße von 500 KB etwa 2.000 Seiten ab; bei 100 KB sind es etwa 10.000. Das Anfordern von JSON-Endpunkten statt kompletter Seiten und das Blockieren von Bildern und Fonts in headless Browsern reduziert den Verbrauch weiter.

Testen Sie ein Ziel zuerst mit dem 1 GB-Paket, dann kaufen Sie ein größeres Paket: die Preise fallen auf 0,53 $/GB beim 1 TB-Paket, und ungenutzter Traffic verfällt nie. Alle Stufen finden Sie auf der Preisseite.

Ist Web Scraping legal?

Das hängt von den Daten, der Methode und dem Land ab; dies ist keine Rechtsberatung. US-Gerichte haben je nach Anspruch (Vertrag, Computerzugangsgesetz oder Urheberrecht/DMCA) unterschiedliche Ergebnisse erzielt:

• hiQ gegen LinkedIn: Im April 2022 entschied der Ninth Circuit, dass das Scrapen öffentlicher Daten wahrscheinlich nicht als "ohne Autorisierung" unter dem CFAA gilt. Im November 2022 stellte ein Bezirksgericht dennoch fest, dass hiQ gegen LinkedIns Nutzungsbedingungen verstoßen hatte.
• Meta gegen Bright Data: Im Januar 2024 entschied ein Bundesrichter, dass Metas Bedingungen das Scrapen öffentlicher Daten ohne Anmeldung nicht verbieten. Das Urteil bezog sich nur auf den Vertragsanspruch.
• Google gegen SerpApi: Google behauptete im Dezember 2025 eine DMCA-Umgehung. Am 20. Juli 2026 wies das Gericht die DMCA-Ansprüche bezüglich gewöhnlicher Suchergebnisse zurück, mit der Möglichkeit einer Nachbesserung nur bei einer engeren Theorie.
• Reddit gegen SerpApi und Perplexity: Am 31. Juli 2026 überstanden die meisten Ansprüche einen Antrag auf Abweisung. Das ist eine Entscheidung in der Klagephase, keine Haftungsfeststellung.

Personenbezogene Daten erfordern besondere Sorgfalt. Nach der DSGVO umfassen personenbezogene Daten Namen, Standortdaten und Online-Kennungen, auch auf öffentlichen Seiten, und müssen auf das für den Zweck Notwendige beschränkt sein.