Web kazıma için proxyler, KYC olmadan kripto ile ödenir

Web kazıma için konut proxy mi yoksa mobil proxy mi?

Neredeyse tüm kazıma işlemleri için konut proxyleri kullanın. GB başına maliyetleri daha düşüktür, bağlantı başına döner ve ülke ile şehir hedeflemeyi kapsar. Ev IP'lerine karşı zorlayıcı olan az sayıda mobil öncelikli hedef için 4G/5G mobil proxyleri kullanın.

Hiçbir proxy erişim garantisi veremez. Proxyway'in 2026 araştırması, konut havuzları için %99,28 medyan altyapı başarı oranı ölçerken, Amazon, Google ve Instagram gibi gerçek hedeflerde %74,43 oranını buldu. İstek hızınız, başlıklarınız ve yeniden deneme mantığınız IP kadar önemlidir.

Kazıma için dönen mi yoksa yapışkan oturumlar mı?

Bağımsız sayfalar için döndürün, akışlar için yapışkan oturum kullanın. Binlerce alakasız ürün sayfası çeken bir tarayıcı, her bağlantı için yeni bir çıkış almalıdır: kullanıcı adında oturum kimliği yok. Sayfalı arama sonuçları veya sepet gibi tek bir ziyaretçi gibi görünmesi gereken bir akış, yapışkan oturuma ihtiyaç duyar: -session-{id}-ttl-{minutes} ekleyin ve kimliği yeniden kullanın.

Dönüşümün bağlantı başına olduğunu unutmayın. Bir requests.Session HTTPS bağlantısını canlı tutar, böylece bağlantı kapanana kadar aynı çıkışta kalır.

Paralel kaç istek çalıştırabilirim?

Hata oranı sabit kaldığı sürece hedef başına eşzamanlılığı düşük başlayıp artırın. Doğru sayı, proxyden çok hedef siteye bağlıdır. Pratik bir kurulum:

• Eşzamanlılık: her alan için birkaç paralel bağlantı ile başlayın, sonra adım adım artırın.
• Yeniden denemeler: 403, 429 ve 5xx durumlarında üssel geri çekilme ile yeniden deneyin; yeni bağlantıdaki yeniden deneme yeni çıkış IP'si alır.
• Hız ayarı: Retry-After başlıklarına ve crawl-delay ipuçlarına uyun; tamamlanan yavaş bir tarama, engellenen hızlı olandan iyidir.
• Alt kullanıcılar: her kazıyıcıya kendi kimlik bilgilerini ve trafik kotasını verin, böylece tek bir kontrolsüz iş bakiye tüketemez.

Python requests ile nasıl kazıma yaparım?

Aşağıdaki fonksiyon, dönen Kenya çıkışı üzerinden bir URL alır, üssel geri çekilme ile yeniden dener ve User-Agent içinde tarayıcıyı dürüstçe tanımlar. Daha fazla örnek (httpx, aiohttp, SOCKS5) Python proxy rehberinde.

import random
import time
import requests

GATEWAY = "gw.namelessproxy.com:7777"
USERNAME, PASSWORD = "USERNAME", "PASSWORD"
RETRY_CODES = {403, 429, 500, 502, 503, 504}
HEADERS = {"User-Agent": "PriceResearchBot/1.0 (+https://example.com/bot)"}

def fetch(url, country="ke", tries=4):
    proxy = f"http://{USERNAME}-country-{country}:{PASSWORD}@{GATEWAY}"
    for attempt in range(tries):
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy},
                             headers=HEADERS, timeout=30)
            if r.status_code not in RETRY_CODES:
                return r
            ra = r.headers.get("Retry-After", "")
            wait = int(ra) if ra.isdigit() else 0
        except requests.RequestException:
            wait = 0
        # New connection on retry = new exit IP
        time.sleep(max(wait, 2 ** attempt + random.random()))
    raise RuntimeError(f"giving up on {url}")

print(fetch("https://example.com/").status_code)

Dönen proxylerle Scrapy nasıl kurulur?

Proxy URL'sini request.meta içine yazan küçük bir downloader middleware ekleyin; Scrapy'nin yerleşik proxy middleware'i kimlik bilgilerini gönderir. Meta içinde aynı session değerini paylaşan istekler aynı çıkış IP'sini kullanır.

# middlewares.py
GATEWAY = "gw.namelessproxy.com:7777"
USERNAME, PASSWORD = "USERNAME", "PASSWORD"

class NamelessProxyMiddleware:
    def process_request(self, request, spider):
        user = f"{USERNAME}-country-{request.meta.get('country', 'eg')}"
        session = request.meta.get("session")  # same value = same exit IP
        if session:
            user += f"-session-{session}-ttl-10"
        request.meta["proxy"] = f"http://{user}:{PASSWORD}@{GATEWAY}"

# settings.py
ROBOTSTXT_OBEY = True
CONCURRENT_REQUESTS_PER_DOMAIN = 4
AUTOTHROTTLE_ENABLED = True
RETRY_TIMES = 3
RETRY_HTTP_CODES = [403, 429, 500, 502, 503, 504]
DOWNLOADER_MIDDLEWARES = {
    "myproject.middlewares.NamelessProxyMiddleware": 350,  # runs before HttpProxyMiddleware (750)
}

Kazıma ne kadar trafik kullanır?

Ortalama yanıt boyutunuzu ölçün, sonra bölün. Trafik ondalık GB olarak faturalandırılır; ortalama sayfa 500 KB ise 1 GB yaklaşık 2.000 sayfa kapsar; 100 KB ise yaklaşık 10.000 sayfa. JSON uç noktaları istemek ve başsız tarayıcılarda resim ve fontları engellemek kullanımı daha da azaltır.

Önce 1 GB paketle hedefi test edin, sonra daha büyük paket alın: fiyatlar 1 TB paketinde $0,53/GB düşer ve kullanılmayan trafik Asla süresi dolmaz. Tüm katmanlar fiyat sayfasında.

Web kazıma yasal mı?

Bu, veriye, yönteme ve ülkeye bağlıdır; bu yasal bir tavsiye değildir. ABD mahkemeleri iddiaya göre (sözleşme, bilgisayar erişim yasası veya telif hakkı/DMCA) farklı sonuçlara varmıştır:

• hiQ v. LinkedIn: Nisan 2022'de Dokuzuncu Daire, kamuya açık verilerin kazınmasının CFAA kapsamında "izinsiz erişim" olma olasılığının düşük olduğunu belirledi. Kasım 2022'de ise bir bölge mahkemesi hiQ'nun LinkedIn Kullanıcı Sözleşmesini ihlal ettiğine karar verdi.
• Meta v. Bright Data: Ocak 2024'te bir federal yargıç, Meta'nın şartlarının çıkış yapılmış halde kamuya açık verilerin kazınmasını engellemediğine hükmetti. Karar sadece sözleşme iddiasını kapsıyordu.
• Google v. SerpApi: Google Aralık 2025'te DMCA ihlali iddiasında bulundu. 20 Temmuz 2026'da mahkeme, sıradan arama sonuçları üzerindeki DMCA iddialarını reddetti, sadece daha dar bir teori için düzeltme izni verdi.
• Reddit v. SerpApi ve Perplexity: 31 Temmuz 2026'da çoğu iddia reddi talebine karşı ayakta kaldı. Bu, dava aşamasında bir karar olup, sorumluluk tespiti değildir.

Kişisel veriler ekstra özen gerektirir. GDPR kapsamında kişisel veriler isimler, konum verileri ve çevrimiçi tanımlayıcıları içerir, hatta kamuya açık sayfalarda bile ve amaç için gerekli olanla sınırlandırılmalıdır.