cloudscraper：Cloudflareのアンチボットページを自動バイパスするPythonモジュール完全ガイド

# Before: requests を使った従来のコード
import requests
response = requests.get("https://cloudflare-protected-site.com")
print(response.text)

# After: cloudscraperに変更（それ以外はほぼ同じ）
import cloudscraper
scraper = cloudscraper.create_scraper()
response = scraper.get("https://cloudflare-protected-site.com")
print(response.text)

import cloudscraper

scraper = cloudscraper.create_scraper()

# POST リクエスト
response = scraper.post(
    "https://example.com/api",
    json={"key": "value"},
    headers={"Content-Type": "application/json"}
)

# セッションを維持したまま複数のページを取得
scraper.get("https://example.com/login")
scraper.post("https://example.com/login", data={"user": "xxx", "pass": "yyy"})
scraper.get("https://example.com/dashboard")

import cloudscraper

scraper = cloudscraper.create_scraper(
    interpreter='nodejs',          # Node.jsエンジンを使用
    browser={
        'browser': 'chrome',
        'platform': 'windows',
        'mobile': False
    },
    enable_stealth=True,           # ステルスモード有効化
    stealth_options={
        'min_delay': 2.0,          # 最小待機時間（秒）
        'max_delay': 6.0,          # 最大待機時間（秒）
        'human_like_delays': True, # 人間らしいランダム遅延
        'randomize_headers': True  # ヘッダーのランダム化
    },
    rotating_proxies=[             # プロキシローテーション
        'http://proxy1:8080',
        'http://proxy2:8080',
        'socks5://proxy3:1080'
    ],
    debug=True                     # デバッグログ有効
)

response = scraper.get("https://target-site.com")

import cloudscraper

scraper = cloudscraper.create_scraper(
    captcha={
        'provider': '2captcha',
        'api_key': 'YOUR_2CAPTCHA_API_KEY'
    }
)

# CapSolverを使う場合
scraper = cloudscraper.create_scraper(
    captcha={
        'provider': 'capsolver',
        'api_key': 'YOUR_CAPSOLVER_API_KEY'
    }
)

response = scraper.get("https://turnstile-protected-site.com")

import cloudscraper
import time
import json
from datetime import datetime

scraper = cloudscraper.create_scraper(
    enable_stealth=True,
    stealth_options={'min_delay': 3.0, 'max_delay': 8.0}
)

def fetch_price(url: str) -> dict:
    """商品ページから価格情報を取得"""
    response = scraper.get(url)
    if response.status_code == 200:
        # ここでBeautifulSoupやlxml等でパース
        return {
            "timestamp": datetime.now().isoformat(),
            "url": url,
            "status": "ok",
            "html_length": len(response.text)
        }
    return {"status": "error", "code": response.status_code}

# 定期実行（実際のスケジューリングはcronや Apache Airflow を使う）
urls = ["https://example-shop.com/product/1", "https://example-shop.com/product/2"]
for url in urls:
    result = fetch_price(url)
    print(json.dumps(result, ensure_ascii=False))
    time.sleep(5)  # サーバー負荷を考慮した待機

import cloudscraper
from typing import Optional

class UnifiedScraper:
    """Cloudflare保護サイトと通常サイトを統一インターフェースでアクセス"""

    def __init__(self):
        self.scraper = cloudscraper.create_scraper(
            browser='chrome',
            enable_stealth=True
        )

    def fetch(self, url: str, timeout: int = 30) -> Optional[str]:
        try:
            response = self.scraper.get(url, timeout=timeout)
            response.raise_for_status()
            return response.text
        except Exception as e:
            print(f"Error fetching {url}: {e}")
            return None

scraper = UnifiedScraper()
html = scraper.fetch("https://cloudflare-news-site.com/articles")

import cloudscraper

# Cloudflareトークンとユーザーエージェントを取得
tokens, user_agent = cloudscraper.get_tokens("https://target-site.com")
print(f"cf_clearance: {tokens.get('cf_clearance', 'N/A')}")
print(f"User-Agent: {user_agent}")

# クッキー文字列として取得（curl等での再利用向け）
cookie_string, user_agent = cloudscraper.get_cookie_string("https://target-site.com")
print(f"Cookie: {cookie_string}")
# 重要：取得したuser_agentを後続のリクエストでも必ず使用すること

# 変更前のコード
# import requests
# session = requests.Session()

# 変更後：この2行を変えるだけ
import cloudscraper
session = cloudscraper.create_scraper()

# 以降のコードは変更不要
session.headers.update({"Accept-Language": "ja-JP,ja;q=0.9"})
response = session.get("https://cf-protected-site.com/data")
data = response.json()

# cloudscraperで失敗を検知して別ライブラリへフォールバックするテンプレ
import cloudscraper
from playwright.sync_api import sync_playwright

def fetch(url: str) -> str:
    scraper = cloudscraper.create_scraper(
        browser={"browser": "chrome", "platform": "darwin", "mobile": False}
    )
    r = scraper.get(url, timeout=20)
    if r.status_code in (403, 521, 1015) or "challenge-platform" in r.text:
        # 商用WAFやSuper Bot Fight Modeは Playwright で再試行
        with sync_playwright() as p:
            browser = p.chromium.launch(headless=True)
            page = browser.new_page()
            page.goto(url, wait_until="networkidle")
            html = page.content()
            browser.close()
            return html
    return r.text

scraper = cloudscraper.create_scraper()
response = scraper.get("https://japanese-site.com")
response.encoding = 'utf-8'  # 明示的にエンコーディングを指定
print(response.text)