概要
Cloudflare Bypass For Scrapingは、Cloudflareが施した保護機構をかいくぐってWebスクレイピングを実行するPythonツール。1,800以上のスターを獲得しているリポジトリ。ボット検出アルゴリズムの回避方法を実装している。
主な機能
- リクエストミラーリング機能による柔軟なHTTPメソッド対応
- クッキー生成機能
- リクエストキャッシング機能
導入方法
Docker Composeを使用したセットアップ
git clone https://github.com/sarperavci/CloudflareBypassForScraping.git
cd CloudflareBypassForScraping
docker compose pull && docker compose up -d
Dockerを直接使用する方法
docker run -p 8000:8000 ghcr.io/sarperavci/cloudflarebypassforscraping:latest
手動インストール
pip install -r requirements.txt
python server.py
リクエストヘッダーオプション
リクエストの詳細な制御には、以下のヘッダーが利用可能:
x-hostname: ホスト名の指定x-proxy: プロキシの設定x-bypass-cache: キャッシュバイパス
注意点
このツールの使用は法域によって規制対象となる可能性がある。対象サイトの利用規約確認、法務チェック、倫理的な使途の確認が必須。Cloudflareを含むセキュリティ機構は意図的な保護として設計されており、その回避には責任ある利用が求められる。