reddit-universal-scraper：Redditのあらゆるコンテンツを自動収集するPythonツール完全ガイド

この記事ではDevOps・自動化に特化して解説します。AI自動化・DevOps全般は AI自動化ツール完全ガイド2026｜ノーコードからコードまで徹底比較 をご覧ください。

reddit-universal-scraperとは何か：APIキー不要のRedditデータ収集基盤

reddit-universal-scraperは、Redditのポスト・コメント・画像・動画をAPIキー不要で収集できるPythonツールで、GitHubで472スターを獲得している。Streamlitベースのダッシュボード、REST API、センチメント分析、スケジューリング、Parquetエクスポートなど、データ収集から分析までの一連のワークフローを統合した汎用スクレイパーだ。

RedditはデータサイエンスとNLP研究において最も価値の高いデータソースのひとつだ。日々数百万件の投稿とコメントが生成され、テクノロジー、政治、趣味、ライフスタイルまで幅広いトピックのユーザー生成コンテンツが蓄積されている。しかし、RedditのAPIは2023年に有料化・制限強化が行われ、大量データ収集のコストが大幅に上昇した。

reddit-universal-scraperは、公式APIを使わずにRedditコンテンツを収集する代替手段を提供している。認証なしでアクセス可能な公開データのみを対象としており、取得データをSQLiteデータベースとParquetファイルで管理する機能を内蔵している。

アーキテクチャとコア機能：7つの主要モジュール

reddit-universal-scraperは複数の機能モジュールで構成されている。

主要機能一覧：

• Full Scraping：ポスト、コメント、画像、動画、ギャラリーの一括抽出。タイトル・本文・スコア・作成日時などのメタデータも自動取得
• Web Dashboard：Streamlitを使用した7タブUIで操作可能。データ閲覧と管理が直感的に実現
• REST API：MetabaseやGrafana、DuckDBなど外部ツールとの連携機能を備えたAPI
• Plugin System：センチメント分析、重複排除、キーワード抽出などの後処理をプラグインで拡張可能
• Job Tracking：スクレイピング履歴、ステータス、実行時間、エラー情報を詳細に記録
• Dry Run Mode：データ保存せずにスクレイピングルールをテスト実行
• Parquet Export：DuckDBやデータウェアハウス向けの分析対応フォーマットでのエクスポート
• Scheduled Scraping：Cron形式でのジョブスケジューリング対応
• Notifications：DiscordおよびTelegramへのアラート機能
• SQLite Database：構造化されたデータベース保存と自動バックアップ

インストールとセットアップ：環境別の手順

システム要件

• Python 3.8以上
• ffmpeg（動画処理が必要な場合）

Step 1：リポジトリのクローンと依存関係インストール

# リポジトリのクローン
git clone https://github.com/ksanjeev284/reddit-universal-scraper.git
cd reddit-universal-scraper

# 依存パッケージのインストール
pip install -r requirements.txt

Step 2：ffmpegのインストール（動画処理が必要な場合）

# Windows（Chocolatey経由）
choco install ffmpeg

# macOS（Homebrew経由）
brew install ffmpeg

# Ubuntu/Debian
sudo apt install ffmpeg

# インストール確認
ffmpeg -version

Step 3：基本的なスクレイピング実行

# フルスクレイプ（ポスト+メディア+コメント）
python main.py python --mode full --limit 100

# 履歴データの収集
python main.py MachineLearning --mode history --limit 500

# リアルタイム監視モード
python main.py datascience --mode monitor

Step 4：ダッシュボードとAPIの起動

# Streamlitダッシュボード起動
python main.py --dashboard
# http://localhost:8501 でアクセス

# REST API起動
python main.py --api
# http://localhost:8000 でアクセス

# スケジュール実行（60分ごとにdelhiサブレディットを収集）
python main.py --schedule delhi --every 60

実践的なユースケース：5つの活用シナリオ

ユースケース1：NLPコーパスの構築

機械学習・自然言語処理研究向けのテキストコーパス構築に活用できる。Redditの書き言葉は、ニュース記事のような形式張った文体ではなく、日常的な表現や略語、インターネットスラングが豊富で、口語的な言語モデルの学習データとして価値が高い。

# 複数サブレディットからのデータ収集
python main.py MachineLearning --mode full --limit 1000
python main.py datascience --mode full --limit 1000
python main.py learnpython --mode full --limit 1000

# Parquet形式でエクスポート（DuckDB/Pandas向け）
python main.py --export parquet

# DuckDBで分析
# duckdb
# > SELECT * FROM read_parquet('output/MachineLearning_*.parquet') LIMIT 10;

ユースケース2：センチメント分析・トレンド監視

特定のトピックやブランドに関するセンチメント（感情傾向）を定期的に収集・分析するシステムを構築できる。

# センチメント分析付きでスクレイピング（プラグイン利用）
python main.py investing --mode full --limit 500

# スケジュール実行で定期収集
python main.py --schedule investing --every 360

# Discord通知設定（config.yamlに設定後）
# new_posts_threshold: 50  # 50件以上新規投稿でアラート

Parquetで出力されたデータは以下の形式になっている：

import pandas as pd
import duckdb

# Parquetファイルの読み込みと分析
conn = duckdb.connect()
df = conn.execute("""
    SELECT
        created_utc,
        title,
        score,
        sentiment_label,
        sentiment_score,
        num_comments
    FROM read_parquet('output/investing_*.parquet')
    WHERE created_utc > '2026-01-01'
    ORDER BY score DESC
    LIMIT 20
""").df()

print(df.head())

ユースケース3：ジャーナリズム・調査報道向けデータ収集

特定のサブレディットやキーワードに関するディスカッションを時系列で収集・追跡するためのツールとして利用できる。

# 特定サブレディットの過去データをすべて収集
python main.py wallstreetbets --mode history --limit 5000

# 複数サブレディットの横断収集
for subreddit in technology privacy netsec; do
    python main.py $subreddit --mode full --limit 200
done

# REST API経由でのデータ取得（外部システム連携）
# curl http://localhost:8000/api/posts?subreddit=technology&limit=10

ユースケース4：コミュニティ分析・ユーザー行動研究

学術研究や市場調査向けに、オンラインコミュニティの行動パターン、情報拡散の仕組み、トピックのトレンド変化を分析するデータセットを構築できる。

SQLiteデータベースに保存されたデータから、投稿時間帯の分布、スコアと投稿時間の相関、コメント数と投稿スコアの関係などを分析できる。

import sqlite3
import pandas as pd

conn = sqlite3.connect('data/reddit_data.db')

# スコア分布の分析
df = pd.read_sql_query("""
    SELECT
        subreddit,
        AVG(score) as avg_score,
        COUNT(*) as post_count,
        MAX(score) as max_score
    FROM posts
    GROUP BY subreddit
    ORDER BY avg_score DESC
""", conn)

print(df)
conn.close()

ユースケース5：競合・業界モニタリングの自動化

特定の業界や競合他社に関する言及をRedditから継続的に収集し、Discordまたは社内Slackに自動通知するシステムを構築できる。

# DiscordのWebhookURLをconfig.yamlに設定後
# 特定のスコア閾値以上の投稿でDiscord通知
python main.py AIcompany --mode monitor
# → 新規高スコア投稿があればDiscordチャンネルに自動通知

データ分析パイプラインの構築：Parquet×DuckDB×Pandasの活用

reddit-universal-scraperのParquetエクスポート機能を活用することで、高速な分析パイプラインを構築できる。DuckDBはParquetファイルをSQLで直接クエリできるため、大規模データの分析に特に有効だ。

DuckDBを使った高速集計

import duckdb

conn = duckdb.connect()

# 複数のParquetファイルをまとめて分析（グロブパターン対応）
result = conn.execute("""
    SELECT
        DATE_TRUNC('day', TO_TIMESTAMP(created_utc)) as post_date,
        COUNT(*) as post_count,
        AVG(score) as avg_score,
        SUM(num_comments) as total_comments,
        COUNT(CASE WHEN sentiment_label = 'positive' THEN 1 END) as positive_count,
        COUNT(CASE WHEN sentiment_label = 'negative' THEN 1 END) as negative_count
    FROM read_parquet('output/MachineLearning_*.parquet')
    WHERE created_utc > EPOCH(NOW()) - 86400 * 30  -- 過去30日
    GROUP BY 1
    ORDER BY 1 DESC
""").df()

print(result.head(10))

# 上位スコアの投稿を取得
top_posts = conn.execute("""
    SELECT title, score, num_comments, sentiment_label
    FROM read_parquet('output/MachineLearning_*.parquet')
    ORDER BY score DESC
    LIMIT 20
""").df()

print(top_posts)
conn.close()

Pandasを使ったセンチメント時系列分析

import pandas as pd
import matplotlib.pyplot as plt
from pathlib import Path

# すべてのParquetファイルを一括読み込み
dfs = [pd.read_parquet(f) for f in Path('output').glob('*.parquet')]
df = pd.concat(dfs, ignore_index=True)

# created_utcをdatetimeに変換
df['post_date'] = pd.to_datetime(df['created_utc'], unit='s')
df['week'] = df['post_date'].dt.to_period('W')

# センチメント割合の週次推移
sentiment_trend = df.groupby(['week', 'sentiment_label']).size().unstack(fill_value=0)
sentiment_trend['positive_ratio'] = (
    sentiment_trend.get('positive', 0) /
    sentiment_trend.sum(axis=1) * 100
)

print(sentiment_trend[['positive_ratio']].tail(8))

REST APIを使ったリアルタイムデータ連携

reddit-universal-scraperのREST APIを使って、外部システムからリアルタイムにデータを取得できる：

# APIサーバーを起動
python main.py --api

# エンドポイント例
# 最新投稿の取得
curl "http://localhost:8000/api/posts?subreddit=technology&limit=10"

# センチメント別の集計
curl "http://localhost:8000/api/stats?subreddit=technology&field=sentiment"

# スケジュールジョブの一覧
curl "http://localhost:8000/api/jobs"

# 新規ジョブの追加
curl -X POST "http://localhost:8000/api/schedule" \
  -H "Content-Type: application/json" \
  -d '{"subreddit": "technology", "interval_minutes": 60}'

Grafana、Metabase等のBIツールからREST APIに接続することで、ノーコードでRedditデータのダッシュボードを構築できる。

競合ツールとの比較：RedditデータCOllection手法の選択

reddit-universal-scraperを選ぶべき状況：

• APIキーの取得や課金を避けて手軽にRedditデータを取得したい
• Streamlitダッシュボードで非エンジニアもデータ確認したい
• SQLiteやParquetで構造化されたデータを扱いたい
• DiscordやTelegramへのリアルタイム通知が必要

PRAWを選ぶべき状況：

• RedditのAPIを通じた公式・制約内でのデータ取得が必要
• ユーザー認証や投稿・コメント機能（書き込み）が必要
• 利用規約への準拠を最優先にしたい

よくある質問

Q1：Redditのサブレディット名はどう指定するか？

python main.py <サブレディット名>の形式でサブレディット名を直接指定する。URLのreddit.com/r/以降の部分をそのまま入力すればよい。例：python main.py MachineLearningでr/MachineLearningのデータを収集する。

Q2：収集できるデータの上限はあるか？

--limitオプションで取得件数を指定できる。ただし、Redditのレート制限により、大量収集時は自動的に待機が発生する。数千件以上の収集には十分な時間を見込んでおくこと。モニタリングモード（--mode monitor）ではリアルタイム収集のためlimitは適用されない。

Q3：Parquetファイルはどこに保存されるか？

デフォルトではoutput/ディレクトリに<サブレディット名>_<タイムスタンプ>.parquet形式で保存される。DuckDBやPandasでの読み込みはread_parquet('output/*.parquet')で対応できる。

Q4：Docker化してクラウドにデプロイできるか？

Docker ComposeによるコンテナデプロイとAWS/VPS環境へのクラウドデプロイに対応している。詳細はリポジトリのdocker-compose.ymlを参照。長期的な定期収集を行う場合は、クラウド上に常駐プロセスとしてデプロイすることを推奨する。

Q5：センチメント分析の精度はどの程度か？

組み込みのセンチメント分析はVADER（Valence Aware Dictionary and sEntiment Reasoner）等の辞書ベース手法を使用していることが多い。一般的なインターネット英語に対しては実用的な精度を持つが、専門的なサブレディット（医学、法律等）や非英語コンテンツでは精度が低下する。高精度が必要な場合は、Parquet形式で出力したデータに対して外部のNLPライブラリ（transformers/HuggingFace等）を適用することを検討する。

関連記事: AI自動化ツール完全ガイド2026｜ノーコードからコードまで徹底比較

まとめと参照ソース

reddit-universal-scraperは、APIキー不要でRedditデータを収集し、Streamlitダッシュボードからセンチメント分析・スケジューリング・外部連携まで統合できる実用的なPythonツールだ。데이터分析、NLPコーパス構築、コミュニティ監視、ジャーナリズム調査など、Redditデータを活用する幅広いユースケースに対応している。

ただし、Redditの利用規約と robots.txt の遵守は最低限の義務であり、過度なスクレイピングによるIPブロックリスクも常に意識する必要がある。公式Reddit APIが対応できる用途では、正規のAPI経由での利用を検討することを推奨する。

データ収集後の分析パイプライン構築にはApache Airflowのようなワークフロー管理ツールとの連携が有効で、定期収集からデータ加工・可視化まで自動化された分析基盤を構築できる。

参照ソース

• ksanjeev284/reddit-universal-scraper - GitHub
• Reddit API Documentation
• PRAW: The Python Reddit API Wrapper