複数の中国ソーシャルメディアプラットフォームから公開データを自動抽出する Playwright ベースのウェブスクレイピングツールです。
中辛 の解説
スタック：Python、Playwright（ブラウザ自動化）、Node.js（署名生成）。難易度：中程度。即時利用：設定ファイルを編集すれば、キーワード検索型や投稿 ID 指定型でデータ取得が可能です。デモ：WebUI インターフェース搭載で、コマンドライン不要での操作に対応。CSV・JSON・SQLite・MySQL など複数フォーマットでのデータ保存をサポートしています。
이런 레포예요
이럴 때 쓰면 좋아요
- 複数ソーシャルメディアから検索キーワード関連の投稿とコメントを一括収集して市場調査や競合分析に活用する場合。
- 特定の投稿 ID やクリエイターのホームページから、いいね数や再投稿数などの メタデータ付きコンテンツ情報を定期抽出し、トレンド追跡やインフルエンサー分析を行う場合。
- 取得したコメントデータから自動的にワードクラウドを生成し、ユーザー感情やコンテンツ反応を可視化したい場合。
핵심 기능
대안 대비 차별점
CDP モードで既存ブラウザセッションを流用し、プラットフォーム検知回避と保守性を両立させた点。素朴な HTTP スクレイピングでは必須の複雑な JS 逆算処理が不要です。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Python 3.11 以上
- Node.js v16 以上
- Chrome ブラウザ v144 以上
すぐ動かしてみるNode.js (npm)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/NanmiCoder/MediaCrawler.git && cd MediaCrawler && npm install
실행 명령은 README를 확인하세요.
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- uv をインストール
# uv 公式サイトから最新版をダウンロード
# https://docs.astral.sh/uv/getting-started/installation
uv --version
- Node.js をインストール
# https://nodejs.org/ から v16 以上をダウンロード
node --version
- プロジェクトディレクトリに移動して依存関係をインストール
cd MediaCrawler
uv sync
- ブラウザドライバをインストール（標準 Playwright モード使用時のみ）
uv run playwright install
-
Chrome 反映デバッグを有効化 Chrome アドレスバーで
chrome://inspect/#remote-debuggingを開き、「Allow remote debugging for this browser instance」をチェック。Server running at: 127.0.0.1:9222と表示されたら準備完了。 -
爬虫を実行
# キーワード検索で投稿を取得
uv run main.py --platform xhs --lt qrcode --type search
# 投稿 ID を指定して詳細取得
uv run main.py --platform xhs --lt qrcode --type detail
# 他のプラットフォーム使用例を確認
uv run main.py --help
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try NanmiCoder/MediaCrawler
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2023 年に作成
「데이터·크롤링」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/NanmiCoder/MediaCrawler)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る