Pythonで信頼性の高いウェブスクレイパーと自動化ツールを素早く構築できるライブラリです。
中辛 の解説
Python 3.10以上で動く非同期型のスクレイピングフレームワークです。BeautifulSoupCrawlerで高速なHTML抽出、PlaywrightCrawlerでJavaScript実行が必要なページに対応できます。並列処理・リトライ・プロキシローテーション・URLキュー管理・結果の永続化が標準で備わっており、複雑な設定なしで動かせます。TypeScript版も存在し、すぐに実行できるテンプレートがで用意されています。
이런 레포예요
이럴 때 쓰면 좋아요
- JavaScriptレンダリングが不要な静的HTMLサイトから高速にデータを抽出したいとき
- ボット対策が厳しいサイトから継続的にデータを収集し、自動リトライとプロキシローテーションで対応したいとき
- 複数のスクレイピングタスクを単一のPythonスクリプトで並列実行し、結果を構造化フォーマットで保存したいとき
핵심 기능
대안 대비 차별점
Asyncioネイティブ設計と完全な型ヒント対応により、モダンなPythonアプリへの統合が容易で、Scrapyより学習曲線が緩やかです。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Python 3.10以上
- uv（CLI使用時）
- Playwright依存関係
すぐ動かしてみるPython (uv)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/apify/crawlee-python.git && cd crawlee-python && uv sync
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- 全機能を含むCrawleeをインストールします。
python -m pip install 'crawlee[all]'
- Playwrightのブラウザドライバをセットアップします。
playwright install
- インストールが正常に完了したことを確認します。
python -c 'import crawlee; print(crawlee.__version__)'
- CLIで新しいクローラープロジェクトを作成します（uvが必要です）。
uvx 'crawlee[cli]' create my-crawler
- 作成されたディレクトリに移動して実行します。
cd my-crawler
python -m crawlee.main
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try apify/crawlee-python
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2024 年に作成
「자동화·워크플로우」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/apify/crawlee-python)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る