apify/crawlee

HTTP と HeadlessブラウザでのWebスクレイピングと自動化を統一インターフェースで実現するNode.jsライブラリです。

開発の材料自由に使える · Apache-2.0自動化・ワークフローTypeScript難易度

25,485+69今週👀 230 찜

1,637フォーク107Issue

中辛の解説

PlaywrightとPuppeteerの両方に対応し、HTTP2、プロキシ自動回転、セッション管理、キュー管理、ストレージ機構を備えています。TypeScript で書かれており、からインストールして数分で動作するスクレイパーが作成できます。ツールでプロジェクトひな形を生成できるほか、Apify プラットフォームへのデプロイもサポートしています。難易度は中程度です。

이런 레포예요

이럴 때 쓰면 좋아요

複数ページを自動巡回してデータを抽出し CSV や JSON で保存したいとき
JavaScript で動的に描画されるWebサイトをスクレイピングするとき
ボット検出対策が施されたサイトから情報を取得する必要があるとき

핵심 기능

HTTP と HeadlessブラウザでのURLキューイングと並列処理TLSフィンガープリント複製やプロキシ回転などの検出回避機構Playwright と Puppeteer の統一インターフェース

대안 대비 차별점

単一の API で HTTP クローラーとブラウザクローラーの両方を切り替えられ、TLS フィンガープリント複製やブラウザ風ヘッダ生成など検出回避機構が標準装備されている点で、他のスクレイピングライブラリより保護回避能力に優れています。

食べた人たち

実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。

試食評 · 使った人のひとこと

まだ試食評がありません。使ってみたら、最初のひとことをどうぞ。

ほかのリポジトリの試食評を見る →

이 레포로 만든 것들

🖋 완주 인증하기

아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!

このリポジトリの作り方

はじめてですか？むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。

준비물

Node.js 16以上

すぐ動かしてみるNode.js (pnpm)

ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。

git clone --depth 1 https://github.com/apify/crawlee.git &&
cd crawlee &&
pnpm install

실행 명령은 README를 확인하세요.

コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。

README가 안내하는 자세한 단계 보기

Crawlee CLI でプロジェクトを初期化します。

npx crawlee create my-crawler

作成されたディレクトリへ移動します。

cd my-crawler

依存関係をインストールしてスタートします。

npm start

別の方法として、既存プロジェクトに npm パッケージを追加します。

Playwright を一緒にインストールします。

npm install crawlee playwright

コード例を作成して実行します（詳細は公式ドキュメント https://crawlee.dev を参照してください）。

ギット飯トライで味見

入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。

ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。

npx gitbap-try apify/crawlee

Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →

スター推移 · 7日

25,485+69 / 7일

使いやすさ · まねしやすいか

サンプル評点 34/100

ゆるいライセンス
テストあり
サンプル集
最近の更新
AGENTS.md
llms.txt
テンプレート

最近の更新あり · 2016 年に作成

「자동화·워크플로우」こういうリポジトリを毎週受け取りませんか？

毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。

自分のリポジトリですか？ README にギット飯バッジを貼る

[![깃밥](https://www.gitbap.com/badge/apify/crawlee.svg)](https://www.gitbap.com/r/apify/crawlee)

Claude からそのまま使う — ギット飯のつなぎ方

ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。

方法 ① コネクタ URL

Claude の設定 → コネクタにこのアドレスを貼り付け。

https://www.gitbap.com/api/mcp

方法 ② プラグイン（試用まで）

プラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。

/plugin marketplace add jakeparkcolde/gitbap-cowork

/plugin install gitbap-cowork@gitbap

つなぎ方をくわしく →

AI が README をもとに要約しました · 原文を見る