카테고리

데이터·크롤링

crawler · scraping · data pipeline — 매일 새벽 3시에 새로 차립니다

急上昇 · スターが急に伸びているリポジトリ

データ・クローリング

· 23 杯
only-cli/oc273+0

WebサイトをAIエージェント向けのCLIに変換し、トークン消費を最小限に抑えながらブラウジングを可能にするツールです。

インストール型ツール自由に使える · MITデータ・クローリング難易度
lexmount/moli1,048+0

AI エージェント向けの軽量で高速なヘッドレスブラウザ。構造優先、オンデマンド レンダリング

レシピインストール型ツール自由に使える · Apache-2.0データ・クローリング難易度
firecrawl/firecrawl171,761+3,223

ウェブをスケールで検索、スクレイピング、インタラクションするAPIで、AIエージェント向けにクリーンなマークダウンや構造化データを生成します

インストール型ツール条件つき · AGPL-3.0データ・クローリング難易度
Hebbian-Robotics/hflow136+0

ロボティクスと Physical AI 向けの開源 SDK で、マルチモーダルデータパイプラインを構築します

レシピインストール型ツール自由に使える · Apache-2.0データ・クローリング難易度
D4Vinci/Scrapling76,285+1,513

JavaScriptを実行するブラウザ自動化から軽量HTTPリクエストまで、あらゆるウェブスクレイピングシーンに対応する適応的Pythonフレームワーク

開発の材料自由に使える · BSD-3-Clauseデータ・クローリング難易度
us/crw729+140

URLをマークダウンやJSON形式の構造化データに変換するRust製Webクローラー・スクレイパーエンジン

インストール型ツール条件つき · AGPL-3.0データ・クローリング難易度
unclecode/crawl4ai79,341+847

ウェブを LLM 対応のクリーンなマークダウンに変換する、オープンソースの高速クローラー・スクレイパーです。

インストール型ツール自由に使える · Apache-2.0データ・クローリング難易度
Chrisinho8/DACH-data-job-market105+23

ドイツ・オーストリア・スイスのAI/データ関連求人を日次追跡する、3,000件以上の常時掲載情報を可視化するダッシュボード。

完成アプリ自由に使える · MITデータ・クローリング難易度
NanmiCoder/MediaCrawler63,640+1,006

複数の中国ソーシャルメディアプラットフォームから公開データを自動抽出する Playwright ベースのウェブスクレイピングツールです。

インストール型ツール要確認 · NOASSERTIONデータ・クローリング難易度
jo-inc/camofox-browser8,842+189

AI エージェント向けの反検知ブラウザサーバー。Camoufox に基づき、C++ レベルのフィンガープリント偽装で bot 検知をバイパスします。

レシピインストール型ツール自由に使える · MITデータ・クローリング難易度
eatmoreduck/boss-zhipin-scraper1,211+81

Chrome DevTools Protocol で BOSS直聘から明文薪資の職位データを抽出し、薪資分布・スキル分析・求職提案を生成するスクレーパーです。

レシピインストール型ツール自由に使える · MITデータ・クローリング難易度
daijro/camoufox11,398+224

ウェブスクレイピングとAIエージェント向けにビルドされたオープンソース型アンチディテクトブラウザです。

優良食堂インストール型ツール自由に使える · MPL-2.0データ・クローリング難易度
ギット飯の献立
ショートカット
今日の辛さ

中辛実務にそのまま使える深さで

週間 急上昇 TOP
  1. 1only-cli/ocWebサイトをAIエージェント向けのCLIに変換し、トークン消費を最小限に抑えながらブラウジングを可能にするツールです。+0
  2. 2lexmount/moliAI エージェント向けの軽量で高速なヘッドレスブラウザ。構造優先、オンデマンド レンダリング+0
  3. 3firecrawl/firecrawlウェブをスケールで検索、スクレイピング、インタラクションするAPIで、AIエージェント向けにクリーンなマークダウンや構造化データを生成します+3,223
  4. 4Hebbian-Robotics/hflowロボティクスと Physical AI 向けの開源 SDK で、マルチモーダルデータパイプラインを構築します+0
  5. 5D4Vinci/ScraplingJavaScriptを実行するブラウザ自動化から軽量HTTPリクエストまで、あらゆるウェブスクレイピングシーンに対応する適応的Pythonフレームワーク+1,513
ライセンス信号
自由に使えるMIT・Apache
条件つきGPL・出典表記
要確認商用利用に制限
わたしの献立

既定の辛さ · 中辛

AI エージェントLLM ツール・RAG企画・設計コーディング支援・CLI エージェントMCP・Claude 連携Web・Next.js・フルスタックバックエンド・DB
週刊ダイジェストを購読