Webページから本文・メタデータを抽出し、構造化データに変換するPythonライブラリ
中辛 の解説
Python で動作し、sitemap・RSS・JSONフィード対応のクローラー機能、ルールベース・jusText・readability-lxml 後退フォールバック抽出器、JSON・Markdown・XML-TEI・CSV 出力をサポートします。コマンドラインと Python の両方で使用でき、設定不要で即座に運用できます。HuggingFace・Microsoft Research・NVIDIA など大規模プロジェクトで採用され、複数のベンチマークで他のオープンソース抽出ツールを上回る成果を出しています。難易度は 2～3（初心者向けライブラリ、カスタマイズは中級）。
이런 레포예요
이럴 때 쓰면 좋아요
- ニュースサイト・ブログから記事本文と著者情報を一括抽出し、テキストコーパスを構築する場合
- LLM・検索エンジン向けの RAG パイプラインで Web ページの本質的なコンテンツだけを抽出する場合
- Web からの言語リソース収集で複数言語対応のサイトマップ・RSS を監視し、構造化メタデータを自動保存する場合
핵심 기능
대안 대비 차별점
独自ルールベース抽出器にフォールバック機構を組み合わせ、複数ベンチマークでオープンソース同等品を上回る精度・速度を実現し、アカデミア・企業の大規模プロジェクトで採用される信頼性を持っています。
食べた人たち
実際に使ってみた人の記録です — 一言も完走の記録も、確認のうえで公開しています。
このリポジトリの作り方
はじめてですか？ むずかしくありません — 上から順にたどれば、自分の環境で動かして味見できます。
준비물
- Python 3.7 以上
すぐ動かしてみるPython (uv)
ギット飯がリポジトリの構成を確認して組み立てた実行コマンドです。ターミナルに貼り付ければ、取得から実行までまとめて進みます。
git clone --depth 1 https://github.com/adbar/trafilatura.git && cd trafilatura && uv sync
uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.
コードは自分の環境で動きます — はじめて見るリポジトリなら、中身にひととおり目を通してから実行するのがおすすめです。
README가 안내하는 자세한 단계 보기
- pip でインストールします
pip install trafilatura
- Python で URL をフェッチして本文を抽出します
python3 << 'EOF'
from trafilatura import fetch_url, extract
downloaded = fetch_url("https://github.blog/2019-03-29-leader-spotlight-erin-spiceland/")
result = extract(downloaded)
print(result)
EOF
- メタデータ付き JSON 形式で出力します
python3 << 'EOF'
from trafilatura import fetch_url, extract
downloaded = fetch_url("https://github.blog/2019-03-29-leader-spotlight-erin-spiceland/")
result = extract(downloaded, output_format="json", with_metadata=True)
print(result)
EOF
- コマンドラインから直接実行します（URL リストをファイルで指定）
trafilatura -i urls.txt -o output.json
ギット飯トライで味見
入れるのが面倒で少し不安だったなら — 安全スキャンからインストールまで、ターミナル一行で終わります。
ターミナルに貼り付ければ、ギット飯の安全スキャン → 隔離フォルダへ clone → インストール → 実行方法の案内まで自動です。はじめてでも大丈夫 — この一行だけです。
npx gitbap-try adbar/trafilatura
Node.js さえあれば、インストールなしで動きます · ギット飯トライとは？ →
スター推移 · 7日
使いやすさ · まねしやすいか
- ゆるいライセンス
- テストあり
- サンプル集
- 最近の更新
- AGENTS.md
- llms.txt
- テンプレート
最近の更新あり · 2019 年に作成
「데이터·크롤링」 こういうリポジトリを毎週受け取りませんか？
毎週月曜の朝、選んだ一膳だけ。広告なし · いつでも解除。
自分のリポジトリですか？ README にギット飯バッジを貼る
[](https://www.gitbap.com/r/adbar/trafilatura)Claude からそのまま使う — ギット飯のつなぎ方
ギット飯を Claude につなぐと、こうしたリポジトリを Claude・Cursor・Codex から直接さがして試せます。
Claude の設定 → コネクタにこのアドレスを貼り付け。
https://www.gitbap.com/api/mcpプラグインを入れると /gitbap-trending·/gitbap-try のスラッシュコマンドで、その場でリポジトリを試せます。Claude Code で下の 2 行を順に実行してください。
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI が README をもとに要約しました · 原文を見る