ksanjeev284/reddit-universal-scraper

Reddit을 API 키 없이 대규모로 수집하고 분석할 수 있는 풀스택 스크래퍼 플랫폼

설치형 도구맘대로 써도 됨 · MIT데이터·크롤링Python난이도
553+16이번 주0 찜
86포크1이슈

중간맛 분석

스택: Python 3.8+, Streamlit(대시보드), FastAPI(REST ), SQLite(저장소), Parquet(분석용 포맷) | 핵심 기능: 게시물·댓글·미디어 수집, 감정 분석, 정시 스케줄링, 드라이런 모드(테스트 실행), 플러그인 시스템 | 바로 쓸 수 있나: 예. pip install -r requirements.txt 후 한 줄 명령어로 스크래핑 시작 가능 | 데모/증거: 공식 이미지·명령어 예시 제공, Metabase/Grafana/DuckDB 연동 가이드 포함

이런 레포예요

이럴 때 쓰면 좋아요

  • 감정 분석을 위해 Reddit 커뮤니티 대규모 데이터 수집
  • 마케팅 조사를 위한 특정 주제별 여론 데이터 추출
  • 대시보드·Grafana·DuckDB 등 분석 도구와 연동하여 실시간 모니터링

핵심 기능

API 키 불필요한 자동 스크래핑(프록시·스케줄링 지원)Streamlit 웹 대시보드 + FastAPI REST API + 감정분석 내장플러그인 시스템으로 사용자 정의 후처리 파이프라인 구성

대안 대비 차별점

공식 API 없이 완전 자동화 가능하며, 단순 수집을 넘어 내장 감정 분석·플러그인·대시보드·API를 모두 갖춘 올인원 플랫폼입니다.

준비물

  • Python 3.8+
  • ffmpeg (영상 처리용, 선택)

바로 시작하기

  1. 의존성 설치
pip install -r requirements.txt
  1. ffmpeg 설치(선택, 영상 음성 포함 시)
# macOS
brew install ffmpeg
# Ubuntu/Debian
sudo apt install ffmpeg
# Windows (Chocolatey)
choco install ffmpeg
  1. 서브레딧 스크래핑(예: python)
python main.py python --mode full --limit 100
  1. 대시보드 실행
python main.py --dashboard
  1. REST API 실행
python main.py --api
  1. Docker 사용(선택)
docker build -t reddit-scraper .
docker-compose up -d

별 추이 · 7일

553+16 / 7일

활용성 · 따라 만들기 좋은가

샘플 점수 34/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2025년 생성

이 레포에 깃밥 배지 달기

[![깃밥](https://www.gitbap.com/badge/ksanjeev284/reddit-universal-scraper.svg)](https://www.gitbap.com/r/ksanjeev284/reddit-universal-scraper)

🔌 클로드에서 바로 써보기

깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.

방법 ① 커넥터 URL

클로드 설정 → 커넥터에 이 주소를 붙여넣기.

https://www.gitbap.com/api/mcp
방법 ② 플러그인 (체험까지)

플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.

/plugin marketplace add jakeparkcolde/gitbap-cowork
/plugin install gitbap-cowork@gitbap
연결 방법 자세히 →

AI가 README 기반으로 요약했습니다 · 원문 보기