champmq/TheScrapper
웹사이트에서 이메일, 전화번호, SNS 계정을 자동으로 수집하는 오픈소스 스크래핑 도구
358+5이번 주0 찜
59포크0이슈
중간맛 분석
스택: Python3, Streamlit (웹 UI)
난이도: 입문자 가능 (설치 후 명령어만 입력)
바로 쓸 수 있나: 네. 저장소 클론 후 pip3 install -r requirements.txt로 의존성 설치하면 바로 실행 가능
인터페이스: 또는 브라우저 기반 Web UI (Streamlit)
주요 기능: 단일/배치 URL 스크래핑, CSV/Excel 파일 입출력, 링크 크롤링, SNS 계정 추출
이런 레포예요
이럴 때 쓰면 좋아요
- 기업의 의사결정자/담당자 연락처를 대규모 수집해 B2B 영업 캠페인 진행
- 유사 업체 웹사이트들을 일괄 분석해 경쟁사 SNS 계정 및 이메일 모니터링
- 보안 감시(OSINT) 목적으로 특정 도메인과 연관된 연락처 및 소셜 미디어 계정 조사
핵심 기능
다중 형식 추출 (이메일, 전화번호, SNS 계정)배치 처리 (CSV/Excel 파일 입력)자동 링크 크롤링으로 깊이 있는 정보 수집
대안 대비 차별점
API 비용 없이 직접 스크래핑 방식으로 자유로우며, 사용자가 `socials.txt` 파일을 수정해 지원 SNS 사이트를 직접 확장할 수 있습니다.
준비물
- Python 3.6 이상
- pip (Python 패키지 관리자)
바로 시작하기
- 저장소를 클론합니다.
git clone https://github.com/champmq/TheScrapper.git
- 디렉토리로 이동합니다.
cd TheScrapper
- 의존성을 설치합니다.
pip3 install -r requirements.txt
- 웹 UI를 실행하거나 CLI를 사용합니다.
웹 UI 실행:
streamlit run app.py
CLI 기본 사용 (URL 스크래핑):
python3 TheScrapper.py --url https://example.com
CLI 고급 옵션 (링크 크롤링 포함):
python3 TheScrapper.py --url https://example.com --crawl
배치 처리 (CSV/Excel 파일):
python3 TheScrapper.py --csv targets.csv
별 추이 · 7일
358+5 / 7일
활용성 · 따라 만들기 좋은가
샘플 점수 14/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2021년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/champmq/TheScrapper)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기