NanmiCoder/MediaCrawler

Playwright 기반 자동화로 소홍서·틱톡·빌리빌리·웨이보 등 중국 소셜 미디어에서 공개 정보를 수집하는 멀티플랫폼 크롤러

설치형 도구확인 필요 · NOASSERTION데이터·크롤링Python난이도
59,442+2,260이번 주0 찜
11,711포크158이슈
데모·홈페이지 열기nanmicoder.github.io

중간맛 분석

Playwright 브라우저 자동화를 기반으로 하며, CDP 모드(Chrome DevTools Protocol)로 기존 Chrome 브라우저의 로그인 상태를 재사용합니다. 소홍서·틱톡·쿠샤오·B스탠·웨이보·티에바·지후 등 7개 플랫폼의 검색·게시물 상세·댓글·크리에이터 프로필 수집, 로그인 상태 캐싱, IP 프록시 풀, 댓글 워드클라우드 생성을 지원합니다. CSV·JSON·Excel·SQLite·MySQL 등으로 데이터 저장 가능하며, WebUI를 통한 시각적 운영도 가능합니다. 난이도는 중간 수준이고 설정 파일에 한중문 주석이 있어 진입장벽이 낮습니다.

이런 레포예요

이럴 때 쓰면 좋아요

  • 소홍서·틱톡 등 중국 소셜 미디어의 트렌드 콘텐츠와 댓글 대량 수집 및 분석
  • 마케팅·시장조사 목적의 경쟁사 콘텐츠 모니터링 및 사용자 반응 추적
  • 학생·연구자의 네트워크 크롤링 기법 학습 및 실제 자동화 프로젝트 구현

핵심 기능

Playwright 기반 로그인 상태 유지 자동화 (JS 역공학 불필요)7개 주요 중국 플랫폼(소홍서·틱톡·B스탠·웨이보 등) 동시 지원검색·게시물 상세·댓글·크리에이터 프로필 멀티 수집 모드CSV·JSON·Excel·SQLite·MySQL 데이터 저장 및 WebUI 시각화

대안 대비 차별점

Playwright의 보존된 로그인 컨텍스트를 활용하여 복잡한 암호화 알고리즘 역공학 없이도 플랫폼 데이터를 효율적으로 수집하며, 기존 Chrome 세션·쿠키·확장 프로그램을 재사용하여 탐지 위험을 획기적으로 낮춘다는 점이 기존 크롤러와 차별화됩니다.

먹어본 사람들

실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.

시식평 · 먹어본 사람 한마디

아직 시식평이 없어요. 먹어보셨다면 첫 한마디를 남겨주세요.

다른 레포 시식평 구경하기 →

이 레포로 만든 것들

🖋 완주 인증하기

아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!

이 레포, 해먹는 법

처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.

준비물

  • Python 3.11+
  • Node.js 16.0.0+
  • Chrome 브라우저(144 이상 권장)
  • uv 패키지 매니저

바로 차려먹기Node.js (npm)

깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.

git clone --depth 1 https://github.com/NanmiCoder/MediaCrawler.git &&
cd MediaCrawler &&
npm install

실행 명령은 README를 확인하세요.

코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.

README가 안내하는 자세한 단계 보기
  1. uv(Python 패키지 매니저) 설치
# uv 설치 후 버전 확인
uv --version

  1. Node.js 설치 (버전 ≥ 16.0.0)

  2. 프로젝트 디렉토리로 이동 후 의존성 설치

cd MediaCrawler
uv sync
  1. Chrome 브라우저 원격 디버깅 활성화 (선택사항, CDP 모드 사용 시)
  • Chrome 최신 버전(≥ 144) 설치
  • Chrome 주소창에 chrome://inspect/#remote-debugging 입력
  • "Allow remote debugging for this browser instance" 체크
  1. 표준 Playwright 모드 사용 시 브라우저 드라이버 설치
uv run playwright install
  1. 크롤러 실행
# 설정 파일에서 읽은 키워드로 게시물 검색 및 댓글 수집 (소홍서 예시)
uv run main.py --platform xhs --lt qrcode --type search

# 또는 지정된 게시물 ID로 상세 정보 수집
uv run main.py --platform xhs --lt qrcode --type detail

# QR코드 스캔으로 로그인 완료 후 크롤링 시작

깃밥트라이로 맛보기

받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.

터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.

npx gitbap-try NanmiCoder/MediaCrawler

Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →

별 추이 · 7일

59,442+2,260 / 7일

활용성 · 따라 만들기 좋은가

샘플 점수 32/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2023년 생성

「데이터·크롤링」 이런 레포, 매주 받아보실래요?

매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.

내 레포인가요? README에 깃밥 배지 달기
[![깃밥](https://www.gitbap.com/badge/NanmiCoder/MediaCrawler.svg)](https://www.gitbap.com/r/NanmiCoder/MediaCrawler)
🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법

깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.

방법 ① 커넥터 URL

클로드 설정 → 커넥터에 이 주소를 붙여넣기.

https://www.gitbap.com/api/mcp
방법 ② 플러그인 (체험까지)

플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.

/plugin marketplace add jakeparkcolde/gitbap-cowork
/plugin install gitbap-cowork@gitbap
연결 방법 자세히 →

AI가 README 기반으로 요약했습니다 · 원문 보기