autoscrape-labs/pydoll

CDP 직접 연결로 WebDriver 바이너리 없이 Chrome/Edge를 자동화하고 Pydantic 추출 엔진으로 DOM을 타입된 Python 객체로 변환

개발 재료맘대로 써도 됨 · MIT데이터·크롤링난이도
6,909+0이번 주38618Python
데모·홈페이지 열기pydoll.tech
중간맛 분석

Python 3.10+ 기반의 완전 비동기(async/await) 자동화 라이브러리입니다. Pydantic 모델로 선언적 데이터 추출, humanize=True로 휴먼라이크한 마우스/키보드 조작, 네트워크 인터셉션, Shadow DOM 지원, HAR 레코딩 등을 제공합니다. 로그인 후 API 호출까지 세션을 유지하며, 클론→pip install→코드 실행으로 즉시 시작할 수 있습니다. 데모: Google 검색 자동화 및 quotes.toscrape.com 스크래핑 예제 포함.

이런 레포예요

이럴 때 쓰면 좋아요

  • 로그인 및 CAPTCHA 우회 후 API 호출로 대규모 데이터 수집
  • JavaScript 렌더링이 필요한 동적 웹페이지에서 구조화된 데이터 추출
  • Shadow DOM과 iframe을 포함한 복잡한 웹사이트 자동화 및 테스트

핵심 기능

Pydantic 기반 선언적 DOM 추출 엔진휴먼라이크 마우스 움직임과 타이핑(Bezier 곡선, Fitts 법칙)Shadow DOM(닫힌 루트 포함) 및 iframe 지원, 네트워크 인터셉션/모니터링, HAR 레코딩

대안 대비 차별점

WebDriver 바이너리 없이 CDP 직접 연결로 navigator.webdriver 탐지를 우회하고, Pydantic 추출 엔진으로 타입 안전한 구조화 데이터를 한 줄의 코드로 얻을 수 있습니다.

준비물
  • Python >= 3.10
  • Chrome 또는 Chromium 브라우저
바로 시작하기
  1. pip install pydoll-python
  2. Chrome 브라우저 시작 및 탭 생성: async with Chrome() as browser: tab = await browser.start()
  3. 자동화 실행: await tab.go_to('url'); await tab.find(selector).click()
별 추이 · 7일
6,909+0 / 7일
활용성 · 따라 만들기 좋은가
베스트 샘플샘플 점수 68/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2024년 생성

AI가 README 기반으로 요약했습니다 · 원문 보기