데이터·크롤링 맞대결: OSINT부터 브라우저 에이전트까지
네 레포 모두 '웹에서 데이터를 가져온다'는 점은 같지만 목적이 다릅니다. maigret은 사용자명 하나로 신원 정보를 모으는 OSINT 도구, scrapy는 대량 정적 크롤링 프레임워크, crawlee-python은 크롤링과 브라우저 자동화를 함께 지원하는 라이브러리, invisible_playwright_mcp는 봇 탐지를 피하며 자연어로 브라우저를 조작하는 에이전트입니다. 순위보다는 '무엇을 하려는지'에 맞춰 고르는 게 핵심입니다.
왜 이들을 묶었나 — 네 프로젝트는 겹치는 영역이 크지 않아 단순 비교가 어렵지만, 공통적으로 '웹에서 구조화된 정보를 뽑아낸다'는 점에서 데이터·크롤링 카테고리로 묶었습니다. 설치 난이도, 성능·규모, 유지보수 활력, 학습곡선 네 기준으로 보면 scrapy는 범용성과 성숙도에서, crawlee-python은 크롤링과 브라우저 자동화를 함께 써야 할 때, maigret은 OSINT 특화 작업에서, invisible_playwright_mcp는 봇 탐지 회피가 중요한 에이전트형 작업에서 각각 강점을 보입니다. 처음 입문하는 독자는 자신의 목적이 '대량 수집'인지 '신원 조사'인지 '브라우저 자동화'인지부터 먼저 정하는 게 좋습니다.
scrapy/scrapy
웹사이트에서 데이터를 추출하는 파이썬 웹 크롤링 프레임워크
왜 이걸 골랐나 — scrapy는 특정 목적에 치우치지 않은 범용 크롤링 프레임워크로, '구조화된 데이터 수집'이라는 이 카테고리의 가장 기본적인 수요를 충족시킵니다. Zyte가 주도하는 성숙한 생태계와 풍부한 레퍼런스 덕분에, 처음 크롤링을 배우는 사람이 투자한 학습 시간을 가장 넓은 상황에 재사용할 수 있습니다.
여섯 가지 차원으로 견줬습니다
| 차원 | soxoj/maigret🍚 착한밥상 | scrapy/scrapy🍚 착한밥상 | apify/crawlee-python🍚 착한밥상 | feder-cr/invisible_playwright_mcp🍚 착한밥상 |
|---|---|---|---|---|
| 설치 난이도⚙️ | pip 한 줄API 키 없이 pip install로 바로 사용, 선택적 의존성만 추가하면 됩니다. | 순수 파이썬 설치브라우저 바이너리 없이 pip install scrapy만으로 끝나고 추가 설치가 필요 없습니다. | 브라우저 설치 필요브라우저 자동화 기능을 쓰려면 playwright install 등 추가 설정이 필요합니다. | 별도 엔진·키 필요스텔스 Firefox 엔진(invisible-playwright)과 OpenRouter API 키 등 사전 준비가 많습니다. |
| 성능·규모🚀 | 수천 사이트 동시 조회asyncio로 사이트별 동시 요청을 하지만 목적이 단일 인물 추적이라 범용 대량 수집용은 아닙니다. | 대규모 수집에 검증됨Twisted 비동기 엔진 위에서 대량 URL을 동시 처리하도록 설계돼 실무 대규모 크롤링에 쓰입니다. | 확장형 크롤링+브라우저크롤링과 브라우저 자동화를 함께 지원하며 동시성 처리를 고려해 설계됐습니다. | 단일 세션 중심에이전트가 브라우저 하나를 조작하는 구조라 대량·병렬 처리를 위한 용도는 아닙니다. |
| 유지보수 활력🔧 | 24시간 자동 DB 갱신실행할 때마다 GitHub에서 사이트 DB를 자동 갱신하는 구조로 꾸준히 손이 가고 있습니다. | Zyte가 주도Zyte와 다수 컨트리뷰터가 유지하는 오래되고 성숙한 프로젝트입니다. | Apify가 개발Apify가 만들고 운영하는 라이브러리로 꾸준한 개발이 이뤄지고 있습니다. | 최근 리브랜딩LinkedIn 지원봇에서 범용 에이전트로 최근 방향을 틀어 아직 변화가 진행 중인 단계입니다. |
| 학습곡선📈 | 명령 하나로 시작기본 사용은 사용자명 하나 넣고 실행하면 끝나지만, 태그·DB 커스터마이징은 별도 학습이 필요합니다. | 프레임워크 개념 다수Spider·Item·Pipeline·Middleware 등 익혀야 할 개념이 많아 입문 초반 진입장벽이 있습니다. | 크롤러 클래스로 단순화Scrapy 대비 추상화된 크롤러 클래스를 제공하지만 비동기·브라우저 개념은 여전히 필요합니다. | 자연어 지시, 낯선 구조사용법 자체는 자연어 지시라 쉽지만 MCP·에이전트 구조 이해에는 별도 학습이 필요합니다. |
| 라이선스상업적 사용 | ✅ MIT | ✅ BSD-3-Clause | ✅ Apache-2.0 | ✅ MIT |
| 용도 적합어디에 맞나 | 사용자명 하나로 특정 인물의 온라인 흔적을 빠르게 모아야 하는 OSINT 조사에 맞습니다. | 구조화된 데이터를 안정적으로, 대량으로, 장기 운영까지 염두에 두고 수집해야 하는 프로젝트에 맞습니다. | 정적 페이지 크롤링과 JS 렌더링 브라우저 자동화를 한 도구로 넘나들며 써야 할 때 맞습니다. | 봇 탐지를 피하면서 자연어로 브라우저 작업을 반자동화하려는 경우에 맞습니다. |
각자 무엇을 잘하고, 무엇을 포기했나
사용자명 하나로 5,900여 개 사이트의 계정을 찾아 신원 정보를 모아주는 OSINT CLI 도구
👍 장점
- API 키 없이 사용자명 하나로 수천 개 사이트를 동시에 조회합니다
- CLI·라이브러리·웹UI 세 가지 사용 방식을 지원합니다
- 프로필 정보를 재귀적으로 확장 탐색해 추가 계정을 자동으로 발견합니다
👎 단점
- 범용 웹 크롤링이 아닌 OSINT 신원조사에 특화돼 있습니다
- 기본 실행은 상위 500개 사이트만 검사하고 전체 조회는 옵션이 필요합니다
- --ai 요약 기능은 외부 LLM API에 의존합니다
웹사이트에서 데이터를 추출하는 파이썬 웹 크롤링 프레임워크
👍 장점
- Twisted 비동기 엔진으로 대규모 크롤링에 검증된 성능을 보입니다
- 미들웨어·파이프라인·익스포터 등 전 과정을 세밀하게 커스터마이징할 수 있습니다
- Zyte가 주도하는 성숙한 생태계와 풍부한 레퍼런스를 갖추고 있습니다
👎 단점
- Spider·Item·Middleware 등 익혀야 할 개념이 많아 입문 장벽이 있습니다
- 브라우저 렌더링이 필요한 JS 중심 사이트는 별도 확장이 필요합니다
- 비동기(Twisted) 모델에 대한 이해가 필요합니다
웹 크롤링과 브라우저 자동화를 위한 안정적이고 빠른 Python 라이브러리
👍 장점
- 크롤링과 브라우저 자동화를 한 라이브러리에서 함께 지원합니다
- Apify가 개발·운영하며 꾸준히 업데이트됩니다
- Apache-2.0 라이선스로 상업적 활용에 제약이 적습니다
👎 단점
- 브라우저 자동화 기능을 쓰려면 별도 바이너리 설치가 필요합니다
- Scrapy 대비 생태계·레퍼런스 축적이 상대적으로 적습니다
- 요약 정보만 제공돼 세부 아키텍처는 직접 코드로 확인해야 합니다
웹 반자동 작업을 할 때 봇 탐지를 피하는 브라우저 에이전트 도구
👍 장점
- 자연어 지시만으로 실제 브라우저를 조작하는 에이전트 방식입니다
- 코딩 어시스턴트(MCP)나 독립 웹UI 등 여러 방식으로 연결할 수 있습니다
- 스텔스 처리된 엔진으로 봇 탐지 회피를 염두에 두고 설계됐습니다
👎 단점
- 별도 스텔스 엔진 패키지와 OpenRouter API 키 등 준비물이 많습니다
- 원래 LinkedIn 자동 지원봇에서 리브랜딩된 지 얼마 안 돼 방향성이 유동적입니다
- 대량·병렬 수집보다 단일 브라우저 세션 중심의 작업에 맞습니다
용도별 추천
사용자명 하나만 넣으면 수천 개 사이트를 동시에 조회해 신원 정보를 모아줍니다.
비동기 엔진과 미들웨어·파이프라인 구조로 대량 수집을 안정적으로 운영할 수 있습니다.
크롤링과 브라우저 자동화를 한 라이브러리에서 함께 지원합니다.
스텔스 브라우저 엔진 위에서 에이전트가 자연어 지시로 작업을 수행합니다.
어떤 기준으로 견줬나
맛대결은 순위표가 아닙니다. 아래 여섯 차원은 “설치해서 실제로 쓸 때 결과가 갈리는 지점”만 골랐고, 등급은 검증단이 각 레포를 실제 설치·실행해 남긴 기록과 공개 저장소 데이터에 근거합니다.
등급은 절대 점수가 아니라 이 대결 안에서의 상대 비교입니다 · 착한밥상 배지는 4개 관문(안전·실속·살아있음·숙성)을 통과한 레포에만 붙습니다 · 관찰 중 표기는 숙성 기간이 아직 차지 않은 경우입니다.
지난 맛대결
4회차지금 보고 있는 최신 회차는 무료입니다. 그 앞의 4회차는 깃밥 PRO에서 열립니다 — 같은 카테고리가 회차를 거치며 어떻게 바뀌었는지 견주는 기록입니다.
깃밥 PRO 전용 · 지난 회차 맛대결 전문 — 회차별 6차원 비교 · 간판 선정 이유 · 참가 레포 장단점
최신 회차 맛대결 전문 — 지금처럼 무료로 열립니다.