Rust 기반의 초고속 동시성 웹 크롤러·스크래퍼로, HTTP 우선 실행 후 필요시에만 JavaScript 렌더링합니다.
중간맛 분석
Rust 기반 라이브러리로 tokio 비동기 런타임 위에서 실행됩니다. 즉시 활용 가능하며 cargo add spider로 프로젝트에 추가할 수 있습니다. 스트리밍 아키텍처로 페이지 도착 시점에 바로 처리하고, robots.txt 존중, 속도 제한, 스텔스 모드 등이 내장되어 있습니다. 로컬 크롤링 또는 Spider Cloud 키로 관리형 서비스 이용이 모두 가능합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- LLM·RAG 파이프라인을 위해 오픈 웹 데이터를 벡터 스토어에 수집할 때
- SEO 모니터링, 가격 변동 추적 등 사이트 주기적 감시 시
- AI 에이전트가 웹 자동화 작업을 수행해야 할 때
핵심 기능
대안 대비 차별점
동시성 중심 설계와 스트리밍 아키텍처로 배치 기반이 아닌 실시간 페이지 처리를 구현하며, HTTP와 Chrome 경로 모두에서 스트리밍을 지원하여 극도로 높은 요청 볼륨을 처리할 수 있습니다.
먹어본 사람들
실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.
이 레포, 해먹는 법
처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.
준비물
- Rust 1.56 이상
- tokio 런타임 환경
바로 차려먹기Rust (cargo)
깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.
git clone --depth 1 https://github.com/spider-rs/spider.git && cd spider && cargo run
코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.
README가 안내하는 자세한 단계 보기
- Cargo 프로젝트에 spider 라이브러리 추가
cargo add spider
- 기본 크롤링 코드 작성 및 실행
cargo run
위 코드 예시:
use spider::{tokio, website::Website};
#[tokio::main]
async fn main() {
let mut website = Website::new("https://example.com");
let mut rx = website.subscribe(16);
tokio::spawn(async move {
while let Ok(page) = rx.recv().await {
println!("{} {}", page.status_code, page.get_url());
}
});
website.crawl().await;
website.unsubscribe();
}
깃밥트라이로 맛보기
받아보기 귀찮고 살짝 불안했다면 — 안전 스캔부터 설치까지 터미널 한 줄로 끝나요.
터미널에 붙여넣으면 깃밥 안전 스캔 → 격리 폴더 clone → 설치 → 실행법 안내까지 자동이에요. 처음이어도 괜찮아요 — 이 한 줄이 전부예요.
npx gitbap-try spider-rs/spider
Node.js만 있으면 설치 없이 실행돼요 · 깃밥트라이가 뭐예요? →
별 추이 · 7일
활용성 · 따라 만들기 좋은가
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2018년 생성
「AI 에이전트」 이런 레포, 매주 받아보실래요?
매주 월요일 아침, 골라 담은 밥상만. 광고 없이 · 언제든 해지.
내 레포인가요? README에 깃밥 배지 달기
[](https://www.gitbap.com/r/spider-rs/spider)🔌 클로드에서 바로 써보기 — 깃밥 연결하는 법
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기