gocolly/colly
Go로 쓴 초고속 웹 스크래핑 프레임워크
25,334+288이번 주1,853144Go
데모·홈페이지 열기go-colly.org중간맛 분석
Go 기반 스크래핑 프레임워크로, 초당 1,000+ 요청 처리 성능을 제공합니다. 동기/비동기/병렬 모드 지원, 자동 쿠키 관리, robots.txt 준수, 분산 스크래핑, 캐싱 등이 내장되어 있어 엔터프라이즈급 크롤링 작업에 바로 쓸 수 있습니다. 예제 폴더에 다양한 실행 사례들이 준비되어 있고, go get으로 간단히 설치 가능합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- 웹사이트에서 구조화된 데이터를 자동 추출해 데이터베이스에 저장
- 검색엔진 인덱싱을 위한 대규모 웹 크롤링
- 가격 모니터링, 뉴스 수집 등 정기적인 데이터 수집
핵심 기능
초당 1,000+ 요청 처리 성능자동 쿠키/세션 관리 및 robots.txt 준수동기/비동기/병렬 스크래핑 모드
대안 대비 차별점
Go의 가벼운 실행 파일과 높은 동시성 성능으로, Python 기반 Scrapy보다 배포와 운영이 간편하고 메모리 효율이 우수합니다.
바로 시작하기
- Go 패키지 설치
go get github.com/gocolly/colly/v2
- 기본 스크래퍼 작성 및 실행
cat > main.go << 'EOF'
package main
import (
"fmt"
"github.com/gocolly/colly/v2"
)
func main() {
c := colly.NewCollector()
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
e.Request.Visit(e.Attr("href"))
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("Visiting", r.URL)
})
c.Visit("http://go-colly.org/")
}
EOF
go run main.go
별 추이 · 7일
25,334+288 / 7일
활용성 · 따라 만들기 좋은가
샘플 점수 34/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
🟢 최근 활동 있음 · 2017년 생성
AI가 README 기반으로 요약했습니다 · 원문 보기