oxylabs/scrape-google-python

Oxylabs SERP Scraper API를 이용해 Google 검색 결과를 Python으로 크롤링하는 가이드

학습 자료확인 필요데이터·크롤링난이도
1,398+0이번 주0 찜
3포크0이슈

중간맛 분석

Python의 requests 라이브러리와 Oxylabs SERP Scraper (유료 서비스, 무료 체험 가능)를 사용합니다. POST 요청으로 검색어, 지역, 로케일, 페이지 수 등을 전송하면 파싱된 JSON 또는 원본 HTML을 받습니다. 기본 예제는 5줄 코드로 시작할 수 있고, CSV 내보내기, 에러 처리, 위치 기반 결과 필터링 등을 추가로 학습할 수 있습니다. 문서에 명확한 코드 샘플들이 있어 바로 적용 가능합니다.

이런 레포예요

이럴 때 쓰면 좋아요

  • 대규모 키워드 검색 결과를 자동으로 수집하여 시장 조사 및 경쟁사 모니터링
  • 특정 지역의 Google 검색 결과를 여러 로케일로 수집하여 국제 마케팅 데이터 분석
  • 검색 결과를 CSV로 내보내 BI 도구나 스프레드시트에서 분석

핵심 기능

Google 검색 결과를 JSON 또는 CSV로 자동 파싱지역(geo_location)과 언어(locale) 파라미터로 맞춤 검색에러 처리 및 재시도 로직 예제 제공

대안 대비 차별점

셀레니움이나 BeautifulSoup 같은 복잡한 스크래핑 라이브러리 없이 간단한 API 호출로 Google 결과를 얻을 수 있으며, 프록시와 봇 탐지 우회를 API 측에서 자동 처리합니다.

준비물

  • Python 3.8 이상
  • Oxylabs SERP Scraper API 계정 (유료/무료 체험)
  • requests 라이브러리

바로 시작하기

  1. Oxylabs 대시보드에서 가입하고 사용자명(username)과 비밀번호(password)를 저장합니다.
python3 -m pip install requests
  1. Python 파일을 생성하고 다음 코드를 입력합니다.
import requests
from pprint import pprint

payload = {
    'source': 'google_search',
    'query': 'shoes',
    'geo_location': 'Germany',
    'locale': 'en-us',
    'parse': True,
    'start_page': 1,
    'pages': 5,
    'limit': 10,
}

response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('USERNAME', 'PASSWORD'),
    json=payload,
)

if response.status_code != 200:
    print("Error - ", response.json())
    exit(-1)

pprint(response.json())

  1. USERNAME과 PASSWORD를 실제 자격증명으로 교체합니다.

  2. 스크립트를 실행합니다.

python3 script.py
  1. (선택사항) Pandas를 설치하여 결과를 CSV로 내보냅니다.
python3 -m pip install pandas
  1. CSV 내보내기 코드를 추가합니다.
import pandas as pd
data = response.json()
df = pd.json_normalize(data['results'])
df.to_csv('export.csv', index=False)

별 추이 · 7일

1,398+0 / 7일

활용성 · 따라 만들기 좋은가

샘플 점수 14/100
  • 관대한 라이선스
  • 테스트 있음
  • 예제 디렉토리
  • 최근 활동
  • AGENTS.md
  • llms.txt
  • 템플릿

🟢 최근 활동 있음 · 2024년 생성

이 레포에 깃밥 배지 달기

[![깃밥](https://www.gitbap.com/badge/oxylabs/scrape-google-python.svg)](https://www.gitbap.com/r/oxylabs/scrape-google-python)

🔌 클로드에서 바로 써보기

깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.

방법 ① 커넥터 URL

클로드 설정 → 커넥터에 이 주소를 붙여넣기.

https://www.gitbap.com/api/mcp
방법 ② 플러그인 (체험까지)

플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.

/plugin marketplace add jakeparkcolde/gitbap-cowork
/plugin install gitbap-cowork@gitbap
연결 방법 자세히 →

AI가 README 기반으로 요약했습니다 · 원문 보기