kakao/cuesheet
Apache Spark 2.x 애플리케이션을 더 간편하게 작성하고 배포하기 위한 Scala 프레임워크
84+0이번 주0 찜
23포크2이슈
중간맛 분석
Scala로 작성된 Spark 2.x용 프레임워크입니다. CueSheet 객체를 확장하고 sc, sqlContext, spark 변수를 직접 사용하여 business logic을 작성하면, 프레임워크가 자동으로 SparkContext/SparkSession을 생성하고 로컬 또는 YARN으로 배포합니다. 난이도: 중상(Spark 기초 지식 필요). application.conf로 Spark 설정을 관리하며, IDE에서 즉시 실행하거나 클러스터에 배포할 수 있습니다. 추가로 HBase, Couchbase, ElasticSearch 커넥터, Spark Streaming 지원, 협업 필터링, Kafka offset 관리 등 유틸리티를 제공합니다.
이런 레포예요
이럴 때 쓰면 좋아요
- Spark 배치 작업을 복잡한 셸 스크립트 없이 관리하고 싶을 때
- IDE에서 Spark 애플리케이션을 디버깅하면서 개발하고 싶을 때
- Marathon이나 Chronos 같은 분산 스케줄러에 Spark 작업을 쉽게 등록하고 싶을 때
핵심 기능
spark-submit 제거로 간소화된 배포 프로세스HOCON 기반 설정 분리로 비즈니스 로직과 배포 환경 분리HBase, Couchbase, ElasticSearch 등 외부 저장소 커넥터 내장
대안 대비 차별점
spark-submit을 완전히 제거하고 순수 Scala 객체 상속으로 통합된 개발-배포 환경을 제공하며, IDE 디버깅과 동적 jar 캐싱으로 분산 스케줄러와의 통합을 간편하게 합니다.
준비물
- Apache Spark 2.x
- Scala 2.10 또는 2.11
- SBT 빌드 도구
바로 시작하기
- SBT 프로젝트에 CueSheet 의존성을 추가합니다.
libraryDependencies += "com.kakao.cuesheet" %% "cuesheet" % "0.10.0"
- Scala object를 작성하여 CueSheet를 확장합니다.
import com.kakao.cuesheet.CueSheet
object Example extends CueSheet {{
val rdd = sc.parallelize(1 to 100)
println(s"sum = ${rdd.sum()}")
println(s"sum2 = ${rdd.map(_ + 1).sum()}")
}}
- src/main/resources 디렉토리에 application.conf 설정 파일을 생성합니다.
spark {
master = "local[*]"
deploy.mode = client
executor.memory = 1g
driver.memory = 1g
}
- IDE에서 Example 객체를 Java 애플리케이션으로 실행하거나, YARN 클러스터 배포 시 master를 yarn으로 변경하여 실행합니다.
별 추이 · 7일
84+0 / 7일
활용성 · 따라 만들기 좋은가
샘플 점수 20/100
- 관대한 라이선스
- 테스트 있음
- 예제 디렉토리
- 최근 활동
- AGENTS.md
- llms.txt
- 템플릿
⚪ 최근 활동 정보 없음 · 2017년 생성
이 레포에 깃밥 배지 달기
[](https://www.gitbap.com/r/kakao/cuesheet)🔌 클로드에서 바로 써보기
깃밥을 클로드에 연결하면 이런 레포를 클로드·커서·Codex에서 바로 찾고 체험할 수 있어요.
방법 ① 커넥터 URL
클로드 설정 → 커넥터에 이 주소를 붙여넣기.
https://www.gitbap.com/api/mcp방법 ② 플러그인 (체험까지)
플러그인을 설치하면 /gitbap-trending·/gitbap-try 슬래시 커맨드로 레포를 그 자리에서 체험. Claude Code에서 아래 두 줄을 차례로 실행하세요.
/plugin marketplace add jakeparkcolde/gitbap-cowork/plugin install gitbap-cowork@gitbapAI가 README 기반으로 요약했습니다 · 원문 보기