apache/airflow

Python 코드로 workflows를 정의해 자동으로 스케줄·실행·모니터링하는 플랫폼

설치형 도구맘대로 써도 됨 · Apache-2.0자동화·워크플로우Python난이도

47,2900 찜

18,175포크1,025이슈

중간맛 분석

Apache Airflow는 DAG(방향성 비순환 그래프) 형태의 workflows를 Python 코드로 정의하고 자동으로 스케줄·실행·모니터링하는 오케스트레이션 플랫폼입니다. 작업 순서 정의 → scheduler의 자동 실행 → 웹 UI 모니터링이 기본 흐름이며, tasks 간에는 metadata만 주고받기(XCom)를 권장합니다. 정적이고 천천히 변하는 data pipeline 또는 ML/AI 워크플로우 오케스트레이션에 적합합니다. 설치는 PyPI에서 apache-airflow[postgres,google] 같이 extras를 지정해 진행하며, 의존성 관리를 위해 공식 constraint 파일 사용이 권장됩니다. 프로덕션 실행은 Linux 기반 OS와 PostgreSQL/MySQL 데이터베이스가 필수입니다.

이런 레포예요

이럴 때 쓰면 좋아요

데이터 엔지니어가 ETL/ELT 파이프라인을 DAG로 정의해 일정 시간마다 자동 실행하고 모니터링
머신러닝 팀이 데이터 준비, 모델 학습, 평가, 배포 단계를 작업 순서로 정의해 자동 오케스트레이션
개발팀이 AI 워크플로우(데이터 준비, 도구 호출, 모델 추론, 평가)의 단계를 자동으로 조율

핵심 기능

Python 코드로 workflows(DAG) 정의하고 자동 스케줄링·실행웹 UI에서 pipeline 시각화 및 실행 상태 모니터링Jinja 템플팅과 XCom으로 동적이고 유연한 작업 흐름 구성

먹어본 사람들

실제로 차려 먹어본 손님들의 흔적이에요 — 한마디와 완주 인증 모두 검수 후 공개돼요.

시식평 · 먹어본 사람 한마디

아직 시식평이 없어요. 먹어보셨다면 첫 한마디를 남겨주세요.

다른 레포 시식평 구경하기 →

이 레포로 만든 것들

🖋 완주 인증하기

아직 이 레포로 만든 완주 인증이 없어요. 첫 밥도장을 찍어보세요!

이 레포, 해먹는 법

처음 오셨어요? 어렵지 않아요 — 위에서 아래로 따라 하면 내 컴퓨터에 이 레포를 차려서 바로 맛볼 수 있어요.

준비물

Python 3.10 이상
데이터베이스 (PostgreSQL 14+, MySQL 8.0+, 프로덕션 환경 필수)
Linux 기반 OS (프로덕션 환경 필수)
pip 또는 uv

바로 차려먹기Python (uv)

깃밥이 레포 구조를 확인하고 만든 실행 명령이에요. 터미널에 붙여넣으면 받기부터 실행까지 한 번에 진행돼요.

git clone --depth 1 https://github.com/apache/airflow.git &&
cd airflow &&
uv sync

uv가 없다면: brew install uv · 실행 명령은 README를 확인하세요.

코드는 내 컴퓨터에서 실행돼요 — 처음 보는 레포라면 내용을 한번 훑어보고 실행하는 습관을 추천해요.

README가 안내하는 자세한 단계 보기

Airflow 기본 버전을 constraint 파일과 함께 pip로 설치

pip install 'apache-airflow==3.3.2' \
 --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.3.2/constraints-3.10.txt"

PostgreSQL, Google Cloud 등 추가 provider를 포함해 설치

pip install 'apache-airflow[postgres,google]==3.3.2' \
 --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.3.2/constraints-3.10.txt"