Airflow DAG를 Kubernetes에 배포하는 3가지 방법
REST API로는 DAG를 올릴 수 없다는 전제부터, Git-sync·PVC 복사·이미지 내장 세 전략의 장단점과 CI/CD 파이프라인 구성을 비교합니다.
Category
Airflow, NiFi, IoT 파이프라인, 그래프 데이터 모델링까지 데이터를 흐르게 하는 시스템 이야기.
REST API로는 DAG를 올릴 수 없다는 전제부터, Git-sync·PVC 복사·이미지 내장 세 전략의 장단점과 CI/CD 파이프라인 구성을 비교합니다.
cron과 다른 점부터 Scheduler·Executor·Worker 구조, DAG·Operator·XCom까지 Airflow의 기본기를 정리합니다.
사람 노드에 정보를 속성으로 쌓을지, 별도 노드와 관계로 분리할지를 놓고 세 가지 옵션의 트레이드오프와 선택 기준을 정리합니다.
엣지 디바이스의 원시 신호를 메시지 브로커와 파서를 거쳐 시작~종료 세션 단위 레코드로 묶어내는 파이프라인 패턴을 가상 예시로 정리합니다.
failure self-loop로 인한 무한 재시도, 대규모 백프레셔 초과, 자격증명 평문 노출까지 NiFi 파이프라인 점검에서 발견한 근본 원인과 해결 패턴을 정리합니다.
Web UI부터 REST API, Toolkit CLI, Prometheus 연동, Kubernetes, Python 스크립트까지 상황별로 맞는 점검 방법을 정리합니다.