Airflow DAG를 Kubernetes에 배포하는 3가지 방법
REST API로는 DAG를 올릴 수 없다는 전제부터, Git-sync·PVC 복사·이미지 내장 세 전략의 장단점과 CI/CD 파이프라인 구성을 비교합니다.
Author
Cloud Native DevOps Engineer · 16 posts
REST API로는 DAG를 올릴 수 없다는 전제부터, Git-sync·PVC 복사·이미지 내장 세 전략의 장단점과 CI/CD 파이프라인 구성을 비교합니다.
cron과 다른 점부터 Scheduler·Executor·Worker 구조, DAG·Operator·XCom까지 Airflow의 기본기를 정리합니다.
tmux 기반 HUD부터 runtime 확장 계열까지 대안을 비교하고, 실제 저장소를 리뷰하며 발견한 파서 불일치·타임아웃 설정 문제를 정리합니다.
샤딩·레플리카·Keeper 3중화를 지역별로 어떻게 배치하는지, 운영계와 검증계를 나누는 기준, TLS 클러스터와 평문 클러스터를 함께 두는 이유를 정리합니다.
사람 노드에 정보를 속성으로 쌓을지, 별도 노드와 관계로 분리할지를 놓고 세 가지 옵션의 트레이드오프와 선택 기준을 정리합니다.
직렬화 방식부터 스트리밍 패턴, 성능 특성까지 두 프로토콜을 비교하고 실제 선택 기준을 정리합니다.
엣지 디바이스의 원시 신호를 메시지 브로커와 파서를 거쳐 시작~종료 세션 단위 레코드로 묶어내는 파이프라인 패턴을 가상 예시로 정리합니다.
모델 호출 대부분은 글쓰기가 아니라 결정입니다. Jev 같은 decision 모델로 라우팅·위험 게이팅·스킬 선택·RAG 리랭킹을 빠르고 싸게 처리하는 방법과 쓰지 말아야 할 곳을 정리합니다.
서버 deadline, 클라이언트 SDK 타임아웃, TCP keepalive 부재라는 세 가지 원인을 진단하고 설정으로 해결하는 방법을 정리합니다.
정적 자격증명부터 LDAP·OIDC 기반 STS 임시 토큰까지, mc가 지원하는 인증 방식과 용도별 선택 기준을 정리합니다.
failure self-loop로 인한 무한 재시도, 대규모 백프레셔 초과, 자격증명 평문 노출까지 NiFi 파이프라인 점검에서 발견한 근본 원인과 해결 패턴을 정리합니다.
Web UI부터 REST API, Toolkit CLI, Prometheus 연동, Kubernetes, Python 스크립트까지 상황별로 맞는 점검 방법을 정리합니다.
splice 위치 오류, fallback 없는 에러 처리, Dataview가 인식 못 하는 형식까지 자동화 스크립트 리뷰에서 발견한 흔한 버그를 정리합니다.
OTLP/HTTP와 OTLP/gRPC의 포트·인코딩·성능 차이를 비교하고, 상황별로 어떤 프로토콜을 선택해야 하는지 정리합니다.
HTTP와 무엇이 다른지부터 TLS 1.3 핸드셰이크 흐름, 인증서 체계, Forward Secrecy까지 HTTPS의 동작 원리를 정리합니다.
PATH 중복 제거, Zinit lazy loading, gitstatus 노이즈 해결까지 zsh 설정을 최적화하는 구체적인 방법을 정리합니다.