NiFi 커스텀 프로세서의 무한 재시도·백프레셔 트러블슈팅
failure self-loop로 인한 무한 재시도, 대규모 백프레셔 초과, 자격증명 평문 노출까지 NiFi 파이프라인 점검에서 발견한 근본 원인과 해결 패턴을 정리합니다.
NiFi 파이프라인을 읽기 전용으로 점검하다 보면, 겉보기엔 “정상 실행 중(Running)“인데 속으로는 문제가 누적되고 있는 경우가 있습니다. 실제 점검에서 발견한 이슈들을 근본 원인 중심으로 정리합니다.
이슈 1 — failure self-loop + 만료 미설정 = 무한 재시도
가장 위험한 패턴은 프로세서의 failure 관계가 자기 자신에게 다시 연결되어 있고, 그 연결의 FlowFile Expiration이 0 sec(무기한)으로 설정된 경우입니다.
[ failure 큐: 0 ]
FetchXxx <-- [ failure ] -- FetchXxx (self-loop)
평상시엔 큐가 비어 있어 문제가 안 보입니다. 하지만 외부 스토리지 장애나 잘못된 키, 네트워크 단절이 발생하면 실패한 FlowFile이 영원히 재시도됩니다. 재시도 횟수 제한도 없고, 실패한 것들을 따로 모아두는 DLQ(Dead Letter Queue)도 없기 때문에, 백프레셔 한계(예: 10,000 objects)에 도달하는 순간 업스트림 전체가 정체됩니다.
근본 원인: “재시도하면 언젠가 성공하겠지”라는 가정으로 만든 self-loop가, 재시도 횟수 제한이라는 종료 조건 없이는 무한 루프와 동일하다는 걸 놓친 것입니다.
해결 패턴:
FetchXxx -- [ failure ] --> RouteOnAttribute
| retry < 3 --> FetchXxx (재시도)
| retry >= 3 --> LogAttribute / PutFile (DLQ)
UpdateAttribute로 재시도 횟수를 속성에 누적시키고, RouteOnAttribute로 임계치를 넘으면 DLQ로 분기합니다. 연결의 FlowFile Expiration도 1~4시간 정도로 유한하게 설정해서, 영원히 쌓이는 것을 막습니다.
이슈 2 — 나열 속도가 처리 속도를 크게 초과
목록을 나열하는 프로세서(List류)의 속도가 실제 처리 프로세서보다 훨씬 빠르면, 그 사이의 큐가 기하급수적으로 쌓입니다. 실제 점검에서는 백프레셔 임계치(10,000)를 수천 퍼센트 초과한 연결이 여럿 발견됐습니다.
List프로세서 -> Funnel: 619,247 FlowFile (임계치 대비 6,193%)
그룹 전체: 2,490,659 FlowFile (약 65MB in-flight)
이 추세가 계속되면 NiFi 힙이나 FlowFile Repository 디스크가 부족해져 OOM이나 데이터 유실로 이어질 수 있습니다.
해결 패턴: 나열 주기를 늘리거나 하위 처리 용량을 늘려서 두 속도를 맞춥니다. 근본적으로는 “생산자와 소비자의 속도 차이”라는 일반적인 백프레셔 문제이므로, 소비자 쪽 동시성(스레드 수)을 늘리거나 생산자 쪽 스케줄을 늦추는 두 방향 모두 검토해야 합니다. FlowFile Expiration으로 오래된 데이터를 자동 소멸시키는 것도 임시 완화책이 됩니다.
이슈 3 — 커스텀 컴포넌트의 자격증명 마스킹 설정 실수
커스텀 프로세서(NAR)를 자체 개발해 쓰는 경우, 필드별 sensitive 플래그를 잘못 설정하면 자격증명이 평문으로 노출됩니다.
"Access Key": "AKIA...EXAMPLE", // sensitive: false → UI/API에 평문 노출
"Secret Key": "********" // sensitive: true → 마스킹됨
Secret Key는 제대로 마스킹되는데 Access Key는 그렇지 않은 비대칭적인 설정이었습니다. 이런 실수는 코드 리뷰에서 “민감한 필드는 전부 sensitive=true로”라는 체크리스트 없이는 놓치기 쉽습니다.
해결 패턴: NAR 개발 시 자격증명류 필드는 예외 없이 sensitive=true로 선언합니다. 이미 배포된 컴포넌트라면 단기적으로 Variable Registry나 시크릿 매니저 연동으로 런타임 주입 방식을 바꿔서, 값 자체가 프로세서 설정에 남지 않게 합니다.
이슈 4 — 캐시 서버 연결 불안정 + 비정상적인 설정값
캐시 프로세서에서 Connection reset by peer 에러가 반복되는데, 캐시 항목 최대 크기가 기본값(1MB)의 10만 배인 100GB로 설정되어 있던 경우입니다. 이 설정 하나만 보면 원인처럼 안 보이지만, 실제로는 캐시 서버가 그 정도 크기의 항목을 감당하지 못해 연결이 끊기는 정황과 맞아떨어졌습니다.
해결 패턴: 기본값에서 크게 벗어난 설정값을 발견하면, “왜 이렇게 바꿨는지”를 먼저 확인합니다. 임시로 문제를 우회하려고 늘린 값이 그대로 방치되어 있는 경우가 많습니다. 실제 데이터 크기에 맞게 되돌리고, 이 프로세서의 failure도 self-loop 없이 DLQ로 분리합니다.
정리 — 점검할 때 볼 것
| 체크 | 이유 |
|---|---|
failure 관계가 self-loop인가 | 재시도 횟수 제한 없이는 무한 루프와 동일 |
| FlowFile Expiration이 무기한(0)인가 | 실패가 영원히 쌓이는 걸 막는 유일한 안전장치 |
| 나열 속도와 처리 속도가 맞는가 | 백프레셔 초과는 결국 생산자-소비자 속도 불일치 |
커스텀 컴포넌트의 sensitive 플래그 | 자격증명 필드는 예외 없이 마스킹 |
| 기본값에서 크게 벗어난 설정값 | 임시 우회가 방치된 흔적일 가능성 |
이 파이프라인은 “설정 하나하나는 유효(VALID)하고 실행 상태도 정상(Running)“이었지만, 그 조합이 만드는 실패 시나리오는 전혀 안전하지 않았습니다. 정적 유효성 검사를 통과하는 것과 장애 상황에서 안전하게 동작하는 것은 다른 질문이라는 걸 보여주는 사례입니다.