IoT 텔레메트리를 세션 단위로 재구성하는 스트리밍 아키텍처
엣지 디바이스의 원시 신호를 메시지 브로커와 파서를 거쳐 시작~종료 세션 단위 레코드로 묶어내는 파이프라인 패턴을 가상 예시로 정리합니다.
IoT 디바이스가 쏟아내는 원시 신호는 그 자체로는 쓸모가 적습니다. “이 구간이 하나의 세션이었다”는 경계를 찾아내야 비로소 의미 있는 단위가 됩니다. 차량의 시동 On/Off, 산업 장비의 가동/정지, 사용자 세션의 로그인/로그아웃 같은 사례들이 전부 같은 모양의 문제입니다. 이런 파이프라인을 가상의 예시로 구성해 정리합니다.
전체 흐름
엣지 디바이스 → 메시지 브로커(raw 토픽) → 파서(디코딩) → 브로커(processed 토픽) → 세션 빌더 → 세션 레코드
- 엣지 디바이스가 바이너리로 인코딩된 신호(예: Protobuf)를 클라우드로 전송합니다.
- 메시지 브로커(Kafka 등)의 raw 토픽이 이를 그대로 받습니다.
- 파서가 raw 토픽을 구독해 바이너리를 디코딩하고, 필드 단위 구조화 데이터로 변환해 processed 토픽에 다시 발행합니다.
- 세션 빌더가 processed 토픽을 구독하면서, 특정 신호(시작 이벤트, 종료 이벤트)를 기준으로 레코드들을 하나의 세션으로 묶습니다.
세션의 정의부터 정하기
세션 재구성에서 가장 먼저 정해야 하는 건 “무엇이 세션의 시작이고 끝인가”입니다.
시작 이벤트 감지 → 데이터 수집 → 종료 이벤트 감지 → 1개 세션 완성
예를 들어 차량이라면 “시동 ON → 시동 OFF”가 한 세션(주행)이고, 산업 장비라면 “가동 시작 → 가동 정지”가 한 세션입니다. 이 경계 신호는 보통 상태값(state) 필드로 들어오기 때문에, 세션 빌더는 상태 전이(state transition)를 감지하는 역할을 합니다.
세션 하나를 식별하는 고유 ID(session_id)를 발급하는 시점도 중요합니다. 시작 이벤트를 받는 순간 ID를 발급하고, 종료 이벤트를 받을 때까지 들어오는 모든 레코드에 같은 ID를 붙입니다.
파일 분할과 재조립
디바이스에서 올라오는 데이터가 크면, 하나의 세션이 여러 개의 압축 파일 조각으로 나뉘어 저장되는 경우가 많습니다.
| session_id | 파일묶음 | 파일명 | 순서 |
|---|---|---|---|
| session-abc-001 | batch_A.zip | data_0001.zst | 0 |
| session-abc-001 | batch_A.zip | data_0002.zst | 1 |
이런 구조라면 세션을 완전히 복원하려면 같은 session_id에 속한 모든 조각을 순서대로 이어붙여야 합니다. 조각 하나가 누락되면 세션 전체가 불완전해지므로, 세션 완성 여부를 판단할 때는 “종료 이벤트를 받았는가”뿐 아니라 “예상되는 조각 수가 다 도착했는가”도 함께 확인하는 게 안전합니다.
배치 처리 구조
Iceberg(원본 저장) → Spark(배치 처리) → 집계 테이블(ClickHouse 등)
일정 주기(예: 5분)마다 배치 잡이 실행되어, 그 사이 새로 쌓인 원본 데이터를 증분으로 읽고 파싱한 뒤 두 갈래로 적재하는 구조가 흔합니다.
- 원시 메타데이터 테이블 — 개별 메시지 단위로 적재 (감사·재처리용)
- 세션 집계 테이블 — 세션 단위로 묶은 레코드 (분석·조회용)
두 적재는 같은 파싱 단계를 공유하지만 이후 처리는 분리하는 게 유지보수에 유리합니다. 원시 데이터는 나중에 파싱 로직이 바뀌었을 때 재처리할 수 있는 원천으로 남겨두고, 세션 집계는 조회 성능을 위해 별도로 최적화합니다.
재처리 경로를 반드시 만들어두기
파싱 로직에 버그가 있었거나 디코딩 스펙이 바뀌면, 이미 적재된 원시 데이터를 다시 처리해야 하는 순간이 옵니다. 이때를 대비해 “증분 배치 잡”과 별개로 “특정 기간을 지정해 재처리하는 잡”을 처음부터 설계해두는 게 좋습니다. 증분 잡만 만들어두면, 나중에 특정 구간을 다시 돌려야 할 때 임시 스크립트를 급하게 짜야 하는 상황이 생깁니다.
정리 — 이 패턴이 적용되는 곳
세션 경계가 있는 이벤트 스트림이라면 도메인이 달라도 같은 구조가 적용됩니다.
- 차량 시동 On/Off → 주행(Trip) 단위
- 산업 장비 가동/정지 → 가동 사이클 단위
- 사용자 로그인/로그아웃 → 사용자 세션 단위
- 배치 작업 시작/종료 → 작업 실행(Run) 단위
공통적으로 챙겨야 할 것은 세 가지입니다.
- 시작/종료를 명확히 정의하는 상태 전이 규칙
- 분할된 조각을 다시 묶어내는 재조립 로직과 완성도 검증
- 파싱 로직이 바뀔 걸 대비한 재처리 경로
세션 재구성은 결국 “흩어진 이벤트들에 경계를 그어 의미 있는 단위로 만드는” 문제이고, 이 틀만 잡아두면 어떤 IoT 도메인이든 같은 방식으로 접근할 수 있습니다.