Skip to Content
PipelineFlow NodesFlow Nodes

Flow Nodes

Flow Nodes는 파이프라인의 실행 흐름과 제어 구조를 담당하는 노드이다. 데이터 변환 자체보다는 시작/종료/반복 등 파이프라인의 메타 구조를 정의하며, 다른 노드들이 어떤 순서와 조건으로 실행되는지를 규정한다.

Start

  • 파이프라인의 진입점을 의미하는 노드
  • 모든 파이프라인은 반드시 1개의 Start 노드를 포함해야 한다
  • 편집 화면에서 임의로 삭제할 수 없으며, 파이프라인 생성 시 자동으로 배치된다

End

  • 파이프라인의 종료점을 의미하는 노드
  • 모든 파이프라인은 반드시 1개의 End 노드를 포함해야 한다
  • End 노드 이후에는 다른 노드를 연결할 수 없다

Backfill (Iterative Sync)

  • 일정 윈도우 단위로 과거 데이터를 점진적으로 재적재하기 위한 노드
  • 데이터 소스 노드(Retrieve Data 등) 바로 앞에 위치하여, 윈도우 단위로 반복 실행을 트리거한다
  • 후속 노드에서는 현재 윈도우 범위를 $backfill_window_start / $backfill_window_end 변수로 참조할 수 있다

주요 설정 항목

필드필수설명
Window UnitYes윈도우 단위. day / week / month 중 선택.
Anchor Date SourceYes기준 시점. 파이프라인 실행 시점 또는 오늘(UTC 기준) 중 선택.
Reference Date OverrideNoISO 형식 (YYYY-MM-DD). 설정 시 Anchor Date Source를 무시하고 해당 일자를 시작점으로 사용.
Max Iterations (Safety Cap)No1 ~ 10,000. 반복 횟수 상한. 비우면 데이터가 없을 때까지 실행.

사용 가이드

  • 파이프라인당 1개만 허용되며, 데이터 소스 노드(Retrieve Data 등) 바로 앞에 위치해야 한다.
  • 운영 환경에서는 Max Iterations를 설정하여 무한 루프를 방지하는 것을 권장한다.

Note

  • 캔버스 상에서 메모/주석 목적으로만 사용되는 UI-only 노드
  • 실제 파이프라인 실행 대상이 아니며, 데이터 흐름이나 검증에 영향을 미치지 않는다
  • 복잡한 파이프라인의 구조를 설명하거나 운영 메모를 남길 때 활용할 수 있다
Last updated on
OverviewExtract Nodes