Load Nodes
Load 단계는 Transform을 거친 데이터를 최종 저장소에 적재하고, 필요한 경우 이를 기반으로 온톨로지(Object / Link / Knowledge)를 생성하는 단계이다. 즉, “데이터를 어디에, 어떤 형태로 저장할 것인가”를 정의한다.
Lake Ontology Create
대량 데이터를 효율적으로 일괄 업서트하여 온톨로지 오브젝트를 생성·갱신하는 신규 노드이다. 기존 Upsert MongoDB → Create Ontology (v1) 두 단계 흐름을 하나로 통합한 노드이며, 신규 파이프라인의 권장 노드이다.
자세한 설정은 Lake Ontology Create 참고.
Upsert Knowledge
데이터프레임 행을 기반으로 Knowledge Dictionary에 항목을 upsert하는 노드이다. LLM이 참조할 수 있도록 변환된 텍스트·메타데이터를 사전화한다.
자세한 설정은 Upsert Knowledge 참고.
Ontology Link Create
두 온톨로지 오브젝트 간의 의미적 관계(링크)를 파이프라인 행 단위로 생성하는 노드이다.
자세한 설정은 Ontology Link Create 참고.
Object Creation
데이터프레임 행을 기반으로 온톨로지 오브젝트를 생성하는 노드이다. 비정형 흐름의 적재 노드로 자주 사용된다.
자세한 설정은 Object Creation 참고.
Deprecated 노드
Upsert MongoDB와 Create Ontology (v1)는 Lake Ontology Create로 대체되었다. 기존 파이프라인 유지보수 목적 외에는 사용하지 않는다.
(Deprecated) Upsert MongoDB
가공된 데이터를 MongoDB에 저장(Insert) 또는 갱신(Update) 하는 노드이다.
- Collection: 실제 데이터가 저장되는 단위 (테이블과 유사한 개념).
- Filter Fields: 데이터의 중복 여부를 판단하기 위한 기준 필드.
- 동일 조건이 존재할 경우 → Update 수행
- 존재하지 않을 경우 → Insert 수행
Collection 이름은 후속 Create Ontology (v1) 노드의 Ontology Name과 반드시 일치해야 한다 (legacy 흐름 한정).
(Deprecated) Create Ontology
MongoDB에 적재된 데이터를 기반으로 온톨로지(Object 등)를 생성하는 노드이다.
- Ontology Name: 생성할 온톨로지의 이름.
Ontology Name은 선행 Upsert MongoDB 노드의 Collection 이름과 반드시 일치해야 한다 (legacy 흐름 한정).
온톨로지 생성 흐름
목적에 따라 다음 흐름을 사용한다.
권장 (정형)
Transform … → Lake Ontology Create비정형
Parse Document → LLM Operator → Object Creation지식 적재
… → Upsert Knowledge관계 생성
… → Ontology Link Create