작업 플로우 노드

최근 업데이트 2026. 10. 05.

개요

AE 데이터 개발 플랫폼에서 작업 플로우 노드는 데이터 처리 프로세스를 구성하는 기본 단위로, 데이터 처리 작업을 추상화하여 표현한 것이라고 이해할 수 있습니다. 각 노드에는 명확한 입력, 처리 로직, 출력이 있습니다.

작업 플로우 노드는 데이터 처리의 전체 프로세스를 연결하며, 노드 간의 의존 관계를 통해 데이터가 순서대로 이동하고 처리되도록 합니다. 노드는 시각적 오케스트레이션을 지원하므로 개발자가 데이터 처리 프로세스를 쉽게 설계하고 관리할 수 있습니다. 노드의 상태와 실행 결과를 통해 데이터 처리 상황을 실시간으로 파악하고 문제를 즉시 발견하여 해결할 수 있습니다.

작업 플로우의 개발 모드에서 사이드바 도구 영역의 작업 목록 버튼을 클릭하면 현재 작업 플로우의 모든 작업 노드를 확인할 수 있습니다.

작업 플로우 노드 생성

작업 플로우 개발 모드의 사이드바 도구 영역에서 + 노드 추가 버튼을 클릭하면 모든 작업 노드 타입을 볼 수 있습니다.

노드 카드를 DAG 그래프로 드래그하여 작업 노드를 추가할 수 있습니다.

노드를 DAG 그래프로 드래그하면 노드 생성 팝업이 표시되며, 새 노드의 노드 이름을 설정하고 노드 타입을 선택할 수 있습니다.

생성 및 편집을 클릭하면 노드 편집 페이지로 바로 이동하여 내용을 입력할 수 있습니다.

작업 플로우 노드 편집

노드를 더블클릭하여 선택하고 페이지 상단의 편집 버튼을 클릭하면 편집 모드로 전환됩니다.

편집 모드에서는 현재 노드의 내용을 변경할 수 있으며, 디버깅을 클릭하면 테스트 실행을 할 수 있습니다.

AI(TIKI)를 사용하여 로그를 해석하고 구문을 수정할 수도 있습니다.

작업 플로우 노드 타입

Trino SQL 노드

Trino SQL 노드는 표준 SQL 문법을 지원합니다. Trino SQL 노드를 사용하면 작업 플로우에서 효율적인 데이터 조회 및 처리 로직을 빠르게 구축할 수 있으며, 특히 여러 데이터 소스를 통합해야 하는 상황에 적합합니다.

복잡한 SQL 변환(윈도 함수, JOIN, 집계 등)을 실행하여 중간 결과를 생성하거나 타겟 테이블에 쓸 수 있습니다.

오프라인 동기화 계획 노드

데이터 개발 플랫폼의 작업 플로우에서 오프라인 동기화 계획 노드는 서로 다른 데이터 소스 간의 일괄 데이터 전송에 사용되며, 예약 스케줄링과 전체 / 증분 동기화를 지원합니다.

생성한 오프라인 동기화 계획을 작업 플로우에 연결하여 예약 스케줄링으로 실행할 수 있습니다.

핵심 사용법과 주의 사항은 다음과 같습니다.

1. 소스 간 데이터 마이그레이션
   관계형 데이터베이스(예: MySQL), 파일 시스템(예: HDFS), 데이터 웨어하우스(예: Hive) 등의 데이터 소스에서 타겟 스토리지(예: ClickHouse, Doris)로의 동기화를 지원합니다.

2. 전체 / 증분 동기화

   • 전체 동기화: 매번 타겟 테이블에 덮어쓰기합니다(작은 테이블이나 초기화에 적합).
   • 증분 동기화: 타임스탬프, 자동 증가 ID 등의 조건을 기준으로 증분 업데이트합니다(예: WHERE update_time > '${bd}').

3. 데이터 변환
   필드 매핑, 타입 변환, 필터 조건 등 간단한 ETL 작업을 지원합니다(예: int를 bigint로 변환).

작업 인스턴스 검사 노드

검사 노드는 특수한 유형의 작업 노드로, 조건에 맞는 특정 객체가 존재하는지 주기적으로 검사하는 것이 주요 기능입니다. 검사를 통과하면 작업 노드가 계속 실행되고, 검사에 실패하면 더 이상 실행되지 않습니다(이로 인해 작업 플로우가 종료될 수 있음). 검사 노드의 내용 구조는 SQL 노드와 달리 주로 폼으로 내용을 구성하며, 검사 노드의 주요 구성 항목은 다음과 같습니다.

1. 검사 대상: 검사하는 내용으로, 가장 중요한 부분입니다. 검사 대상은 다중 대상을 지원합니다. 객체 추가를 클릭하여 여러 검사 대상을 추가할 수 있으며(최대 20개), 여러 대상의 존재 여부를 동시에 식별하고 여러 대상 간에 AND/OR 조건을 전환할 수 있습니다
2. 검사 대상 필터: 일부 검사 노드는 더 세부적인 내용을 검사합니다. 예를 들어 파티션 테이블을 검사할 때는 파티션 테이블의 존재 여부 외에 특정 파티션의 존재 여부도 검사해야 할 수 있습니다. 이 예시도 추가 조건이 필요한 경우로, 작업/작업 플로우의 특정 기준 시간에 해당하는 인스턴스가 존재하는지 검사합니다
3. 검사 통과 조건: 일반적으로 검사 통과 조건은 검사 대상이 존재하는지 또는 특정 상태에 있는지입니다
4. 검사 주기: 얼마나 자주 검사할지를 나타내며, 단위는 분입니다
5. 검사 중지 전략: 어떤 경우에 검사 노드가 검사를 중지하는지를 나타냅니다. 검사 전략의 검사 횟수에서 설정하며, 설정한 횟수를 초과해도 검사를 통과하지 못하면 검사에 실패하고 검사를 중지합니다(검사 전략의 검사 주기는 앞의 항목에 해당)

플로우 인스턴스 검사 노드

플로우 인스턴스 검사 노드는 현재 작업 플로우 또는 다른 작업 플로우의 인스턴스 실행 상태를 검사하여 플로우 작업이 예상대로 실행되도록 합니다.

검사 조건을 구성하여 현재 작업 플로우 또는 다른 작업 플로우를 정기적으로 검사할 수 있습니다.

Shell 노드

Shell 노드는 커스텀 Shell 스크립트를 실행하는 데 사용되며, 데이터 처리, 파일 작업, 도구 호출 등의 작업을 유연하게 구현할 수 있습니다.

Shell 노드를 사용하면 작업 플로우에 커스텀 작업을 통합하여 플랫폼 내장 노드의 부족한 부분을 보완하고, 복잡한 데이터 처리와 운영 자동화 요구를 충족할 수 있습니다.

작업 노드 상태

작업 상태	상태 설명	전환 가능 상태
배포 대기	저장 후 한 번도 배포에 성공한 적이 없는 작업 작업 플로우 비활성화 후 한 번도 배포에 성공한 적이 없는 작업	배포 중 삭제됨
배포 중	배포가 진행 중인 상태	라이브됨 배포 대기: 배포 실패 시 롤백
활성	배포에 성공하면 라이브됨으로 전환 작업 플로우를 비활성화하면 배포 대기로 롤백	배포 대기 라이브됨(삭제 대기)
라이브됨(삭제 대기)	라이브됨 상태의 작업을 휴지통으로 옮기면 라이브됨(삭제 대기) 상태가 됨 라이브됨(삭제 대기) 상태의 작업을 휴지통에서 복원하면 라이브됨으로 돌아감	삭제됨 라이브됨
삭제됨	배포 대기 상태에서 삭제하면 삭제됨으로 바뀜 삭제 후에는 복구할 수 없는 최종 상태입니다.	-

작업 플로우 노드 실행 인스턴스

운영 관리 - 작업 노드 인스턴스 모듈에서 모든 작업 실행 인스턴스와 실행 상태를 확인할 수 있습니다.