실시간 작업

최근 업데이트 2026. 10. 03.

AE 데이터 개발 플랫폼은 Apache Flink의 강력한 스트리밍 계산 능력을 깊이 통합하여 더 뛰어난 성능의 스트리밍 데이터 동기화 솔루션을 제공하고, 스트리밍 데이터에 대한 실시간 분석과 탐색을 지원하여 기업을 위한 미래 지향적인 스트림·배치 통합, 높은 실시간성, 낮은 운영 비용의 엔터프라이즈급 데이터 개발 플랫폼을 구축합니다.

1. 실시간 작업 생성

1.1 생성 진입점

데이터 개발 플랫폼의 개발 모듈에서 실시간 작업 탭 오른쪽 상단의 + 실시간 작업 버튼을 클릭하면 생성 페이지로 이동합니다.

1.2 기본 정보 입력

실시간 작업은 이중 환경(개발 환경 / 운영 환경)을 지원하며, 기본 정보는 두 환경에서 공유됩니다.

필드	설명	비고
이름	공간 내에서 고유, 48자 이내, 중국어, 영문, 숫자, 밑줄 지원	필수
Flink 버전	실시간 작업에 연결되는 Flink 엔진 버전. 드롭다운 목록에서 선택	생성 후 수정 불가
담당자	실시간 작업의 담당자. 기본적으로 생성자가 담당자로 지정됨	필수
비고	작업 설명 정보, 200자 이내	선택 사항

1.3 개발 환경 편집 페이지

생성이 완료되면 개발 환경 편집 페이지로 이동하며, 주요 영역은 다음과 같습니다.

1.3.1 코드 편집 영역

• Flink SQL 구문 강조 및 자동 완성 지원

• 파라미터화 구성을 지원하며, ${参数名} 형식으로 파라미터를 참조합니다

• 편집기는 코드의 파라미터를 자동으로 분석하여 아래쪽 사용된 파라미터 영역에 표시합니다

• 편집기는 테이블 계보도 함께 분석하여 Flink SQL에 포함된 테이블의 소스, 목적지, connector 타입 등의 정보를 표시합니다

1.3.2 작업 파라미터 관리(사이드바)

실시간 작업은 다음 두 가지 파라미터 타입을 지원합니다.

파라미터 타입	설명
공간 파라미터	사전 설정 공간 파라미터와 커스텀 공간 파라미터 지원
작업 파라미터	실시간 작업 수준으로 격리되며, 일반 텍스트와 표현식 두 가지 타입 지원

파라미터 추가 방법:

• 방법 1: 수동 생성 — 사이드바에서 파라미터를 수동으로 추가하며, 작업을 제출할 때 파라미터 값을 분석하여 실행 엔진에 전달합니다

• 방법 2: 코드 분석 — Flink SQL에서 ${abc} 형식으로 파라미터를 직접 정의하면 시스템이 자동으로 분석하여 사이드바에 표시합니다

동적 파라미터:

환경마다 다른 파라미터 값을 사용해야 하는 경우 동적 파라미터를 사용하여 실행 시 현재 환경에 해당하는 값을 지정할 수 있습니다.

${env.dev: 개발 환경 값, env.product: 운영 환경 값}

파라미터 검증 규칙(디버깅/실행 시에만 검증하며, 저장 및 배포 시에는 검증하지 않음):

1. 작업 파라미터: SQL에서 ${abc}를 선언했지만 값을 정의하지 않은 경우, 디버깅/실행 시 차단되며 사용자에게 값을 지정하도록 요구합니다

2. 공간 파라미터: SQL에서 참조한 공간 파라미터가 삭제된 경우, 디버깅/실행 시 차단되며 파라미터가 존재하지 않는다는 메시지가 표시됩니다

2. 실시간 작업 디버깅

2.1 디버깅 기능 설명

디버깅 기능은 개발 환경에서 실시간 작업이 올바른지 검증하는 데 사용되며, 운영 환경에 배포하지 않고도 작업 로직을 테스트할 수 있습니다.

디버깅 버튼을 클릭하면 다음 중에서 선택할 수 있습니다.

• 저장만: 저장 검증 절차만 트리거합니다
• 저장 및 디버깅: 저장 검증 + 디버깅 검증 절차를 트리거합니다

디버깅은 배포 전 필수 절차가 아닙니다. 저장한 후 디버깅 없이 바로 배포할 수 있습니다.

2.2 검증 절차

저장 검증:

1. SQL 구문 검증

2. 테이블 권한 검증(소스 테이블과 타겟 테이블의 읽기/쓰기 권한)

3. 파라미터 분석 및 기록

디버깅/실행 검증(저장 검증에 추가):

1. 파라미터 완전성 검증 — 모든 ${XX} 파라미터에 값이 있어야 함
2. 공간 파라미터 존재 여부 검증
3. 실행 채널 상태 검증

2.3 디버깅 실행

디버깅에 성공하면 작업이 개발 환경의 실행 채널에서 실행됩니다. 다음 작업을 할 수 있습니다.

• Flink UI로 이동하여 작업 실행 상태 확인
• 실시간 로그 확인
• 실행 지표 확인
• 디버깅 작업 수동 중지

3. 실시간 작업 저장 및 배포

3.1 저장

실시간 작업의 배포(라이브)는 단방향입니다 — 발행됨 상태의 실시간 작업은 미발행 상태로 되돌릴 수 없습니다(양방향으로 전환할 수 있는 오프라인 작업 플로우와 다름).

작업이 배포 대기 상태일 때 저장:

항목	설명
존재 환경	개발 환경에만 저장
라이브 상태	배포 대기
버전	개발 환경에는 최신 버전 표시, 운영 환경에는 없음
가능한 작업	편집, 배포 및 라이브, 삭제

작업이 발행됨 상태일 때 저장:

항목	설명
존재 환경	새 버전 내용은 개발 환경에만 저장되며, 운영 환경에 다시 배포해야 함
라이브 상태	발행됨(변경 사항 있음)
버전	개발 환경에는 최신 버전 표시, 운영 환경은 여전히 마지막으로 배포한 버전
가능한 작업	편집, 재배포, 실행, 삭제

3.2 저장 및 배포

배포 작업은 개발 환경의 실시간 작업 버전을 운영 환경에 동기화합니다.

최초 배포:

• 개발 환경과 운영 환경의 버전이 동시에 업데이트됩니다

• 배포에 성공하면 상태가 발행됨으로 바뀌며, 시작을 클릭하여 첫 번째 인스턴스를 실행해야 합니다

• 배포에 실패하면 배포 대기 상태가 유지됩니다

발행된 작업 재배포:

• 개발 환경과 운영 환경의 버전이 모두 업데이트됩니다

• 상태는 발행됨으로 유지됩니다

• 배포에 성공한 후 시작을 클릭하면 새 버전으로 인스턴스를 실행합니다

3.3 배포 검증

배포 시 다음 검증을 수행합니다.

1. 저장되지 않은 작업은 배포할 수 없음(배포 버튼 비활성화)
2. 운영 환경 테이블 권한 검증
3. 파라미터 값 완전성 검증
4. 테이블 구조 일관성 검증

4. 실시간 작업 실행(시작)

4.1 운영 환경 상세 페이지

작업을 운영 환경에 배포한 후에는 운영 환경 상세 페이지에서 작업을 확인하고 관리할 수 있습니다. 상세 페이지에는 다음 모듈이 있습니다.

모듈	설명
실시간 작업 기본 정보	작업 이름, 담당자, 엔진 버전, 변경 상태, 생성/수정 시간, 설명
실행 설정	실행 채널 선택(자원 구성), 실행 설정 파라미터
인스턴스 내용	최신 인스턴스의 SQL 내용, 실행 설정, 테이블 계보, 작업 파라미터 값
운영 기록	인스턴스 전체 라이프사이클의 이벤트 메시지
로그	실행 로그와 오류 로그 정보 포함
스냅샷	Checkpoint/Savepoint의 총수, 성공/실패 통계 및 기록 상세

4.2 실행 파라미터 구성

실시간 작업을 시작하기 전에 다음 구성을 완료해야 합니다.

4.2.1 파라미터 값 설정

코드 분석 파라미터는 시작 시 값을 지정해야 하며, 파라미터 값은 인스턴스 수준에서 기록됩니다.

4.2.2 실행 설정

운영 자원 구성

구성 항목	설명
채널(자원 풀) 선택	Channel 이름: 시스템이 작업의 Flink 엔진 버전에 따라 사용 가능한 채널을 자동으로 필터링합니다 활성화됨 상태의 채널만 선택할 수 있습니다 실시간 작업 실행에는 실행 모드 = Application인 채널(자원 풀)만 선택할 수 있습니다
계산 모드	자원 모드는 계산형 / 범용형으로 나뉩니다. 계산형(1:2): 코어당 2G 메모리, CPU 성능이 더 강하며 집약적인 계산에 적합합니다. 범용형(1:4): 코어당 4G 메모리, CPU와 메모리가 균형을 이루며 대부분의 업무에 적합합니다 선택 가능한 자원 모드는 선택한 자원 풀에 연결된 선택 가능 사양에 따라 결정됩니다
동시 실행 수	자원 사양은 채널 수준에서 이미 정의되어 있으며, 인스턴스를 제출하여 실행할 때 동시 실행 수를 선택합니다. 동시 실행 수는 Flink에서 작업을 병렬로 분할하는 정도를 나타냅니다. Slot 수는 단일 TaskManager의 자원 분할 단위입니다.

실행 파라미터 구성

카테고리	파라미터	설명	기본값
체크포인트 설정	execution.checkpointing.interval	체크포인트 간격	180초
	execution.checkpointing.timeout	체크포인트 시간 초과	3분
	execution.checkpointing.min-pause	체크포인트 간 최소 간격	60초
상태 데이터 만료	table.exec.state.ttl	상태 데이터 만료 시간. 0은 만료되지 않음을 의미합니다 데이터가 처음 시스템에 들어와 처리되면 상태 메모리에 저장됩니다. 같은 기본 키의 데이터가 다음에 들어오면 시스템은 이전에 저장된 상태 데이터를 사용하여 계산하고 해당 데이터의 접근 시간을 업데이트합니다. 이 과정은 데이터의 지속적인 흐름에 의존하므로 실시간 계산의 핵심입니다. 설정한 TTL 시간 창 내에 데이터에 다시 접근하지 않으면 시스템은 해당 데이터를 만료된 것으로 간주하고 상태 저장소에서 삭제합니다. TTL 값을 적절히 설정하면 계산의 정확성을 유지할 수 있을 뿐만 아니라 오래된 데이터를 적시에 정리하여 상태 메모리 사용량을 효과적으로 줄이고, 나아가 시스템 메모리 부담을 낮추어 계산 효율과 시스템 안정성을 높일 수 있습니다.	0
재시작 전략	restart-strategy.type	재시작 전략 타입 재시작 전략을 구성하지 않은 경우에만 Flink는 시스템 체크포인트 활성화 여부에 따라 작업 재시작 여부를 결정합니다(시스템 체크포인트가 활성화되어 있으면 Fixed Delay에 설정된 고정 간격으로 작업을 재시작하고, 활성화되어 있지 않으면 작업을 재시작하지 않습니다). Flink 재시작 전략을 구성한 경우에는 구성한 재시작 전략에 따라 재시작합니다. 이 파라미터의 값은 다음과 같습니다. Failure Rate(실패율 재시작): 감지 시간 간격, 최대 실패 횟수, 각 재시작 간격을 설정합니다 Fixed Delay(고정 간격으로 재시작): 재시작 시도 횟수, 각 재시작 간격을 설정합니다 No Restarts(재시작 없음): 작업이 실패한 후 자동으로 재시작하지 않습니다	Fixed Delay

4.2.3 시작 전략

작업을 시작/재시작할 때 저장된 스냅샷 상태에서 시작할지 선택할 수 있습니다.

시작 전략	설명
상태 있는 시작	이미 존재하는 유효 상태(Checkpoint / Savepoint)에서 복구. 최신 상태에서 복구하거나 과거 스냅샷 목록에서 선택 가능
무상태 시작	초기 상태 없이 새로 시작

주의: 작업은 과거 버전으로 시작하는 것을 지원하지 않습니다. 어떤 Savepoint든 선택할 수 있지만 Schema 호환성은 사용자가 직접 책임져야 하며, Schema가 변경되면 실행 시 오류가 발생할 수 있습니다.

4.2.4 시작 제출

시작 전에 다음 검증을 수행하며, 검증에 성공하면 실시간 작업이 시작됩니다.

1. 작업 존재 여부 검증

2. 내용 유효성 검증

3. 버전 일관성 검증

4. 채널 존재 여부 검증

5. 스냅샷 존재 여부 검증(상태 있는 시작 시)

5. 실시간 작업 실행 상태 관리

5.1 작업 인스턴스 관리 상태

상태	전환 가능한 상태	실행 가능한 작업	설명
미발행	—	편집, 배포 및 라이브, 삭제	실시간 작업이 개발 환경에만 존재
시작 안 됨 (Not Started)	—	편집, 배포 및 라이브, 삭제	운영 환경에 배포되었지만 아직 실행되지 않음
시작 중 (Starting)	실행 중, 실패, 중지 중, 강제 종료 중	편집, 배포 및 라이브, 중지, Kill	실행 엔진에 작업을 제출하는 중
실행 중 (Running)	중지됨, 중지 중, 강제 종료 중, 실패	편집, 배포 및 라이브, 중지, Kill	작업이 정상적으로 실행 중
실패 (Failed)	시작 중(새 인스턴스)	편집, 배포 및 라이브	인스턴스 최종 상태. 새 인스턴스로 재시작 가능
중지 중 (Stopping)	중지됨, 강제 종료 중, 실패	편집, 배포 및 라이브, Kill	중지 작업을 실행하는 중
중지됨 (Stopped)	시작 중(새 인스턴스)	편집, 배포 및 라이브	인스턴스 최종 상태. 새 인스턴스로 재시작 가능
강제 종료 중 (Killing)	중지됨, 실패	편집, 배포 및 라이브	작업을 강제 종료하는 중

주의: Stopping과 Killing이 시간 초과되면 알림 정보가 전송됩니다. Stopping 과정에서는 다시 중지 작업을 실행할 수 있습니다.

5.2 Stop과 Kill의 차이

작업	설명
중지 (Stop)	정상 중지. Savepoint를 트리거하여 상태를 저장할지 선택할 수 있으며, 중지 후 Savepoint에서 복구 가능
Kill	강제 종료. 상태를 저장하지 않음. Stop이 응답하지 않거나 작업이 멈춘 경우에 적합

• 작업 중지 시: Savepoint가 자동으로 트리거됩니다(저장 경로는 사용자가 정의할 필요 없음)
• 작업 시작/재시작 시: Checkpoint/Savepoint에서 복구할지 선택할 수 있습니다

6. 운영 환경 상세 페이지

6.1 인스턴스 내용

최신 인스턴스 정보로, 다음을 포함합니다

• 스크립트 SQL 내용
• 인스턴스의 실행 설정
• 인스턴스의 테이블 계보
• 인스턴스에 포함된 작업 파라미터 값

6.2 운영 기록

운영 기록은 Streampark Job Instance ID별로 각 인스턴스의 전체 라이프사이클 이벤트를 기록합니다.

• 기본적으로 최신 인스턴스의 이벤트 메시지가 표시되며, 인스턴스 생성 시간의 역순으로 정렬됩니다
• 사용자는 펼쳐서 모든 인스턴스의 이벤트 메시지를 확인할 수 있습니다
• 타임라인으로 전체 정보 표시를 제어할 수 있습니다

6.3 로그

카테고리		내용	설명
실행 로그	작업 관리자(JobManager) 로그	작업 스케줄링, Checkpoint, 상태 관리	단일 JM 인스턴스의 로그
	태스크 관리자(TaskManager) 로그	데이터 처리, 네트워크 통신	여러 TM 인스턴스의 로그 집계
오류 정보		ERROR/WARN 로그 집계	문제를 빠르게 찾기 위한 진입점

6.4 스냅샷 관리

필드	설명
스냅샷 ID	Streampark가 반환한 Checkpoint ID
상태	스냅샷의 현재 상태
스냅샷 타입	Checkpoint: Flink가 자동으로 생성하는 "자동 저장본"으로, 장애 복구에 사용되며 가볍고 빠르며 자동화되어 있습니다 Savepoint: 사용자가 수동으로 트리거하는 "수동 저장 지점"으로, 계획된 중지와 재시작(코드 업데이트, 클러스터 확장/축소, 버전 업그레이드 등)에 사용됩니다
생성 방식	수동(사용자가 실행, Savepoint만 해당) / 자동(Checkpoint 구성에 따라 자동 생성)
트리거 시간	스냅샷이 트리거된 시간
지속 시간	스냅샷 생성 소요 시간
소스 인스턴스	스냅샷이 속한 인스턴스 ID

7. 관리 페이지 메타데이터

실시간 작업 관리 목록 페이지에서 다음 메타데이터 정보를 확인할 수 있습니다.

필드	설명
실시간 작업 이름	작업의 고유 식별자
비고	작업 설명 정보
라이브 상태	발행됨 / 배포 대기
운영 상태	현재 버전 최신 인스턴스의 실행 상태
엔진 버전	예: Flink 1.16
담당자	작업 담당자
활성화 시간	개발 환경에서 운영 환경으로 배포하여 라이브한 시간
스타트 시간	최신 인스턴스의 시작 시간
마지막 수정 시간	가장 최근에 수정한 시간
마지막 수정자	가장 최근에 수정한 사용자
작업	편집, 상태 관리 작업, 작업 상세 페이지로 이동