통합
통합 모듈은 AE 데이터 개발 플랫폼의 핵심 구성 요소로, 데이터 가져오기와 내보내기를 담당합니다.
외부 데이터를 플랫폼에 연동해야 하는 경우 통합 모듈을 통해 빠르게 가져올 수 있습니다. 또한 데이터 애플리케이션을 지원하기 위해 데이터를 자체 구축한 레이크하우스로 내보내야 하는 경우에도 통합 모듈로 효율적으로 처리할 수 있습니다.
데이터 소스와 통합 계획을 생성하는 절차는 다음과 같습니다.
1. 통합 > 데이터 소스로 이동하여 오른쪽 상단의 + 데이터 소스를 클릭합니다.
2. 데이터 소스 타입(예: MySQL)을 선택하고 오른쪽 상단의 다음을 클릭합니다.
3. 데이터 소스 이름과 연결 정보를 입력하고 오른쪽 상단의 완료를 클릭합니다.
4. 왼쪽에서 오프라인 동기화를 클릭한 다음 오른쪽 상단의 + 통합 계획을 클릭합니다.
5. 통합 방안 생성 페이지에서 데이터 소스와 데이터 목적지를 선택하고, 필드 분석을 클릭하여 필드 매핑을 구성한 후 기본 정보를 입력하고 오른쪽 상단의 저장을 클릭합니다.
데이터 가져오기 프로세스
1. 데이터 준비
가져올 외부 데이터가 준비되어 있는지 확인하고, 저장 위치(예: OSS 등)를 확인합니다.
2. 데이터 소스 생성
데이터 소스 모듈에서 외부 데이터의 스토리지 타입(예: OSS)에 따라 해당 데이터 소스를 생성합니다.
3. 오프라인 동기화 계획 구성
- 오프라인 동기화 모듈로 이동하여 새 오프라인 동기화 통합 계획을 생성합니다.
- 외부 데이터를 데이터 소스로 설정하고, 워크스페이스 내의 타겟 데이터 테이블을 쓰기 대상으로 지정합니다.
4. 데이터 가져오기 실행
-
1회 가져오기: 통합 계획 상세 페이지에서 수동으로 실행합니다.
-
예약 가져오기:
- 통합 계획을 작업 플로우에 연결합니다.
- 작업 플로우의 예약 스케줄링 전략을 구성하면 통합 계획이 작업 플로우와 함께 자동으로 실행됩니다.
데이터 내보내기 프로세스
1. 내보낼 데이터 준비
내보내야 할 공간 데이터(사전 설정 스토리지 데이터)가 준비되었는지 확인합니다.
2. 타겟 데이터 소스 생성
데이터 소스 모듈에서 타겟 스토리지 타입(예: MySQL)에 따라 해당 데이터 소스를 생성합니다.
3. 오프라인 동기화 계획 구성
- 오프라인 동기화 모듈로 이동하여 새 오프라인 동기화 작업을 생성합니다
- 데이터 소스: 내보낼 공간 데이터(사전 설정 스토리지)를 선택합니다
- 쓰기 대상: 타겟 데이터 소스의 해당 테이블을 지정합니다
4. 데이터 내보내기 실행
-
즉시 내보내기: 계획 상세 페이지에서 수동으로 실행합니다.
-
예약 내보내기:
- 통합 계획을 작업 플로우에 연결합니다.
- 작업 플로우의 예약 스케줄링 전략을 구성하면 통합 계획이 작업 플로우와 함께 자동으로 실행됩니다.