파티션 테이블 동기화
파티션 테이블 동기화는 외부 스토리지에서 발견할 수 있는 파티션을 공간 테이블의 파티션 메타데이터에 업데이트하는 기능입니다. 자동 동기화를 활성화하면 시스템이 주기적으로 파티션 변경을 확인하며, 테이블 상세 정보에서 현재 환경에 대해 즉시 동기화를 한 번 실행할 수도 있습니다.
기능 설명 및 적용 범위
파티션 동기화는 데이터 개발 플랫폼 데이터베이스 테이블의 Hive 외부 파티션 테이블에 적용됩니다. 대상 테이블은 다음 조건을 모두 충족해야 합니다.
- 관리 모드가 공간-작업 테이블입니다.
- 스토리지 타입이 외부 테이블입니다.
- 파티션 타입이 파티션 테이블이며, 파티션 필드를 하나 이상 포함합니다.
내부 테이블, 비파티션 외부 테이블, 뷰에는 자동 동기화 설정이나 수동 동기화 진입점이 표시되지 않습니다. 수동 동기화를 하려면 현재 사용자에게 데이터베이스 테이블 편집 권한도 있어야 합니다.
파티션 자동 동기화 활성화
조건을 충족하는 외부 파티션 테이블을 생성할 때 파티션 자동 동기화는 기본적으로 활성화되어 있습니다. 이후 테이블을 편집할 때 이 설정을 조정할 수도 있습니다.
- 데이터 개발 플랫폼 > 데이터베이스 테이블로 이동하여 외부 파티션 테이블을 생성하거나, 기존 외부 파티션 테이블을 연 후 편집을 클릭합니다.
- 가이드 방식으로 편집할 때는 고급 설정을 펼치고, DDL로 편집할 때는 스토리지 설정 영역을 찾습니다.
- 파티션 자동 동기화를 선택하거나 선택 해제합니다.
- 저장만 또는 배포 및 라이브를 클릭하여 설정을 적용합니다.
자동 동기화 설정은 개발 환경과 운영 환경에서 공유됩니다. 활성화하면 시스템이 두 환경의 파티션 변경을 주기적으로 확인하며, 비활성화한 후에도 파티션을 수동으로 동기화할 수 있습니다.
동기화 상태 확인
- 데이터 개발 플랫폼 > 데이터베이스 테이블로 이동하여 확인할 외부 파티션 테이블을 엽니다.
- 페이지 상단에서 개발 환경 또는 운영 환경을 선택합니다.
- 파티션 탭을 엽니다.
페이지에 자동 동기화 활성화 여부와 현재 환경의 최근 동기화 성공 또는 실패 결과 및 시작 시간이 표시됩니다. 동기화에 실패한 경우 알림 아이콘에 마우스를 올리면 실패 원인을 확인할 수 있습니다.
개발 환경과 운영 환경은 최근 동기화 결과를 각각 관리합니다. 환경을 전환하면 파티션 목록과 동기화 상태도 함께 전환되며, 자동 동기화 설정은 그대로 유지됩니다.
파티션 수동 동기화
현재 환경의 파티션을 즉시 업데이트해야 하는 경우 테이블 상세 정보의 파티션 탭에서 지금 동기화를 클릭합니다.
제출에 성공하면 페이지에 파티션 동기화가 제출되었습니다라는 메시지가 표시되고 버튼이 동기화 중으로 바뀝니다. 이 메시지는 시스템이 요청을 접수했다는 의미이며, 동기화가 완료되었다는 뜻은 아닙니다. 동기화가 끝나면 페이지가 최신 동기화 성공 또는 최신 동기화 실패로 업데이트되고 현재 환경의 파티션 목록이 새로 고쳐집니다.
수동 동기화는 페이지에서 현재 선택한 환경만 처리합니다. 자동 동기화를 비활성화해도 수동 동기화에는 영향이 없으며, 데이터베이스 테이블 편집 권한이 없으면 페이지에 지금 동기화가 표시되지 않습니다. 해당 테이블에 이미 실행 중인 동기화 작업이 있으면 현재 작업이 끝난 후 다시 시도하십시오.
동기화 규칙 및 주의 사항
| 규칙 | 설명 |
|---|---|
| 동기화 범위 | 동기화 시 외부 스토리지에 새로 추가된 파티션을 등록하고, 외부 스토리지에 더 이상 존재하지 않는 파티션 메타데이터를 정리합니다. |
| 데이터 파일 | 동기화는 파티션 메타데이터만 조정하며, 외부 스토리지의 데이터 파일을 이동, 수정 또는 삭제하지 않습니다. |
| 환경 | 자동 동기화 설정은 개발 환경과 운영 환경에서 공유됩니다. 최근 결과와 파티션 목록은 환경별로 표시되며, 수동 동기화는 현재 환경에만 적용됩니다. |
| 실행 시점 | 자동 동기화 설정을 저장해도 동기화가 즉시 실행되지는 않습니다. 파티션을 바로 업데이트하려면 지금 동기화를 클릭하십시오. |
| 성공 결과 | 동기화 성공은 현재 발견할 수 있는 파티션 디렉터리가 파티션 메타데이터와 일치한다는 의미이며, 외부 데이터 쓰기가 완료되었거나 데이터를 반드시 읽을 수 있다는 뜻은 아닙니다. |
파티션 동기화 시 외부 스토리지에 더 이상 존재하지 않는 디렉터리에 해당하는 파티션 메타데이터가 제거될 수 있습니다. 수동 동기화를 실행하기 전에 외부 쓰기가 완료되었는지, 그리고 플랫폼이 대상 디렉터리에 정상적으로 접근할 수 있는지 확인하십시오.