데이터 중복 제거 도구
1. 소개
데이터 중복 제거 도구는 AE 시스템에서 중복된 이벤트 데이터를 중복 제거하는 데 주로 사용하며, 기간과 이벤트 유형에 따라 이벤트 데이터의 중복을 제거할 수 있습니다.
중복 제거는 클러스터의 컴퓨팅 자원을 사용하므로 데이터에 이상이 있을 때만 중복 제거를 수행하고, 자주 중복 제거하는 용도로는 사용하지 않는 것이 좋습니다. 이 도구는 신중하게 사용하십시오.
2. 사용 설명
데이터 중복 제거 도구는 프라이빗 배포 서비스 사용자만 사용할 수 있습니다. root 사용자로 프라이빗 클러스터에서 2차 개발 도구가 배포된 서버(분산 배포 시 기본적으로 처음 3대)에 로그인하여 su - ta를 실행합니다.
그런 다음 ta-tool dupevent_del을 실행하면 데이터 중복 제거 도구 화면으로 들어갑니다.
2.1 처리할 프로젝트의 appid 입력
프로젝트의 appid는 AE 백엔드의 프로젝트 관리 → 프로젝트 구성 → 연동 설정에 있는 프로젝트 정보 카드에서 조회하거나, 데이터 → 데이터 연동 → 연동 가이드의 페이지 상단에서 확인할 수 있습니다.
2.2 프로젝트 이름 확인
입력을 마치면 중복을 제거할 프로젝트의 프로젝트 이름이 표시됩니다. "y"를 입력하면 확인하고, "n"을 입력하면 작업을 취소합니다.
2.3 중복을 제거할 이벤트 이름 입력
다음으로 중복을 제거할 이벤트의 이벤트 이름을 입력합니다. 여기에 입력하는 이벤트 이름은 데이터를 전송할 때의 key 값이며 표시 이름이 아닙니다. 이벤트 이름은 데이터 → 데이터 관리 → 이벤트에서 확인할 수 있습니다. 여러 이벤트의 중복을 제거하려면 ","로 구분하며, 입력을 마치면 중복을 제거할 이벤트 이름이 표시됩니다.
아무것도 입력하지 않고 바로 Enter를 눌러 확인하면 모든 이벤트 데이터의 중복을 제거하는 것으로 간주합니다:
2.4 중복 제거 로직에서 무시할 열 이름 입력
다음으로 중복 판단 로직에서 무시할 필드 이름을 입력합니다. AE 자체 사용 필드는 기본적으로 중복 판단 로직에서 제외되어 있습니다. 예를 들어 "#server_time", "#kafka_offset" 필드는 중복 판단 로직에 참여하지 않습니다. 여러 필드를 무시하려면 ","로 구분하며, 입력을 마치면 무시할 필드 이름이 표시됩니다.
2.5 중복을 제거할 이벤트 데이터의 기간 입력
다음으로 중복을 제거할 데이터의 기간을 입력합니다. 선택할 수 있는 시간 단위는 "일"이며, 날짜는 yyyy-MM-dd 형식으로 입력하십시오. 이 항목은 필수 입력 항목입니다:
2.6 최종 확인
데이터 중복 제거 전에 중복을 제거할 프로젝트 이름, 이벤트 이름, 기간을 최종 확인합니다. 확인은 총 두 번 필요하며(두 번째에는 중복 제거 후 데이터를 복구할 수 없다는 점을 다시 안내함), 두 번 모두 "y"를 입력해야 데이터 처리가 시작됩니다. 잘못된 부분이 있으면 "n"을 입력하여 도구를 종료한 후 다시 입력할 수 있습니다:
2.7 전체 실행 흐름
확인하면 데이터 중복 제거가 진행됩니다. 아래는 중복 제거 전체 흐름의 스크린샷입니다:
3. 주의 사항
- 데이터 중복 제거 도구를 사용하기 전에 데이터가 중복된 원인을 먼저 확인하십시오. 중복 제거 중에 중복 데이터가 계속 들어오면 중복 제거 효과를 보장할 수 없습니다.
- 중복 제거는 클러스터의 컴퓨팅 자원을 사용하므로 자주 사용하지 않는 것이 좋습니다.
- 다음과 같은 메시지가 표시되면 클러스터에서 데이터 병합이 진행 중인 것입니다. 자동으로 실행될 때까지 기다리면 되며, 이 단계에서 오랫동안 멈춰 있으면 운영 담당자에게 확인을 요청하십시오.
백그라운드 데이터 동기화 작업이 끝난 후 중복 제거를 실행합니다. 5분 후 다시 시도합니다. 기다려 주십시오! 1회차