データ重複排除ツール
1. 概要
データ重複排除ツールは主に、AEシステム内の重複したイベントデータの重複を排除するために使用します。期間とイベントタイプに基づいてイベントデータの重複を排除できます。
重複排除はクラスターの計算リソースを消費するため、データに異常がある場合にのみ実行することをおすすめします。頻繁にデータの重複排除を行うことはおすすめしません。本ツールは慎重に使用してください。
2. 使用方法
データ重複排除ツールは、プライベートデプロイ版のユーザーのみが使用できます。rootユーザーで、プライベートデプロイのクラスター内で二次開発ツールがデプロイされているサーバー（分散構成の場合はデフォルトで最初の3台）にログインし、su - taを実行します
次にta-tool dupevent_delを実行すると、データ重複排除ツールの画面に入ります。
2.1 処理するプロジェクトのappidを入力する
プロジェクトのappidは、AE管理画面の「プロジェクト管理 → プロジェクト設定 → プロジェクト構成」にあるプロジェクト情報カードで確認できるほか、「データ → データソース → データインポート」のページヘッダーでも確認できます。
2.2 プロジェクト名の確認
入力が完了すると、重複排除するプロジェクトのプロジェクト名が表示されます。"y"を入力すると確定し、"n"を入力すると操作を取り消します
2.3 重複排除するイベント名を入力する
次に、重複排除するイベントのイベント名を入力します。ここで入力するイベント名はデータ送信時のkey値であり、表示名ではありません。イベント名は「データ → データ管理 → イベント」で確認できます。複数のイベントの重複を排除する場合は","で区切ります。入力が完了すると、重複排除する予定のイベント名が表示されます。
何も入力せずにEnterキーを押して確定すると、すべてのイベントデータの重複を排除するものとみなされます：
2.4 重複排除のロジックで無視する列名を入力する
次に、重複の判定ロジックで無視するフィールド名を入力します。AEが内部で使用するフィールドは、デフォルトで重複判定のロジックから除外されています。例えば、"#server_time"、"#kafka_offset"フィールドは重複判定のロジックに含まれません。複数のフィールドを無視する場合は","で区切ります。入力が完了すると、無視する予定のフィールド名が表示されます。
2.5 重複排除するイベントデータの時間範囲を入力する
次に、重複排除するデータの期間を入力します。選択できる時間粒度は「日」です。yyyy-MM-ddの形式で日付を入力してください。この項目は入力必須です：
2.6 最終確認
データの重複排除を行う前に、重複排除するプロジェクトの名前、重複排除するイベントの名前、重複排除する期間について最終確認が行われます。確認は合計2回必要です（2回目には、重複排除後はデータを復元できないことが改めて通知されます）。2回とも"y"を入力した場合にのみデータの処理が開始されます。誤りがある場合は"n"を入力してツールを終了し、入力し直してください：
2.7 実行フロー全体
確認するとデータの重複排除が実行されます。重複排除のフロー全体のスクリーンショットは次のとおりです：
3. 注意事項
- データ重複排除ツールを使用する前に、データが重複した原因を確認してください。重複排除の実行中に重複データが入ってくると、重複排除の効果を保証できません。
- 重複排除はクラスターの計算リソースを消費するため、頻繁に使用することはおすすめしません。
- 次のメッセージが表示された場合は、クラスターがデータのマージを行っています。自動的に実行されるまで待つことができます。長時間この状態で止まっている場合は、運用担当者に調査を依頼してください。
需要后台数据同步任务结束后，执行去重，5分钟后重试，请等待！第1次