https://aws.amazon.com/blogs/big-data/orchestrate-an-etl-pipeline-using-aws-glue-workflows-triggers-and-crawlers-with-custom-classifiers/ をご覧ください。
https://aws.amazon.com/blogs/big-data/extracting-multidimensional-data-from-microsoft-sql- server-analysis-services-using-aws-glue/

説明
SYSTEM$CLUSTERING_DEPTH 関数と SYSTEM$CLUSTERING_INFORMATION 関数の両方で提供される出力は average_depth です。この出力は、特定の列値または列値の組み合わせのデータを含むマイクロパーティションの平均数を示します。その他の出力は、両方の関数に共通ではありません。notes 出力は SYSTEM$CLUSTERING_INFORMATION 関数でのみ提供され、テーブルのクラスタリング ステータスに関する追加情報または推奨事項が含まれます。average_overlaps 出力は SYSTEM$CLUSTERING_DEPTH 関数でのみ提供され、特定の列値または列値の組み合わせについて、他のマイクロパーティションと重複するマイクロパーティションの平均数を示します。total_partition_count 出力は SYSTEM$CLUSTERING_INFORMATION 関数でのみ提供され、テーブル内のマイクロパーティションの合計数を示します。

説明
マイクロパーティションとは何ですか?
Snowflake テーブル内のすべてのデータは、連続したストレージ単位であるマイクロパーティションに自動的に分割されます。各マイクロパーティションには、50 MB ～ 500 MB の非圧縮データが含まれます (データは常に圧縮されて保存されるため、Snowflake の実際のサイズはこれより小さくなります)。テーブル内の行のグループは、列形式で編成された個別のマイクロパーティションにマップされます。このサイズと構造により、数百万、または数億のマイクロパーティションで構成される非常に大規模なテーブルを非常に細かく整理できます。
Snowflake は、マイクロパーティションに保存されているすべての行に関するメタデータを保存します。これには以下が含まれます。
マイクロパーティション内の各列の値の範囲。
異なる値の数。
最適化と効率的なクエリ処理の両方に使用される追加のプロパティ。
メタデータの一部として列の数を保存することはありません。
残りの記述は正しいです。

説明
データファイルの管理
ステージングされたファイルは、次の方法を使用して、Snowflake ステージ (ユーザー ステージ、テーブル ステージ、または名前付きステージ) から削除できます。
正常にロードされたファイルは、COPY INTO <table> コマンドで PURGE コピー オプションを指定することにより、ロード中にステージから削除できます。
ロードが完了したら、REMOVE コマンドを使用してステージ内のファイルを削除します。
ファイルを削除すると、誤って再度ロードされることがなくなります。また、ステージ内の既存のファイルがすでにロードされているかどうかを確認するために COPY コマンドがスキャンする必要があるファイルの数が減るため、ロード パフォーマンスも向上します。

Glue は、EMR の見た目は良いものの、EMR より弱い兄弟のようなものです。したがって、ペタバイト規模の場合は、EMR に作業を任せ、Glue には関与させないでください。