説明
このシナリオに適用される推奨事項は次のとおりです。
データファイルの圧縮サイズが 100 ～ 250 MB (またはそれ以上) であることを確認します。この推奨事項により、ロードする必要があるファイルの数が減り、ロードの並列処理が増えるため、Snowpipe のパフォーマンスが向上します。ファイルが小さいと、過度のメタデータ操作やネットワーク遅延により、パフォーマンスの低下やエラーが発生する可能性があります。
各一意の要素の各値に単一のネイティブ データ型 (文字列または数値) が格納されていることを確認します。この推奨事項により、JSON データをバリアント列にロードするときにデータ型の変換やエラーを回避することで、Snowpipe のパフォーマンスが向上します。Snowflake は、JSON 要素に対して 2 つのネイティブ データ型をサポートしています。
文字列と数値。要素に文字列とブール値などの異なるファイルまたはレコード間でデータ型が混在している場合、Snowflake は FILE_FORMAT オプションに応じて、それらを文字列に変換するか、エラーを発生させます。
100 MB 未満のデータ ファイルを作成し、1 分に 1 回以上の頻度でクラウド ストレージにステージングします。この推奨事項により、自動取り込みのために Snowpipe に送信する必要がある通知の数を減らすことで、Snowpipe のコストが最小限に抑えられます。Snowpipe は、通知あたりのファイル数と通知の頻度に基づいて通知料金を請求します。より小さなファイルを作成し、より低い頻度でステージングすることで、必要な通知の数が少なくなります。

説明
JavaScript では大文字と小文字が区別されますが、マスキング ポリシーで JavaScript UDF を使用する場合は、列、UDF、およびマスキング ポリシーのデータ型が一致していることを確認してください。

AWS Glue クローラーは、ログのスキーマを自動的に決定し、パーティションを推測し、Glue データカタログを更新できます。クローラーは間隔を置いて実行するようにスケジュールできるため、手動による介入を最小限に抑えることができます。