テーブルで検索最適化サービスを有効にすると、選択的なフィルタリング基準を持つクエリのパフォーマンスが向上します。このケースはこれに該当します。このサービスは、検索アクセス パスと呼ばれる永続的なデータ構造を作成することでクエリの実行を最適化します。これにより、スキャン プロセス中に一部のマイクロパーティションをスキップできます。これにより、コンピューティング コストを増やすことなく、クエリのパフォーマンスを大幅に向上できます1。
参考文献
*検索最適化サービスに関する Snowflake ドキュメント1。

オプション A は、AWS シンガポールの S3 バケットに対して外部テーブルの上にマテリアライズド ビューを使用するため、要件を満たす最適な設計です。マテリアライズド ビューは、クエリの結果を含むデータベース オブジェクトであり、定期的に更新して基になるデータの変更を反映できます1。外部テーブルは、Amazon S32 などのクラウド ストレージ サービスに保存されているデータ ファイルを参照するテーブルです。外部テーブルの上にマテリアライズド ビューを使用することで、頻繁に変更されるデータへのアクセスを提供し、出力コストを最小限に抑え、低レイテンシーを維持できます。これは、マテリアライズド ビューがクエリ結果を Snowflake にキャッシュするため、外部データ ファイルにアクセスしてネットワーク料金が発生する必要性が軽減されるためです。
マテリアライズド ビューは、外部データ ファイルを毎回スキャンする必要がないため、クエリのパフォーマンスも向上します。マテリアライズド ビューは、スケジュールに従って、またはオンデマンドで更新して、外部データ ファイルの変更をキャプチャできます1。
オプション B は、AWS シンガポールの S3 バケットに対して外部テーブルを使用し、データを一時テーブルにコピーするため、最適な設計ではありません。一時テーブルとは、Snowflake のタイムトラベル機能とフェイルセーフ機能の対象とならないテーブルで、一定期間後に自動的に消去されます3。外部テーブルを使用してデータを一時テーブルにコピーすると、マテリアライズドビューを使用する場合よりも出力コストと運用オーバーヘッドが増加します。これは、クエリが実行されるたびに外部テーブルが外部データファイルにアクセスし、コピー操作によって S3 から Snowflake にデータが転送されるためです。一時テーブルは Snowflake のストレージスペースも消費し、最新の状態に保つために手動メンテナンスが必要になります。
オプション C は、プロバイダー間でデータを S3 から Azure Blob ストレージにコピーして併置し、その後 Snowpipe を使用してデータを取り込むため、最適な設計ではありません。Snowpipe は、外部ソースから Snowflake テーブルへのデータの読み込みを自動化するサービスです4。プロバイダー間でデータをコピーすると、企業は高いエグレス コストと待機時間、およびインフラストラクチャの運用の複雑さとメンテナンスを被ることになります。また、Snowpipe は Snowflake に別の処理およびストレージ レイヤーを追加しますが、外部データ ファイルが既にクエリ可能な形式である場合は、このレイヤーは不要である可能性があります。
オプション D は、AWS Transfer Family を使用して AWS シンガポールの S3 バケットと Azure オランダの BLOB ストレージ間でデータを複製し、その後 BLOB ストレージに対して外部テーブルを使用するため、最適な設計ではありません。AWS Transfer Family は、SFTP、FTPS、FTP を介して Amazon S3 または Amazon EFS5 との間で安全かつシームレスなファイル転送を可能にするサービスです。AWS Transfer Family を使用すると、会社は高い出力コストとレイテンシー、および運用の複雑さとインフラストラクチャのメンテナンスを被ることになります。また、外部テーブルはクエリが実行されるたびに外部データファイルにアクセスするため、クエリのパフォーマンスに影響する可能性があります。
参考資料: 1: マテリアライズドビュー 2: 外部テーブル 3: 一時テーブル 4: Snowpipe の概要 5: AWS Transfer Family