説明
これら 3 つの設計要素は、プロジェクトのセキュリティ、コンプライアンス、ガバナンスの要件を満たすために必要です。
* Snowflake で Tri-Secret Secure を使用するには、Snowflake の Business Critical エディションが必要です。このエディションでは、顧客管理の暗号化キーなど、下位のエディションでは利用できない強化されたデータ保護機能が提供されます。Tri-Secret Secure は、Snowflake が管理するキーと顧客管理のキーを組み合わせて複合マスター キーを作成し、Snowflake1 のデータを暗号化する機能です。
* ビューに保存されている一部の情報を別の Snowflake 顧客と共有するには、安全なビューをお勧めします。安全なビューは、基になるデータとビュー定義を権限のないユーザーから隠すビューです。ビューの所有者と、その所有者のロールを付与されたユーザーのみが、ビュー定義とビュー 2 のベース テーブル内のデータを表示できます。安全なビューは、データ共有を使用して別の Snowflake アカウントと共有できます3。
* 一部の列から機密情報の一部を非表示にするには、動的データ マスキングを使用できます。
動的データ マスキングは、列にマスキング ポリシーを適用して、クエリ時にプレーンテキスト データを選択的にマスクできる機能です。マスキング ポリシーの条件とユーザーの役割に応じて、データを完全または部分的にマスクしたり、プレーンテキストとして表示したりできます4。

オプション B は、Snowpipe を使用して、新しいレコードがオブジェクト ストレージに到着すると、イベント通知を活用して継続的かつ効率的にデータを取り込むため、要件を満たす最適な設計です。Snowpipe は、外部ソースから Snowflake テーブルへのデータのロードを自動化するサービスです1。また、ストリームとタスクを使用して、取り込まれたデータの変換を調整します。ストリームはテーブルの変更履歴を保存するオブジェクトであり、タスクはスケジュールに従って、または別のタスクによってトリガーされたときに SQL ステートメントを実行するオブジェクトです2。オプション B では、外部関数を使用して Amazon Comprehend でモデル推論を行い、最終レコードを Snowflake テーブルに書き込みます。外部関数は、Amazon Comprehend などの外部 API を呼び出して、Snowflake3 でネイティブにサポートされていない計算を実行するユーザー定義関数です。最後に、オプション B は、Snowflake Marketplace を使用して、異なる地域で異なるクラウド プロバイダーを使用する広告会社が匿名化された最終データ セットを公開できるようにします。Snowflake Marketplace は、使用するクラウド プラットフォームや地域に関係なく、データ プロバイダーがデータ セットをリストし、データ コンシューマーと共有できるようにするプラットフォームです4。
オプション A は、データの取り込みに copy into を使用するため、最適な設計とは言えません。これは、Snowpipe ほど効率的かつ継続的ではありません。Copy into は、単一トランザクションでファイルからテーブルにデータをロードする SQL コマンドです。また、Amazon Comprehend でモデル推論を行うためにデータを Amazon S3 にエクスポートします。これにより、追加の手順が追加され、運用の複雑さとインフラストラクチャのメンテナンスが増加します。
オプション C は、データの取り込みと変換に Amazon EMR と PySpark を使用するため、最適な設計とは言えません。これにより、インフラストラクチャの運用の複雑さとメンテナンスも増加します。Amazon EMR は、大規模なデータセットを処理および分析するためのマネージド Hadoop フレームワークを提供するクラウド サービスです。PySpark は、Hadoop 上で実行できる分散コンピューティング フレームワークである Spark 用の Python API です。オプション C では、Amazon Comprehend テキスト分析 API を活用してモデル推論を行う Python プログラムも開発しますが、これにより開発労力が増加します。
オプション D は、取り込み方法を除いてオプション A と同じであるため、最適な設計とは言えません。それでも、Amazon Comprehend でモデル推論を行うためにデータを Amazon S3 にエクスポートしますが、これにより追加の手順が追加され、運用の複雑さとインフラストラクチャのメンテナンスが増加します。
参照：
copy into <table> コマンドは、ステージングされたファイルから Snowflake の既存のテーブルにデータをロードするために使用されます。このコマンドは、CSV、JSON、AVRO、ORC、PARQUET、XML1 などのさまざまなファイル形式をサポートしています。
match_by_column_name パラメーターは、ソース データで表される対応する列と一致するターゲット テーブル内の個別の列に半構造化データをロードできるようにするコピー オプションです。パラメータには次のいずれかの値を指定できます2:
CASE_SENSITIVE: ソース データの列名は、大文字と小文字も含めてターゲット テーブルの列名と正確に一致する必要があります。これがデフォルト値です。
CASE_INSENSITIVE: ソース データの列名はターゲット テーブルの列名と一致する必要がありますが、大文字と小文字は無視されます。
NONE: ソース データの列名は無視され、データはターゲット テーブルの列の順序に基づいてロードされます。
match_by_column_name パラメーターは、JSON、AVRO、ORC、PARQUET、XML などの半構造化データにのみ適用されます。構造化データとみなされている CSV データには適用されません2。
CSV ファイル形式で copy into <table> コマンドを使用する場合、match_by_column_name パラメータは次のように動作します2。
CSV ファイルにはヘッダーが存在し、大文字と小文字が区別されるテーブル列名と一致することが期待されます。これは、CSV ファイルの最初の行に列名が含まれている必要があり、それらの列名がターゲット テーブルの列名と大文字小文字も含めて正確に一致する必要があることを意味します。ヘッダーが見つからないか一致しない場合、コマンドはエラーを返します。
このパラメータは、NONE に設定されている場合でも無視されません。このコマンドは引き続き、CSV ファイル内の列名とターゲット テーブル内の列名を照合しようとし、一致しない場合はエラーを返します。
このコマンドは、ファイルに一致しない列があることを示す警告を返しません。列名が一致する場合はデータが正常にロードされ、一致しない場合はエラーが返されます。
1: <テーブル> にコピー | スノーフレークのドキュメント
2: MATCH_BY_COLUMN_NAME | スノーフレークのドキュメント