オプションBは、Snowpipeを使用して、オブジェクトストレージに新しいレコードが到着すると、イベント通知を活用しながら継続的かつ効率的にデータを取り込むため、要件を満たす最適な設計です。Snowpipeは、外部ソースからSnowflakeテーブルへのデータのロードを自動化するサービスです1。また、ストリームとタスクを使用して、取り込んだデータの変換を調整します。ストリームはテーブルの変更履歴を保存するオブジェクトであり、タスクはスケジュールに従って、または別のタスクによってトリガーされたときにSQL文を実行するオブジェクトです2。
オプションBでは、Amazon Comprehend によるモデル推論を行い、最終レコードをSnowflakeテーブルに書き込む外部関数も使用します。外部関数とは、Amazon Comprehend などの外部 API を呼び出して、Snowflake がネイティブにサポートしていない計算を実行するユーザー定義関数です3。最後に、オプションBはSnowflake Marketplace を利用して、匿名化された最終データセットを、異なる地域で異なるクラウドプロバイダーを利用する広告会社向けに公開します。Snowflake Marketplace は、データプロバイダーがクラウドプラットフォームやリージョンを問わず、データセットをリスト化し、データコンシューマーと共有できるプラットフォームです4。
オプションAは、データの取り込みにcopy intoを使用するため、Snowpipeほど効率的かつ継続的ではないため、最適な設計とは言えません。copy intoは、ファイルからテーブルにデータを単一のトランザクションでロードするSQLコマンドです。また、Amazon Comprehendによるモデル推論を行うために、データをAmazon S3にエクスポートするため、余分な手順が発生し、運用の複雑さとインフラストラクチャのメンテナンスが増大します。
オプション C は、データの取り込みと変換に Amazon EMR と PySpark を使用するため、運用の複雑さとインフラストラクチャのメンテナンスが増加するため、最適な設計とは言えません。Amazon EMR は、大規模なデータセットを処理および分析するためのマネージド Hadoop フレームワークを提供するクラウドサービスです。
PySparkは、Hadoop上で実行できる分散コンピューティングフレームワークであるSpark用のPython APIです。オプションCでは、Amazon Comprehendテキスト分析APIを活用してモデル推論を行うPythonプログラムも開発するため、開発工数が増加します。
オプションDは、取り込み方法を除いてオプションAと同一であるため、最適な設計とは言えません。Amazon Comprehendによるモデル推論を行うために、依然としてデータをAmazon S3にエクスポートする必要があるため、追加の手順が必要となり、運用の複雑さとインフラストラクチャのメンテナンスが増大します。
参考資料: 1: Snowpipe の概要 2: ストリームとタスクを使用したデータパイプラインの自動化 3: 外部関数の概要 4: Snowflake Data Marketplace の概要 : [COPY INTO を使用したデータのロード] : [Amazon EMR とは?] : [PySpark の概要]
* copy into <table> コマンドは、ステージングされたファイルからSnowflakeの既存のテーブルにデータをロードするために使用されます。このコマンドは、CSV、JSON、AVRO、ORC、PARQUET、XML1など、さまざまなファイル形式をサポートしています。
* match_by_column_nameパラメータは、半構造化データを、ソースデータ内の対応する列と一致するターゲットテーブル内の個別の列にロードするためのコピーオプションです。このパラメータには、次のいずれかの値を指定できます2。
* CASE_SENSITIVE: ソースデータの列名は、大文字と小文字の区別を含め、ターゲットテーブルの列名と完全に一致する必要があります。これがデフォルト値です。
* CASE_INSENSITIVE: ソース データの列名はターゲット テーブルの列名と一致する必要がありますが、大文字と小文字は区別されません。
* なし: ソース データ内の列名は無視され、ターゲット テーブル内の列の順序に基づいてデータがロードされます。
* match_by_column_nameパラメータは、JSON、AVRO、ORC、PARQUET、XMLなどの半構造化データにのみ適用されます。構造化データとみなされるCSVデータには適用されません2。
* CSV ファイル形式で copy into <table> コマンドを使用する場合、match_by_column_name パラメータは次のように動作します2:
* CSVファイルには、大文字と小文字が区別されるテーブル列名に対応するヘッダーが存在する必要があります。つまり、CSVファイルの1行目には列名が含まれており、大文字と小文字も含め、対象テーブルの列名と完全に一致している必要があります。ヘッダーが存在しないか一致しない場合、コマンドはエラーを返します。
* このパラメータは、NONE に設定されていても無視されません。コマンドは、CSV ファイル内の列名とターゲットテーブルの列名を照合し、一致しない場合はエラーを返します。
* このコマンドは、ファイルに一致しない列があるという警告を返しません。列名が一致する場合はデータを正常に読み込み、一致しない場合はエラーを返します。
参考文献:
* 1: COPY INTO <テーブル> | Snowflakeドキュメント
* 2: MATCH_BY_COLUMN_NAME | Snowflakeドキュメント
