Snowflake Connector for Kafka と Snowpipe は、クラウド プロバイダーが提供するメッセージング サービスを使用してほぼリアルタイムのデータをロードするために使用できる 2 つの取り込み方法です。Snowflake Connector for Kafka を使用すると、Apache Kafka トピックからの構造化データと半構造化データを Snowflake テーブルにストリーミングできます。
Snowpipe を使用すると、Amazon S3 や Azure Blob Storage などのクラウド ストレージの場所に継続的に追加されるファイルからデータをロードできます。どちらの方法でも、Snowflake のマイクロ パーティショニングと列指向ストレージを利用して、データの取り込みとクエリのパフォーマンスを最適化します。Snowflake ストリームと Spark は取り込み方法ではなく、Snowflake アーキテクチャのコンポーネントです。Snowflake ストリームは、テーブル内のデータ変更を追跡することで変更データ キャプチャ (CDC) 機能を提供します。Spark は、大規模なデータを処理し、Snowflake Spark コネクタを使用して Snowflake に書き込むために使用できる分散コンピューティング フレームワークです。参考資料:
* Kafka 用 Snowflake コネクタ
*スノーパイプ
* スノーフレークストリーム
* スノーフレーク スパーク コネクタ

ベンダーから Snowflake にデータをロードする最も効率的な方法は、Google Cloud Storage に外部ステージを作成し、外部テーブルを使用してデータを Snowflake にロードすることです (オプション B)。この方法では、異なるクラウド プラットフォーム間でのデータのコピーや移動を回避でき、追加のコストとレイテンシが発生する可能性があります。また、外部テーブル機能を活用して、データを Snowflake テーブルにロードせずに Google Cloud Storage から直接データをクエリすることもできます。これにより、ストレージ スペースを節約し、パフォーマンスを向上させることができます。オプション A は、ベンダーが Snowflake アカウントとデータ共有を作成する必要があり、複雑でコストがかかる可能性があるため、効率的ではありません。オプション C は、外部ツールを使用して Google Cloud Storage から Azure Blob ストレージにデータをコピーする必要があるため、効率的ではありません。これは、時間がかかり、コストがかかる可能性があります。オプション D は、Google Cloud Platform (GCP) で Snowflake アカウントを作成し、このアカウントにデータを取り込み、データ レプリケーションを使用してデータを GCP から Azure に移動する必要があるため、効率的ではありません。これは、複雑で時間がかかる可能性があります。参考: 答えは、Snowflake の Web サイトにある外部ステージと外部テーブルに関する公式ドキュメントから確認できます。関連するリンクをいくつか示します。
外部ステージの使用 | Snowflake ドキュメント
外部テーブルの使用 | Snowflake ドキュメント
ステージからのデータのロード | Snowflake ドキュメント

* オプション A (RETURN_FAILED_ONLY) は、以前に読み込みに失敗したファイルのみを読み込みます。ステージ内に同じ名前の file5.csv が既に存在するため、新しいファイルとは見なされず、読み込まれません。
* オプション D (FORCE) は、テーブル内の既存のデータをすべて上書きします。file5.csv からのデータのみをロードしたいので、これは望ましくありません。
* オプション E (NEW_FILES_ONLY) は、最後の COPY コマンド以降にステージに追加されたファイルのみをロードします。file5.csv は修正される前にすでにステージにあったため、これは機能しません。
* オプション F (MERGE) は、ステージのデータを既存のテーブルにマージし、まだ存在しないデータに対して新しい行を作成するために使用されます。この場合、file5.csv からデータをロードするだけなので、このオプションは必要ありません。
したがって、アーキテクトはCOPY INTO tablea FROM @%tableaまたはCOPY INTO tablea FROMのいずれかを使用できます。
@%tablea FILES = ('file5.csv') は、ステージから file5.csv のみをロードします。どちらのオプションも、既存のデータを上書きしたり、追加の構成を必要とせずに、指定されたファイルからデータをロードします。

データベースのクローンを作成すると、タスクを含むすべてのオブジェクトもクローンされます。ただし、クローンされたタスクはデフォルトで一時停止されるため、ALTER TASK コマンドを使用して手動で再開する必要があります。これは、クローンされたタスクが予期せず実行されたり、元のタスクに干渉したりするのを防ぐためです。したがって、クローン後にタスクの実行が停止するのは、デフォルトで一時停止されているためです (オプション C)。オプション A、B、および D は正しくありません。タスクはクローン化でき、タスクが参照するオブジェクトもクローン化されるため完全修飾されている必要はなく、アーキテクトはクローンされたデータベース上のタスクを変更する必要はなく、再開するだけでよいからです。参考: 答えは、Snowflake の Web サイトにあるクローン作成とタスクに関する公式ドキュメントから確認できます。関連リンクをいくつか示します。
オブジェクトのクローン作成 | Snowflake ドキュメント
タスク | Snowflake ドキュメント
ALTER TASK | Snowflake ドキュメント