https://docs.aws.amazon.com/redshift/latest/dg/materialized-view-streaming-ingestion.html Amazon Redshift のストリーミング取り込み機能を使用する: Amazon Redshift では最近、ストリーミング データの取り込みが導入され、Redshift は Kinesis Data Streams からほぼリアルタイムでデータを直接取り込むことができるようになりました。この機能は、中間のステップやサービスが不要になることでアーキテクチャを簡素化し、特にほぼリアルタイムの分析をサポートするように設計されています。この機能は Redshift 内に統合されているため、運用上のオーバーヘッドは最小限に抑えられます。

説明
Kafka コネクタの起動時に自動的に作成される Snowflake オブジェクトは、テーブル、パイプ、および内部ステージです。Kafka コネクタは、コネクタ プロパティで構成されている Kafka トピックごとに 1 つのテーブル、1 つのパイプ、および 1 つの内部ステージを作成します。テーブルには Kafka トピックからのデータが保存され、パイプは COPY ステートメントを使用してステージからテーブルにデータをロードし、内部ステージには PUT コマンドを使用して Kafka コネクタによって生成されたファイルが格納されます。その他のオプションは、Kafka コネクタの起動時に自動的に作成される Snowflake オブジェクトではありません。オプション B のタスクは、ウェアハウスを必要とせずにスケジュールに従って SQL ステートメントを実行できるオブジェクトです。オプション E の外部ステージは、クラウド ストレージ サービスなど、Snowflake 外部の場所を参照できるオブジェクトです。オプション F のマテリアライズド ビューは、クエリの事前計算された結果を保存し、定期的に更新できるオブジェクトです。

説明
一般的なテーブルでは、データはデータベースに保存されますが、外部テーブルでは、データは外部ステージのファイルに保存されます。外部テーブルには、ファイル名、バージョン識別子、関連プロパティなど、データ ファイルに関するファイル レベルのメタデータが格納されます。これにより、外部ステージのファイルに保存されているデータを、データベース内にあるかのようにクエリできます。外部テーブルは、COPY INTO <table> ステートメントでサポートされている任意の形式で保存されているデータにアクセスできます。
外部テーブルは読み取り専用であるため、DML 操作を実行することはできません。ただし、外部テーブルはクエリおよび結合操作に使用できます。外部テーブルに対してビューを作成できます。
データベースの外部に保存されたデータのクエリは、ネイティブ データベース テーブルのクエリよりも遅くなる可能性がありますが、外部テーブルに基づくマテリアライズド ビューを使用すると、クエリのパフォーマンスが向上します。
外部テーブルを作成すると、ユーザーは、最初に Snowflake にロードすることなく、外部クラウド ストレージに保存されている既存のデータをクエリして分析できるようになります。データの真のソースは、外部クラウド ストレージに残ります。
マテリアライズド ビューを介して Snowflake にマテリアライズされたデータ セットは読み取り専用です。
このソリューションは、外部クラウド ストレージに大量のデータが保存されており、そのデータの一部 (最新のデータなど) のみをクエリしたいアカウントに特に役立ちます。ユーザーは、このデータのサブセットに対してマテリアライズド ビューを作成し、クエリ パフォーマンスを向上させることができます。

説明
Snowpipe がデータをロードした後にステージングされたファイルを削除する
パイプ オブジェクトは PURGE コピー オプションをサポートしていません。データがテーブルに正常にロードされた場合、Snowpipe はステージングされたファイルを自動的に削除できません。
不要になったステージングされたファイルを削除するには、定期的に REMOVE コマンドを実行してファイルを削除することをお勧めします。
または、クラウド ストレージ サービス プロバイダーが提供するライフサイクル管理機能を構成します。