説明

説明

ボックス 1: タイプ 2
タイプ 2 SCD は、ディメンション メンバーのバージョン管理をサポートします。多くの場合、ソース システムにはバージョンが保存されないため、データ ウェアハウスのロード プロセスがディメンション テーブル内の変更を検出して管理します。この場合、ディメンション テーブルはサロゲート キーを使用して、ディメンション メンバーのバージョンへの一意の参照を提供する必要があります。また、バージョンの日付範囲の有効性を定義する列 (StartDate や EndDate など) や、現在のディメンション メンバーで簡単にフィルターできるフラグ列 (IsCurrent など) も含まれています。
参照：
https://docs.microsoft.com/en-us/learn/modules/populate-slowly-changing-dimensions-azure-synapse-analytics-p

専用クラスター内のイベント ハブを除き、イベント ハブの作成後にそのパーティション数を変更することはできません。
参照：
https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-features

1 - 外部データソースを作成する
2 - 外部ファイル形式オブジェクトを作成する
3 - 外部テーブルを作成する
参照：
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/develop-tables-external-tables

説明

ステップ 1: ライフサイクル ポリシーを持つ Azure ストレージ アカウントを作成する
一般的なデータ管理タスクを自動化するために、Microsoft は Azure Data Factory に基づくソリューションを作成しました。データ ライフサイクル管理というサービスは、頻繁にアクセスされるデータを利用可能にし、保持ポリシーに従って他のデータをアーカイブまたはパージします。社内のチームはこのサービスを使用して、ストレージ コストを削減し、アプリのパフォーマンスを向上させ、データ保持ポリシーに準拠しています。
手順 2: データ保持期間が 120 日に設定された Log Analytics ワークスペースを作成します。
Data Factory は、パイプライン実行データを 45 日間のみ保存します。データを長期間保持したい場合は、Azure Monitor を使用します。Monitor を使用すると、分析用の診断ログをストレージ アカウントなどの複数の異なるターゲットにルーティングできます。監査や手動検査のために診断ログをストレージ アカウントに保存します。診断設定を使用して、保持期間を日単位で指定できます。
ステップ 3: Azure Portal から、診断設定を追加します。
ステップ 4: データを Log Analytics ワークスペースに送信します。
イベント ハブ: サービスから Azure Data Explorer にイベントを転送するパイプライン。
Azure Data Factory のメトリクスとパイプライン実行データを保持します。
診断設定とワークスペースを構成します。
データ ファクトリの診断設定を作成または追加します。
* ポータルで、[モニター] に移動します。[設定] > [診断設定] を選択します。
* 診断設定を設定するデータ ファクトリを選択します。
* 選択したデータ ファクトリに設定が存在しない場合は、設定を作成するように求められます。「診断をオンにする」を選択します。
* 設定に名前を付け、[Log Analytics に送信] を選択し、Log Analytics ワークスペースからワークスペースを選択します。
* [保存]を選択します。
参照：
https://docs.microsoft.com/en-us/azure/data-factory/monitor-using-azure-monitor