説明
Stream Analytics は、参照データのストレージ レイヤーとして Azure Blob Storage と Azure SQL Database をサポートします。
参照：
https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-use-reference-data

参考文献:
https://docs.microsoft.com/en-us/azure/architecture/databricks-monitoring/application-logs

説明
タイプ 2 SCD は、ディメンション メンバーのバージョン管理をサポートします。多くの場合、ソース システムにはバージョンが保存されないため、データ ウェアハウスのロード プロセスがディメンション テーブル内の変更を検出して管理します。この場合、ディメンション テーブルはサロゲート キーを使用して、ディメンション メンバーのバージョンへの一意の参照を提供する必要があります。また、バージョンの日付範囲の有効性を定義する列 (StartDate や EndDate など) や、現在のディメンション メンバーで簡単にフィルターできるフラグ列 (IsCurrent など) も含まれています。
参照：
https://docs.microsoft.com/en-us/learn/modules/populate-slowly-changing-dimensions-azure-synapse-analytics-p

https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-define-outputs

参照：
https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.Column.alias.html
https://docs.microsoft.com/en-us/azure/databricks/sql/ language-manual/functions/explode