説明
ネストされた JSON をフラット化された DataFrame に変換する
$"column.*" メソッドと展開メソッドのみを使用して、ネストされた JSON をフラット化できます。
注: 抽出して平坦化する
フラット化された DataFrame を表示する前に、$"column.*" メソッドと展開メソッドを使用して、構造体と配列型をフラット化します。
スカラ座
display(DF.select($"id" as "main_id",$"name",$"batters",$"ppu",explode($"topping")) // トッピング列をexplodeを使用して分解します。 array type withColumn("topping_id",$"col.id") // DOT 形式を使用して、col から topping_id を抽出します。 withColumn("topping_type",$"col.type") // DOT 形式を使用して、col から topping_tytpe を抽出します。drop($" Col") select($"*",$"batters.*") // 構造体型attersを配列型のbattersに平坦化したdrop($"batters") select($"*",explode($"batter") )) drop($"batter") withColumn("batter_id",$"col.id") // DOT 形式を使用して Col から Battery_id を抽出 withColumn("batter_type",$"col.type")) // DOT 形式を使用して、col から batter_type を抽出しますdrop($"col") ) 参考: https://learn.microsoft.com/en-us/azure/databricks/kb/scala/ flatten-nested-columns-dynamically

説明
ボックス 1: @trigger().startTime
startTime: 日付と時刻の値。基本スケジュールの場合、startTime プロパティの値は最初のスケジュールに適用されます。複雑なスケジュールの場合、トリガーは指定された startTime 値より早く開始されません。
ボックス 2: /{YYYY}/{MM}/{DD}/{HH}_{deviceType}.json
deviceType ごとに 1 時間あたり 1 つのデータセット。
ボックス 3: 階層を平坦化する
- FlattenHierarchy: ソース フォルダーのすべてのファイルは、ターゲット フォルダーの最初のレベルにあります。ターゲット ファイルには自動生成された名前が付けられます。
参照：
https://docs.microsoft.com/en-us/azure/data-factory/concepts-pipeline-execution-triggers
https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system

geo レプリケーションは非同期であるため、障害が発生した時点では、プライマリ リージョンに書き込まれたデータがまだセカンダリ リージョンに書き込まれていない可能性があります。[最終同期時刻] プロパティは、プライマリ リージョンのデータがセカンダリ リージョンに正常に書き込まれた最後の時刻を示します。最後の同期時刻より前にプライマリ リージョンに対して行われたすべての書き込みは、セカンダリの場所から読み取ることができます。最終同期時刻プロパティの後にプライマリ リージョンに行われた書き込みは、まだ読み取りに利用できる場合とできない場合があります。
参照：
https://docs.microsoft.com/en-us/azure/storage/common/last-sync-time-get

Azure Data Factory では、継続的インテグレーションとデリバリー (CI/CD) とは、Data Factory パイプラインをある環境 (開発、テスト、運用) から別の環境に移動することを意味します。
ノート：
以下は、複数の環境へのデータ ファクトリのデプロイを自動化する Azure Pipelines リリースをセットアップするためのガイドです。
Azure DevOps で、データ ファクトリで構成されているプロジェクトを開きます。
ページの左側で、「パイプライン」を選択し、「リリース」を選択します。
[新しいパイプライン] を選択するか、既存のパイプラインがある場合は、[新規]、[新しいリリース パイプライン] の順に選択します。
[ステージ名] ボックスに環境の名前を入力します。
[アーティファクトの追加] を選択し、開発データ ファクトリで構成された git リポジトリを選択します。デフォルト ブランチとしてリポジトリのパブリッシュ ブランチを選択します。デフォルトでは、このパブリッシュ ブランチは adf_publish です。
空のジョブ テンプレートを選択します。
参照：
https://docs.microsoft.com/en-us/azure/data-factory/continuous-integration-deployment