説明
メダリオン アーキテクチャ - Databricks
試験の焦点: 下の画像を確認して、メダリオン建築における各層 (ブロンズ、シルバー、ゴールド) の役割を理解してください。各層とその目的を対象としたさまざまな質問が表示されます。
Udemy 内の一部の人が私のコンテンツをコピーしているため、ウォーターマークを追加する必要がありました。
低信頼度で自動的に生成された家の説明図

説明
Auto Loader は、クラウド オブジェクト ストレージから新しいファイルを取り込むときに 2 つのモードをサポートします。 ディレクトリ リスト: Auto Loader は、入力ディレクトリをリストすることで新しいファイルを識別し、ディレクトリ ポーリング アプローチを使用します。
ファイル通知: Auto Loader は、入力ディレクトリからのファイル イベントをサブスクライブする通知サービスとキュー サービスを自動的にセットアップできます。
自動生成される図の説明

ファイル通知はより効率的であり、データがクラウド オブジェクト ストレージに到着するとリアルタイムでデータを処理するために使用できます。
ファイル通知モードとディレクトリ一覧モードの選択 | AWS 上のデータブリック

説明
1.テーブル販売の作成または置換
2.AS SELECT *、販売金額/単位販売額の平均価格として販売
INSERT OVERWRITE と CREATE OR REPLACE TABLE(CRAS) の主な違いは、CRAS がテーブルのスキーマを変更できること、つまり、新しい列を追加したり、既存の列のデータ型を変更したりできることです。デフォルトでは、INSERT OVERWRITE はデータのみを上書きします。
次の場合に限り、INSERT OVERWRITE を使用してスキーマを上書きすることもできます。
このオプションが有効になっておらず、スキーマの不一致がある場合、コマンドは失敗する場合、spark.databricks.delta.schema.autoMerge.enabled は true に設定されます。

説明
答えは、タスクが 15 分を超えて実行される場合にジョブを強制終了するタイムアウトを含めるようにタスクを変更することです。
https://docs.microsoft.com/en-us/azure/databricks/data-engineering/jobs/jobs#timeout