説明
上記のコード ブロックで使用されている日付 Python 変数を作成するために使用するコード ブロックは次のとおりです。
dbutils.widgets.text("date", "null") date = dbutils.widgets.get("date") このコード ブロックは、dbutils.widgets API を使用して、日付を受け入れることができる "date" という名前のテキスト ウィジェットを作成および取得します。パラメータとしての文字列値1。ウィジェットのデフォルト値は「null」です。これは、パラメーターが渡されない場合、日付変数は「null」になることを意味します。ただし、パラメーターが Databricks Jobs API を介して渡される場合、日付変数にはパラメーターの値が割り当てられます。たとえば、パラメータが「2021-11-01」の場合、日付変数は「2021-11-01」になります。このようにして、ノートブックは日付変数を使用して、指定されたパスからデータをロードできます。
他のオプションは次の理由により正しくありません。
オプション A は正しくありません。spark.conf.get("date") は、Databricks Jobs API 経由で渡されるパラメーターを取得する有効な方法ではありません。Spark.conf API は、ノートブックのパラメーターではなく、Spark 構成プロパティを取得または設定するために使用されます2。
input() は Databricks Jobs API 経由で渡されるパラメーターを取得する有効な方法ではないため、オプション B は不正解です。input() 関数は、API リクエストからではなく、標準入力ストリームからユーザー入力を取得するために使用されます3。
sys.argv1 は Databricks Jobs API 経由で渡されるパラメーターを取得する有効な方法ではないため、オプション C は不正解です。sys.argv リストは、notebook ではなく Python スクリプトに渡されるコマンドライン引数を取得するために使用されます4。
dbutils.notebooks.getParam("date") は Databricks Jobs API 経由で渡されるパラメーターを取得する有効な方法ではないため、オプション D は不正解です。dbutils.notebooks API は、API5 を介してパラメーターを渡す場合ではなく、ノートブックをジョブまたはサブノートブックとして実行するときにノートブック パラメーターを取得または設定するために使用されます。
参考資料: ウィジェット、Spark 構成、input()、sys.argv、ノートブック

説明
https://docs.delta.io/2.0.0/table-properties.html
Delta Lake は、各テーブルの最初の 32 列に関する統計を自動的に収集し、クエリ フィルター 1 に基づくデータ スキップに利用します。データ スキップは、ストレージ層からの無関係なデータの読み取りを回避することを目的としたパフォーマンス最適化手法です1。Delta Lake は、最小/最大値、NULL カウント、ブルーム フィルターなどの統計を収集することにより、クエリ プランから不要なファイルやパーティションを効率的に取り除くことができます1。これにより、クエリのパフォーマンスが大幅に向上し、I/O コストが削減されます。
他のオプションは次の理由から false です。
Parquet はデータを行ごとではなく列ごとに圧縮します2。これにより、特に列内で繰り返される値や類似の値の圧縮率が向上します2。
Lakehouse のビューは、ソース テーブルの最新バージョンの有効なキャッシュを常に維持しているわけではありません3。ビューは、1 つ以上のベース テーブルに対する SQL クエリによって定義される論理構造です3。ビューはデフォルトでは実体化されません。つまり、ビューにはデータは保存されず、クエリ定義のみが保存されます3。したがって、ビューはクエリ時に常にソース テーブルの最新の状態を反映します3。
ただし、CACHE TABLE または CREATE TABLE AS SELECT コマンドを使用してビューを手動でキャッシュできます。
主キー制約と外部キー制約を利用して、重複した値がディメンション テーブルに入力されないようにすることはできません。Delta Lake は、テーブルに対する主キー制約と外部キー制約の強制をサポートしていません。制約は、テーブル内のデータの整合性と有効性を定義する論理ルールです。Delta Lake は、データの品質と一貫性を確保するためにアプリケーション ロジックまたはユーザーに依存します。
Z オーダーは、数値だけでなく、Delta Lake テーブルに格納されているあらゆる値に適用できます。Z オーダーは、1 つ以上の列でデータ ファイルを並べ替えることによって、データ ファイルのレイアウトを最適化する手法です。Z オーダーは、関連する値をクラスター化し、より効率的なデータ スキップを可能にすることで、クエリのパフォーマンスを向上させることができます。Z オーダーは、数値、文字列、日付、ブール値など、順序が定義されている任意の列に適用できます。
参考資料: データ スキップ、パーケット形式、ビュー、[キャッシュ]、[制約]、[Z オーダー]

説明
メダリオン アーキテクチャ - Databricks
ゴールドレイヤー:
1.ML アプリケーション、レポート、ダッシュボード、アドホック分析を強化します
2. データの洗練されたビュー (通常は集計を使用)
3. 実稼働システムの負担を軽減します
4. ビジネスクリティカルなデータのクエリパフォーマンスを最適化します。
試験の焦点: 下の画像を確認して、メダリオン建築における各層 (ブロンズ、シルバー、ゴールド) の役割を理解してください。各層とその目的を対象としたさまざまな質問が表示されます。
Udemy 内の一部の人が私のコンテンツをコピーしているため、ウォーターマークを追加する必要がありました。

説明
CI/CD ワークフローを構築するときに Databricks Repos と Git プロバイダーが果たす役割を理解するには、以下の図を参照してください。
黄色で強調表示されたすべての手順は Databricks Repo で実行できます。灰色で強調表示されたすべての手順は Github や Azure DevOps などの Git プロバイダーで実行できます。

説明
これは、開発者がリモート リポジトリからの最新の変更でローカル リポジトリを更新し、目的のブランチに切り替えることができるため、これが正解です。変更をプルすると、変更がフェッチされるだけでマージされないため、現在のブランチに影響を与えたり、競合が発生したりすることはありません。ドロップダウンから dev-2.3.9 ブランチを選択すると、そのブランチがチェックアウトされ、その内容がノートブックに表示されます。
検証済みの参照: [Databricks Certified Data Engineer Professional]、「Databricks ツール」セクション; Databricks ドキュメントの「リモート リポジトリからの変更のプル」セクション。