このアプローチにより、データエンジニアリングチームは既存のSQLプログラムを活用し、曜日に基づいて最終クエリの実行を制御するロジックを追加できます。Pythonのdatetimeモジュールを使用して現在の日付を取得し、日曜日かどうかを確認できます。日曜日であれば最終クエリを実行し、日曜日でなければスキップできます。こうすることで、データモデルやソーステーブルを変更することなく、プログラムを毎日実行するようにスケジュール設定できます。参考資料：PySpark SQLモジュール、Python datetimeモジュール、Databricks Jobs

説明
DatabricksのAuto Loaderプロセスは、通常、Spark Structured Streamingと組み合わせてデータの増分処理に使用されます。Spark Structured Streamingは、新しいデータが到着するたびにデータストリームを増分処理できるリアルタイムデータ処理フレームワークです。Auto Loaderは、Databricksの機能で、Structured Streamingと連携して、指定されたデータソースの場所に追加された新しいデータファイルを自動的に検出して処理します。これにより、手動による介入を必要とせずに増分データ処理が可能になります。
Auto Loader はどのようにして取り込みの進行状況を追跡するのでしょうか？ファイルが検出されると、そのメタデータは Auto Loader パイプラインのチェックポイント位置にあるスケーラブルなキーバリューストア (RocksDB) に保存されます。このキーバリューストアにより、データが正確に 1 回処理されることが保証されます。障害が発生した場合、Auto Loader はチェックポイント位置に保存されている情報に基づいて中断した場所から処理を再開し、Delta Lake へのデータ書き込み時に確実に 1 回処理されることを保証します。フォールトトレランスや正確に 1 回処理されるセマンティクスを実現するために、状態を自分で維持または管理する必要はありません。https://docs.databricks.com/ingestion/auto-loader/index.html

メダリオン アーキテクチャは、レイクハウスの一般的なデータ設計パターンであり、データはブロンズ レイヤー テーブルからシルバー レイヤー テーブル、そしてゴールド レイヤー テーブルへと流れ、各レイヤーでデータの構造と品質が徐々に向上します。ブロンズ テーブルにはさまざまなソースから取り込まれた生データが格納され、シルバー テーブルでは最小限の変換とクレンジングを適用してデータのエンタープライズ ビューを作成します。シルバー テーブルでは、異なるブロンズ テーブルのデータを結合してエンリッチメントすることで、より完全で一貫性のあるデータ ビューを提供することもできます。したがって、オプション D が正解です。シルバー テーブルにはブロンズ テーブルよりも洗練されたクリーンなデータ ビューが含まれます。オプション A は正解の反対であるため不正解です。オプション B は不正解です。シルバー テーブルには必ずしも集計が含まれるわけではなく、詳細なレコードも格納できるため不正解です。オプション C は不正解です。適用された変換とクレンジングによっては、シルバー テーブルに含まれるデータがブロンズ テーブルよりも少なくなる場合があります。オプション E は不正解です。適用された結合とエンリッチメントによっては、シルバー テーブルに含まれるデータがブロンズ テーブルよりも多くなる場合があります。参考: メダリオン アーキテクチャとは何ですか?、ブロンズ テーブルをシルバー テーブルに変える、メダリオン レイクハウス アーキテクチャとは何ですか?

説明
https://docs.databricks.com/en/sql/language-manual/functions/count.html BIGINT を返します。
* が指定されている場合は、 NULL 値を含む行もカウントされます。
expr が指定されている場合は、すべての expr が NULL ではない行のみがカウントされます。
DISTINCT の場合、重複行はカウントされません。

説明
シングルタスクジョブで、新しいノートブックを元のタスクよりも先に実行するように新しいタスクを設定するには、データエンジニアは次のアプローチを使用できます。既存のジョブで、実行する必要がある新しいノートブックに対応する新しいタスクを作成します。適切な設定で新しいタスクを設定し、実行するノートブックと必要なパラメーターまたは依存関係を指定します。新しいタスクを作成したら、ジョブ設定で元のタスクの依存関係として指定します。これにより、新しいタスクが元のタスクよりも先に実行されるようになります。