上流ソースは、Parquetデータを1時間ごとのバッチとして、現在の日付で命名されたディレクトリに書き込みます。夜間バッチジョブは、日付変数で示される前日のすべてのデータを取り込むために、次のコードを実行します。
最新かつ実際の認定データエンジニアプロフェッショナル試験の質問と回答を入手するには、

customer_idとorder_idというフィールドは、各注文を一意に識別するための複合キーとして機能すると仮定します。
上流システムが、単一の注文に対して数時間間隔で重複したエントリを生成することが時折発生することがわかっている場合、次の記述のうちどれが正しいですか？

データチームは、カーディナリティの高い列を持つ、大規模で急速に成長している既存のテーブル「orders」の最適化に取り組んでいます。このテーブルはデータスキューが大きく、同時書き込みが頻繁に発生します。チームは、「user_id」、「event_timestamp」、「product_id」の各列が分析クエリやフィルタで頻繁に使用されていることに気づきましたが、これらのキーは将来、さまざまなビジネス要件により変更される可能性があります。即時のデータスキップ、時間の経過に伴う増分管理、および柔軟性を考慮してテーブルを最適化するには、どのパーティショニング戦略を選択すべきでしょうか？

Databricks CLI は、job_id パラメータを渡すことで既存のジョブの実行をトリガーするために使用されます。ジョブ実行リクエストが正常に送信されたことを示す応答には、run_id フィールドが含まれます。
この欄の横にある数字が何を表しているかを説明しているのは、次のうちどれですか？

Databricksワークスペース管理者は、各データエンジニアリンググループ向けにインタラクティブなクラスターを設定しました。コストを抑えるため、クラスターは30分間操作がないと自動的に終了するように設定されています。
各ユーザーは、割り当てられたクラスターに対して、1日を通していつでもワークロードを実行できるべきである。
ユーザーがワークスペースに追加されたものの、権限が付与されていない場合、既に構成済みのクラスターを起動して接続するためにユーザーが必要とする最小限の権限を説明しているのは次のうちどれですか。

本番環境にデプロイされた構造化ストリーミングジョブにより、クラウドストレージコストが予想以上に高くなっています。現状では、通常の実行時、各マイクロバッチデータは3秒未満で処理されますが、1分間に少なくとも12回、レコード数が0のマイクロバッチが処理されています。ストリーミング書き込みは、デフォルトのトリガー設定を使用して構成されています。本番ジョブは現在、バッチ実行を伴うジョブの起動時間を短縮するためにインスタンスプールがプロビジョニングされたワークスペースで、他の多くのDatabricksジョブと共にスケジュールされています。
他のすべての変数を一定に保ち、レコードを10分以内に処理する必要があると仮定した場合、どの調整が要件を満たすでしょうか？