Databricks-Certified-Data-Engineer-Professional 試験問題 81
ジョブ実行履歴の保持に関して、正しい記述はどれですか?
Databricks-Certified-Data-Engineer-Professional 試験問題 82
データエンジニアがLakeflow Spark Declarative Pipelinesで顧客データパイプラインを構築しています。ソースは、顧客レコードの挿入、更新、削除を含む、保持期間が限定されたクラウドベースのイベントストリームです。これらの変更は、AUTO CDC INTO構文を使用して適用され、ターゲットテーブルであるSCDタイプ1テーブルcustomer_dimが維持されます。データエンジニアは、customer_dimテーブルからストリームを受け取り、更新と削除イベントのみを処理し、データを増分的に処理するダウンストリームジョブをどのように構築すればよいでしょうか?
Databricks-Certified-Data-Engineer-Professional 試験問題 83
A data engineer is working on a Databricks notebook that requires several third-party Python libraries. Some of these are available on PyPI, while others are custom-developed and stored as local.wheel (.whl) and source (.tar.gz) files in an S3 bucket. The goal is to ensure all dependencies are installed and correctly available across multiple jobs running on any automated cluster in a Unity Catalog-enabled workspace. The engineer needs to install the required dependencies in a way that ensures a consistent environment setup across interactive notebooks and jobs and complies with workspace security policies (no internet access). Which approach should the engineer use to install and manage these dependencies while also ensuring reproducibility and compliance?
Databricks-Certified-Data-Engineer-Professional 試験問題 84
データエンジニアは、国別の履歴パーティションを持つデルタテーブルを引き継いだが、そのパーティションはひどく偏っていた。
クエリは、カーディナリティの高い customer_id でフィルタリングされることが多く、時間の経過とともにディメンションごとに変化します。エンジニアは、破壊的な全面書き換えを回避し、偏ったパーティションへの感度を低減し、アクセスパターンが変化しても強力なクエリパフォーマンスを維持できる戦略を求めています。データエンジニアは、次のうちどの 2 つのアクションを実行すべきでしょうか。(2 つ選択してください。)
クエリは、カーディナリティの高い customer_id でフィルタリングされることが多く、時間の経過とともにディメンションごとに変化します。エンジニアは、破壊的な全面書き換えを回避し、偏ったパーティションへの感度を低減し、アクセスパターンが変化しても強力なクエリパフォーマンスを維持できる戦略を求めています。データエンジニアは、次のうちどの 2 つのアクションを実行すべきでしょうか。(2 つ選択してください。)
Databricks-Certified-Data-Engineer-Professional 試験問題 85
クエリの実行に時間がかかりすぎています。Spark UI を調査した結果、データ エンジニアは大量のディスク スピルを発見しました。使用されているコンピューティング インスタンスのコア対メモリ比は
1:2. データエンジニアがデータ漏洩を最小限に抑えるために取るべき2つの手順は何ですか?(2つ選択してください。)
1:2. データエンジニアがデータ漏洩を最小限に抑えるために取るべき2つの手順は何ですか?(2つ選択してください。)
