Databricks-Certified-Data-Engineer-Professional 試験問題 41
ジュニアデータエンジニアが、silver_device_recordings という名前の Lakehouse テーブルのロジックを実装しようとしています。ソースデータには、高度にネストされた JSON 構造に 100 個の一意のフィールドが含まれています。
silver_device_recordings テーブルは、下流工程で多数のフィールドに対して非常に選択的な結合を行うために使用され、また機械学習チームによっていくつかの関連フィールドでフィルタリングするためにも活用されます。合計で、フィルタリングおよび結合ロジックによく使用されるフィールドが 15 個特定されています。
データエンジニアは、テーブルスキーマを宣言する前に、これらのネストされたフィールドを処理するための最適な方法を決定しようとしている。
以下のうち、デルタレイクとデータブリックスの意思決定プロセスに影響を与える可能性のある情報を正確に提示しているのはどれですか？
silver_device_recordings テーブルは、下流工程で多数のフィールドに対して非常に選択的な結合を行うために使用され、また機械学習チームによっていくつかの関連フィールドでフィルタリングするためにも活用されます。合計で、フィルタリングおよび結合ロジックによく使用されるフィールドが 15 個特定されています。
データエンジニアは、テーブルスキーマを宣言する前に、これらのネストされたフィールドを処理するための最適な方法を決定しようとしている。
以下のうち、デルタレイクとデータブリックスの意思決定プロセスに影響を与える可能性のある情報を正確に提示しているのはどれですか？
Databricks-Certified-Data-Engineer-Professional 試験問題 42
user_ltv という名前のテーブルは、さまざまなチームのデータアナリストが使用するビューを作成するために使用されます。ワークスペース内のユーザーはグループに構成され、そのグループは ACL を使用してデータアクセスを設定するために使用されます。
user_ltvテーブルのスキーマは以下のとおりです。
email 文字列、age 整数、ltv 整数
以下のビュー定義が実行されます。
マーケティンググループに所属していないアナリストが、以下のクエリを実行します。
SELECT * FROM email_ltv
このクエリによって返される結果を説明しているのは、次のうちどれですか？
user_ltvテーブルのスキーマは以下のとおりです。
email 文字列、age 整数、ltv 整数
以下のビュー定義が実行されます。
マーケティンググループに所属していないアナリストが、以下のクエリを実行します。
SELECT * FROM email_ltv
このクエリによって返される結果を説明しているのは、次のうちどれですか？
Databricks-Certified-Data-Engineer-Professional 試験問題 43
データエンジニアが以下のPySparkコードを実行しようとしています。
df = spark.read.table("sales")
result = df.groupBy("region").agg(sum("revenue"))
しかし、実行計画を検査し、Sparkジョブのプロファイリングを行ったところ、集計フェーズ中に過剰なデータシャッフルが発生していることが判明した。
groupBy集計操作中のシャッフルを減らすには、どの手法を適用すべきでしょうか？
df = spark.read.table("sales")
result = df.groupBy("region").agg(sum("revenue"))
しかし、実行計画を検査し、Sparkジョブのプロファイリングを行ったところ、集計フェーズ中に過剰なデータシャッフルが発生していることが判明した。
groupBy集計操作中のシャッフルを減らすには、どの手法を適用すべきでしょうか？
Databricks-Certified-Data-Engineer-Professional 試験問題 44
データパイプラインは、構造化ストリーミングを使用して、KafkaからDelta Lakeにデータを取り込みます。データはBronzeテーブルに保存され、Kafkaで生成されたタイムスタンプ、キー、および値が含まれます。パイプラインのデプロイから3か月後、データエンジニアリングチームは、1日の特定の時間帯に遅延が発生していることに気づきました。
上級データエンジニアが、Delta Tableのスキーマと取り込みロジックを更新し、現在のタイムスタンプ（Apache Sparkによって再コード化されたもの）に加え、Kafkaのトピックとパーティションを含めるようにしました。チームは、追加されたメタデータフィールドを使用して、一時的な処理遅延の原因を診断する予定です。
この問題の診断において、チームはどのような制約に直面するでしょうか？
上級データエンジニアが、Delta Tableのスキーマと取り込みロジックを更新し、現在のタイムスタンプ（Apache Sparkによって再コード化されたもの）に加え、Kafkaのトピックとパーティションを含めるようにしました。チームは、追加されたメタデータフィールドを使用して、一時的な処理遅延の原因を診断する予定です。
この問題の診断において、チームはどのような制約に直面するでしょうか？
Databricks-Certified-Data-Engineer-Professional 試験問題 45
A new data engineer notices that a critical field was omitted from an application that writes its Kafka source to Delta Lake. This happened even though the critical field was in the Kafka source.
That field was further missing from data written to dependent, long-term storage. The retention threshold on the Kafka service is seven days. The pipeline has been in production for three months.
Which describes how Delta Lake can help to avoid data loss of this nature in the future?
That field was further missing from data written to dependent, long-term storage. The retention threshold on the Kafka service is seven days. The pipeline has been in production for three months.
Which describes how Delta Lake can help to avoid data loss of this nature in the future?