アダプティブクエリ実行（AQE）は、実行時にクエリプランを動的に最適化するSpark 3.xの機能です。その中核機能の一つは次のとおりです。
実行時統計に基づいて結合戦略を動的に切り替えます (例: ソートマージからブロードキャストへ)。
その他の AQE 機能には次のものがあります:
シャッフルパーティションの結合
スキュー結合処理
オプションAが正解です。
オプション B は統計収集を指しますが、これは AQE の主な機能ではありません。
オプション C は範囲が広すぎて、AQE に特化していません。
オプション D は、AQE とは関係のない Delta Lake の最適化を指します。
最終答え：A

結合の片側がブロードキャストしきい値内に収まるほど小さい場合、Spark はブロードキャスト ハッシュ結合を自動的に使用します。
デフォルトのしきい値:
spark.sql.autoBroadcastJoinThreshold = 10MB (Spark 3.5 以降)
df2 は 8 MB なので、Spark はそれをすべてのエグゼキューターに自動的にブロードキャストします。これにより、大きなデータセット (df1) のシャッフルが回避され、結合が高速化されます。
他のオプションが間違っている理由:
A: 8 MB < 10 MB しきい値 → ブロードキャスト参加が効率的です。
B: ブロードキャスト結合には AQE は必要ありません。これは静的な最適化です。
C: ブロードキャストヒントはオプションです - Spark は自動的に推測します。
参照：
Databricks 試験ガイド (2025 年 6 月) : セクション「Apache Spark DataFrame API アプリケーションのトラブルシューティングとチューニング」 - ブロードキャスト結合と最適化。
Spark SQL 結合戦略 - ハッシュ結合とシャッフル結合のしきい値をブロードキャストします。

タスク数はパーティション数によって制御されます。デフォルトでは、spark.sql.shuffle.partitions は200です。ステージに表示されるタスク数が非常に少ない場合（コア数の合計より少ない場合）、完全な並列処理が活用されていない可能性があります。
Spark チューニング ガイドより:
「特に大規模なクラスターのパフォーマンスを向上させるには、spark.sql.shuffle.partitions を増やして、より多くのタスクと並列処理を作成します。」つまり、次のようになります。
A は正解です。シャッフルパーティションを増やすと並列性が向上します。
Bは間違いです。並列性がさらに低下します。
C は無効です。データセットのサイズを大きくしても、パーティションが増えるとは限りません。D はステージごとのタスク数とは無関係です。最終答え: A

Spark の DataFrame API では、dropna() (または同等の DataFrameNaFunctions.drop()) メソッドは null 値を含む行を削除します。
行動：
how="any" → いずれかの列に null 値がある行を削除します。
how="all" → すべての列が null である行を削除します。
データ サイエンティストは null フィールドを持つレコードを削除したいため、正しいパラメーターは how="any" です。
正しい構文:
フィルターされたユーザー = raw_users.dropna(how="any")
これにより、任意の列に少なくとも 1 つの null 値を持つすべてのレコードが削除されます。
他のオプションが間違っている理由:
A: na.drop("any") を使用しますが、括弧のコンテキストがありません (raw_users.na.drop("any") としてのみ機能し、オプション C と同等です)。
B/D: how="all" は、すべての値が null である行のみを削除します。このユースケースには厳しすぎます。
参照：
PySpark DataFrame API - DataFrameNaFunctions.drop() および DataFrame.dropna()。
Databricks 試験ガイド (2025 年 6 月) : セクション「Apache Spark DataFrame/DataSet API アプリケーションの開発」 - 欠落データの処理と DataFrame のクリーニング操作について説明します。

Spark の分散アーキテクチャでは、次のようになります。
ドライバーノードはSparkアプリケーションの実行を調整し、論理プランをステージとタスクの物理プランに変換します。
ワーカー ノード上で実行される Executor は、ドライバーによって割り当てられたタスクを実行し、実行中にデータを (メモリまたはディスクに) 保存する役割を担います。
要点:
エグゼキューターは、データパーティション上で実際の計算を実行するアクティブエージェントです。各エグゼキューターは、利用可能なCPUコアを使用して複数のタスクを並列に実行します。
他のオプションが間違っている理由:
A (ドライバー ノード): ドライバーはタスクをスケジュールしますが、実行はしません。
C (CPU コア): CPU コアはエグゼキュータ内で実行されますが、Spark アーキテクチャ コンポーネントではなくハードウェアです。
D (ワーカー ノード): ワーカー ノードはエグゼキュータをホストしますが、タスクを直接実行しません。エグゼキュータが実行します。
参考資料（Databricks Apache Spark 3.5 - Python / 学習ガイド）：
Spark アーキテクチャ コンポーネント - ドライバー、エグゼキューター、クラスター マネージャー、ワーカー ノード。
Databricks 試験ガイド (2025 年 6 月) : セクション「Apache Spark のアーキテクチャとコンポーネント」 - 分散処理におけるドライバー ノードとエグゼキュータ ノードの役割について説明します。