説明
正しいコード ブロック:
transactionsDf.join(itemsDf, transactionsDf.productId==itemsDf.itemId,
how='inner').filter(~isnull(col('value'))).count()
式 col("transactionsDf.productId") および col("itemsDf.itemId") は無効です。col() は DataFrame の名前を受け入れず、列名のみを受け入れます。
静的ノートブック | 動的ノートブック: テスト 2 を参照

説明
正しいコード ブロック:
transactionsDf.filter(col("productId") >= 2).limit(2)
ギャップ 1 の filter および where 演算子は単なるエイリアスであるため、それらを使用して正しい答えを選択することはできません。
ギャップ 2 の列定義は、より役に立ちます。DataFrame.filter() メソッドは、Column または str 型の引数を取ります。考えられるすべての回答から、col("productId") >= 2 を含むもののみがこのプロファイルに適合します。これは、Column タイプを返すためです。
"productId" > 2 を使用した回答オプションは無効です。Spark は "productId" が列の productId を参照していることを理解していないためです。transactionDf[productId] >= 2 を使用する回答オプションは、Spark では角括弧表記を使用して列を参照できないため、間違っています (Pandas を使用して Python から来ている場合、これは注意が必要です)。他のすべてのオプションでは、productId は Python 変数として参照されるため、比較的簡単に削除できます。
また、この質問では、productId 列の値が少なくとも 2 であることが求められていることに注意してください。これは、
「より大きいか等しい」記号 (>= 2) ですが、「より大きい」記号 (> 2) ではありません。
注目すべきもう 1 つの点は、DataFrame.max() メソッドがないことです。これを含むオプションを選択した場合、pyspark.sql.functions.max メソッドと混同する可能性があります。行数を制限する正しい方法は DataFrame.limit() メソッドです。
より詳しい情報：
- pyspark.sql.DataFrame.filter - PySpark 3.1.2 ドキュメント
- pyspark.sql.DataFrame.limit - PySpark 3.1.2 ドキュメント
静的ノートブック | 動的ノートブック: テスト 3 を参照

説明
where メソッドの引数を文字列にすることはできません。
文字列でもかまいませんが、ここでは問題ありません。
where() の代わりに、filter() を使用する必要があります。
いいえ、それは問題ではありません。PySpark では、where() と filter() は同等です。
>= の代わりに、SQL 演算子 GEQ を使用する必要があります。
正しくない。
この式は、新しい DataFrame ではなく、元の DataFrame transactionsDf を返します。これを回避するには、コード ブロックを transactionsDf.toNewDataFrame().where("col(predError) >= 5") にする必要があります。
いいえ、Spark は新しい DataFrame を返します。
静的ノートブック | 動的ノートブック: テスト 1 を参照
(https://flrs.github.io/spark_practice_tests_code/#1/27.html 、
https://bit.ly/sparkpracticeexams_import_instructions)

説明
Adaptive Query Execution 機能には、シャッフル パーティションの動的結合、スキャン フィルターの動的挿入、スキュー結合の動的最適化が含まれます。
これはほぼ正しいです。これらの機能はすべて、動的に挿入されるスキャン フィルターを除き、Adaptive Query Execution の一部です。結合操作にスキャン フィルタを動的に挿入して、クエリで考慮されるデータの量を制限することは、動的パーティション プルーニングの一部であり、適応型クエリ実行の一部ではありません。
Adaptive Query Execution は、実行ポイントでクエリを再最適化します。
いいえ、Adaptive Query Execution はマテリアライゼーション ポイントでクエリを再最適化します。
アダプティブ クエリ実行は、デフォルトで Spark で有効になっています。
いいえ、Spark でアダプティブ クエリ実行が無効になっています。spark.sql.adaptive.enabled プロパティを使用して有効にする必要があります。
Adaptive Query Execution は、あらゆる種類のクエリに適用されます。
いいえ、Adaptive Query Execution は、ストリーミング クエリではなく、少なくとも 1 つの交換 (通常は結合、集計、またはウィンドウ演算子によって表される) または 1 つのサブクエリを含むクエリにのみ適用されます。
詳細: アダプティブ クエリ実行で SQL クエリを高速化する方法、Learning Spark、第 2 版、第 12 章 (https://bit.ly/3tOh8M1)

説明
正しいコード ブロックの出力:
+---------+-----+
|predError|値|
+---------+-----+
| | 6| 7|
| | ヌル| ヌル|
| | 3| 2|
+---------+-----+
これは簡単に解決できる問題ではありません。% は Python のモジュール演算子を表すことを知っておく必要があります。% 2 は、2 行ごとに true を返します。spark.sql を使用するステートメントはほぼ正しい結果になります (モジュロ演算子は SQL にも存在します) が、モジュロ 2 は 0 または 1 であるため、% 2 = 2 は決して真になりません。
他の回答は、列名の周りに引用符がないか、フィルターを使用するか間違って選択しているため、間違っています。
SparkSQL について疑問があり、この質問のオプション 3 と 4 に答える場合は、関連する学生の質問への回答として私が作成したノートブックを確認してください。
静的ノートブック | 動的ノートブック: テスト 1 を参照