説明
正しいコードブロック:
itemsDf.join(transactionsDf, itemsDf.itemId==transactionsDf.transactionId) join ステートメントが不完全です。
正しい！DataFrame.join() のドキュメント (以下にリンク) を見ると、join の最初の引数が結合される DataFrame であることがわかります。この最初の引数がコード ブロックにありません。
結合方法が不適切です。
いいえ。デフォルトでは、DataFrame.join() は内部結合を使用します。この方法は、質問で説明されているシナリオに適しています。
結合式の形式が正しくありません。
正しくない。結合式 itemsDf.itemId==transactionsDf.transactionId は正しい構文です。
結合の代わりにマージ方法を使用する必要があります。
間違い。PySpark には DataFrame.merge() メソッドはありません。
結合の代わりに結合メソッドを使用する必要があります。
間違い。DataFrame.union() は行をマージしますが、質問で要求されているように列はマージしません。
詳細: pyspark.sql.DataFrame.join - PySpark 3.1.2 ドキュメント、pyspark.sql.DataFrame.union - PySpark 3.1.2 ドキュメント 静的ノートブック | 動的ノートブック: テスト 3 を参照

説明
transactionsDf.sort("predError", ascending=False)
正しい！DataFrame.sort() を使用し、ascending=False に設定すると、DataFrame は指定された列によって降順に並べ替えられ、すべての欠落値が最後に配置されます。ここでは答えとしてリストされていませんが、代わりの方法は、transactionsDf.sort(desc_nulls_last("predError")) です。
transactionsDf.sort(asc_nulls_last("predError"))
正しくない。これは有効な構文ですが、DataFrame は列 predError で降順ではなく昇順に並べ替えられ、欠損値が最後に配置されます。
transactionsDf.desc_nulls_last("predError")
違います。これは無効な構文です。Spark API には DataFrame.desc_nulls_last() メソッドはありません。ただし、Spark 関数 desc_nulls_last() があります (リンクは以下を参照)。
transactionsDf.orderBy("predError").desc_nulls_last()
いいえ。transactionsDf.orderBy("predError") は正しい構文で (ただし、DataFrame を列 predError で昇順にソートします)、DataFrame を返しますが、Spark API にはメソッド DataFrame.desc_nulls_last() がありません。ただし、Spark 関数 desc_nulls_last() があります (リンクは以下を参照)。
transactionsDf.orderBy("predError").asc_nulls_last()
正しくない。Spark API にはメソッド DataFrame.asc_nulls_last() がありません (上記を参照)。
詳細: pyspark.sql.functions.desc_nulls_last - PySpark 3.1.2 ドキュメントおよび pyspark.sql.DataFrame.sort - PySpark 3.1.2 ドキュメント (https://bit.ly/3g1JtbI 、https://bit.ly/2R90NCS) ) 静的ノートブック | 動的ノートブック: テスト 1 (https://flrs.github.io/spark_practice_tests_code/#1/32.html) を参照してください。
https://bit.ly/sparkpracticeexams_import_instructions)

説明
Spark のメモリ使用量は、実行、トランザクション、ストレージの 3 つのカテゴリに分類できます。
いいえ、実行か保管のどちらかです。
ガベージ コレクションの一般的なルールとして、Spark は、少数の大きなオブジェクトよりも多数の小さなオブジェクトに対してパフォーマンスが向上します。
いいえ、Spark のガベージ コレクションは、多数の小さなオブジェクトよりも少数の大きなオブジェクトの方が高速に実行されます。
シリアル化を無効にすると、Spark アプリケーションのメモリ フットプリントが大幅に削減される可能性があります。
逆も当てはまります。シリアル化するとメモリ フットプリントは削減されますが、パフォーマンスに悪影響を及ぼす可能性があります。
Spark は、予約されたシステム メモリのサブセットを使用します。
いいえ、予約されたシステム メモリは Spark メモリとは別のものです。予約されたメモリには、Spark の内部オブジェクトが保存されます。
詳細情報: チューニング - Spark 3.1.2 ドキュメント、Spark メモリ管理 | 分散システム アーキテクチャ、Learning Spark、第 2 版、第 7 章