説明
ストレージ レベルは、フォールト トレラント ストレージには不適切です。
正しい。通常、フォールト トレランスとストレージ レベルについて考えるときは、データセットの冗長コピーを保存する必要があります。これは、StorageLevel.MEMORY_AND_DISK_2 などのストレージ レベルを使用して実現できます。
コード ブロックは、キャッシュに間違ったコマンドを使用しています。
間違い。この場合、DataFrame.persist() を使用する必要があります。これは、この演算子がストレージ レベルの受け渡しをサポートしているためです。
DataFrame.cache() は、ストレージ レベルの受け渡しをサポートしていません。
キャッシングは Spark ではサポートされていません。データは常に再計算されます。
正しくない。キャッシングは、Spark プログラムを大幅に高速化するのに役立つため、Spark の重要なコンポーネントです。キャッシュは、繰り返しアクセスする必要があるデータセットに適していることがよくあります。
データ キャッシュ機能には、spark オブジェクトを介してアクセスできますが、DataFrame API を介してはアクセスできません。
いいえ。キャッシュには、DataFrame.cache() または DataFrame.persist() を介してアクセスします。
DataFrameWriter を呼び出す必要があります。
間違い。DataFrameWriter は DataFrame.write を介してアクセスでき、主にディスク上の外部データ ストアにデータを書き込むために使用されます。ここでは、「キャッシュ」や「エグゼキュータ メモリ」など、外部データ ストアの使用を避けるためのキーワードを見つけます。ディスクからの読み取りは比較的遅いため、データをメモリに保存して読み取りプロセスを高速化することを目指しています。DataFrameWriter はメモリに書き込まないため、ここでは使用できません。
詳細: Spark SQL でのキャッシュのベスト プラクティス | デイビッド ヴルバ | | データサイエンスに向けて

説明
この質問では、transactionDf を 2 つの列でソートするように求められていることを理解することが重要です。これは、2 番目の列の並べ替えが最初の列の並べ替えに依存することを意味します。
そのため、DataFrame 全体を (並べ替えステートメントをチェーンして) 並べ替えるオプションは機能しません。2 つの列は、sort() への同じ呼び出しを介してチャネリングする必要があります。
また、order_by は有効な DataFrame API メソッドではありません。
詳細: pyspark.sql.DataFrame.sort - PySpark 3.1.2 ドキュメント
静的ノートブック | 動的ノートブック: テスト 2 を参照

説明
正しいコード ブロックの出力:
+---------------------+
| | サプライヤー|
+---------------------+
|株式会社スポーツカンパニー|
+---------------------+
この質問に対処するための鍵は、操作の反対を行うためにどの演算子を使用するかを理解することです
- ~ (否定) 演算子。さらに、unique() メソッドがないことを知っておく必要があります。
静的ノートブック | 動的ノートブック: テスト 1 を参照

説明
DataFrame.unique() および DataFrame.concat() は存在せず、union() は SparkSession のメソッドではありません。また、DataFrame.join() ステートメントの結合メソッドにはユニオン オプションがありません。
詳細: pyspark.sql.DataFrame.union - PySpark 3.1.2 ドキュメント
静的ノートブック | 動的ノートブック: テスト 2 を参照

説明
transactionsDf.sort("predError", 昇順=False)
正しい！DataFrame.sort() を使用し、ascending=False を設定すると、DataFrame は指定された列で降順で並べ替えられ、欠落しているすべての値が最後に配置されます。ここでは回答としてリストされていませんが、別の方法として transactionsDf.sort(desc_nulls_last("predError")) があります。
transactionsDf.sort(asc_nulls_last("predError"))
正しくない。これは有効な構文ですが、DataFrame は列 predError で降順ではなく昇順で並べ替えられ、欠損値が最後に配置されます。
transactionsDf.desc_nulls_last("predError")
これは無効な構文です。Spark API にはメソッド DataFrame.desc_nulls_last() はありません。ただし、Spark 関数 desc_nulls_last() があります (以下のリンクを参照)。
transactionsDf.orderBy("predError").desc_nulls_last()
いいえ。 transactionsDf.orderBy("predError") は正しい構文ですが (列 predError で昇順で DataFrame を並べ替えますが)、DataFrame を返しますが、Spark API にはメソッド DataFrame.desc_nulls_last() はありません。ただし、Spark 関数 desc_nulls_last() があります (以下のリンクを参照)。
transactionsDf.orderBy("predError").asc_nulls_last()
正しくない。Spark API にはメソッド DataFrame.asc_nulls_last() はありません (上記を参照)。
詳細: pyspark.sql.functions.desc_nulls_last - PySpark 3.1.2 ドキュメントおよび pyspark.sql.DataFrame.sort - PySpark 3.1.2 ドキュメント (https://bit.ly/3g1JtbI 、https://bit.ly/2R90NCS ) 静的ノートブック | 動的ノートブック: テスト 1 (https://flrs.github.io/spark_practice_tests_code/#1/32.html 、
https://bit.ly/sparkpracticeexams_import_instructions)