説明
transactionsDf.select("storeId").dropDuplicates().count()
正しい！列storeIdからすべての重複を削除した後、残りの行がカウントされ、列内の固有の値の数を表します。
transactionsDf.select(count("storeId")).dropDuplicates()
いいえ、transactionsDf.select(count("storeId")) は、null 以外の行の数を示す単一行の DataFrame を返すだけです。このコンテキストでは、dropDuplicates() は何の効果もありません。
transactionsDf.dropDuplicates().agg(count("storeId"))
正しくない。transactionsDf.dropDuplicates() は、transactionsDf から重複行を削除しますが、列 storeId のみを考慮して削除するのではなく、代わりに行全体の重複を削除します。
transactionsDf.distinct().select("storeId").count()
間違い。transactionsDf.distinct() は、すべての列にわたって一意の行を識別しますが、列 storeId に関して一意の行だけを識別するわけではありません。これにより、列内に重複した値が残り、カウントがその列内の一意の値の数を表さなくなる可能性があります。
transactionsDf.select(distinct("storeId")).count()
間違い。pyspark.sql.functions には個別のメソッドはありません。

説明
where メソッドの引数には文字列を指定できません。
文字列でも問題ありません。
where() の代わりに、filter() を使用する必要があります。
いいえ、それは問題ではありません。PySpark では、where() と filter() は同等です。
>= の代わりに、SQL 演算子 GEQ を使用する必要があります。
正しくない。
この式は、新しい DataFrame ではなく、元の DataFrame のtransactionDf を返します。これを回避するには、コード ブロックをtransactionsDf.toNewDataFrame().where("col(predError) >= 5")にする必要があります。
いいえ、Spark は新しい DataFrame を返します。
静的ノート | 動的ノートブック: テスト 1 を参照
(https://flrs.github.io/spark_practice_tests_code/#1/27.html 、
https://bit.ly/sparkpracticeexams_import_instructions)

説明
最後の引数として「ブロードキャスト」を含むすべての回答の問題は、「ブロードキャスト」が有効な結合タイプではないことです。「right_outer」を含むエントリは有効なステートメントですが、ブロードキャスト結合ではありません。等価条件の周りにbroadcast()がラップされている項目は、Sparkでは有効なコードではありません。Broadcast() は、ブロードキャストされる小さな DataFrame の名前をラップする必要があります。
詳細情報: Learning Spark、第 2 版、第 7 章
静的ノート | 動的ノートブック: テスト 1 を参照
と説明は？

説明
正しいコードブロック:
len(spark.read.csv(filePath, comment='#').columns)
これは、DataFrame と DataFrameReader の間の境界という、通常とは異なる状況における困難を伴う難しい質問です。この難易度の問題が試験に出題されることはまずありません。ただし、これを解決すると、試験で扱われる可能性が高い DataFrameReader にもっと慣れることができます。
内側の括弧を処理する前に、外側の括弧であるギャップ 1 と 5 を理解する方が簡単です。コード ブロックを考えると、ギャップ 5 のオブジェクトはギャップ 1 のオブジェクトによって評価され、ギャップ 1 の列数を返す必要があります。読み込んだCSV。1 つの回答オプションには、ギャップ 1 に DataFrame が含まれ、ギャップ 2 にshape[0] が含まれています。DataFrame はshape[0] の評価に使用できないため、この回答オプションは破棄できます。
他の回答オプションにはギャップ 1 のサイズが含まれます。size() は組み込みの Python コマンドではないため、使用する場合は他の場所から取得する必要があります。pyspark.sql.functions には size() メソッドが含まれていますが、このメソッドは列内に格納されている配列またはマップの長さを返すだけです (以下にリンクされているドキュメント)。
したがって、ここでは size() メソッドを使用することはできません。これにより、有効な可能性のある答えが 2 つ残ります。
ギャップ 2 と 3 が、spark.read か pyspark.DataFrameReader のどちらかを選択する必要があります。ドキュメント (以下にリンク) を見ると、DataFrameReader は実際には pyspark.sql の子クラスであり、pyspark.DataFrameReader を使用してインポートできないことを意味します。さらに、Databricks では、spark は現在の Spark セッション (pyspark.sql.SparkSession) を参照し、spark.read が DataFrameReader を返すため、spark.read は理にかなっています (以下のドキュメントも参照)。最後に、正解の選択肢は 1 つだけ残ります。
より詳しい情報：
- pyspark.sql.functions.size - PySpark 3.1.2 ドキュメント
- pyspark.sql.DataFrameReader.csv - PySpark 3.1.2 ドキュメント
- pyspark.sql.SparkSession.read - PySpark 3.1.2 ドキュメント
静的ノート | 動的ノートブック: テスト 3 を参照

説明
Dataset API は Scala では利用できますが、Python では利用できません。
正しい。データセット API は固定型を使用し、通常はオブジェクト指向プログラミングに使用されます。これは、Spark が Scala プログラミング言語で使用されている場合に使用できますが、Python では使用できません。Python では、Dataset API に基づいた DataFrame API を使用します。
Dataset API はコンパイル時の型安全性を提供しません。
いいえ、実際には、ユースケースによっては、Dataset API が提供するタイプ セーフティが利点となります。
データセット API は非構造化データをサポートしません。
違います。Dataset API は構造化データと非構造化データをサポートしています。
Python では、データセット API のスキーマはタイプ ヒントを介して構築されます。
いいえ、データセット API は Python では使用できないため、これは適用されません。
Python では、Dataset API は主に Pandas の DataFrame API に似ています。
Dataset API は Python には存在せず、Scala と Java にのみ存在します。