説明
Spark の DataFrame は、Python または R の DataFrame と同じです。
いいえ、それらは等しくありません。それらは似ているだけです。Spark と Python の主な違いは、Spark の DataFrame が分散されているのに対し、Python は分散されていないことです。

説明
正しいコード ブロック:
transactionsDf.drop("predError", "productId", "値")
静的ノートブック | 動的ノートブック: テスト 1 を参照

説明
正しいコード ブロック:
スキーマ = StructType([
StructField("itemId", IntegerType(), True),
StructField("属性", ArrayType(StringType(), True), True),
StructField("サプライヤー", StringType(), True)
]))
spark.read.options(modifiedBefore="2029-03-20T05:44:46").schema(schema).parquet(filePath) この問題は、試験で出題される問題よりも難しいものです。試験では、この問題タイプでは、問題のように「1 つまたは複数」ではなく、1 つのエラーのみを特定する必要があります。
スキーマ定義の列が間違ったオブジェクト タイプを使用し、変更日のしきい値が正しく指定されておらず、Spark がファイル形式を識別できません。
正しい！スキーマ定義の列は StructField 型を使用する必要があります。ここでは StructType や StructField などのクラスを使用して pyspark.sql.types からスキーマを構築することは、Spark でスキーマを表現する複数の方法の 1 つです。StructType には、常に StructFields のリストが含まれています (以下にリンクされているドキュメントを参照してください)。したがって、質問に示されているように StructType と StructType をネストするのは間違っています。
変更日のしきい値は、元のコード ブロックのように 2 つの連続する非キーワード引数ではなく、 options(modifiedBefore="2029-03-20T05:44:46") のようなキーワード引数で指定する必要があります (以下にリンクされているドキュメントを参照してください)。
Spark はファイル形式を正しく識別できません。これは、DataFrameReader.format() を DataFrameReader.load() の引数として使用するか、DataFrameReader.parquet() などを直接呼び出して指定する必要があるためです。
スキーマ内の列が空の値を処理できず、変更日のしきい値が正しく指定されていません。
いいえ。 StructType の代わりに StructField が列に使用される場合 (上記参照)、3 番目の引数は、列が null 可能かどうかを指定します。元のスキーマは、列が null 可能である必要があることを示しており、これは、コード ブロックのスキーマで 3 番目の引数が True であることによって正しく指定されています。
ただし、変更日のしきい値が正しく指定されていないことは正しいです (上記を参照)。
属性配列が正しく指定されておらず、Spark がファイル形式を識別できず、Spark の DataFrameReader への呼び出しの構文が正しくありません。
間違い。属性配列は、ArrayType の構文に従って正しく指定されています (以下のリンクされたドキュメントを参照してください)。Spark がファイル形式を識別できないことは正しいです。上記の正解を参照してください。さらに、SparkSession スパークを介して DataFrameReader が正しく呼び出されます。
スキーマ定義の列が間違ったオブジェクト タイプを使用しており、Spark の DataFrameReader への呼び出しの構文が正しくありません。
不正解です。スキーマ定義のオブジェクト タイプは正しく、Spark の DataFrameReader への呼び出しの構文は正しいです。
スキーマのデータ型が schema() 演算子と互換性がなく、変更日のしきい値が正しく指定されていません。
間違い。スキーマのデータ型は StructType であり、DataFrameReader.schema() メソッドで受け入れられるデータ型です。ただし、変更日のしきい値が正しく指定されていないことは正しいです (上記の正解を参照)。

説明
transactionsDf.repartition(transactionsDf.rdd.getNumPartitions()+2)
正しい。repartition 演算子は、パーティションの数を増やすための正しい演算子です。DataFrame.rdd で getNumPartitions() を呼び出すと、現在のパーティション数が返されます。
トランザクションDf.coalesce(10)
いいえ、このコマンドの後、transactionsDf は引き続き 8 つのパーティションしか持ちません。これは、coalesce() はパーティションの量を減らすことしかできず、増やすことはできないためです。
transactionsDf.repartition(transactionsDf.getNumPartitions()+2)
不正解です。DataFrame クラスの getNumPartitions() メソッドはありません。
transactionsDf.coalesce(transactionsDf.getNumPartitions()+2)
誤って、coalesce() はパーティションの数を減らすためにのみ使用でき、DataFrame クラスの getNumPartitions() メソッドはありません。
transactionsDf.repartition(transactionsDf._partitions+2)
いいえ、DataFrame には _partitions 属性がありません。DataFrame.rdd.getNumPartitions() メソッドを使用して、DataFrame の現在のパーティション数を確認できます。
詳細: pyspark.sql.DataFrame.repartition - PySpark 3.1.2 ドキュメント、pyspark.RDD.getNumPartitions - PySpark 3.1.2 ドキュメント 静的ノートブック | 動的ノートブック: テスト 3 を参照

説明
正しいコード ブロック:
transactionsDf.repartition(14, "storeId", "transactionDate").count()
DataFrame transactionsDf が持つパーティションの数がわからないため、現在のパーティション数が 14 より小さい場合は何も変更されないため、coalesce を安全に使用することはできません。
したがって、再分割を使用する必要があります。
Spark のドキュメントでは、再分割の呼び出し構造は次のように示されています。
DataFrame.repartition(numPartitions, *cols)。* 演算子は、numPartitions の後のすべての引数が列として解釈されることを意味します。したがって、ブラケットを取り外す必要があります。
最後に、質問は、実行後に DataFrame を分割する必要があることを指定します。したがって、間接的にこの質問は、コード ブロックにアクションを追加するように求めています。.select() は変換であるため。ここで可能な唯一の選択肢は .count() です。
詳細: pyspark.sql.DataFrame.repartition - PySpark 3.1.1 ドキュメント 静的ノートブック | 動的ノートブック: テスト 1 を参照