説明
ナロー変換は、クラスター間でデータが交換されない操作です。
正しい！ナロー変換では、これらの変換は適用されるパーティションの外部からのデータを必要としないため、クラスター全体でデータは交換されません。典型的な狭い変換には、フィルタ、ドロップ、合体が含まれます。
ナロー変換は、パーティション間でデータを交換する操作です。
いいえ、それは広い変換の 1 つの定義ではありますが、狭い変換の定義ではありません。通常、広範囲にわたる変換ではシャッフルが発生し、パーティション、エグゼキュータ、クラスター間でデータが交換されます。
ナロー変換は、クラスター全体でデータを交換する操作です。
いいえ、このすぐ上の説明を参照してください。
ナロー変換は、32 ビットの float 変数をより小さな float 変数にキャストするプロセスです。
16 ビットまたは 8 ビットの浮動小数点変数。
いいえ、型変換は Spark の狭い変換とは何の関係もありません。
ナロー変換は、複数の RDD からのデータが使用されるプロセスです。
いいえ。回復力のある分散データセット (RDD) は、パーティションのコレクションとして説明できます。ナロー変換では、パーティション間でデータは交換されません。したがって、RDD 間でデータは交換されません。
ただし、狭い変換、および実際にはどのような変換でも新しい RDD が作成されると言えるでしょう。これは、変換により既存の RDD が変更されるためです (RDD は、DataFrame などの他の Spark データ構造の基礎です)。ただし、RDD は不変であるため、変換によって生じた変更を反映するには、新しい RDD を作成する必要があります。
詳細情報: Spark の変換とアクション: 詳細 | ミスバ ウディン | 2011/11/1 コードX | 中くらい

説明
スパーク.read.json(ファイルパス)
正しい。smile.read は Spark の DataFrameReader にアクセスします。次に、Spark は、filePath を DataFrameReader.json() メソッドに渡すことによって、JSON タイプとして読み取られるファイル タイプを識別します。
スパーク.読み取り.パス(ファイルパス)
正しくない。Spark の DataFrameReader にはパス メソッドがありません。ファイルを読み取るための汎用的な方法は、DataFrameReader.load() メソッド (以下のリンク) によって提供されます。
smile.read.path(filePath,source="json")
間違い。DataFrameReader.path() メソッドは存在しません (上記を参照)。
スパーク.read().json(ファイルパス)
正しくない。smile.read は、Spark の DataFrameReader にアクセスする方法です。ただし、DataFrameReader は呼び出し可能ではないため、spark.read() 経由での呼び出しは失敗します。
スパーク.read().path(ファイルパス)
いいえ、Spark の DataFrameReader は呼び出し可能ではありません (上記を参照)。
詳細: pyspark.sql.DataFrameReader.json - PySpark 3.1.2 ドキュメント、pyspark.sql.DataFrameReader.load - PySpark 3.1.2 ドキュメント 静的ノートブック | 動的ノートブック: テスト 3 を参照

説明
正しいコードブロック:
transactionsDf.withColumn("cos",round(cos(degrees(transactionsDf.value)),2)) この質問は、col と "cos" が非常に似ているため、特に混乱を招きます。試験では似たような解答の選択肢が現れる可能性があり、この問題と同様に、正しい解答の選択肢を特定するには細部に注意を払う必要があります。
除外する最初の回答オプションは、withColumnRenamed: 質問 NO: で始まるものです。
特に列の追加について説明します。ただし、withColumnRenamed 演算子は既存の列の名前を変更するだけなので、ここでは使用できません。
次に、transactionsDf.withColumn() の最初の引数であるギャップ 2 に何を入れるかを決定する必要があります。
ドキュメント (以下にリンク) を見ると、withColumn の最初の引数は実際には追加する列の名前を含む文字列である必要があることがわかります。したがって、ギャップ 2 のオプションとしてcol("cos") を含む回答は無視できます。
これにより、考えられる答えは 2 つになります。これら 2 つの答えの本当の違いは、cos 法と次数法がどこにあるか (ギャップ 3 と 4、またはその逆) です。質問から、新しい列には「列 value の値が度に変換され、それらの変換された値のコサインが取られる」必要があることがわかります。これにより、操作の明確な順序が規定されます。まず、値を列の値から度に変換し、次にそれらの値のコサインを取得します。したがって、内側の括弧 (ギャップ 4) には次数法が含まれている必要があり、論理的にはギャップ 3 に cos 法が含まれます。これにより、考えられる正解は 1 つだけになります。
詳細: pyspark.sql.DataFrame.withColumn - PySpark 3.1.2 ドキュメント 静的ノートブック | 動的ノートブック: テスト 3 を参照

説明
DataFrame.repartition(6)
正しい。repartition() は常に完全なシャッフルをトリガーします (coalesce() とは異なります)。
DataFrame.repartition(12)
いいえ、これでは DataFrame に 6 つのパーティションではなく 12 のパーティションが残るだけです。
DataFrame.coalesce(6)
coalesce はデータの完全なシャッフルを実行しません。「フル シャッフル」を見ると、coalesce() を扱っていないことがわかります。coalesce() は必要に応じて部分的なシャッフルを実行できますが、シャッフル操作を最小限に抑え、エグゼキュータ間で送信されるデータ量を最小限に抑えようとします。
ここでは、2 つのパーティションを 1 つに結合するだけで、12 のパーティションを簡単に 6 つのパーティションに再分割できます。
DataFrame.coalesce(6, shuffle=True) および DataFrame.coalesce(6).shuffle() これらのステートメントは有効な Spark API 構文ではありません。
詳細: Spark の再分割と合体 - Apache Spark での再分割と合体についての説明 - Rock the JVM ブログ

説明
itemsDf.write.mode("上書き").parquet(filePath)
正しい！itemsDf.write は、pyspark.sql.DataFrameWriter インスタンスを返します。その上書き動作は、モード設定を通じて、または parquet() コマンドに mode="overwrite" を渡すことによって変更できます。
この問題を解決するために寄木細工の形式は規定されていませんが、parquet() は Spark を開始してデータをディスクに書き込むための有効な演算子です。
itemsDf.write.mode("上書き").path(ファイルパス)
いいえ。pyspark.sql.DataFrameWriter インスタンスには path() メソッドがありません。
itemsDf.write.option("parquet").mode("overwrite").path(filePath)
不正解です。上記を参照してください。さらに、option() メソッドを介してファイル形式を渡すことはできません。
itemsDf.write(filePath, mode="上書き")
間違い。残念ながら、これは単純すぎます。itemsDf.write を呼び出して、DataFrame の DataFrameWriter へのアクセスを取得する必要があります。これにより、Spark データをディスクに書き込む方法を制御するためのさらなるメソッドを適用できます。ただし、引数を itemsDf.write に直接渡すことはできません。
itemsDf.write().parquet(filePath, mode="上書き")
間違い。上記を参照。
詳細: pyspark.sql.DataFrameWriter.parquet - PySpark 3.1.2 ドキュメント 静的ノートブック | 動的ノートブック: テスト 3 を参照