説明
原則として：模擬試験を通過した後、あなたはおそらく、何が広い変換として分類され、何が狭い変換として分類されるかについて良い感覚を持っているでしょう。よくわからない場合は、Sparkで遊んで、DataFrame。[操作、たとえばsort（）]。explain（）を介してSpark実行プランの説明を表示してください。再パーティション化が含まれる場合、それは幅広い変換としてカウントされます。
DataFrame.select（）
正しい！ワイドトランスフォーメーションにはシャッフルが含まれます。これは、入力パーティションが1つ以上の出力パーティションにマップされることを意味します。これはコストがかかり、クラスター全体にトラフィックが発生します。ただし、select（）操作を使用すると、任意のパーティションの特定のスライスで操作を実行するようにSparkに指示するコマンドをSparkに渡します。このため、Sparkはパーティション間でデータを交換する必要はなく、各パーティションは独立して作業できます。したがって、広い変換を引き起こすことはありません。
DataFrame.repartition（）
正しくない。DataFrameを再パーティション化するときは、パーティションの境界を再定義します。データはクラスター全体に流れ、再パーティション化が完了した後、最終的に異なるパーティションに配置されます。これはシャッフルと呼ばれ、ワイドトランスフォーメーションとして分類されます。
DataFrame.aggregate（）
いいえ。集計する場合、パーティション間でデータを比較および要約できます。このプロセスでは、データはクラスター全体で交換され、新しく形成された出力パーティションは1つ以上の入力パーティションに依存します。これはシャッフルの典型的な特徴であり、集約操作は幅広い変換として分類される可能性があることを意味します。
DataFrame.join（）
違う。複数のDataFrameに参加するということは、通常、新しいパーティションが形成されるときに、クラスター全体で大量のデータが交換されることを意味します。これはシャッフルであるため、DataFrame.join（）は幅広い変換としてカウントされます。
DataFrame.sort（）
間違い。並べ替えるとき、Sparkはすべてのパーティションの多くの行を相互に比較する必要があります。これは、データがクラスター間で交換され、データが並べ替えられるときに新しいパーティションが形成されるため、コストのかかる操作です。このプロセスはシャッフルとして分類され、その結果、DataFrame.sort（）はワイド変換としてカウントされます。
詳細：ApacheSparkシャッフルについて| フィリップ・ブルネンバーグ

説明
この質問の課題は、スキーマに配列変数があることから来ています。さらに、spark.readによって呼び出されるDataFrameReaderにスキーマを渡す方法を知っておく必要があります。
スキーマで文字列の配列を定義する正しい方法は、ArrayType（StringType（））を使用することです。read（）演算子にschema（structType）を追加するだけで、スキーマをDataFrameReaderに渡すことができます。または、スキーマを文字列として定義することもできます。たとえば、itemsDfのスキーマの場合、次の文字列が意味をなします：itemId integer、attributes array <string>、supplierstring。
覚えておくべきことは、スキーマ定義では、次のように常に型をインスタンス化する必要があるということです。
StringType（）。StringTypeを使用するだけでは、pySparkでは機能せず、失敗します。
スキーマに関するもう1つの懸念事項は、列をnull許容にする必要があるかどうかです。そのため、null値を使用できます。手元の場合、これは問題ではありませんが、質問は単に
"有効"
スキーマ。DataFrameサンプルにはnull値が表示されないため、ここではnull許容でない列スキーマとnull可能な列スキーマの両方が有効になります。
詳細：Learning Spark、第2版、第3章
静的ノートブック| ダイナミックノートブック：テスト3を参照

説明
この質問の秘訣は、DataFrameWriterの「モード」を知ることです。モードignoreは、ファイルがすでに存在し、そのファイルを置き換えない場合は無視しますが、エラーもスローしません。モードerrorifexistsはエラーをスローし、DataFrameWriterのデフォルトモードです。質問NO：
DataFrameが存在しない場合は、明示的に「サイレント」に書き込まれるように要求するため、ファイルがすでに存在する場合にSparkがエラーを通知しないように、ここでmode（ "ignore"）を指定する必要があります。
「上書き」モードは、サイレントではありますが、既存のファイルを上書きするため、ここでは正しくありません。これは質問が求めるものではありません。
spark.DataFrameWriter（itemsDf）で始まるオプションは、sparkがSparkSessionオブジェクトを参照しているため機能しませんが、そのオブジェクトはDataFrameWriterを提供しないことに注意してください。
ドキュメント（下記）でわかるように、DataFrameWriterはPySparkのSQL APIの一部ですが、SparkSessionAPIの一部ではありません。
より詳しい情報：
DataFrameWriter：pyspark.sql.DataFrameWriter.save-PySpark3.1.1ドキュメントSparkSessionAPI：SparkSQL-PySpark3.1.1ドキュメント静的ノートブック| ダイナミックノートブック：テスト1を参照

説明
スロットはエグゼキュータの通信インターフェイスであり、コマンドを受信して​​結果をドライバに送信するために使用されます。
間違って、エグゼキュータはドライバと直接通信します。
スロットは、エグゼキュータのワークロードに従って動的に作成および破棄されます。
いいえ、Sparkはワークロードに応じてスロットを積極的に作成および破棄しません。エグゼキュータごとに、エグゼキュータごとのコア数（property spark.executor.cores）およびタスクごとのCPU数（property spark.task.cpus）に応じてスロットが使用可能になります。
スロットは常にシングルコアに制限されています。
いいえ、スロットは複数のコアにまたがることができます。タスクに複数のコアが必要な場合は、複数のコアにまたがるスロットを介して実行する必要があります。
Sparkのドキュメントでは、「コア」は「スレッド」と同じ意味で使用されることがよくありますが、「スレッド」の方が正確です。単一の物理コアで複数のスレッドを使用できる場合があります。したがって、スロットは複数のスレッドにまたがることができると言ったほうがよいでしょう。
I / Oパフォーマンスを最適化するために、Sparkはデータをディスクの複数のスロットに保存します。
いいえ-Sparkは、スロットではなく、複数のパーティションのディスクにデータを保存します。
詳細：Sparkアーキテクチャ| 分散システムアーキテクチャ

説明
静的ノートブック| ダイナミックノートブック：テスト1を参照