説明
実行モードと展開モードは混同されやすいため、これを正しく理解するのは難しい質問です。文学の中でも、両方の用語が同じ意味で使用されることがあります。
Spark には、クライアント、クラスター、ローカル実行モードの 3 つの有効な実行モードのみがあります。実行モードは特定のフレームワークを参照するのではなく、インフラストラクチャが相互に配置される場所を参照します。
クライアント モードでは、ドライバーはクラスターの外部のマシン上に配置されます。クラスター モードでは、ドライバーはクラスター内のマシン上に配置されます。最後に、ローカル モードでは、すべての Spark インフラストラクチャが単一のコンピューター上の単一の JVM (Java 仮想マシン) で開始され、ドライバーも含まれます。
デプロイメント モードは、多くの場合、Spark をクラスター モードでデプロイする方法と、Spark 外部の特定のフレームワークを使用する方法を指します。有効なデプロイメント モードは、スタンドアロン、Apache YARN、Apache Mesos、および Kubernetes です。
クライアント、クラスター、ローカル
正解です。これらはすべて Spark の有効な実行モードです。
スタンドアロン、クライアント、クラスター
いいえ、スタンドアロンは有効な実行モードではありません。ただし、これは有効な展開モードです。
Kubernetes、ローカル、クライアント
いいえ、Kubernetes はデプロイメント モードですが、実行モードではありません。
クラスター、サーバー、ローカル
いいえ、サーバーは実行モードではありません。
サーバー、スタンドアロン、クライアント
いいえ、スタンドアロンとサーバーは実行モードではありません。
詳細情報: Apache Spark 内部 - 学習ジャーナル

説明
正しいコードブロック:
transactionDf.repartition(14, "storeId", "transactionDate").count()
DataFrametransactionDf のパーティション数がわからないため、現在のパーティション数が 14 より小さい場合は何も変更されないため、Coalesce を安全に使用することはできません。
したがって、再パーティションを使用する必要があります。
Spark のドキュメントでは、再パーティションの呼び出し構造は次のように示されています。
DataFrame.repartition(numPartitions, *cols)。* 演算子は、numPartitions の後の引数が列として解釈されることを意味します。したがって、ブラケットを取り外す必要があります。
最後に、質問では、実行後に DataFrame を分割する必要があると指定しています。したがって、この質問は間接的に、コード ブロックにアクションを追加するように求めています。.select() は変換なので。ここで可能な唯一の選択肢は .count() です。
詳細: pyspark.sql.DataFrame.repartition - PySpark 3.1.1 ドキュメント 静的ノートブック | 動的ノートブック: テスト 1 を参照

説明
正しいコードブロック:
find_most_freq_letter_udf = udf(find_most_frequent_letter)
itemsDf.withColumn("most_frequent_letter", find_most_freq_letter_udf("itemName")) Spark は、ここで以前に登録された find_most_freq_letter_udf メソッドを使用する必要がありますが、元のコードブロックではそれを行っていません。そこでは、Python メソッドの非 UDF バージョンを使用するだけです。
通常、udf() の戻り値の型を指定する必要があることに注意してください。この場合を除きます。udf() のデフォルトの戻り値の型は文字列であり、これがここで期待されるものです。代わりに整数変数を返したい場合は、find_most_freq_letter_udf = udf(find_most_freq_letter, IntegerType()) を使用して、Python 関数を UDF として登録する必要があります。
詳細: pyspark.sql.functions.udf - PySpark 3.1.1 ドキュメント

説明
正しいコードブロック:
スパーク.conf.set("spark.sql.shuffle.partitions", 20)
コード ブロックはオプションを誤って表現しています。
正しい！オプションは文字列として表現する必要があります。
コード ブロックが間違ったオプションを設定しています。
いいえ、spark.sql.shuffle.partitions は質問のユースケースの正しいオプションです。
コード ブロックが間違ったパーツ数を設定しています。
違います。コード ブロックには 20 個の部分が正しく記載されています。
コード ブロックは、オプションを設定するために間違ったコマンドを使用しています。
いいえ、PySpark では、spark.conf.set() がオプションを設定するための正しいコマンドです。
コード ブロックにパラメーターがありません。
不正解です。spark.conf.set() は 2 つのパラメータを取ります。
詳細情報: 構成 - Spark 3.1.2 ドキュメント

説明
ブロードキャスト変数はワーカー ノードに対してローカルであり、クラスター全体では共有されません。
ブロードキャスト変数はクラスター全体で共有されることを意図しているため、これは誤りです。したがって、それらはワーカー ノードに対してローカルなだけではなく、すべてのワーカー ノードで利用できます。
ブロードキャスト変数は、メモリに収まらないテーブルによく使用されます。
ブロードキャスト変数は小さくてメモリに収まるためにのみブロードキャストできるため、これは誤りです。
ブロードキャスト変数は、単一タスクごとにシリアル化されます。
これは誤りです。なぜなら、タスクはクラスター内のすべてのマシンにキャッシュされ、単一タスクごとにシリアル化する必要がなくなるからです。
ブロードキャスト変数は、タスクごとに動的に更新されることがあります。
ブロードキャスト変数は不変であり、決して更新されないため、これは誤りです。
詳細情報: Spark - 決定版ガイド、第 14 章