説明
質問ではここで unique() というメソッドを使用することが示唆されていますが、そのメソッドは実際には PySpark に存在しません。PySparkでは、これはdistinct()と呼ばれます。ただし、distinct() を使用すると、特定の列の一意の値を除外できるため、このメソッドはここで使用するのには適切ではありません。
ただし、ここでは行全体を返したいと考えています。したがって、重要なのは、dropDuplicates を subset キーワード パラメータとともに使用することです。DropDuplicates のドキュメントの例では、リストとともにサブセットを使用する必要があることが示されています。そして、これがまさにこの質問を解決する鍵です。productId 列は、たとえ単一の列であっても、リスト内のサブセット引数に入力する必要があります。
詳細: pyspark.sql.DataFrame.dropDuplicates - PySpark 3.1.1 ドキュメント 静的ノートブック | 動的ノートブック: テスト 1 を参照

説明
詳細: pyspark.sql.DataFrame.join - PySpark 3.1.2 ドキュメント
静的ノート | 動的ノートブック: テスト 2 を参照

説明
タスクはスロットを介して並行して実行されます。
正しい。この仮定を考慮すると、エグゼキュータには、spark.executor.cores / spak.task.cpus という式で定義される 1 つ以上の「スロット」があります。エグゼキュータのリソースがスロットに分割されているため、各タスクがスロットを占有し、複数のタスクを並行して実行できます。
スロットはエグゼキューターの別名です。
いいえ、スロットはエグゼキューターの一部です。
エグゼキューターは単一のコア上で実行されます。
いいえ、エグゼキュータは複数のコアを占有することができます。これは、spark.executor.cores オプションによって設定されます。
タスクよりも多くのスロットが必要です。
いいえ、スロットはタスクを処理するだけです。複数のタスクに対して 1 つのスロットのみがあり、一度に 1 つのタスクを処理するシナリオを想像することもできます。確かに、これは Spark が本来使用すべき用途、つまり複数のコアとマシンにわたる分散データ処理で多くのタスクを並行して実行することとは逆です。
タスクよりも実行者の数を少なくする必要があります。
いいえ、そのような要件はありません。
詳細情報: Spark アーキテクチャ | 分散システム アーキテクチャ (https://bit.ly/3x4MZZt)

説明
デフォルトでは、エグゼキュータはアプリケーションの完了時に停止します。
正しい。エグゼキュータは、アプリケーションの存続期間中のみ存続します。
注目すべき例外は、動的リソース割り当てが有効になっている場合です (デフォルトでは有効ではありません)。動的リソース割り当てを有効にすると、アプリケーションが完了したかどうかに関係なく、エグゼキュータはアイドル状態になると終了されます。
エグゼキュータは複数のアプリケーションにサービスを提供できます。
間違い。エグゼキューターは常にアプリケーションに固有です。アプリケーションが完了すると終了します (例外は上記を参照)。
各ノードは単一のエグゼキュータをホストします。
いいえ。各ノードは 1 つ以上のエグゼキュータをホストできます。
エグゼキュータはデータをメモリにのみ保存します。
いいえ。Executor はデータをメモリまたはディスクに保存できます。
エグゼキュータはドライバによって起動されます。
正しくない。エグゼキュータは、ドライバに代わってクラスタ マネージャによって起動されます。
詳細情報: ジョブ スケジューリング - Spark 3.1.2 ドキュメント、Spark クラスターでのアプリケーションの実行方法 | Spark アプリケーションの構造 | InformIT と初心者向けの Spark 用語。このブログは、いくつかの問題を解決することを目的としています。マゲスワラン D 著 | 中くらい

説明
正しいコードブロック:
transactionsDf.drop("predError", "productId", "value")
静的ノート | 動的ノートブック: テスト 1 を参照