説明
この問題を解決するには、UDF 仕様では戻り値の型 (デフォルトの文字列でない限り) が必要であることを認識することが重要です。さらに、Python 関数 (evaluateTestSuccess) ではなく、生成された UDF (evaluateTestSuccessUDF) が列 storeId に適用されていることを確認する必要があります。
詳細: pyspark.sql.functions.udf - PySpark 3.1.2 ドキュメント
静的ノート | 動的ノートブック: テスト 2 を参照

説明
正しいコードブロック:
itemsDf.filter(size("itemNameElements")>3)
コードブロックの出力:
+------+----------------------+------- ------------------------+-------------------------------------------- -----+
|itemId|itemName |サプライヤー |itemNameElements |
+------+----------------------+------- ------------------------+-------------------------------------------- -----+
|1 |雪中ウォーキング用厚手コート|スポーツカンパニー株式会社|[厚手、コート、ウォーキング、イン、ザ、スノー]|
|2 |エレガントアウトドアサマーワンピース |YetiX |【エレガント,アウトドア,夏,ワンピース】 |
+------+----------------------+------- ------------------------+-------------------------------------------- --+ この質問の大きな難点は、カウントとサイズの違いを理解することです (以下のドキュメントを参照してください)。size は、行ごとに配列内の要素の数を返すため、ここで選択するのに正しい関数です。
この質問を解決するためのもう 1 つの考慮事項は、選択とフィルターの違いです。元の DataFrame の行を返したいので、フィルターが正しい選択です。select を使用する場合は、次のように、基準に一致する行を示す単一列の DataFrame を取得するだけです。
+----------------------------+
|(サイズ(項目名要素) > 3)|
+----------------------------+
|本当 |
|本当 |
|偽|
+----------------------------+
より詳しい情報：
カウントのドキュメント: pyspark.sql.functions.count - PySpark 3.1.1 ドキュメント サイズのドキュメント: pyspark.sql.functions.size - PySpark 3.1.1 ドキュメント 静的ノートブック | 動的ノートブック: テスト 1 を参照

説明
正しいコード ブロックの出力:
+----------------------+
| サプライヤー|
+----------------------+
|株式会社スポーツカンパニー|
+----------------------+
この質問に対処するための鍵は、操作の逆を行うためにどの演算子を使用するかを理解することです
- ~ (not) 演算子。さらに、 unique() メソッドがないことを知っておく必要があります。
静的ノート | 動的ノートブック: テスト 1 を参照

説明
クラスター モードではドライバーはワーカー ノードに常駐しますが、クライアント モードではドライバーはエッジ ノードに常駐します。
正しい。Spark のクライアント モードの考え方は、クラスターの外側にあるエッジ ノード (ゲートウェイ マシンとも呼ばれる) からワークロードを実行できるというものです。ただし、Spark を実行する最も一般的な方法はクラスター モードであり、ドライバーはワーカー ノード上に常駐します。
実際には、クライアント モードでは、クラスター内のワーカー ノード間のデータ転送速度と比較して、データ転送速度に関して厳しい制約があります。また、エッジ ノードに障害が発生すると、クライアント モードで実行されるジョブはすべて失敗します。これらの理由により、クライアント モードは通常、運用環境では使用されません。
クラスター モードでは、クラスター マネージャーはワーカー ノードに常駐しますが、クライアント実行モードではクラスター マネージャーはエッジ ノードに常駐します。
いいえ。どちらの実行モードでも、クラスター マネージャーはワーカー ノードに常駐しますが、クライアント モードのエッジ ノードには常駐しません。
クラスター モードでは、実行プロセスはワーカー ノードで実行されますが、クライアント モードではゲートウェイ ノードで実行されます。
これは間違いです。ドライバーのみがクライアント モードのゲートウェイ ノード (「エッジ ノード」とも呼ばれます) で実行され、エグゼキューター プロセスは実行されません。
クラスター モードでは、Spark ドライバーはクラスター マネージャーと同じ場所に配置されませんが、クライアント モードでは同じ場所に配置されます。
いいえ、クライアント モードでは、Spark ドライバーはドライバーと同じ場所に配置されません。クライアント モードの重要な点は、ドライバーがクラスターの外部にあり、クラスターを管理するリソース (クラスター マネージャーを実行するマシン) に関連付けられていないことです。
クラスター モードでは、ゲートウェイ マシンがドライバーをホストしますが、クライアント モードではゲートウェイ コンピューターがエグゼキューターと同じ場所に配置されます。
いいえ、まったく逆です。クラスター モードにはゲートウェイ マシンはありませんが、クライアント モードではドライバーがホストされます。

説明
変換後の DataFrame は可変であるため、ワーカー ノードに障害が発生した場合、Spark は観察されたリネージを使用して DataFrame を再作成します。
間違い - 変換間では、DataFrame は不変です。Spark はリネージも記録するため、障害が発生した場合でも Spark は任意の DataFrame を再現できます。これら 2 つの側面は、Spark のフォールト トレランスを理解するための鍵となります。
Spark は、レガシー RDD データ システム上にフォールト トレラント レイヤーを構築しますが、それ自体はフォールト トレラントではありません。
間違い。RDD は Resilient Distributed Dataset の略で、Spark の中核であり、「レガシー システム」ではありません。
設計によりフォールトトレラントになっています。
Spark は、MEMORY_AND_DISK ストレージ レベル オプションを提供することで、ワーカー障害が発生した場合のデータの迅速な回復に役立ちます。
本当じゃない。ワーカー障害が発生した場合のリカバリをサポートするために、Spark は「_2」、「_3」などのストレージ レベル オプション (MEMORY_AND_DISK_2 など) を提供します。これらのストレージ レベルは、データの複製を複数のノードに保持するように特別に設計されています。これにより、最初にデータを再計算する必要がなく、データのコピーをすぐに使用できるため、ワーカー障害が発生した場合に時間を節約できます。
Spark は、この機能がspark.fault_recovery.enabled プロパティによって明示的に有効にされている場合にのみフォールト トレラントになります。
いいえ、Spark は設計上フォールト トレラントです。