「GCオーバーヘッド制限を超えました」というメッセージは通常、JVMがガベージコレクションに多くの時間を費やし、メモリ回復がほとんど行われていないことを示しています。これは、ドライバまたはエグゼキュータのメモリが不足していることを示唆しています。
最も効果的な解決策は、次の方法でドライバーのメモリを増やすことです。
--ドライバーメモリ 4g
これは Spark の公式トラブルシューティング ドキュメントでも確認されています。
「ドライバー ログに GC オーバーヘッド制限超過エラーが多数記録されている場合は、ドライバーのメモリが不足していることを示しています。」
- スパークチューニングガイド
「ドライバー ログに GC オーバーヘッド制限超過エラーが多数記録されている場合は、ドライバーのメモリが不足していることを示しています。」
- スパークチューニングガイド
他の人が間違っている理由:
A は役立つかもしれませんが、ドライバーのメモリ不足を直接解決するものではありません。
B は有効なアクションではありません。GC を無効にすることはできません。
D はメモリ使用量を増加させ、問題を悪化させます。

包括的な
Apache Spark で構造化データ処理、SQL クエリ、機械学習をカバーするには、コンポーネントの正しい組み合わせは次のとおりです。
Spark DataFrames: 構造化データ処理用
Spark SQL: 構造化データに対してSQLクエリを実行する
MLlib: Sparkのスケーラブルな機械学習ライブラリ
このトリオはまさにこのタイプの使用ケース向けに設計されています。
他のオプションが間違っている理由:
A: GraphX はグラフ処理用であり、ここでは必要ありません。
B: Spark 上の Pandas API は便利ですが、ML には MLlib が不可欠であり、このオプションでは省略されます。
C: Spark Streaming はレガシーです。GraphX はここでは無関係です。

正確な抜粋からの包括的かつ詳細な説明：
Apache Spark では、実行階層は次のように構造化されています。
アプリケーション: Spark 上に構築されたユーザー プログラムを表す最上位の単位。
ジョブ: アクション（例：collect()、count()）によってトリガーされます。各アクションはジョブに対応します。
ステージ: ジョブはシャッフル境界に基づいてステージに分割されます。各ステージには、並列実行可能なタスクが含まれます。
タスク: データのパーティションに適用される単一の操作を表す、作業の最小単位。
collect()アクションが呼び出されると、Sparkはジョブを開始します。このジョブは、データのシャッフル（つまり、ワイド変換）が必要なポイントでステージに分割されます。各ステージは、クラスターのエグゼキューターに分散され、個々のデータパーティションで実行されるタスクで構成されています。
この階層型実行モデルにより、Spark はタスクを並列化し、リソース使用率を最適化することで、大規模なデータを効率的に処理できます。

正確な抜粋からの包括的かつ詳細な説明：
オプション B では、効率的で Python UDF のオーバーヘッドを回避できる Spark の組み込み SQL 関数 length() を使用します。
pyspark.sql.functionsからlength、colをインポートします
df.select(length(col("stringColumn")).alias("length"))
その他のオプションの説明:
オプション A は構文が正しくありません。spark.udfi はこの方法では呼び出されません。
オプション C は UDF を登録しますが、DataFrame 変換には適用しません。
オプション D は構文的には有効ですが、組み込み関数よりも効率の悪い Python UDF を使用します。
最終回答：B

na.drop(how='any') は、少なくとも 1 つの null 値を持つ行を削除します。
これは、完全に完全な記録のみを保持することが目的である場合にまさに必要なことです。
使用法:コピー編集
フィルターされたdf = users_raw_df.na.drop(how='any')
誤ったオプションの説明:
A: thresh=0 は無効です。thresh は # 1 にする必要があります。
B: how='all' は、すべての列が null である行のみを削除します (緩すぎます)。
D: spark.na.drop は、how と thresh をそのように混在させることをサポートしていません。これは間違った構文です。
参考:PySpark DataFrameNaFunctions.drop()