broadcast(df1) は、小さな DataFrame (df1) をすべてのワーカー ノードに送信するように Spark に指示します。
これにより、結合中に df1 をシャッフルする必要がなくなります。
ブロードキャスト結合は、1 つの大きなテーブルと 1 つの小さなテーブルがあるシナリオに最適化されています。

ディスクに書き出されるデータがソートされていることを確認するには、SparkがParquetテーブルに保存する際にデータを書き込む方法を考慮することが重要です。.sort() または .orderBy() メソッドはグローバルソートを適用しますが、特定の条件（例えば、スケーラブルではない .coalesce(1) による単一パーティションなど）が満たされない限り、最終出力ファイルでソートが維持されることは保証されません。
代わりに、分散 Spark 処理で行が書き出されるときにそれぞれのパーティション内でソートされるようにするための適切な方法は次のとおりです。
.sortWithinPartitions("列名")
Apache Spark のドキュメントによると:
「sortWithinPartitions() は、各パーティションが指定された列でソートされることを保証します。これは、ソートされたファイルを必要とする下流のシステムに役立ちます。」このメソッドは分散設定で効率的に動作し、グローバルソート（.orderBy() や .sort() など）のパフォーマンスボトルネックを回避し、各出力パーティションにソートされたレコードが含まれることを保証します。これにより、一貫してソートされたデータという要件が満たされます。
したがって：
オプション A と B では、保存されたファイルの内容がソートされることは保証されません。
オプション C は、.coalesce(1) (単一パーティション) によってボトルネックが発生します。
オプション D はパーティション内でソートを正しく適用し、スケーラブルです。

PySpark DataFrameから特定の列を削除するには、drop()メソッドを使用します。このメソッドは、指定された列を含まない新しいDataFrameを返します。複数の列を削除する正しい構文は、各列名をdrop()メソッドに個別の引数として渡すことです。
正しい使い方:
df_user_non_pii = df_user.drop("first_name", "last_name", "email", "birthdate") このコード行は、指定された PII 列を除外した新しい DataFrame df_user_non_pii を返します。
オプションの説明:
A . 正解です。drop() メソッドを使用し、複数の列名を個別の引数として渡します。これは、PySpark における標準的で正しい使用法です。
B 。オプションAと似ているように見えますが、列名が引用符で囲まれていない場合や構文エラー（引用符の欠落、変数名の誤りなど）がある場合はエラーになります。ただし、記述通りであればオプションAと同一であり、正しいです。
C . 不正解です。dropfields() メソッドは、PySpark の DataFrame クラスのメソッドではありません。このメソッドは、StructType 列で使用され、ネストされた構造からフィールドを削除するものであり、最上位の DataFrame 列ではありません。
D . 不正解です。コンマで区切られた列名を含む単一の文字列を dropfields() に渡すことは、PySpark では有効な構文ではありません。
参照：
PySpark ドキュメント: DataFrame.drop
Stack Overflow ディスカッション: PySpark DataFrame の列を削除する方法

構造化ストリーミングを使用して特定の Kafka トピックから読み取る場合の正しい構文は次のとおりです。
パイソン
コピー編集
.option("購読", "フィード")
これは Spark ドキュメントで明示的に定義されています。
「subscribe - サブスクライブするKafkaトピック。このオプションには1つのトピックのみ指定できます。」（出典：Apache Spark Structured Streaming + Kafka統合ガイド）
「subscribe - サブスクライブする Kafka トピック。このオプションには 1 つのトピックのみ指定できます。」(出典: Apache Spark Structured Streaming + Kafka 統合ガイド) B. 「subscribe.topic」は無効です。
C . 「kafka.topic」は認識されるオプションではありません。
D . 「topic」は、Spark の Kafka ソースでは無効です。

.mode("overwrite") は、パスにある既存のファイルが置き換えられることを保証します。
partitionBy("country") は、パーティション化されたフォルダーにデータを書き込むことでクエリを最適化します。
正しい構文:
df.write.mode("overwrite").partitionBy("country").parquet("/data/output")
- 出典:Spark SQL、データフレーム、データセットガイド