構造化ストリーミングでは、チェックポイントは、障害または再起動後にストリームを再開するために必要な状態情報 (オフセット、進行状況、メタデータ) を保存します。
正しい使い方:
ストリーミング出力を書き込むときに checkpointLocation オプションを設定します。
ストリーミング_df.writeStream \
.format("デルタ") \
.option("checkpointLocation", "/path/to/checkpoint/dir") \
.start("/path/to/output")
Spark は、このチェックポイント ディレクトリを使用して、進行状況を自動的に回復し、正確に 1 回のセマンティクスを維持します。
他のオプションが間違っている理由:
A/D: recoveryLocation は有効な Spark 構成オプションではありません。
B: チェックポイントは、readStream 中ではなく、writeStream 中に構成する必要があります。
参照：
PySpark 構造化ストリーミング ガイド - チェックポイントとリカバリ。
Databricks 試験ガイド (2025 年 6 月) : セクション「構造化ストリーミング」 - チェックポイントとフォールト トレラント ストリーミング回復について説明します。

DataFrameWriter を使用して既存のファイルを上書きする正しい方法は次のとおりです。
df.write.mode("上書き").json("ファイルへのパス")
オプション D も技術的には有効ですが、オプション A は最も簡潔で慣用的な PySpark 構文です。
リファレンス:PySpark DataFrameWriter API

broadcast(df1) は、小さな DataFrame (df1) をすべてのワーカー ノードに送信するように Spark に指示します。
これにより、結合中に df1 をシャッフルする必要がなくなります。
ブロードキャスト結合は、1 つの大きなテーブルと 1 つの小さなテーブルがあるシナリオに最適化されています。
参考資料:Spark SQL パフォーマンスチューニングガイド - ブロードキャスト結合

正確な抜粋からの包括的かつ詳細な説明：
Spark Connect は、Apache Spark 3.4 で導入されたクライアント サーバー アーキテクチャであり、クライアントを Spark ドライバーから分離して、Spark クラスターへのリモート接続を可能にするように設計されています。
Spark 3.5.5 のドキュメントによると:
「DataStreamReader、DataStreamWriter、StreamingQuery、StreamingQueryListener など、ストリーミング API の大部分がサポートされています。」これは、Spark Connect が Structured Streaming の主要コンポーネントをサポートし、堅牢なストリーミング データ処理機能を可能にすることを示しています。
その他のオプションについて:
B)Spark Connect は DataFrame、Functions、および Column API をサポートしていますが、SparkContext および RDD API はサポートしていません。
C).Spark Connect は、PySpark だけでなく、PySpark や Scala など複数の言語をサポートしています。
D).Spark Connect には認証機能が組み込まれていませんが、既存の認証インフラストラクチャとシームレスに連携するように設計されています。

Apache Spark は、大規模なクラスターベースの計算用に設計された分散データ処理エンジンです。
利点:
水平スケーラビリティ: Spark は、タスクを多数のマシンに分散し、単一ノードのメモリよりも大きなデータセットを処理できます。
フォールト トレランス: Spark は、系統グラフ (RDD 回復メカニズム) と再試行ロジックを使用して、ノードまたはタスクの障害から自動的に回復します。
これら 2 つの機能により、1 台のマシンに制限され、単一ノード エラーで失敗する標準の Python スクリプトとは異なり、Spark は巨大なデータセットを効率的かつ確実に処理できます。
他のオプションが間違っている理由:
B: Spark は一般的なハードウェア上で実行されるため、特殊なマシンは必要ありません。
C: Spark は、ディスクのみの操作ではなく、メモリ内処理を重視します。
D: Spark では、依然として Python、Scala、SQL、または Java のユーザー コードが必要です。
参照：
Databricks 試験ガイド (2025 年 6 月) : セクション「Apache Spark のアーキテクチャとコンポーネント」 - 利点、クラスター実行、フォールト トレランス。
Apache Spark の概要 - 分散処理と回復力設計。