包括的かつ詳細な
Explanation:
構造化ストリーミングでは、無制限データの性質上、限られた操作のサブセットのみがサポートされます。
並べ替え (orderBy) やグローバル集計 (countDistinct) などの操作ではデータセットの完全なビューが必要ですが、特定のウォーターマークまたはウィンドウが定義されていない限り、ストリーミング データではこれは不可能です。
各オプションのレビュー:
A). select(countDistinct("名前"))
許可されていません - countDistinct() のようなグローバル集計には完全なデータセットが必要であり、ウォーターマークとウィンドウ ロジックなしではストリーミングで直接サポートされません。
参考: Databricks 構造化ストリーミング ガイド - サポートされていない操作。
B). groupby("Id").count() がサポートされています - キーを介したストリーミング集計 (groupBy("Id") など) がサポートされています。
Spark は各キーの中間状態を維持します。参考: Databricks Docs # 構造化ストリーミングの集計 (https://docs.databricks.com/structured-streaming/aggregation.html)
C). orderBy("timestamp").limit(4) は許可されていません - 並べ替えと制限にはストリームの完全なビュー (無限) が必要なので、ストリーミング データフレームではサポートされていません。参照: Spark Structured Streaming - サポートされていない操作 (ウォーターマーク/ウィンドウなしでの並べ替えは許可されていません)。
D). filter(col("count") < 30).show() は許可されていません - show() はバッチ DataFrame のデバッグに使用されるブロッキング操作です。ストリーミング DataFrame では許可されていません。参照: Structured Streaming Programming Guide
- show() のような出力操作はサポートされていません。
公式ガイドからの参考抜粋:
「orderBy、limit、show、countDistinctなどの操作は、結果を計算するのにデータセット全体を必要とするため、構造化ストリーミングではサポートされていません。増分集計には、代わりにgroupBy(...).agg(...)を使用してください。」 - Databricks構造化ストリーミングプログラミングガイド

Spark (旧称 Koalas) 上の Pandas API は以下を提供します。
使い慣れたPandas風の構文
Sparkを使った分散実行
クラスター全体の大規模データセットのスケーラビリティ
Pandas の生産性を維持しながら Spark のパワーを提供します。
参考資料: Spark の Pandas API ガイド

正確な抜粋からの包括的かつ詳細な説明：
フォールト トレランスを有効にし、障害発生後に Spark が最後にコミットされたオフセットから再開できるようにするには、正しいオプション キー「checkpointLocation」を使用してチェックポイントの場所を構成する必要があります。
公式 Spark Structured Streaming ガイドより:
ストリーミング クエリをフォールト トレラントかつ回復可能にするには、チェックポイント ディレクトリを指定する必要があります。
オプション("checkpointLocation", "/path/to/dir")."
オプションの説明:
オプション A は無効なオプション名「checkpoint」（正しくは「checkpointLocation」）を使用しています。オプション B は正しく、checkpointLocation が適切に設定されています。オプション C にはチェックポイントがないため、障害後に再開されません。オプション D にもチェックポイントの設定がありません。参考: Apache Spark 3.5 ドキュメント # 構造化ストリーミング # フォールトトレランス セマンティクス

Spark の透かしルールによると:
「ウォーターマークよりも古いレコード（イベント時間 < 現在のウォーターマーク）は遅すぎるとみなされ、削除されます。」したがって、レコードの event_time が（これまでに確認された最大 event_time - 10 分）よりも早い場合、そのレコードは破棄されます。

PySpark API ドキュメントによると:
「getOrCreate(): 既存のSparkSessionを取得します。既存のSparkSessionが存在しない場合は、このビルダーで設定されたオプションに基づいて新しいSparkSessionを作成します。」これは、SparkがJVMプロセス内でグローバルなシングルトンセッションを維持することを意味します。getOrCreate()を繰り返し呼び出しても、明示的に停止されない限り、同じセッションが返されます。
オプション A は不正解です。このメソッドはセッションを破棄しません。
オプション B では、一意性が appName に誤って結び付けられていますが、これはセッションの再利用性には影響しません。
オプション D は不正解です。getOrCreate() の基本的な動作と矛盾しています。
(出典: PySpark SparkSession API ドキュメント)