説明
OPTIMIZEコマンドを使用すると、小さなファイルを1つにまとめてパフォーマンスを向上させることができます。

Sparkのストリーミング読み取り機能を使用して生データからBronzeテーブルへストリーミングホップを実行するクエリは、その後Bronzeテーブルに書き込むことで識別されます。オプションを分析してみましょう。
オプションA：.writeStreamを利用しますが、完全な集計を実行します。これは、Bronzeテーブルへのホップというよりも、集計テーブルへのロールアップの特徴に近いものです。
オプションB：これも.writeStreamを使用しますが、平均値を計算します。これは通常、最小限の変換しか伴わない生データからブロンズへの変換を表すものではありません。
オプション C: これは、ストリーミング操作ではない .mode("append") を使用した基本的な .write を使用するため、Bronze テーブルへのリアルタイム ストリーミング データ変換には適していません。
オプション D: spark.readStream.load() を使用して生データをストリームとして取り込み、その後で書き出します。
writeStreamは、生データをリアルタイムで取得し、最小限の変換のみを適用してBronzeテーブルにストリーミングする典型的なパターンです。このアプローチは、生データを継続的に取り込み、よりアクセスしやすい形式で保存するという、最新のデータアーキテクチャにおけるBronzeテーブルの概念と一致しています。
参考資料：Databricksの構造化ストリーミングに関するドキュメント：Databricksにおける構造化ストリーミング