正しいアプローチは、Unity Catalog を使用して、各外部テーブルに対して個別にきめ細かなアクセス制御と権限を管理することです。Unity Catalog はガバナンスを一元化し、広範なストレージレベルまたはワークスペースレベルの権限を付与するのではなく、ユーザーが必要とする特定の外部テーブルにのみアクセスできるようにします。

メダリオンアーキテクチャのブロンズ層では、複数のソースからの生データが変換されずに元のスキーマを保持したまま取り込まれます。その後、データはデルタ形式で保存され、クレンジング、標準化、およびビジネスロジックが適用される下流のシルバー層とゴールド層にとって唯一の信頼できる情報源となります。

Sparkのストリーミング読み取り機能を使用して生データからBronzeテーブルへストリーミングホップを実行するクエリは、その後Bronzeテーブルに書き込むことで識別されます。オプションを分析してみましょう。
オプションA：.writeStreamを利用しますが、完全な集計を実行します。これは、Bronzeテーブルへのホップというよりも、集計テーブルへのロールアップの特徴に近いものです。
オプションB：これも.writeStreamを使用しますが、平均値を計算します。これは通常、最小限の変換しか伴わない生データからブロンズへの変換を表すものではありません。
オプション C: これは、ストリーミング操作ではない .mode("append") を使用した基本的な .write を使用するため、Bronze テーブルへのリアルタイム ストリーミング データ変換には適していません。
オプションD：spark.readStream.load()を使用して生データをストリームとして取り込み、.writeStreamを使用して書き出します。これは、生データをリアルタイムで取得し、最小限の変換のみを適用するBronzeテーブルにデータをストリーミングする際の典型的なパターンです。このアプローチは、生データを継続的に取り込み、よりアクセスしやすい形式で保存するという、最新のデータアーキテクチャにおけるBronzeテーブルの概念と一致しています。
参照：
Databricksの構造化ストリーミングに関するドキュメント：Databricksにおける構造化ストリーミング

Delta Live Tables の期待値は、クエリを通過する各レコードに対してデータ品質チェックを適用するオプションの句です。期待値は、説明、ブール値ステートメント、およびレコードが期待値を満たさなかった場合に実行するアクションで構成されます。ON VIOLATION 句は実行するアクションを指定します。アクションは、警告、削除、または失敗のいずれかです。削除アクションは、無効なレコードがターゲットデータセットに書き込まれる前に削除されることを意味します。失敗はデータセットのメトリックとして報告され、Delta Live Tables イベントログをクエリすることで確認できます。イベントログには、期待値に違反したレコード数、削除されたレコード数、ターゲットデータセットに書き込まれたレコード数などの情報が含まれます。参照:
Delta Live Tablesでデータ品質を管理しましょう
Delta Live Tablesパイプラインを監視します
Delta Live Tables SQL言語リファレンス