説明
答えは、データ品質チェックとともにスキーマが適用されるということです。
メダリオン アーキテクチャ - Databricks
シルバー層:
1.データストレージの複雑さ、遅延、冗長性を軽減します。
2.ETL スループットと分析クエリのパフォーマンスを最適化します。
3.元のデータの粒度を維持します（集計なし）
4.重複レコードの削除
5.本番スキーマの適用
6.データ品質チェック、破損したデータの隔離
試験の焦点: 下の画像を確認して、メダリオン建築における各層 (ブロンズ、シルバー、ゴールド) の役割を理解してください。各層とその目的を対象としたさまざまな質問が表示されます。
Udemy 内の一部の人が私のコンテンツをコピーしているため、ウォーターマークを追加する必要がありました。

説明
このコードは、user_ltv というテーブルから email 列と ltv 列を選択する email_ltv というビューを作成します。このテーブルには、email STRING、age INT、ltv INT というスキーマがあります。また、このコードでは、ユーザーがマーケティング グループのメンバーではない場合、CASE WHEN 式を使用して電子メールの値を文字列「REDACTED」に置き換えます。クエリを実行するユーザーはマーケティング グループのメンバーではないため、電子メール列と ltv 列のみが表示され、電子メール列の各行には文字列「REDACTED」が含まれます。
検証済みの参考文献: [Databricks Certified Data Engineer Professional]、「Lakehouse」セクションの下。Databricks ドキュメントの「CASE 式」セクション。

これはドライバー上で実行されるコードによって引き起こされるボトルネックを示しているため、これは正しい答えです。ボトルネックとは、システムのパフォーマンスまたは容量が単一のコンポーネントまたはリソースによって制限される状況です。ボトルネックにより、実行速度の低下、遅延の増加、またはスループットの低下が発生する可能性があります。実稼働クラスターには 3 つのエグゼキューター ノードがあり、ドライバーとエグゼキューターに同じ仮想マシン タイプを使用します。このクラスターの Ganglia メトリックを評価するときは、CPU、メモリ、ディスク、ネットワークなどのクラスター リソースがどのように利用されているかを示す指標を探すことができます。クラスター全体の CPU 使用率が約 25% である場合、4 つのノード (ドライバー + 3 つのエグゼキューター) のうち 1 つだけが CPU 能力をフルに使用しており、他の 3 つのノードはアイドル状態か十分に活用されていないことを意味します。これは、ドライバー上で実行されるコードに時間がかかりすぎるか、CPU リソースを過剰に消費し、実行プログラムが処理するタスクやデータを受信できないことを示唆しています。これは、ドライバーへの大量のデータの収集、ドライバーでの複雑な計算の実行、ドライバーでの非 Spark ライブラリの使用など、並列化または分散されていないドライバー側の操作がコードに含まれている場合に発生する可能性があります。検証済みの参照: [Databricks Certified Data Engineer Professional]、「Spark Core」セクション; Databricks ドキュメントの「クラスターのステータスとイベント ログの表示 - Ganglia メトリクス」セクション。Databricks ドキュメントの「大規模な RDD の収集を避ける」セクション。
Spark クラスターでは、ドライバー ノードは、タスクのスケジュール設定、実行計画の管理、クラスター マネージャーとの対話など、Spark アプリケーションの実行の管理を担当します。全体的なクラスターの CPU 使用率が低い場合 (たとえば、約 25%)、ドライバー ノードが利用可能なリソースを効果的に利用しておらず、ボトルネックになっている可能性があることを示している可能性があります。

説明
答えは「トリガー、継続」です。
https://docs.microsoft.com/en-us/azure/databricks/data-engineering/delta-live-tables/delta-live-tables-concepts#-
*トリガーされたパイプラインは、現在利用可能なデータで各テーブルを更新し、パイプラインを実行しているクラスターを停止します。Delta Live Tables はテーブル間の依存関係を自動的に分析し、外部ソースから読み取った依存関係を計算することから始めます。パイプライン内のテーブルは、依存するデータ ソースが更新された後に更新されます。
*継続的パイプラインは、入力データの変更に応じてテーブルを継続的に更新します。更新が開始されると、手動で停止するまで実行され続けます。継続的なパイプラインには、常に実行されているクラスターが必要ですが、下流のコンシューマーが最新のデータを確実に入手できるようにします。