説明
答えはビューです。ビューは複数のテーブルを結合するために使用できますが、他のユーザーがアクセスできるようにメタ ストアに永続化することもできます。

GRANT USAGE ON DATABASE prod TO eng コマンドは、eng グループに prod データベースを使用する権限を付与します。これは、eng グループがデータベース内のテーブルとビューを一覧表示し、アクセスできることを意味します。GRANT SELECT ON DATABASE prod TO eng コマンドは、eng グループに prod データベース内のテーブルおよびビューからデータを選択する権限を付与します。つまり、SQL または DataFrame API を使用してデータをクエリできることになります。
ただし、これらのコマンドは、テーブルやビューの作成、変更、削除、カスタム関数の定義など、その他の権限を eng グループに付与しません。したがって、eng グループのメンバーは、prod データベース内のすべてのテーブルとビューに対してクエリを実行できますが、データベース内で何も作成または編集することはできません。参考文献:
* データベースに対する権限を付与します。
https://docs.databricks.com/en/security/auth-authz/table-acls/grant-privileges-database.html
* Hive メタストア オブジェクトに付与できる権限:
https://docs.databricks.com/en/security/auth-authz/table-acls/privileges.html

Cmd 6 は、ジョブとしてスケジュールする前にノートブックから削除する必要があるコマンドです。このコマンドは、finalDF データフレームからすべての列を選択し、ノートブックに表示します。FinalDF データフレームはすでに Cmd 7 のテーブルに書き込まれているため、これはジョブには必要ありません。ノートブックでのデータフレームの表示はリソースと時間を消費するだけで、ジョブの出力には影響しません。
したがって、Cmd 6 は冗長なので削除する必要があります。
他のコマンドは次のタスクを実行するため、ジョブに不可欠です。
* コマンド 1: raw_data テーブルを rawDF という Spark データフレームに読み取ります。
* Cmd 2: rawDF データフレームのスキーマを出力します。これは、デバッグやデータ構造の理解に役立ちます。
* Cmd 3: rawDF データフレームからすべての列と、値構造列からネストされた列を選択し、 flattenedDF という新しいデータフレームを作成します。
* Cmd 4: flattenedDF データフレームから値列を削除します (平坦化後は不要になるため)。そして、finalDF という新しいデータフレームを作成します。
* Cmd 5: FinalDF データフレームの物理計画について説明します。これは、ジョブのパフォーマンスの最適化と調整に役立ちます。
* Cmd 7: 既存のテーブルに新しいデータを追加する追加モードを使用して、finalDF データフレームを flat_data というテーブルに書き込みます。

説明
問題は、Delta Lake テーブルに CHECK 制約を追加するコードが実行時に失敗することです。このコードでは、ALTER TABLE ADD CONSTRAINT コマンドを使用して、 activity_details という名前のテーブルに 2 つの CHECK 制約を追加します。最初の制約は緯度の値が -90 ～ 90 の範囲にあるかどうかをチェックし、2 番目の制約は経度の値が -180 ～ 180 の範囲にあるかどうかをチェックします。 この失敗の原因は、 activity_details テーブルにこれらの制約に違反するレコードがすでに含まれていることです。これらの範囲外にある無効な緯度または経度の値が含まれていることを確認します。既存のテーブルに CHECK 制約を追加する場合、Delta Lake は、既存のすべてのデータがテーブルに追加する前に制約を満たしていることを検証します。いずれかのレコードが制約に違反すると、Delta Lake は例外をスローし、操作を中止します。検証済みの参考文献:
[Databricks Certified Data Engineer Professional]、「Delta Lake」セクションの下。Databricks ドキュメントの「既存のテーブルに CHECK 制約を追加する」セクション。

説明
これはドライバー上で実行されるコードによって引き起こされるボトルネックを示しているため、これは正しい答えです。ボトルネックとは、システムのパフォーマンスまたは容量が単一のコンポーネントまたはリソースによって制限される状況です。ボトルネックにより、実行速度の低下、遅延の増加、またはスループットの低下が発生する可能性があります。実稼働クラスターには 3 つのエグゼキューター ノードがあり、ドライバーとエグゼキューターに同じ仮想マシン タイプを使用します。このクラスターの Ganglia メトリックを評価するときは、CPU、メモリ、ディスク、ネットワークなどのクラスター リソースがどのように利用されているかを示す指標を探すことができます。クラスター全体の CPU 使用率が約 25% である場合、4 つのノード (ドライバー + 3 つのエグゼキューター) のうち 1 つだけが CPU 能力をフルに使用しており、他の 3 つのノードはアイドル状態か十分に活用されていないことを意味します。これは、ドライバー上で実行されるコードに時間がかかりすぎるか、CPU リソースを過剰に消費し、実行プログラムが処理するタスクやデータを受信できないことを示唆しています。これは、ドライバーへの大量のデータの収集、ドライバーでの複雑な計算の実行、ドライバーでの非 Spark ライブラリの使用など、並列化または分散されていないドライバー側の操作がコードに含まれている場合に発生する可能性があります。検証済みの参照: [Databricks Certified Data Engineer Professional]、「Spark Core」セクション; Databricks ドキュメントの「クラスターのステータスとイベント ログの表示 - Ganglia メトリクス」セクション。Databricks ドキュメントの「大規模な RDD の収集を避ける」セクション。
Spark クラスターでは、ドライバー ノードは、タスクのスケジュール設定、実行計画の管理、クラスター マネージャーとの対話など、Spark アプリケーションの実行の管理を担当します。全体的なクラスターの CPU 使用率が低い場合 (たとえば、約 25%)、ドライバー ノードが利用可能なリソースを効果的に利用しておらず、ボトルネックになっている可能性があることを示している可能性があります。