分散バッチ処理およびストリーミング処理パイプラインにおける一貫した個人情報マスキングには、中央で定義され、管理されたマスキングロジックが必要です。マスキング機能を標準化し、Unity Catalog を通じてそれらを強制することで、すべてのデータセットと実行パスにわたって同じルールが均一に適用され、ノードやワークロード間の不整合を防ぐことができます。

In the context of cluster performance and resource utilization, a CPU utilization rate of around
75% is generally considered a good indicator of efficient resource usage. This level of CPU utilization suggests that the cluster is being effectively used without being overburdened or underutilized. A consistent 75% CPU utilization indicates that the cluster's processing power is being effectively employed while leaving some headroom to handle spikes in workload or additional tasks without maxing out the CPU, which could lead to performance degradation. A five Minute Load Average that remains consistent/flat (Option A) might indicate underutilization or a bottleneck elsewhere.
ネットワークI/Oの監視（オプションBおよびC）は重要ですが、これらの指標だけではリソース利用効率の全体像を把握することはできません。
ディスク容量の合計（オプションD）が一定であることは、必ずしも適切なリソース利用の指標となるわけではありません。これは、計算効率よりもストレージ容量に関係するからです。

Unity Catalogでは、権限はカスケードしません。つまり、カタログに対して権限（SELECTなど）を付与しても、カタログに含まれるオブジェクト（スキーマ、テーブル、ビューなど）に対して同じ権限が自動的に付与されるわけではありません。各オブジェクトタイプは、それぞれ独立したアクセス制御階層を持っています。
Databricksのアクセス制御に関するドキュメントによると、「権限はカタログからスキーマやテーブルレベルへ自動的に継承されるわけではありません。」ユーザーがオブジェクト間でアクセスする必要がある場合は、管理者が各レベルで明示的に権限を付与する必要があります。この設計により、より厳格なガバナンスと最小権限の適用が保証されます。したがって、選択肢BはUnity Catalogの権限モデルを正しく説明していますが、選択肢AとDは自動継承を誤って示唆しています。

https://spark.apache.org/docs/3.1.3/api/python/reference/api/pyspark.sql.functions.broadcast.html PySpark の broadcast 関数は、結合処理で使用されます。DataFrame に broadcast を指定すると、Spark はこの DataFrame をすべてのワーカー ノードに送信し、より大きな DataFrame をノード間でシャッフルすることなく、別の DataFrame と結合できるようにします。これは、DataFrame が各ノードのメモリに収まるほど小さい場合に特に有効です。クラスタ全体でシャッフルする必要のあるデータ量を減らすことで、結合処理の最適化に役立ちます。シャッフルは、計算量と時間の面で非常にコストのかかる操作となる場合があります。
PySpark の pyspark.sql.functions.broadcast 関数は、DataFrame がクラスタ内のすべてのワーカー ノードにブロードキャストできるほど小さいことを Spark に示唆するために使用されます。このヒントが適用されると、Spark はブロードキャスト結合を実行できます。この場合、小さい DataFrame は各エグゼキュータに一度だけ送信され、各エグゼキュータで大きい DataFrame と結合されます。これにより、ネットワーク全体でシャッフルされるデータ量を大幅に削減し、結合操作のパフォーマンスを向上させることができます。ブロードキャスト結合では、特定の列や接続されたストレージ上のキャッシュ バージョンだけでなく、小さい DataFrame 全体が各エグゼキュータに送信されます。この関数は、結合操作の DataFrame の 1 つがもう 1 つよりもはるかに小さく、各エグゼキュータ ノードのメモリに余裕を持って収まる場合に特に役立ちます。