広告表示のストリームとユーザーのクリックのストリームを結合する場合、結合のために維持する必要のある状態を最小限に抑えたいものです。オプションAでは、clickTime == impressionTimeという条件で左外部結合を使用することを提案しています。これは、まったく同じ時間に発生するイベントを関連付けるのに適しています。しかし、実際のシナリオでは、表示とクリックの間の遅延を考慮するために、ある程度の余裕が必要になるでしょう。関連するユーザーインタラクションを捉えつつパフォーマンスを最適化するには、結合条件と考慮する時間ウィンドウを設計することが重要です。この場合、ウォーターマークを使用することで状態管理が容易になり、新しいデータと一致しない可能性のある古い状態データを破棄することで、状態が際限なく増大するのを防ぐことができます。

Databricksノートブックをジョブとしてスケジュールする場合、display()関数など、出力表示に関わるコマンドは削除または変更することをお勧めします。display()関数を使用したデータ表示は、ノートブックのインターフェース内での探索や視覚化を目的としたインタラクティブな機能であり、本番環境のジョブではうまく動作しない可能性があります。
finalDF.explain() コマンドは、DataFrame の変換とアクションの実行プランを提供し、クエリのデバッグと最適化に役立ちます。display() のようなインタラクティブな視覚化の表示からは取得できませんが、Spark が DataFrame に対して操作をどのように実行しているかを理解する上で役立ちます。

The Databricks CLI provides a way to automate interactions with Databricks services. When dealing with pipelines, you can use the databricks pipelines get --pipeline-id command to capture the settings of an existing pipeline in JSON format. This JSON can then be modified by removing the pipeline_id to prevent conflicts and renaming the pipeline to create a new pipeline. The modified JSON file can then be used with the databricks pipelines create command to create a new pipeline with those settings.

https://docs.databricks.com/en/workflows/jobs/monitor-job-runs.html

Databricks Lakehouseでは、パイプライン更新の実行時に下流テーブルを再計算しながら、raw_iotテーブルで手動で削除または更新されたレコードを保持するには、pipelines.reset.allowedプロパティをfalseに設定する必要があります。このプロパティは、パイプライン更新中にシステムがテーブルの状態をリセットすること（変更履歴の削除を含む）を防ぎます。このプロパティをfalseに設定することで、手動による削除や更新など、raw_iotテーブルへの変更が保持され、bpm_statsなどの下流テーブルの再計算時に、データ変更の履歴が完全に保持されます。