説明
開発中は汎用クラスターを使用しても問題ありませんが、ノートブックを操作する必要がないときは常に、特にスケジュールされたジョブの場合は、ジョブ クラスターを使用した方がコストが安くなります。汎用クラスターを使用すると、ジョブ クラスターの 2 倍のコストがかかる可能性があります。
注: 汎用クラスターとジョブ クラスター間で同じクラスター タイプとサイズに対してクラウド プロバイダーに支払うコンピューティング コストは同じであり、唯一の違いは DBU コストです。
クラスターの総コスト = VM コンピューティングの総コスト (Azure または AWS または GCP) + DBU あたりのコスト DBU あたりのコストは、汎用クラスターとジョブ クラスターの間で異なります。 これは、ジョブ クラスターと汎用クラスター間の AWS からの最近のコスト見積もりです。 、ジョブの場合はその値を計算します
DBU あたり 0.15 セント v 汎用の場合、DBU あたり 0.55 セント
グラフィカルユーザーインターフェース 自動生成される説明

クラスターの DBU コストを確認するにはどうすればよいですか?
既存のクラスターをクリックするか、クラスターの詳細を見ると、右上隅にこれが表示されます。 グラフィカル ユーザー インターフェイス、テキスト、アプリケーション、電子メール 説明が自動的に生成されます。

説明
答えは、標準モードの代わりに高同時実行モードを使用することです。
https://docs.databricks.com/clusters/cluster-config-best-practices.html#cluster-mode 高同時実行クラスターは、リソースを共有したり、アドホック ジョブを実行する必要があるユーザーのグループに最適です。
Databricks では、高同時実行クラスターの自動スケーリングを有効にすることをお勧めします。

説明
答えは、DELTA LIVE TABLES です。
デルタ ライブ テーブルの期待値は、不良データの特定と隔離に使用でき、すべてのデータ品質メトリクスはイベント ログに保存され、後で分析および監視するために使用できます。
DELTA LIVE テーブルの期待
以下に 3 種類の期待値を示します。これら 3 つの違いに注意してください。
無効なレコードを保持します。
期待に反するレコードを保持したい場合は、expect 演算子を使用します。期待に違反するレコードは、有効なレコードとともにターゲット データセットに追加されます。
パイソン
[email protected]("有効なタイムスタンプ", "col("タイムスタンプ") > '2012-01-01'")
SQL
1.CONSTRAINT valid_timestamp EXPECT (タイムスタンプ > '2012-01-01')
無効なレコードを削除します。
無効なレコードの処理を防ぐには、expect 演算子またはdrop 演算子を使用します。期待に違反するレコードは、ターゲット データセットから削除されます。
パイソン
[email protected]_or_drop("valid_current_page", "current_page_id は NULL ではなく、current_page_title も NULL ではありません") SQL
1.CONSTRAINT valid_current_page EXPECT (current_page_id IS NOT NULL および cur-rent_page_title IS NOT NULL) ON VIOLATION DROP ROW 無効なレコードで失敗します。
無効なレコードが受け入れられない場合は、expect または failed 演算子を使用して、レコードが検証に失敗したときに実行をただちに停止します。操作がテーブル更新の場合、システムはトランザクションをアトミックにロールバックします。
パイソン
[email protected]_or_fail("有効なカウント", "カウント > 0")
SQL
1.CONSTRAINT valid_count EXPECT (count > 0) ON VIOLATION FAIL UPDATE

説明
CI/CD ワークフローを構築するときに Databricks Repos と Git プロバイダーが果たす役割を理解するには、以下の図を参照してください。
黄色で強調表示されているすべての手順は Databricks Repo で実行できます。灰色で強調表示されているすべての手順は、Github や Azure Devops などの Git プロバイダーで実行できます。 図の説明は自動的に生成されます。