Databricks Lakehouse Platform がオープンソース技術を採用している利点の 1 つは、ベンダーロックインを回避できることです。つまり、顧客は異なるクラウド プロバイダー間で同じオープンソース ツールとフレームワークを使用でき、特定のベンダーに縛られることなくデータとワークロードを移行できます。Databricks Lakehouse Platform は、Apache Spark、Delta Lake、MLflow、Redash などのオープンソース プロジェクトに基づいて構築されており、これらは何百万もの開発者に広く使用され、信頼されています。Databricks Lakehouse Platform はこれらのオープンソース技術をサポートすることで、顧客がオープンソース エコシステムのイノベーションとコミュニティを活用し、独自のソリューションやクローズド ソリューションに縛られるリスクを回避できるようにします。その他のオプションは、オープンソース技術とは関係がないか (A、B、C、D)、Databricks Lakehouse Platform の利点ではありません (A、B)。参照: Databricks ドキュメント - オープンソースに基づいて構築、Databricks ドキュメント - Lakehouse Platform とは?、Databricks ブログ - Databricks Lakehouse Platform の紹介。

説明
多数のユーザーが同時にSQLエンドポイントで小さなクエリを実行すると、データベースに過負荷がかかり、クエリの実行速度が低下する可能性があります。SQLエンドポイントのクラスタサイズを大きくすることで、データベースはより多くの同時クエリを処理できるようになり、クエリの実行速度が向上します。

SQL Serverless Warehouse は、運用とコストのオーバーヘッドを最小限に抑えながら、SQL ベースの探索的データ分析を大規模に実行するための最適なオプションです。サーバーレス SQL ウェアハウスは Databricks によって完全に管理されるため、Databricks はコンピューティング リソースを自動的にプロビジョニングおよびスケーリングし、Photon アクセラレーションを適用し、ユーザーがインフラストラクチャを管理する必要なくクエリ実行を最適化します。これにより、EDA でよく発生する、多数のアドホックまたは対話型 SQL クエリを含むワークロードに最適です。データはカスタム定義されたクラウド ネットワークに存在するため、Unity Catalog とネットワーク要件が満たされていれば、サーバーレス SQL ウェアハウスは管理対象データに安全にアクセスできます。汎用クラスタ (オプション A) は、コスト効率の高い高同時実行 SQL クエリではなく、共同開発と混合ワークロード向けに設計されています。従来の SQL ウェアハウス (オプション D) はレガシーであり、新しいサーバーレス製品のようなパフォーマンスとコストの最適化がありません。Pro SQL ウェアハウス (オプション B) では、ユーザーがサイジングの決定を行う必要がありますが、サーバーレス ウェアハウスはパフォーマンスとコストの両方を自動的に最適化します。 Databricksのドキュメントでは、高速で拡張性が高く、コスト効率の良いSQL分析を実現するには、SQLサーバーレスウェアハウスを推奨しています。

Delta Lake の OPTIMIZE コマンドは、小さなファイルを大きなファイルに圧縮することで、クエリのパフォーマンスを向上させ、ファイルシステムのオーバーヘッドを削減するように設計されています。重要な点として、OPTIMIZE は変更されていないデータに対して実行された場合、冪等な操作とみなされます。つまり、ファイルが最適に圧縮された後は、テーブルに新しい小さなファイルが追加されない限り、OPTIMIZE を再度実行しても追加の変更は発生しません。
Databricks は、効率的なファイル圧縮と不要な書き換えの回避を保証し、コンピューティング コストの抑制と安定したパフォーマンスの維持に役立ちます。ZORDER などの機能は OPTIMIZE 中に適用してデータ スキップを改善できますが、新しいデータなしで同じコマンドを再実行しても、ファイルの再編成は行われません。オプション A、B、C は、繰り返し実行時に追加の再構築や変更が行われることを誤って示唆しています。Delta Lake のベスト プラクティスによれば、OPTIMIZE は変更されていないデータセットに対して繰り返し実行するのではなく、データ取り込みイベントの後に定期的に実行する必要があります。この動作により、Databricks 環境における予測可能なパフォーマンスと効率的なリソース利用が強化されます。

Databricksのアセットバンドルを使用すると、ワークフローをバージョン管理付きでパッケージ化できるため、統合テストや本番環境へのデプロイが可能になり、外部のジョブスケジューラによるオーケストレーションもサポートされます。