cron構文は、複雑な実行スケジュールをプログラムで表現して送信するために使用できるツールです。cron構文は、ジョブ実行の頻度、日時を指定する6つのフィールドからなる文字列です。たとえば、cron式「0 0 12 * * ?」は、毎日午後12時にジョブを実行することを意味します。データエンジニアは、Databricks REST APIを使用して、cronスケジュールでジョブを作成または更新できます。また、Databricks CLIを使用して、cron式を含むJSONファイルを使用することで、cronスケジュールでジョブを作成または更新することもできます。その他のツールは、複雑な実行スケジュールをプログラムで表現して送信するには無効であるか、適していません。参考資料: ジョブのスケジュール設定、ジョブAPI、Databricks CLI、cron式

Delta Lakeは、Databricksレイクハウスにデータとテーブルを保存するための基盤となる、最適化されたストレージレイヤーです。Delta LakeはApache Spark APIと完全に互換性があり、Structured Streamingとの緊密な統合のために開発されているため、バッチ処理とストリーミング処理の両方で単一のデータコピーを簡単に使用でき、大規模な増分処理を実現できます1。Delta Lakeは、マージ操作を使用したアップサートをサポートしており、既存のデータを効率的に更新したり、Deltaテーブルに新しいデータを挿入したりできます2。また、Delta Lakeはタイムトラベル機能も提供しており、以前のバージョンのデータをクエリしたり、特定の時点にロールバックしたりできます3。参考資料：1：Delta Lakeとは？ | Databricks on AWS 2：マージを使用したテーブルへのアップサート | Databricks on AWS 3：[テーブルの古いスナップショットをクエリする（タイムトラベル） | Databricks on AWS] 詳細はこちら
1ブロブ:https://www.bing.com/a746b4b4-48d0-4f44-9736-44d1ce0c4228
learn.microsoft.com2blob:https://www.bing.com/525fbb0f-e02f-4a70-8085-22c065fe0ca0 medium.com3blob:https://www.bing.com/5cb5bd07-1008-4cf7-9fa3-42a5a689c7d5 slideshare.net4blob:https://www.bing.com/9a7e8352-30c1-4356-a73f-a7253b607ef7 docs.databricks.com5blob:https://www.bing.com/3f65cc27-d573-4810-b272-01238a431c03 github.com6blob:https://www.bing.com/334f6880-dfeb-4e61-bd9a-76efae0a2d01 key2consulting.com

processingTime オプションは、固定間隔のマイクロバッチの時間ベースのトリガー間隔を指定します。これは、利用可能なデータ量に関係なく、クエリが5秒ごとにマイクロバッチを実行してデータを処理します。このオプションは、低レイテンシと一貫した処理頻度が求められる、ほぼリアルタイムの処理ワークロードに適しています。その他のオプションは、無効な構文 (A、C)、デフォルトの動作 (B)、または試験的な機能 (E) のいずれかです。参考資料: Databricks ドキュメント - Structured Streaming のトリガー間隔の構成、Databricks ドキュメント - トリガー。

Delta Lakeテーブルは、基盤となるストレージフォーマットとしてParquet形式を採用しています。Delta Lakeは、テーブル上で実行されたすべての操作を追跡するトランザクションログを追加することでParquetを強化しています。これにより、ACIDトランザクション、スケーラブルなメタデータ処理、スキーマ適用などの機能が可能になり、Databricksのような環境におけるビッグデータの処理と管理に最適な選択肢となっています。
参照：
Delta Lake に関する Databricks ドキュメント: Delta Lake の概要

Databricks Repos は、Databricks のビジュアル Git クライアントおよび API であり、複製、コミット、プッシュ、プル、ブランチ管理などの一般的な Git 操作をサポートします。Databricks Notebooks のバージョン管理は、ユーザーがノートブックを GitHub リポジトリにリンクして基本的な Git 操作を実行できるようにするレガシ機能です。ただし、Databricks Notebooks のバージョン管理では、開発作業で複数のブランチを使用することはできません。これは、Databricks Repos を使用する利点です。Databricks Repos を使用すると、ユーザーはさまざまな機能、実験、またはバグ修正のブランチを作成および管理し、それらの間の競合をマージ、リベース、または解決できます。Databricks では、ノートブックごとに個別のブランチを使用し、バージョン管理、コラボレーション、および CI/CD に Git を使用したデータ サイエンスおよびエンジニアリング コード開発のベスト プラクティスに従うことをお勧めします。参照: Git と Databricks Repos の統合 - Azure Databricks | Microsoft Learn、ノートブックの Git バージョン管理 (レガシ) | AWS 上の Databricks、Databricks Repos が一般公開されました - ... の新しい「ファイル」機能、Databricks Repos とは何か、どのように使用できるか | Adatis。