Databricksのドキュメントによると、変更データフィード（CDF）を使用すると、パイプラインはデルタテーブルから挿入、更新、削除などの増分データ変更を読み取ることができます。ソーステーブルで削除が発生した場合、CDFストリームを読み取ることで、ダウンストリームのコンシューマーが削除レコードを確実に受信できます。Lakeflow Declarative Pipelines APIは、apply_changes()関数（またはauto-CDCパイプライン）にapply_as_deletesパラメータを提供し、これらの削除をターゲットテーブルに正しく適用します。これにより、ブロンズレイヤーとシルバーレイヤー間の自動同期が可能になります。オプションAとDは、手動処理または完全な再構築が必要であり、CはソースではなくターゲットにCDFを誤って適用します。したがって、ブロンズテーブルでCDFを有効にし、apply_as_deletes=Trueを使用することが、Databricksがサポートする正しい構成です。

クエリプロファイルの「上位演算子」パネルには、クエリ実行において最も負荷の高い演算子が表示されるため、非効率な結合戦略、不適切なデータスキップ、過剰なシャッフルといったボトルネックを直接特定できます。このネイティブな視覚化機能により、時間とリソースがどこで消費されているかが明確になり、実行速度の遅いクエリの根本原因を正確に分析することが可能になります。

ビューを作成することは、フィールド名の標準化や部門間での選択的なフィールド共有といったニーズに対応できるシンプルな解決策です。ビューを使用すると、基となるデータを重複させることなく、変換されたバージョンを表示できます。このシナリオでは、ビューには営業チーム向けに承認されたフィールドのみが含まれ、フィールド名は営業チームの命名規則に従って変更されます。

これは正解です。Databricksには「自動最適化」という機能があり、小さなファイルを大きなファイルに結合し、各ファイル内のデータを指定された列でソートすることで、Delta Lakeテーブルのレイアウトを自動的に最適化します。ただし、自動最適化はファイルサイズとマージパフォーマンスのトレードオフも考慮し、特に既存のレコードを頻繁に更新するストリーミングワークロードの場合、マージ操作の所要時間を短縮するために、より小さなターゲットファイルサイズを選択する場合があります。したがって、ストリーミング本番ジョブの特性に基づいて、自動最適化がより小さなターゲットファイルサイズに自動調整された可能性があります。

Databricks CLI コマンド `databricks secrets put-secret <scope> <key>` は、API アクセス トークンなどの機密値をシークレット スコープに安全に保存するために使用されます。保存されたシークレットは、実行時に `dbutils.secrets.get(scope, key)` を使用して取得できるため、認証情報がハードコーディングされることなく保護されます。