Auto Loader は、クラウド ストレージに到着した新しいデータ ファイルを追加の設定なしで処理できる、cloudFiles と呼ばれる構造化ストリーミング ソースを提供します。Auto Loader は、スケーラブルなキーバリュー ストアを使用して取り込みの進行状況を追跡し、厳密に 1 回のみのセマンティクスを保証します。Auto Loader は、さまざまなファイル形式を取り込み、Delta Lake テーブルにロードできます。Auto Loader は、構造化ストリーミングの機能を拡張し、宣言的な Python または SQL コードを記述して本番環境レベルのデータ パイプラインをデプロイできる Delta Live Tables を使用した増分データ取り込みに推奨されます。参考資料: Auto Loader とは?、Auto Loader とは? | Databricks on AWS、解決済み: Auto Loader はどのようにデータを取り込みますか? - Databricks - 5629

Delta Lake は、Databricks Lakehouse にデータとテーブルを保存するための基盤を提供する最適化されたストレージ レイヤーです。Delta Lake は、Parquet データ ファイルを拡張し、ACID トランザクションとスケーラブルなメタデータ処理のためのファイル ベースのトランザクション ログを備えたオープンソース ソフトウェアです 1。Delta Lake は、AWS S3 や Azure Data Lake Storage などのクラウド ストレージ システム上のディレクトリ内のファイルのコレクションにデータとメタデータを保存します 2。各 Delta テーブルには、挿入、更新、削除、マージなど、テーブルに対して実行された操作の履歴を記録するトランザクション ログがあります。トランザクション ログには、テーブルのスキーマとパーティショニング情報も保存されます 2。トランザクション ログにより、Delta Lake は ACID 保証、タイム トラベル、スキーマの強制、およびその他の機能を提供できます 1。参考文献:
* Delta Lakeとは？ | Databricks on AWS
* クイックスタート - Delta Lake ドキュメント

オプションAが正解です。なぜなら、FILTER高階関数を正しく使用して、配列列「employees」から経験年数が5年を超える従業員を除外しているからです。このオプションでは、ラムダ関数 i -> i.years_exp > 5 を適用し、配列内の各従業員の経験年数が5年より大きいかどうかをチェックします。この条件が満たされた場合、その従業員は新しい配列列「exp_employees」に追加されます。

Lakehouse Federationを使用すると、DatabricksはMySQL、Redshift、BigQueryなどの外部データソースを、データの移動や重複なしにクエリできると同時に、Unity Catalogを通じて一元的なガバナンスを維持できます。