Delta Lake は、Databricks レイクハウスにデータとテーブルを保存するための基盤となる、最適化されたストレージ レイヤーです。Delta Lake は、ACID トランザクションとスケーラブルなメタデータ処理のためのファイルベースのトランザクション ログを使用して Parquet データ ファイルを拡張するオープン ソース ソフトウェアです1。Delta Lake は、AWS S3 や Azure Data Lake Storage2 などのクラウド ストレージ システム上のディレクトリ内のファイル コレクションにデータとメタデータを保存します。各 Delta テーブルには、挿入、更新、削除、マージなど、テーブルに対して実行された操作の履歴を記録するトランザクション ログがあります。トランザクション ログには、テーブルのスキーマとパーティション情報も保存されます2。トランザクション ログにより、Delta Lake は ACID 保証、タイム トラベル、スキーマの適用などの機能を提供できます1。参考資料:
* Delta Lakeとは？ | AWS上のDatabricks
* クイックスタート - Delta Lake ドキュメント

MERGEコマンドを使用すると、ソーステーブル、ビュー、またはDataFrameからターゲットDeltaテーブルにデータをアップサートできます。既存のレコードの一致と更新、および一致が見つからない場合に新しいレコードを挿入するための条件を指定できます。これにより、Deltaテーブルに重複レコードが書き込まれるのを防ぐことができます1。他のコマンド（DROP、IGNORE、APPEND、INSERT）にはこの機能がなく、重複レコードやデータ損失が発生する可能性があります234。参考資料：1：マージを使用したDelta Lakeテーブルへのアップサート | AWS上のDatabricks 2：SQL DELETE | AWS上のDatabricks 3：SQL INSERT INTO | AWS上のDatabricks 4：SQL UPDATE | AWS上のDatabricks

MERGE INTO コマンドは、ソース テーブルに基づいてターゲット Delta テーブル 1 に挿入と更新を組み合わせたアップサートを実行するために使用されます。MERGE INTO コマンドは、ターゲット テーブルに重複レコードを含めることができないシナリオ (ターゲット テーブルに主キーまたは一意制約がある場合など) を処理できます。MERGE INTO コマンドは、マージ条件に基づいてソース行とターゲット行を一致させ、行が一致するかどうかに応じて異なるアクションを実行できます。たとえば、MERGE INTO コマンドは、既存のターゲット行を新しいソース値で更新したり、ターゲット テーブルに存在しない新しいソース行を挿入したり、ソース テーブル 1 に存在しないターゲット行を削除したりできます。
INSERT INTO コマンドは、既存のテーブルに新しい行を追加したり、クエリ結果から新しいテーブルを作成したりするために使用されます2。INSERT INTO コマンドは、既存のターゲット テーブルの行に対して更新や削除は実行しません。INSERT INTO コマンドは、データをあるテーブルから別のテーブルに移動する必要がある場合や、データを特定の列でパーティション分割する必要がある場合など、データの場所を変更する必要があるシナリオを処理できます2。また、INSERT INTO コマンドは、データが Amazon S3 や Azure Blob Storage などの外部ストレージ システムに格納されている場合など、ターゲット テーブルが外部テーブルであるシナリオも処理できます3。INSERT INTO コマンドは、ソース テーブルが一時テーブルまたはビューである場合など、ソース テーブルを削除できるシナリオも処理できます4。INSERT INTO コマンドは、ソースが Parquet、CSV、JSON、または Avro ファイルである場合など、ソースが Delta テーブルではないシナリオも処理できます5。
参照：
1: MERGE INTO | AWS 上の Databricks
2: [INSERT INTO | AWS 上の Databricks]
3: [外部テーブル | AWS 上の Databricks]
4: [一時ビュー | AWS 上の Databricks]
5: [データソース | AWS 上の Databricks]

説明
SQLキーワードPIVOTを使用すると、表を長い形式から広い形式に変換できます。長い形式の表では、変数ごとに1列、観測値ごとに1行が設定されます。広い形式の表では、変数と値の組み合わせごとに1列、観測値ごとに1行が設定されます。PIVOTを使用すると、ピボットする値を含む列、ピボットするカテゴリを含む列、および値に適用する集計関数を指定できます。例えば、次のクエリは、売上データの長い形式の表を、製品ごとの列と売上合計を含む広い形式の表に変換します。
選択*
販売から
ピボット（
SUM(売上金額) FOR 商品 IN ('A', 'B', 'C')
）
参考資料: この情報は、SQL: PIVOT に関する Databricks ドキュメントから参照できます。
https://files.training.databricks.com/assessments/practice-exams/PracticeExam-DataEngineerAssociate.pdf
https://community.databricks.com/t5/data-engineering/practice-exams-for-databricks-certified-data-engineer/td-p

説明
Spark SQLの配列関数は、主に配列や、JSONファイルの取り込み時によく見られるような複雑なネストされたデータ構造を扱うために使用されます。これらの関数を使用すると、データ内のネストされた配列や構造を操作およびクエリできるため、複雑なデータ形式から特定の要素や値を抽出して操作することが容易になります。その他のオプション（異なるデータ型を扱うためのオプションAなど）はSpark SQLまたはSQL全般の機能ですが、配列関数は特にJSONファイルに見られるような複雑なネストされたデータ構造の処理に優れています。