Spark SQL の配列関数は、配列 columns1 を操作するコレクション関数のサブセットです。これらは、JSON ファイルまたは他のソースから取り込まれた複雑なネストされたデータを操作する機能を提供します2。たとえば、explode 関数を使用すると、配列の列を、配列内の要素ごとに 1 つずつ複数の行に変換できます3。array_contains 関数を使用すると、配列 column4 に値が存在するかどうかを確認できます。array_join 関数を使用すると、配列列のすべての要素を区切り文字で連結できます。これらの関数は、入れ子になった配列またはオブジェクトを含む JSON データを処理する場合に役立ちます。参考資料: 1: Spark SQL、組み込み関数 - Apache Spark 2: Spark SQL 配列関数の完全なリスト - Spark By Examples 3: Spark SQL 配列関数 - 構文と例 - DWgeek.com 4: Spark SQL、組み込み関数 - Apache Spark : Spark SQL、組み込み関数 - Apache Spark : [Databricks 上の SQL で高階関数を使用してネストされたデータを操作する - Databricks ブログ]

ブロンズ テーブルは、湖畔のデータを整理するために使用されるデータ設計パターンであるメダリオン アーキテクチャの最初の層です。Bronze テーブルには、RDBMS データ、JSON ファイル、IoT データなど、さまざまなソースから取り込まれた生データが含まれています。このレイヤーのテーブル構造は、ソース システムのテーブル構造に対応します。
「現状のまま」、およびロード日時、プロセス ID などをキャプチャする追加のメタデータ列。このレイヤーの生データに適用される唯一の変換は、列名とデータ型を定義するスキーマを適用することです。テーブルの。スキーマはデータ ソースから推測することも、明示的に指定することもできます。生データにスキーマを適用すると、SQL やその他の構造化クエリ言語を使用してデータにアクセスし、分析できるようになります。したがって、選択肢 E が正解です。参考資料: メダリオン アーキテクチャとは、Azure Synapse Mapping Data Flow を使用した Delta Lake Bronze テーブルへの生データの取り込み、Apache Spark + Delta Lake の概念、Delta Lake アーキテクチャと Azure Databricks ワークスペース。