説明
Web で見つけた情報によると、パーティション化されていないテーブルでのクエリと結合の実行にかかる時間を最小限に抑えるために、ソリューションに含める必要がある 2 つのオプションは次のとおりです。
* Z オーダー: これは、関連する情報を同じファイル セット内に配置する手法です。この共局性は、Delta Lake のデータスキップ アルゴリズムで自動的に使用されます。この動作により、
* Azure Databricks 上の Delta Lake が読み取る必要があるデータの量123。
* Apache Spark キャッシュ: これは、アクセスを高速化するためにデータをメモリまたはディスクにキャッシュできる機能です。キャッシュにより、同じデータに対する繰り返しのクエリと結合のパフォーマンスが向上します。CACHE TABLE または CACHE LAZY コマンドを使用して、デルタ テーブルをキャッシュできます。
Azure Databricks の Delta Lake で、パーティション化されていないテーブルに対するクエリとパーティション化されていない列の結合を実行するのにかかる時間を最小限に抑えるには、ソリューションに次のオプションを含める必要があります。
A: Z-Ordering: Z-Ordering は、同じ物理パーティション内で同じ列値を共有するデータを同じ場所に配置することにより、クエリのパフォーマンスを向上させます。これにより、クエリの実行中にノード間でデータをシャッフルする必要性が軽減されます。Z オーダーを使用すると、テーブル全体のスキャンを回避し、処理されるデータ量を減らすことができます。
B: Apache Spark キャッシュ: データをメモリにキャッシュすると、ディスクから読み取られるデータの量が減り、クエリのパフォーマンスが向上します。これは、同じデータにアクセスする必要がある後続のクエリを高速化するのに役立ちます。テーブルをキャッシュすると、データがデータ ソースから読み取られてメモリに保存されます。後続のクエリではメモリからデータを読み取ることができるため、ディスクから読み取るよりもはるかに高速です。
参考文献:
* Databricks のデルタ レイク: https://docs.databricks.com/delta/index.html
* デルタ湖のベストプラクティス
Databricks: https://databricks.com/blog/2020/05/14/best-practices-for-delta-lake-on-databricks.html

説明

ボックス 1: パーティション別
パーティションレベルで上書きする必要があります。
例：
df.write.partitionBy("y","m","d")
モード(SaveMode.Append)
parquet("/data/hive/warehouse/db_name.db/" + tableName)
ボックス 2: ("ストア ID"、"年"、"月"、"日"、"時間"、"ストア ID")
ボックス 3: 寄木細工("/購入")
参照：
https://intellipaat.com/community/11744/how-to-partition-and-write-dataframe-in-spark-without-deleting-partitio

Azure Data Factory では、継続的インテグレーションとデリバリー (CI/CD) とは、Data Factory パイプラインをある環境 (開発、テスト、運用) から別の環境に移動することを意味します。
注記：
以下は、複数の環境へのデータ ファクトリのデプロイを自動化する Azure Pipelines リリースをセットアップするためのガイドです。
Azure DevOps で、データ ファクトリで構成されているプロジェクトを開きます。
ページの左側で、「パイプライン」を選択し、「リリース」を選択します。
[新しいパイプライン] を選択するか、既存のパイプラインがある場合は、[新規]、[新しいリリース パイプライン] の順に選択します。
[ステージ名] ボックスに環境の名前を入力します。
[アーティファクトの追加] を選択し、開発データ ファクトリで構成された git リポジトリを選択します。デフォルト ブランチとしてリポジトリのパブリッシュ ブランチを選択します。デフォルトでは、このパブリッシュ ブランチは adf_publish です。
空のジョブ テンプレートを選択します。
参照：
https://docs.microsoft.com/en-us/azure/data-factory/continuous-integration-deployment

説明

ボックス 1: コピー方法を PolyBase に設定します。
SQL プールは、BCP や SQL BulkCopy API などの非 Polybase オプションを含む多くの読み込み方法をサポートしていますが、データを読み込む最も高速でスケーラブルな方法は PolyBase を使用することです。PolyBase は、T-SQL 言語を介して Azure Blob Storage または Azure Data Lake Store に保存されている外部データにアクセスするテクノロジです。
ボックス 2: コピー方法を一括挿入に設定します。
Polybase はテキスト ファイルには使用できません。一括挿入を使用する必要があります。
参照：
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/load-data-overview