参照：
https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-sql-data-warehouse#use-polybase-to-load-data-into-azure-sql-data-warehouse

説明
ハッシュ分散テーブルは、大規模なファクト テーブルでのクエリ パフォーマンスを向上させます。これがこの記事の焦点です。
ラウンドロビン テーブルは、読み込み速度を向上させるのに役立ちます。
参照：
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-tables-distribu

参照：
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-overview-what-is
トピック 2、Litware, Inc.
要件
ビジネス目標
Litware は、次の要件を満たすために、Azure に新しい分析環境を作成したいと考えています。
店舗全体の在庫レベルを確認します。データはできる限りリアルタイムに近い状態で更新する必要があります。
履歴データに対してアドホック分析クエリを実行して、ロイヤルティ クラブの割引が割引製品の売上を増加させるかどうかを特定します。
販売データの過去の需要に基づいて、製造する調理済み食品の数を 4 時間ごとに店舗従業員に通知します。
技術的要件
Litware は次の技術要件を特定します。
ビジネス目標を達成するために必要なさまざまな Azure サービスの数を最小限に抑えます。
可能な限りサービスとしてのプラットフォーム (PaaS) サービスを使用し、Litware で管理する必要がある仮想マシンをプロビジョニングする必要を回避します。
分析データ ストアには、企業のオンプレミス ネットワークと Azure サービスのみがアクセスできるようにしてください。
可能な限り Azure Active Directory (Azure AD) 認証を使用してください。
セキュリティを設計するときは、最小特権の原則を使用します。
データを分析データ ストアに読み込む前に、Azure Data Lake Storage Gen2 でインベントリ データをステージングします。Litware は、一時データが使用されなくなったら Data Lake Storage から削除したいと考えています。変更日が 14 日より古いファイルは削除する必要があります。
この種のデータは分析に関連しないため、ビジネス アナリストによる電話番号などの顧客連絡先情報へのアクセスを制限します。
破損または誤って削除された場合に、分析データ ストアのコピーを 1 時間以内に迅速に復元できることを確認します。
計画された環境
Litware は次の環境を実装する予定です。
アプリケーション開発チームは、店舗番号、日付、時刻、製品 ID、顧客ロイヤルティ番号、価格、割引額などのリアルタイム販売データを販売時点管理 (POS) システムと出力から受信するための Azure イベント ハブを作成します。データを Azure のデータ ストレージに保存します。
名前、連絡先情報、ロイヤルティ番号などの顧客データは、SaaS アプリケーションである Salesforce から取得され、8 時間ごとに Azure にインポートできます。行の変更日はソーステーブルでは信頼されません。
製品 ID、名前、カテゴリなどの製品データは Salesforce から取得され、8 時間ごとに Azure にインポートできます。行の変更日はソーステーブルでは信頼されません。
毎日のインベントリ データは、プライベート ネットワーク上にある Microsoft SQL サーバーから取得されます。
Litware には現在、5 TB の過去の販売データと 100 GB の顧客データがあります。同社は、今後 1 年間に毎月約 100 GB の新しいデータが発生すると予想しています。
Litware は、FoodPrep という名前のカスタム アプリケーションを構築し、店舗従業員に 4 時間ごとに調理済みの食品をいくつ生産するかの計算結果を提供します。
Litware は、オンプレミス ネットワークと Azure の間に Azure ExpressRoute または VPN を実装する予定はありません。

参照：
https://azure.microsoft.com/en-in/blog/maximize-throughput-with-repartitioning-in-azure-stream-analytics/

1. Z-Ordering: Z-Ordering は、同じ列値を共有するデータを同じ物理パーティションに配置することでクエリのパフォーマンスを向上させます。これにより、クエリの実行中にノード間でデータをシャッフルする必要性が軽減されます。Z オーダーを使用すると、テーブル全体のスキャンを回避し、処理されるデータ量を減らすことができます。
2. Apache Spark キャッシュ: データをメモリにキャッシュすると、ディスクから読み取られるデータの量が減り、クエリのパフォーマンスが向上します。これは、同じデータにアクセスする必要がある後続のクエリを高速化するのに役立ちます。テーブルをキャッシュすると、データがデータ ソースから読み取られてメモリに保存されます。後続のクエリではメモリからデータを読み取ることができるため、ディスクから読み取るよりもはるかに高速です。
Explanation:
Web で見つけた情報によると、パーティション化されていないテーブルでのクエリと結合の実行にかかる時間を最小限に抑えるために、ソリューションに含める必要がある 2 つのオプションは次のとおりです。
Z オーダー: これは、関連する情報を同じファイル セットに同じ場所に配置する手法です。この共局性は、Delta Lake のデータスキップ アルゴリズムで自動的に使用されます。この動作により、Azure Databricks 上の Delta Lake が読み取る必要があるデータの量が大幅に削減されます123。
Apache Spark キャッシュ: これは、アクセスを高速化するためにデータをメモリまたはディスクにキャッシュできる機能です。キャッシュにより、同じデータに対する繰り返しのクエリと結合のパフォーマンスが向上します。CACHE TABLE または CACHE LAZY コマンドを使用して、デルタ テーブルをキャッシュできます。
Azure Databricks の Delta Lake で、パーティション化されていないテーブルに対するクエリとパーティション化されていない列の結合を実行するのにかかる時間を最小限に抑えるには、ソリューションに次のオプションを含める必要があります。
参照：
Databricks のデルタ レイク: https://docs.databricks.com/delta/index.html
Databricks 上の Delta Lake のベスト プラクティス: https://databricks.com/blog/2020/05/14/best-practices-for-delta-lake-on-databricks.html