行変更変換を使用すると、式に基づいて行の挿入、更新、削除、更新/挿入ポリシーを指定できます。行変更変換を使用すると、キー列を照合し、適切な行ポリシーを設定することで、シンク テーブルで更新/挿入を実行できます。

参照：
https://docs.microsoft.com/en-us/sql/t-sql/statements/create-partition-function-transact-sql?view=sql-server-ver15

トピック 2、Litware, Inc.
要件
ビジネス目標
Litware は、次の要件を満たすために、Azure に新しい分析環境を作成したいと考えています。
店舗全体の在庫レベルを確認します。データはできる限りリアルタイムに近い状態で更新する必要があります。
履歴データに対してアドホック分析クエリを実行して、ロイヤルティ クラブの割引が割引製品の売上を増加させるかどうかを特定します。
販売データの過去の需要に基づいて、製造する調理済み食品の数を 4 時間ごとに店舗従業員に通知します。
技術的要件
Litware では、次の技術要件を特定しています。
ビジネス目標を達成するために必要なさまざまな Azure サービスの数を最小限に抑えます。
可能な限りサービスとしてのプラットフォーム (PaaS) サービスを使用し、Litware で管理する必要がある仮想マシンをプロビジョニングする必要を回避します。
分析データ ストアには、企業のオンプレミス ネットワークと Azure サービスのみがアクセスできるようにしてください。
可能な限り Azure Active Directory (Azure AD) 認証を使用してください。
セキュリティを設計するときは、最小特権の原則を使用します。
データを分析データ ストアに読み込む前に、Azure Data Lake Storage Gen2 でインベントリ データをステージングします。Litware は、一時データが使用されなくなったら Data Lake Storage から削除したいと考えています。変更日が 14 日より古いファイルは削除する必要があります。
この種のデータは分析に関連しないため、ビジネス アナリストによる電話番号などの顧客連絡先情報へのアクセスを制限します。
破損または誤って削除された場合に、分析データ ストアのコピーを 1 時間以内に迅速に復元できることを確認します。
計画された環境
Litware は次の環境を実装する予定です。
アプリケーション開発チームは、店舗番号、日付、時刻、製品 ID、顧客ロイヤルティ番号、価格、割引額などのリアルタイム販売データを販売時点管理 (POS) システムと出力から受信するための Azure イベント ハブを作成します。データを Azure のデータ ストレージに保存します。
名前、連絡先情報、ロイヤルティ番号などの顧客データは、SaaS アプリケーションである Salesforce から取得され、8 時間ごとに Azure にインポートできます。行の変更日はソーステーブルでは信頼されません。
製品 ID、名前、カテゴリなどの製品データは Salesforce から取得され、8 時間ごとに Azure にインポートできます。行の変更日はソーステーブルでは信頼されません。
毎日のインベントリ データは、プライベート ネットワーク上にある Microsoft SQL サーバーから取得されます。
Litware には現在、5 TB の過去の販売データと 100 GB の顧客データがあります。同社は、今後 1 年間に毎月約 100 GB の新しいデータが発生すると予想しています。
Litware は、FoodPrep という名前のカスタム アプリケーションを構築し、店舗従業員に 4 時間ごとに調理済み食品の数を生産する計算結果を提供します。
Litware は、オンプレミス ネットワークと Azure の間に Azure ExpressRoute または VPN を実装する予定はありません。

説明

ボックス 1: パーティション別
パーティションレベルで上書きする必要があります。
例：
df.write.partitionBy("y","m","d")
モード(SaveMode.Append)
parquet("/data/hive/warehouse/db_name.db/" + tableName)
ボックス 2: ("ストア ID"、"年"、"月"、"日"、"時間"、"ストア ID")
ボックス 3: 寄木細工("/購入")
参照：
https://intellipaat.com/community/11744/how-to-partition-and-write-dataframe-in-spark-without-deleting-partitio