説明
グラフィカル ユーザー インターフェイス、アプリケーション、テーブルの説明が自動的に生成される

ボックス 1: {日付}/product.csv
2 番目の展示では、場所: refdata / 2020-03-20 をご覧ください。
注: パス パターン: これは、指定されたコンテナー内で BLOB を見つけるために使用される必須のプロパティです。
パス内で、次の 2 つの変数の 1 つ以上のインスタンスを指定することを選択できます。
{日付時刻}
例 1: products/{date}/{time}/product-list.csv
例 2: products/{date}/product-list.csv
例 3: 製品リスト.csv
ボックス 2: YYYY-MM-DD
注: 日付形式 [オプション]: 指定したパス パターン内で {date} を使用した場合は、サポートされている形式のドロップダウンから BLOB を構成する日付形式を選択できます。
例: YYYY/MM/DD、MM/DD/YYYY など。
参照：
https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-use-reference-data

トピック 1、Litware, Inc.
ケーススタディを開始するには
このケーススタディの最初の質問を表示するには、「次へ」ボタンをクリックします。質問に答える前に、左側のペインのボタンを使用してケーススタディの内容を調べてください。これらのボタンをクリックすると、ビジネス要件、既存の環境、問題の説明などの情報が表示されます。ケーススタディに [すべての情報] タブがある場合、表示される情報は後続のタブに表示される情報と同じであることに注意してください。質問に答える準備ができたら、「質問」ボタンをクリックして質問に戻ります。
概要
Litware, Inc. は、全米で 300 のコンビニエンス ストアを所有および運営しています。同社は、さまざまな包装食品や飲料のほか、サンドイッチやピザなどのさまざまな調理済み食品を販売しています。
Litware にはロイヤルティ クラブがあり、会員はチェックアウト時に会員番号を入力することで、特定の商品の毎日の割引を受けることができます。
Litware では、Microsoft Power BI を使用したデータ分析を好むビジネス アナリストと、Azure Databricks ノートブックでのデータ分析を好むデータ サイエンティストを雇用しています。
要件
ビジネス目標
Litware は、次の要件を満たすために、Azure に新しい分析環境を作成したいと考えています。
店舗全体の在庫レベルを確認します。データはできる限りリアルタイムに近い状態で更新する必要があります。
履歴データに対してアドホック分析クエリを実行して、ロイヤルティ クラブの割引が割引製品の売上を増加させるかどうかを特定します。
販売データの過去の需要に基づいて、製造する調理済み食品の数を 4 時間ごとに店舗従業員に通知します。
技術的要件
Litware では、次の技術要件を特定しています。
ビジネス目標を達成するために必要なさまざまな Azure サービスの数を最小限に抑えます。
可能な限りサービスとしてのプラットフォーム (PaaS) サービスを使用し、Litware で管理する必要がある仮想マシンをプロビジョニングする必要を回避します。
分析データ ストアには、企業のオンプレミス ネットワークと Azure サービスのみがアクセスできるようにしてください。
可能な限り Azure Active Directory (Azure AD) 認証を使用してください。
セキュリティを設計するときは、最小特権の原則を使用します。
データを分析データ ストアに読み込む前に、Azure Data Lake Storage Gen2 でインベントリ データをステージングします。Litware は、一時データが使用されなくなったら Data Lake Storage から削除したいと考えています。変更日が 14 日より古いファイルは削除する必要があります。
この種のデータは分析に関連しないため、ビジネス アナリストによる電話番号などの顧客連絡先情報へのアクセスを制限します。
破損または誤って削除された場合に、分析データ ストアのコピーを 1 時間以内に迅速に復元できることを確認します。
計画された環境
Litware は次の環境を実装する予定です。
アプリケーション開発チームは、店舗番号、日付、時刻、製品 ID、顧客ロイヤルティ番号、価格、割引額などのリアルタイム販売データを販売時点管理 (POS) システムと出力から受信するための Azure イベント ハブを作成します。データを Azure のデータ ストレージに保存します。
名前、連絡先情報、ロイヤルティ番号などの顧客データは、SaaS アプリケーションである Salesforce から取得され、8 時間ごとに Azure にインポートできます。行の変更日はソーステーブルでは信頼されません。
製品 ID、名前、カテゴリなどの製品データは Salesforce から取得され、8 時間ごとに Azure にインポートできます。行の変更日はソーステーブルでは信頼されません。
毎日のインベントリ データは、プライベート ネットワーク上にある Microsoft SQL サーバーから取得されます。
Litware には現在、5 TB の過去の販売データと 100 GB の顧客データがあります。同社は、今後 1 年間に毎月約 100 GB の新しいデータが発生すると予想しています。
Litware は、FoodPrep という名前のカスタム アプリケーションを構築し、店舗従業員に 4 時間ごとに調理済み食品の数を生産する計算結果を提供します。
Litware は、オンプレミス ネットワークと Azure の間に Azure ExpressRoute または VPN を実装する予定はありません。

参照：
https://www.datanami.com/2018/05/16/big-data-file-formats-demystified

派生列変換を使用して、データ フロー内に新しい列を生成したり、既存のフィールドを変更したりできます。
参照：
https://docs.microsoft.com/en-us/azure/data-factory/data-flow-derived-column