技術要件には以下のことが規定されている。
他のデータパイプラインを呼び出すデータパイプラインを使用する理由とは？
子パイプラインの逐次実行。
- エラー処理機能により、エラー発生時にメール通知を送信します。
- 可能な場合はタスクを並列実行する（例：ブロンズ層への同時インポート）。

売上データの問題は、データフローに増分更新を設定することで解決できます。増分更新では、新規または変更されたデータのみが処理されるため、転送されるデータ量が最小限に抑えられ、パフォーマンスが向上します。
このソリューションでは、1か月以上前のデータは変更されないと規定されているため、更新期間を1か月に設定するのが適切です。これにより、最新の1か月分のデータのみが更新されるため、不要なデータ転送が削減されます。
トピック2：コントソ社事例研究
これはケーススタディです。ケーススタディには個別の時間制限はありません。各ケースを完了するために、試験時間を自由に使うことができます。ただし、この試験には追加のケーススタディやセクションが含まれる場合があります。与えられた時間内に試験に含まれるすべての問題を完了できるよう、時間配分をしっかり行う必要があります。
ケーススタディに含まれる質問に答えるには、ケーススタディに記載されている情報を参照する必要があります。ケーススタディには、ケーススタディで説明されているシナリオに関する詳細情報を提供する図表やその他の資料が含まれている場合があります。各質問は、このケーススタディ内の他の質問とは独立しています。
このケーススタディの最後に、確認画面が表示されます。この画面では、解答を確認し、次のセクションに進む前に修正することができます。新しいセクションを開始すると、このセクションに戻ることはできません。
ケーススタディを開始するには
このケーススタディの最初の質問を表示するには、「次へ」ボタンをクリックしてください。質問に答える前に、左側のペインにあるボタンを使ってケーススタディの内容を確認してください。これらのボタンをクリックすると、ビジネス要件、既存環境、問題記述などの情報が表示されます。ケーススタディに「すべての情報」タブがある場合、そこに表示される情報は以降のタブに表示される情報と同一です。質問に答える準備ができたら、「質問」ボタンをクリックして質問に戻ってください。
概要。会社概要
Contoso, Ltd.は、Fabricへの移行によって分析プラットフォームを最新化したいと考えているオンライン小売企業です。
同社はマーケティング分析にFabricの利用を開始する予定だ。
概要。IT構造
同社のIT部門には、分析システムを活用するデータアナリストのチームとデータエンジニアのチームがいる。
データエンジニアは、データの取り込み、変換、ロードを行います。データの変換には、PythonまたはSQLを使用することを好みます。
データアナリストは、データにクエリを実行し、セマンティックモデルとレポートを作成します。彼らはPower QueryとT-SQLでクエリを作成する資格を有しています。
既存環境。構造
ContosoにはCap1という名前のF64容量があります。すべてのFabricユーザーはアイテムを作成できます。
Contosoには、現在Proライセンスモードを使用しているWorkspaceAとWorkspaceBという2つのワークスペースがあります。
既存環境。ソースシステム
Contoso社は、Fabricと同じMicrosoft Entraテナント内のAzure仮想マシン上のSQL Serverインスタンスを使用するPOS1というPOSシステムを導入しています。ホスト仮想マシンは、パブリックアクセスがブロックされたプライベート仮想ネットワーク上にあります。POS1には、同社のWebサイトで処理されたすべての販売取引データが保存されています。
同社は、MAR1という名称のSaaS（Software as a Service）型オンラインマーケティングアプリを提供しています。MAR1には7つのエンティティがあり、それぞれにメール開封率やインタラクション率、ウェブサイトのインタラクションに関するデータが含まれています。これらのデータは、REST APIを呼び出すことでMAR1からエクスポートできます。各エンティティにはそれぞれ異なるエンドポイントが割り当てられています。
ContosoはMAR1を1年間使用しています。過去のデータは、Amazon Simple Storage Service（Amazon S3）バケット内のParquetファイルに保存されています。ファイル数は12個で、サイズは300MBから900MBまで様々で、メールのやり取りに関するデータが含まれています。
既存環境。製品データ
POS1には商品リストと関連データが含まれています。データは以下の3つのテーブルから取得されます。
製品
製品カテゴリ
製品サブカテゴリ
データでは、製品は製品のサブカテゴリに関連付けられ、サブカテゴリは製品のカテゴリに関連付けられています。
既存環境。Azure
Contosoは、以下のメール有効化セキュリティグループを持つMicrosoft Entraテナントを所有しています。
データアナリスト: データアナリストが含まれています
データエンジニア：データエンジニアが含まれています
ContosoはAzureのサブスクリプションを保有しています。
同社は既存のAzure DevOps組織を有しており、Fabricに関連するリポジトリ用の新しいプロジェクトを作成する。
既存環境。ユーザーの問題点
Contoso社のマーケティング担当副社長は、さまざまな種類のメールコンテンツの効果に関する分析を必要としています。通常、データの収集と分析には手作業で1週間かかります。Contoso社はFabricを利用することで、この時間を1日未満に短縮したいと考えています。
データエンジニアリングチームはMAR1からのデータエクスポートに成功しました。しかし、一時的な接続エラーが発生し、データエクスポートが失敗しました。
要件。計画されている変更
コントソ氏は以下の2つの湖畔住宅を建設する計画だ。
Lakehouse1: ソースからの生データとクレンジング済みデータの両方を保存します
Lakehouse2: 分析クエリのために、ユーザーに次元モデルでデータを提供します。データの取り込みと変換を容易にするための追加項目が追加されます。
ContosoはFabricにおけるソースコード管理にAzure Reposを使用する予定だ。
要件。技術要件
新しい湖畔住宅は、ブロンズ、シルバー、ゴールドの3つの層を用いたメダリオン構造を採用する必要があります。シルバー層のMAR1データを入力するには、重複排除、欠損値の処理、大文字小文字の標準化など、大規模なデータクレンジング作業が必要となります。
次のレイヤーに進む前に、各レイヤーのデータが完全に入力されている必要があります。湖畔の家々のデータ入力の過程で何らかの問題が発生した場合は、データエンジニアにメールを送信してください。
データインポートは、可能な限り同時に実行する必要があります。
Amazon S3バケットからのメールデータの使用は、以下の要件を満たす必要があります。
クロスクラウドデータアクセスに伴うデータ転送コストを最小限に抑える。
湖畔の別荘に生データのコピーを保存しないようにする。
データ取り込みに関連する項目は、以下の要件を満たす必要があります。
これらのアイテムは、他のワークスペースアイテムと同様にソース管理される必要があります。
取り込まれたデータは、Lakehouse1のブロンズ層にDelta形式で格納されなければならない。
データがブロンズ層に到達する前に、ファイル形式の変更以外の変更は一切実施してはならない。
開発作業は最小限に抑え、ソースデータのインポートには組み込みの接続機能を使用する必要がある。
接続エラーが発生した場合、データ取り込みプロセスは接続を再試行する必要があります。
レイクハウス、データパイプライン、ノートブックはワークスペースAに保存する必要があります。セマンティックモデル、レポート、データフローはワークスペースBに保存する必要があります。
週に一度、デルタテーブルログから参照されなくなった古いファイルを削除する必要があります。
要件。データ変換
POS1の製品データでは、ProductIDの値は一意です。ゴールドレイヤーの製品ディメンションには、製品リストから有効な製品のみを含める必要があります。有効な製品は、IsActiveの値が1であることで識別されます。
一部の製品カテゴリおよびサブカテゴリは、どの製品にも割り当てられていません。これらは分析上関連性がないため、ゴールドレイヤーの製品ディメンションから除外する必要があります。
要件。データセキュリティ
ファブリックにおけるセキュリティは、以下の要件を満たす必要があります。
データエンジニアは、基となるファイルを含め、すべての湖畔の家々への読み取りおよび書き込みアクセス権を持っている必要があります。
データアナリストは、ゴールドレイヤー内のデルタテーブルに対して読み取り専用アクセス権のみを持つ必要がある。
データアナリストは、ブロンズ層およびシルバー層のデータにアクセスしてはならない。
データエンジニアは、WorkspaceAのソース管理において変更をコミットできる必要があります。

Explanation:

このコードは、SQLに似たクエリであり、データベースに必要なKQLでは実行できないため、目的を満たしていません。
正しいコードは次のようになります。

半構造化データをT-SQL、KQL、Apache Sparkを使用して読み取る必要がある場合、レイクハウスは最適なストレージオプションです。レイクハウスは、半構造化データと非構造化データを処理できるデータレイクの柔軟性と、データウェアハウスのパフォーマンス機能を兼ね備えています。Apache Sparkを使用してデータを書き込むことができ、T-SQL（SQLベースのクエリ用）、KQL（Kustoクエリ言語）、Apache Spark（分散処理用）など、さまざまなテクノロジーを使用してクエリを実行できます。このソリューションは、半構造化データを扱い、汎用性の高いクエリ手法が必要な場合に最適です。