Professional-Data-Engineer 試験問題 26
ケーススタディ: 2 - MJTelco
会社概要
MJTelco は、世界中で急成長しているがサービスが行き届いていない市場にネットワークを構築することを計画しているスタートアップ企業です。同社は革新的な光通信ハードウェアの特許を保有しています。これらの特許に基づいて、同社は安価なハードウェアで信頼性の高い高速バックボーン リンクを多数構築できます。
会社概要
経験豊富な通信会社の幹部によって設立された MJTelco は、宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。同社の業務の基盤となるのは、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成することです。ハードウェアは安価であるため、同社はネットワークを過剰に展開して、地域政治が場所の可用性とコストに与える影響を考慮に入れることを計画しています。同社の管理および運用チームは世界中に配置されており、システム内のデータ コンシューマーとデータ提供者の間に多対多の関係を構築しています。慎重に検討した結果、同社はパブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社のラボで概念実証 (PoC) プロジェクトを成功させています。同社には主に 2 つのニーズがあります。
インストール数が 50,000 を超えると、生成されるデータ フローが大幅に増加するため、PoC を拡張して強化します。
機械学習サイクルを改良して、トポロジ定義を制御するために使用する動的モデルを検証および改善します。
MJTelco は、開発/テスト、ステージング、本番という 3 つの個別の運用環境も使用します。
実験の実行、新機能の導入、実稼働顧客へのサービス提供のニーズを満たすためです。
ビジネス要件
予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化し、最小限のコストで実稼働環境を拡張します。独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
分散した研究員からの分析用データへの信頼性が高くタイムリーなアクセスを提供し、顧客に影響を与えることなく機械学習モデルの迅速な反復をサポートする分離された環境を維持します。
技術要件
テレメトリ データの安全で効率的な転送と保存を確保し、インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
約2年分のデータを追跡するデータテーブルに対する分析とプレゼンテーションを可能にします。
1日あたり1億件のレコード
テレメトリ フローと実稼働学習サイクルの両方でのデータ パイプラインの問題を認識することに重点を置いた監視インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されており、コスト面で有利です。信頼性と容量のコミットメントを満たすには、大規模な分散データ パイプラインを迅速に安定化する必要があります。
CTO 声明
当社のパブリック クラウド サービスは、宣伝どおりに機能する必要があります。拡張可能で、データを安全に保つリソースが必要です。また、データ サイエンティストがモデルを慎重に研究し、迅速に適応できる環境も必要です。当社はデータの処理を自動化に依存しているため、反復しながら機能する開発環境とテスト環境も必要です。
CFOの声明
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持することはできません。
また、膨大なデータ フィードを監視するために運用チームを配置する余裕はないため、自動化とインフラストラクチャに頼ることになります。Google Cloud の機械学習により、当社の定量研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができます。
MJTelco では、過去 2 年間の記録の履歴分析を可能にするスキーマを Google Bigtable に作成する必要があります。受信される各レコードは 15 分ごとに送信され、デバイスの一意の識別子とデータ レコードが含まれます。最も一般的なクエリは、特定の日付の特定のデバイスのすべてのデータを求めるものです。どのスキーマを使用すればよいでしょうか。
会社概要
MJTelco は、世界中で急成長しているがサービスが行き届いていない市場にネットワークを構築することを計画しているスタートアップ企業です。同社は革新的な光通信ハードウェアの特許を保有しています。これらの特許に基づいて、同社は安価なハードウェアで信頼性の高い高速バックボーン リンクを多数構築できます。
会社概要
経験豊富な通信会社の幹部によって設立された MJTelco は、宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。同社の業務の基盤となるのは、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成することです。ハードウェアは安価であるため、同社はネットワークを過剰に展開して、地域政治が場所の可用性とコストに与える影響を考慮に入れることを計画しています。同社の管理および運用チームは世界中に配置されており、システム内のデータ コンシューマーとデータ提供者の間に多対多の関係を構築しています。慎重に検討した結果、同社はパブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社のラボで概念実証 (PoC) プロジェクトを成功させています。同社には主に 2 つのニーズがあります。
インストール数が 50,000 を超えると、生成されるデータ フローが大幅に増加するため、PoC を拡張して強化します。
機械学習サイクルを改良して、トポロジ定義を制御するために使用する動的モデルを検証および改善します。
MJTelco は、開発/テスト、ステージング、本番という 3 つの個別の運用環境も使用します。
実験の実行、新機能の導入、実稼働顧客へのサービス提供のニーズを満たすためです。
ビジネス要件
予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化し、最小限のコストで実稼働環境を拡張します。独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
分散した研究員からの分析用データへの信頼性が高くタイムリーなアクセスを提供し、顧客に影響を与えることなく機械学習モデルの迅速な反復をサポートする分離された環境を維持します。
技術要件
テレメトリ データの安全で効率的な転送と保存を確保し、インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
約2年分のデータを追跡するデータテーブルに対する分析とプレゼンテーションを可能にします。
1日あたり1億件のレコード
テレメトリ フローと実稼働学習サイクルの両方でのデータ パイプラインの問題を認識することに重点を置いた監視インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されており、コスト面で有利です。信頼性と容量のコミットメントを満たすには、大規模な分散データ パイプラインを迅速に安定化する必要があります。
CTO 声明
当社のパブリック クラウド サービスは、宣伝どおりに機能する必要があります。拡張可能で、データを安全に保つリソースが必要です。また、データ サイエンティストがモデルを慎重に研究し、迅速に適応できる環境も必要です。当社はデータの処理を自動化に依存しているため、反復しながら機能する開発環境とテスト環境も必要です。
CFOの声明
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持することはできません。
また、膨大なデータ フィードを監視するために運用チームを配置する余裕はないため、自動化とインフラストラクチャに頼ることになります。Google Cloud の機械学習により、当社の定量研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができます。
MJTelco では、過去 2 年間の記録の履歴分析を可能にするスキーマを Google Bigtable に作成する必要があります。受信される各レコードは 15 分ごとに送信され、デバイスの一意の識別子とデータ レコードが含まれます。最も一般的なクエリは、特定の日付の特定のデバイスのすべてのデータを求めるものです。どのスキーマを使用すればよいでしょうか。
Professional-Data-Engineer 試験問題 27
ジョブ ジェネレーターとジョブ ランナーという 2 種類のアプリケーション間でデータを共有するための新しいデータ パイプラインを構築しています。ソリューションは、使用量の増加に対応できるように拡張する必要があり、既存のアプリケーションのパフォーマンスに悪影響を与えることなく、新しいアプリケーションの追加に対応する必要があります。どうすればよいでしょうか。
Professional-Data-Engineer 試験問題 28
アプリケーション イベントを Pub/Sub トピックに公開するパイプラインを設計しています。メッセージの順序は重要ではありませんが、結果を BigQuery にロードして分析する前に、ばらばらの時間間隔でイベントを集計できる必要があります。大量のイベントに対応できるようにしながら、このデータを処理して BigQuery にロードするには、どのようなテクノロジーを使用すればよいでしょうか。
Professional-Data-Engineer 試験問題 29
Flowlogistic Case Study
Company Overview
Flowlogistic is a leading logistics and supply chain provider. They help businesses throughout the world manage their resources and transport them to their final destination. The company has grown rapidly, expanding their offerings to include rail, truck, aircraft, and oceanic shipping.
Company Background
The company started as a regional trucking company, and then expanded into other logistics market.
Because they have not updated their infrastructure, managing and tracking orders and shipments has become a bottleneck. To improve operations, Flowlogistic developed proprietary technology for tracking shipments in real time at the parcel level. However, they are unable to deploy it because their technology stack, based on Apache Kafka, cannot support the processing volume. In addition, Flowlogistic wants to further analyze their orders and shipments to determine how best to deploy their resources.
Solution Concept
Flowlogistic wants to implement two concepts using the cloud:
Use their proprietary technology in a real-time inventory-tracking system that indicates the location of
their loads
Perform analytics on all their orders and shipment logs, which contain both structured and unstructured
data, to determine how best to deploy resources, which markets to expand info. They also want to use predictive analytics to learn earlier when a shipment will be delayed.
Existing Technical Environment
Flowlogistic architecture resides in a single data center:
Databases
8 physical servers in 2 clusters
- SQL Server - user data, inventory, static data
3 physical servers
- Cassandra - metadata, tracking messages
10 Kafka servers - tracking message aggregation and batch insert
Application servers - customer front end, middleware for order/customs
60 virtual machines across 20 physical servers
- Tomcat - Java services
- Nginx - static content
- Batch servers
Storage appliances
- iSCSI for virtual machine (VM) hosts
- Fibre Channel storage area network (FC SAN) - SQL server storage
- Network-attached storage (NAS) image storage, logs, backups
10 Apache Hadoop /Spark servers
- Core Data Lake
- Data analysis workloads
20 miscellaneous servers
- Jenkins, monitoring, bastion hosts,
Business Requirements
Build a reliable and reproducible environment with scaled panty of production.
Aggregate data in a centralized Data Lake for analysis
Use historical data to perform predictive analytics on future shipments
Accurately track every shipment worldwide using proprietary technology
Improve business agility and speed of innovation through rapid provisioning of new resources
クラウドでのパフォーマンスのためにアーキテクチャを分析して最適化する
他のすべての要件が満たされている場合は、クラウドに完全に移行します。
技術要件
ストリーミングとバッチデータの両方を処理
既存のHadoopワークロードを移行する
企業の変化する要求を満たすために、アーキテクチャが拡張可能で弾力性があることを確認します。
可能な限りマネージドサービスを利用する
飛行中および保存中のデータを暗号化
実稼働データセンターとクラウド環境の間にVPNを接続する
SEOステートメント
当社は急速に成長したため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率の妨げになっています。当社は、世界中への貨物の移動は効率的ですが、データの移動は非効率的です。
顧客がどこにいて、何を発送しているのかをより簡単に理解できるように、情報を整理する必要があります。
CTO 声明
IT は当社にとって優先事項ではありませんでした。そのため、データが増えてもテクノロジーに十分な投資ができませんでした。IT を管理する優秀なスタッフがいますが、彼らはインフラストラクチャの管理に忙しく、データの整理、分析の構築、CFO の追跡テクノロジーの実装方法の検討など、本当に重要な作業を行うことができません。
CFOの声明
当社の競争上の優位性の一部は、出荷や配達の遅れに対して自らにペナルティを課すことです。出荷品がどこにあるかを常に把握することは、当社の最終利益と収益性に直接関係しています。
さらに、サーバー環境の構築に資本を投入したくありません。
Flowlogistic の経営陣は、現在の Apache Kafka サーバーではリアルタイム在庫追跡システムのデータ量を処理できないと判断しました。独自の追跡ソフトウェアにデータを供給する新しいシステムを Google Cloud Platform (GCP) 上に構築する必要があります。システムは、さまざまなグローバル ソースからデータを取り込み、リアルタイムで処理およびクエリを実行し、データを確実に保存できる必要があります。どの GCP 製品の組み合わせを選択すればよいでしょうか。
Company Overview
Flowlogistic is a leading logistics and supply chain provider. They help businesses throughout the world manage their resources and transport them to their final destination. The company has grown rapidly, expanding their offerings to include rail, truck, aircraft, and oceanic shipping.
Company Background
The company started as a regional trucking company, and then expanded into other logistics market.
Because they have not updated their infrastructure, managing and tracking orders and shipments has become a bottleneck. To improve operations, Flowlogistic developed proprietary technology for tracking shipments in real time at the parcel level. However, they are unable to deploy it because their technology stack, based on Apache Kafka, cannot support the processing volume. In addition, Flowlogistic wants to further analyze their orders and shipments to determine how best to deploy their resources.
Solution Concept
Flowlogistic wants to implement two concepts using the cloud:
Use their proprietary technology in a real-time inventory-tracking system that indicates the location of
their loads
Perform analytics on all their orders and shipment logs, which contain both structured and unstructured
data, to determine how best to deploy resources, which markets to expand info. They also want to use predictive analytics to learn earlier when a shipment will be delayed.
Existing Technical Environment
Flowlogistic architecture resides in a single data center:
Databases
8 physical servers in 2 clusters
- SQL Server - user data, inventory, static data
3 physical servers
- Cassandra - metadata, tracking messages
10 Kafka servers - tracking message aggregation and batch insert
Application servers - customer front end, middleware for order/customs
60 virtual machines across 20 physical servers
- Tomcat - Java services
- Nginx - static content
- Batch servers
Storage appliances
- iSCSI for virtual machine (VM) hosts
- Fibre Channel storage area network (FC SAN) - SQL server storage
- Network-attached storage (NAS) image storage, logs, backups
10 Apache Hadoop /Spark servers
- Core Data Lake
- Data analysis workloads
20 miscellaneous servers
- Jenkins, monitoring, bastion hosts,
Business Requirements
Build a reliable and reproducible environment with scaled panty of production.
Aggregate data in a centralized Data Lake for analysis
Use historical data to perform predictive analytics on future shipments
Accurately track every shipment worldwide using proprietary technology
Improve business agility and speed of innovation through rapid provisioning of new resources
クラウドでのパフォーマンスのためにアーキテクチャを分析して最適化する
他のすべての要件が満たされている場合は、クラウドに完全に移行します。
技術要件
ストリーミングとバッチデータの両方を処理
既存のHadoopワークロードを移行する
企業の変化する要求を満たすために、アーキテクチャが拡張可能で弾力性があることを確認します。
可能な限りマネージドサービスを利用する
飛行中および保存中のデータを暗号化
実稼働データセンターとクラウド環境の間にVPNを接続する
SEOステートメント
当社は急速に成長したため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率の妨げになっています。当社は、世界中への貨物の移動は効率的ですが、データの移動は非効率的です。
顧客がどこにいて、何を発送しているのかをより簡単に理解できるように、情報を整理する必要があります。
CTO 声明
IT は当社にとって優先事項ではありませんでした。そのため、データが増えてもテクノロジーに十分な投資ができませんでした。IT を管理する優秀なスタッフがいますが、彼らはインフラストラクチャの管理に忙しく、データの整理、分析の構築、CFO の追跡テクノロジーの実装方法の検討など、本当に重要な作業を行うことができません。
CFOの声明
当社の競争上の優位性の一部は、出荷や配達の遅れに対して自らにペナルティを課すことです。出荷品がどこにあるかを常に把握することは、当社の最終利益と収益性に直接関係しています。
さらに、サーバー環境の構築に資本を投入したくありません。
Flowlogistic の経営陣は、現在の Apache Kafka サーバーではリアルタイム在庫追跡システムのデータ量を処理できないと判断しました。独自の追跡ソフトウェアにデータを供給する新しいシステムを Google Cloud Platform (GCP) 上に構築する必要があります。システムは、さまざまなグローバル ソースからデータを取り込み、リアルタイムで処理およびクエリを実行し、データを確実に保存できる必要があります。どの GCP 製品の組み合わせを選択すればよいでしょうか。
Professional-Data-Engineer 試験問題 30
組織では IT サービスを最新化し、Google Cloud に移行しています。Cloud Storage と BigQuery に保存するデータを整理する必要があります。営業、製品設計、マーケティングの各部門間でデータを共有するために、データ メッシュ アプローチを有効にする必要があります。何をすべきでしょうか。