Professional-Data-Engineer 試験問題 131
フローロジスティックのケーススタディ
会社概要
Flowlogistic は、物流およびサプライ チェーンの大手プロバイダーです。これらは、世界中の企業がリソースを管理し、最終目的地に輸送するのに役立ちます。同社は急速に成長し、そのサービスを鉄道、トラック、航空機、海洋輸送にまで拡大しました。
会社背景
同社は地域のトラック運送会社としてスタートし、その後他の物流市場にも拡大しました。インフラストラクチャを更新していないため、注文と出荷の管理と追跡がボトルネックになっています。業務を改善するために、Flowlogistic は荷物レベルでリアルタイムに出荷を追跡する独自のテクノロジーを開発しました。ただし、Apache Kafka に基づくテクノロジー スタックが処理量をサポートできないため、これをデプロイすることはできません。さらに、Flowlogistic は注文と出荷をさらに分析して、リソースを最適に配置する方法を決定したいと考えています。
ソリューションコンセプト
Flowlogistic は、クラウドを使用して 2 つのコンセプトを実装したいと考えています。
* 独自のテクノロジーをリアルタイム在庫追跡システムに使用し、荷物の位置を示します
* 構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行し、リソースを展開する最適な方法と情報を拡大する市場を決定します。また、予測分析を使用して、出荷がいつ遅れるかを早期に把握したいと考えています。
既存の技術環境
フローロジスティック アーキテクチャは単一のデータ センターに存在します。
* データベース
* 2 つのクラスターに 8 台の物理サーバー
* SQL Server - ユーザー データ、インベントリ、静的データ
* 物理サーバー 3 台
* Cassandra - メタデータ、メッセージの追跡
10 台の Kafka サーバー - メッセージの集約とバッチ挿入の追跡
* アプリケーションサーバー - 顧客フロントエンド、注文/カスタム用ミドルウェア
* 20 台の物理サーバーにわたる 60 台の仮想マシン
* Tomcat - Java サービス
* Nginx - 静的コンテンツ
* バッチサーバー
ストレージ アプライアンス
* 仮想マシン (VM) ホスト用の iSCSI
* ファイバー チャネル ストレージ エリア ネットワーク (FC SAN) - SQL サーバー ストレージ
* ネットワーク接続ストレージ (NAS) イメージストレージ、ログ、バックアップ
* 10 台の Apache Hadoop /Spark サーバー
* コアデータレイク
* データ分析ワークロード
* 20 のさまざまなサーバー
* Jenkins、モニタリング、要塞ホスト、
ビジネス要件
* スケールされた本番環境を使用して、信頼性が高く再現可能な環境を構築します。
* 分析のために一元化されたデータレイクにデータを集約します
* 履歴データを使用して、将来の出荷に関する予測分析を実行します
* 独自のテクノロジーを使用して世界中のすべての出荷を正確に追跡します
* 新しいリソースの迅速なプロビジョニングにより、ビジネスの機敏性とイノベーションの速度を向上させます。
* クラウドでのパフォーマンスのためにアーキテクチャを分析して最適化する
* 他のすべての要件が満たされている場合は、クラウドに完全に移行します。
技術的要件
* ストリーミング データとバッチ データの両方を処理します
* 既存の Hadoop ワークロードを移行する
* 企業の変化する要求に対応できるように、アーキテクチャが拡張性と弾力性を備えていることを確認します。
* 可能な限りマネージド サービスを使用する
* データ フライトと保存時の暗号化
* 本番データセンターとクラウド環境の間に VPN を接続する SEO ステートメント 当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を実際に妨げています。当社は世界中で荷物を効率的に移動させますが、データを移動させるのは非効率的です。
顧客がどこにいるのか、何を出荷しているのかをより簡単に理解できるように、情報を整理する必要があります。
CTO ステートメント
当社にとって IT はこれまで決して優先事項ではなかったので、データが増大する一方でテクノロジーへの投資が十分ではありませんでした。IT を管理する優秀なスタッフがいますが、彼らはインフラストラクチャの管理で忙しいため、データの整理、分析の構築、CFO の実装方法の検討など、本当に重要なことを彼らにやってもらうことができません。追跡技術。
CFO ステートメント
当社の競争上の優位性の 1 つは、出荷と配達の遅延に対してペナルティを課していることです。出荷品がどこにあるかを常に把握することは、当社の収益と収益性と直接的な相関関係があります。さらに、サーバー環境の構築に資金を投入したくありません。
Flowlogistic の CEO は、顧客ベースに関する洞察を迅速に得て、営業チームが現場でより良い情報を得ることができるようにしたいと考えています。このチームは技術に詳しくないため、BigQuery レポートの作成を簡素化するために視覚化ツールを購入しました。しかし、テーブル内のすべてのデータに圧倒されており、必要なデータを見つけるためにクエリに多額の費用を費やしています。最もコスト効率の高い方法で問題を解決したいと考えています。あなたは何をするべきか？
会社概要
Flowlogistic は、物流およびサプライ チェーンの大手プロバイダーです。これらは、世界中の企業がリソースを管理し、最終目的地に輸送するのに役立ちます。同社は急速に成長し、そのサービスを鉄道、トラック、航空機、海洋輸送にまで拡大しました。
会社背景
同社は地域のトラック運送会社としてスタートし、その後他の物流市場にも拡大しました。インフラストラクチャを更新していないため、注文と出荷の管理と追跡がボトルネックになっています。業務を改善するために、Flowlogistic は荷物レベルでリアルタイムに出荷を追跡する独自のテクノロジーを開発しました。ただし、Apache Kafka に基づくテクノロジー スタックが処理量をサポートできないため、これをデプロイすることはできません。さらに、Flowlogistic は注文と出荷をさらに分析して、リソースを最適に配置する方法を決定したいと考えています。
ソリューションコンセプト
Flowlogistic は、クラウドを使用して 2 つのコンセプトを実装したいと考えています。
* 独自のテクノロジーをリアルタイム在庫追跡システムに使用し、荷物の位置を示します
* 構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行し、リソースを展開する最適な方法と情報を拡大する市場を決定します。また、予測分析を使用して、出荷がいつ遅れるかを早期に把握したいと考えています。
既存の技術環境
フローロジスティック アーキテクチャは単一のデータ センターに存在します。
* データベース
* 2 つのクラスターに 8 台の物理サーバー
* SQL Server - ユーザー データ、インベントリ、静的データ
* 物理サーバー 3 台
* Cassandra - メタデータ、メッセージの追跡
10 台の Kafka サーバー - メッセージの集約とバッチ挿入の追跡
* アプリケーションサーバー - 顧客フロントエンド、注文/カスタム用ミドルウェア
* 20 台の物理サーバーにわたる 60 台の仮想マシン
* Tomcat - Java サービス
* Nginx - 静的コンテンツ
* バッチサーバー
ストレージ アプライアンス
* 仮想マシン (VM) ホスト用の iSCSI
* ファイバー チャネル ストレージ エリア ネットワーク (FC SAN) - SQL サーバー ストレージ
* ネットワーク接続ストレージ (NAS) イメージストレージ、ログ、バックアップ
* 10 台の Apache Hadoop /Spark サーバー
* コアデータレイク
* データ分析ワークロード
* 20 のさまざまなサーバー
* Jenkins、モニタリング、要塞ホスト、
ビジネス要件
* スケールされた本番環境を使用して、信頼性が高く再現可能な環境を構築します。
* 分析のために一元化されたデータレイクにデータを集約します
* 履歴データを使用して、将来の出荷に関する予測分析を実行します
* 独自のテクノロジーを使用して世界中のすべての出荷を正確に追跡します
* 新しいリソースの迅速なプロビジョニングにより、ビジネスの機敏性とイノベーションの速度を向上させます。
* クラウドでのパフォーマンスのためにアーキテクチャを分析して最適化する
* 他のすべての要件が満たされている場合は、クラウドに完全に移行します。
技術的要件
* ストリーミング データとバッチ データの両方を処理します
* 既存の Hadoop ワークロードを移行する
* 企業の変化する要求に対応できるように、アーキテクチャが拡張性と弾力性を備えていることを確認します。
* 可能な限りマネージド サービスを使用する
* データ フライトと保存時の暗号化
* 本番データセンターとクラウド環境の間に VPN を接続する SEO ステートメント 当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を実際に妨げています。当社は世界中で荷物を効率的に移動させますが、データを移動させるのは非効率的です。
顧客がどこにいるのか、何を出荷しているのかをより簡単に理解できるように、情報を整理する必要があります。
CTO ステートメント
当社にとって IT はこれまで決して優先事項ではなかったので、データが増大する一方でテクノロジーへの投資が十分ではありませんでした。IT を管理する優秀なスタッフがいますが、彼らはインフラストラクチャの管理で忙しいため、データの整理、分析の構築、CFO の実装方法の検討など、本当に重要なことを彼らにやってもらうことができません。追跡技術。
CFO ステートメント
当社の競争上の優位性の 1 つは、出荷と配達の遅延に対してペナルティを課していることです。出荷品がどこにあるかを常に把握することは、当社の収益と収益性と直接的な相関関係があります。さらに、サーバー環境の構築に資金を投入したくありません。
Flowlogistic の CEO は、顧客ベースに関する洞察を迅速に得て、営業チームが現場でより良い情報を得ることができるようにしたいと考えています。このチームは技術に詳しくないため、BigQuery レポートの作成を簡素化するために視覚化ツールを購入しました。しかし、テーブル内のすべてのデータに圧倒されており、必要なデータを見つけるためにクエリに多額の費用を費やしています。最もコスト効率の高い方法で問題を解決したいと考えています。あなたは何をするべきか？
Professional-Data-Engineer 試験問題 132
Firebase Analytics と Google BigQuery の間の無料統合が有効になりました。現在のファイアベース
BigQuery に app_events_YYYYMMDD 形式で毎日新しいテーブルが自動的に作成されます。あなたはしたい
レガシー SQL で過去 30 日間のすべてのテーブルをクエリします。あなたは何をするべきか？
BigQuery に app_events_YYYYMMDD 形式で毎日新しいテーブルが自動的に作成されます。あなたはしたい
レガシー SQL で過去 30 日間のすべてのテーブルをクエリします。あなたは何をするべきか？
Professional-Data-Engineer 試験問題 133
BigQuery からのデータのエクスポートに関する次の記述のうち、誤っているものはどれですか?
Professional-Data-Engineer 試験問題 134
あなたは、衣服を推奨するためのモデルを構築しています。ユーザーのファッションの好みは時間の経過とともに変化する可能性が高いことがわかっているため、新しいデータが利用可能になったときにモデルにストリーミングして戻すデータ パイプラインを構築します。
モデルをトレーニングするためにこのデータをどのように使用する必要がありますか?
モデルをトレーニングするためにこのデータをどのように使用する必要がありますか?
Professional-Data-Engineer 試験問題 135
あなたの会社は BigQuery を使用してデータ ウェアハウスを実装しており、あなたはデータ モデルの設計を任されています。スター データ スキーマを備えたオンプレミスの販売データ ウェアハウスを BigQuery に移行しましたが、過去 30 日間のデータをクエリするときにパフォーマンスの問題に気づきました。 Google が推奨する方法について、ストレージ コストを増やさずにクエリを高速化するにはどうすればよいでしょうか?