Professional-Data-Engineer 試験問題 51
あなたは、複数の異なるデータ エンジニアリング チームがデータ プロダクトを構築しながら、Google Cloud 上でデータ メッシュを設計しています。一般的なデータ キュレーションの設計パターンは、ファイルを Cloud Storage に配置し、Cloud Storage と BigQuery データセットで生データを変換することで構成されます。各チームがデータ プロダクトの構築に必要なアセットのみにアクセスできるように、Dataplex を構成する必要があります。また、チームが厳選されたデータ製品を簡単に共有できるようにする必要もあります。あなたは何をするべきか？
Professional-Data-Engineer 試験問題 52
BigQuery データ ウェアハウス内のメインの在庫テーブルを読み取る、ほぼリアルタイムの在庫ダッシュボードを作成する必要があります。過去の在庫データは、品目別および場所別の在庫残高として保存されます。インベントリには 1 時間ごとに数千件の更新が行われます。ダッシュボードのパフォーマンスを最大化し、データが正確であることを確認したいと考えています。あなたは何をするべきか？
Professional-Data-Engineer 試験問題 53
あなたは、3 つの診療所の数百人の患者を対象とするパイロット プロジェクトとして、患者記録のデータベースを設計しました。設計では、単一のデータベース テーブルを使用してすべての患者とその訪問を表し、自己結合を使用してレポートを生成しました。サーバーのリソース使用率は 50% でした。それ以来、プロジェクトの範囲は拡大しました。データベースには 100 倍以上の患者記録を保存する必要があります。時間がかかりすぎるか、コンピューティング リソースが不十分なためにエラーが発生するため、レポートを実行できなくなります。データベース設計をどのように調整すればよいでしょうか?
Professional-Data-Engineer 試験問題 54
カンマ区切り値 (CSV) ファイルから Google にデータをロードするのに数日を費やしました。
BigQuery テーブル CLICK_STREAM。列 DT には、クリック イベントのエポック時間が格納されます。便宜上、
すべてのフィールドが STRINGtype として扱われる単純なスキーマを選択しました。さて、計算したいのは
サイトを訪問するユーザーの Web セッション継続時間に応じて、そのデータ タイプを
タイムスタンプ。今後の計算クエリを作成せずに移行作業を最小限に抑えたい
高い。あなたは何をするべきか？
BigQuery テーブル CLICK_STREAM。列 DT には、クリック イベントのエポック時間が格納されます。便宜上、
すべてのフィールドが STRINGtype として扱われる単純なスキーマを選択しました。さて、計算したいのは
サイトを訪問するユーザーの Web セッション継続時間に応じて、そのデータ タイプを
タイムスタンプ。今後の計算クエリを作成せずに移行作業を最小限に抑えたい
高い。あなたは何をするべきか？
Professional-Data-Engineer 試験問題 55
ケーススタディ: 2 - MJTelco
会社概要
MJTelco は、急速に成長している世界中の十分なサービスが提供されていない市場にネットワークを構築することを計画している新興企業です。同社は革新的な光通信ハードウェアに関する特許を取得しています。これらの特許に基づいて、安価なハードウェアを使用して信頼性の高い高速バックボーン リンクを多数作成できます。
会社背景
経験豊富な通信会社幹部によって設立された MJTelco は、もともと宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。運用の基礎として、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成する必要があります。同社のハードウェアは安価であるため、場所の可用性とコストに対する動的な地域政治の影響を考慮して、ネットワークを過剰に展開することを計画しています。同社の管理および運用チームは世界中に配置されており、システム内のデータ利用者と提供の間に多対多の関係を構築しています。慎重に検討した結果、パブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社の研究所で概念実証 (PoC) プロジェクトを成功させています。彼らには 2 つの主要なニーズがあります。
インストール数が 50,000 を超えた場合に生成される大幅に多くのデータ フローをサポートするために、PoC を拡張および強化します。
機械学習サイクルを改良して、トポロジー定義の制御に使用する動的モデルを検証および改善します。
MJTelco はまた、開発/テスト、ステージング、本番という 3 つの異なるオペレーティング環境を使用します。
実験の実行、新機能の導入、運用顧客へのサービスのニーズを満たすために。
ビジネス要件
最小限のコストで運用環境をスケールアップし、予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化します。独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
分散した研究員から分析用データへの信頼性が高く、タイムリーなアクセスを提供します。 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする隔離された環境を維持します。
技術的要件
テレメトリ データの安全かつ効率的な転送と保存を確保します。インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
約 2 年間保存されているデータを追跡するデータ テーブルに対する分析とプレゼンテーションが可能
100m記録/日
テレメトリ フローと実稼働学習サイクルの両方におけるデータ パイプラインの問題の認識に重点を置いたモニタリング インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されているため、コスト面でのメリットが得られます。信頼性と容量の約束を満たすために、大規模な分散データ パイプラインを迅速に安定させる必要があります。
CTO ステートメント
当社のパブリック クラウド サービスは、宣伝どおりに動作する必要があります。データを拡張し、安全に保つためのリソースが必要です。データサイエンティストがモデルを注意深く研究し、迅速に適応できる環境も必要です。私たちは自動化に依存してデータを処理しているため、反復中に機能する開発環境とテスト環境も必要です。
CFO ステートメント
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持できません。
また、非常に多くのデータ フィードを監視するための運用チームに人員を配置する余裕はないため、自動化とインフラストラクチャに依存することになります。Google Cloud の機械学習により、定量的研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができるようになります。
次の要件を満たす運用チーム向けのビジュアライゼーションを作成する必要があります。
テレメトリには、最近 6 週間の 50,000 件のインストールすべてからのデータが含まれている必要があります (1 分ごとにサンプリング)。レポートはライブ データから 3 時間以上遅れてはなりません。実用的なレポートには、最適ではないリンクのみが表示される必要があります。
最適ではないリンクのほとんどは先頭に並べ替える必要があります。
最適ではないリンクは、地域ごとにグループ化してフィルタリングできます。レポートをロードするためのユーザーの応答時間は 5 秒未満である必要があります。過去 6 週間のデータを保存するデータ ソースを作成し、複数の日付範囲、個別の地理的地域、および固有のインストール タイプを表示できるビジュアライゼーションを作成します。
ビジュアライゼーションを変更することなく、常に最新のデータを表示できます。毎月新しいビジュアライゼーションを作成および更新することは避けたいと考えています。あなたは何をするべきか？
会社概要
MJTelco は、急速に成長している世界中の十分なサービスが提供されていない市場にネットワークを構築することを計画している新興企業です。同社は革新的な光通信ハードウェアに関する特許を取得しています。これらの特許に基づいて、安価なハードウェアを使用して信頼性の高い高速バックボーン リンクを多数作成できます。
会社背景
経験豊富な通信会社幹部によって設立された MJTelco は、もともと宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。運用の基礎として、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成する必要があります。同社のハードウェアは安価であるため、場所の可用性とコストに対する動的な地域政治の影響を考慮して、ネットワークを過剰に展開することを計画しています。同社の管理および運用チームは世界中に配置されており、システム内のデータ利用者と提供の間に多対多の関係を構築しています。慎重に検討した結果、パブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社の研究所で概念実証 (PoC) プロジェクトを成功させています。彼らには 2 つの主要なニーズがあります。
インストール数が 50,000 を超えた場合に生成される大幅に多くのデータ フローをサポートするために、PoC を拡張および強化します。
機械学習サイクルを改良して、トポロジー定義の制御に使用する動的モデルを検証および改善します。
MJTelco はまた、開発/テスト、ステージング、本番という 3 つの異なるオペレーティング環境を使用します。
実験の実行、新機能の導入、運用顧客へのサービスのニーズを満たすために。
ビジネス要件
最小限のコストで運用環境をスケールアップし、予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化します。独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
分散した研究員から分析用データへの信頼性が高く、タイムリーなアクセスを提供します。 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする隔離された環境を維持します。
技術的要件
テレメトリ データの安全かつ効率的な転送と保存を確保します。インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
約 2 年間保存されているデータを追跡するデータ テーブルに対する分析とプレゼンテーションが可能
100m記録/日
テレメトリ フローと実稼働学習サイクルの両方におけるデータ パイプラインの問題の認識に重点を置いたモニタリング インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されているため、コスト面でのメリットが得られます。信頼性と容量の約束を満たすために、大規模な分散データ パイプラインを迅速に安定させる必要があります。
CTO ステートメント
当社のパブリック クラウド サービスは、宣伝どおりに動作する必要があります。データを拡張し、安全に保つためのリソースが必要です。データサイエンティストがモデルを注意深く研究し、迅速に適応できる環境も必要です。私たちは自動化に依存してデータを処理しているため、反復中に機能する開発環境とテスト環境も必要です。
CFO ステートメント
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持できません。
また、非常に多くのデータ フィードを監視するための運用チームに人員を配置する余裕はないため、自動化とインフラストラクチャに依存することになります。Google Cloud の機械学習により、定量的研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができるようになります。
次の要件を満たす運用チーム向けのビジュアライゼーションを作成する必要があります。
テレメトリには、最近 6 週間の 50,000 件のインストールすべてからのデータが含まれている必要があります (1 分ごとにサンプリング)。レポートはライブ データから 3 時間以上遅れてはなりません。実用的なレポートには、最適ではないリンクのみが表示される必要があります。
最適ではないリンクのほとんどは先頭に並べ替える必要があります。
最適ではないリンクは、地域ごとにグループ化してフィルタリングできます。レポートをロードするためのユーザーの応答時間は 5 秒未満である必要があります。過去 6 週間のデータを保存するデータ ソースを作成し、複数の日付範囲、個別の地理的地域、および固有のインストール タイプを表示できるビジュアライゼーションを作成します。
ビジュアライゼーションを変更することなく、常に最新のデータを表示できます。毎月新しいビジュアライゼーションを作成および更新することは避けたいと考えています。あなたは何をするべきか？
