Professional-Data-Engineer 試験問題 151
ソーシャル メディアの投稿を Google BigQuery に保存し、1 分あたり 10,000 メッセージの速度でほぼリアルタイムで分析する必要があります。最初に、個々の投稿にストリーミング挿入を使用するようにアプリケーションを設計します。アプリケーションは、ストリーミング挿入の直後にデータ集計も実行します。ストリーミング挿入後のクエリは強い一貫性を示しておらず、クエリからのレポートには実行中のデータが欠落している可能性があることがわかりました。
ａ．アプリケーションのデザインを調整するにはどうすればよいでしょうか?
ａ．アプリケーションのデザインを調整するにはどうすればよいでしょうか?
Professional-Data-Engineer 試験問題 152
あなたは Google Cloud 上にデータ パイプラインを構築しています。機械学習プロセス用のカジュアルな方法を使用してデータを準備する必要があります。ロジスティック回帰モデルをサポートしたいと考えています。また、null 値を監視して調整する必要があります。null 値は実数値のままにする必要があり、削除することはできません。あなたは何をするべきか？
Professional-Data-Engineer 試験問題 153
ケーススタディ: 2 - MJTelco
会社概要
MJTelco は、急速に成長している世界中の十分なサービスが提供されていない市場にネットワークを構築することを計画している新興企業です。同社は革新的な光通信ハードウェアに関する特許を取得しています。これらの特許に基づいて、安価なハードウェアを使用して信頼性の高い高速バックボーン リンクを多数作成できます。
会社背景
経験豊富な通信会社幹部によって設立された MJTelco は、もともと宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。運用の基礎として、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成する必要があります。同社のハードウェアは安価であるため、場所の可用性とコストに対する動的な地域政治の影響を考慮して、ネットワークを過剰に展開することを計画しています。同社の管理および運用チームは世界中に配置されており、システム内のデータ利用者と提供の間に多対多の関係を構築しています。慎重に検討した結果、パブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社の研究所で概念実証 (PoC) プロジェクトを成功させています。彼らには 2 つの主要なニーズがあります。
インストール数が 50,000 を超えた場合に生成される大幅に多くのデータ フローをサポートするために、PoC を拡張および強化します。
機械学習サイクルを改良して、トポロジー定義の制御に使用する動的モデルを検証および改善します。
MJTelco はまた、開発/テスト、ステージング、本番という 3 つの異なるオペレーティング環境を使用します。
実験の実行、新機能の導入、運用顧客へのサービスのニーズを満たすために。
ビジネス要件
最小限のコストで運用環境をスケールアップし、予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化します。独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
分散した研究員から分析用データへの信頼性が高く、タイムリーなアクセスを提供します。 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする隔離された環境を維持します。
技術的要件
テレメトリ データの安全かつ効率的な転送と保存を確保します。インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
約 2 年間保存されているデータを追跡するデータ テーブルに対する分析とプレゼンテーションが可能
100m記録/日
テレメトリ フローと実稼働学習サイクルの両方におけるデータ パイプラインの問題の認識に重点を置いたモニタリング インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されているため、コスト面でのメリットが得られます。信頼性と容量の約束を満たすために、大規模な分散データ パイプラインを迅速に安定させる必要があります。
CTO ステートメント
当社のパブリック クラウド サービスは、宣伝どおりに動作する必要があります。データを拡張し、安全に保つためのリソースが必要です。データサイエンティストがモデルを注意深く研究し、迅速に適応できる環境も必要です。私たちは自動化に依存してデータを処理しているため、反復中に機能する開発環境とテスト環境も必要です。
CFO ステートメント
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持できません。
また、非常に多くのデータ フィードを監視するための運用チームに人員を配置する余裕はないため、自動化とインフラストラクチャに依存することになります。Google Cloud の機械学習により、定量的研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができるようになります。
Google データポータル 360 で大規模なチーム用の新しいレポートを作成します。このレポートは、データ ソースとして Google BigQuery を使用します。従業員が自分の地域に関連付けられたデータのみを表示できるようにすることが会社のポリシーであるため、地域ごとにテーブルを作成してデータを入力します。データへの地域アクセス ポリシーを適用する必要があります。
どの 2 つのアクションを取る必要がありますか? (2つお選びください。)
会社概要
MJTelco は、急速に成長している世界中の十分なサービスが提供されていない市場にネットワークを構築することを計画している新興企業です。同社は革新的な光通信ハードウェアに関する特許を取得しています。これらの特許に基づいて、安価なハードウェアを使用して信頼性の高い高速バックボーン リンクを多数作成できます。
会社背景
経験豊富な通信会社幹部によって設立された MJTelco は、もともと宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。運用の基礎として、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成する必要があります。同社のハードウェアは安価であるため、場所の可用性とコストに対する動的な地域政治の影響を考慮して、ネットワークを過剰に展開することを計画しています。同社の管理および運用チームは世界中に配置されており、システム内のデータ利用者と提供の間に多対多の関係を構築しています。慎重に検討した結果、パブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社の研究所で概念実証 (PoC) プロジェクトを成功させています。彼らには 2 つの主要なニーズがあります。
インストール数が 50,000 を超えた場合に生成される大幅に多くのデータ フローをサポートするために、PoC を拡張および強化します。
機械学習サイクルを改良して、トポロジー定義の制御に使用する動的モデルを検証および改善します。
MJTelco はまた、開発/テスト、ステージング、本番という 3 つの異なるオペレーティング環境を使用します。
実験の実行、新機能の導入、運用顧客へのサービスのニーズを満たすために。
ビジネス要件
最小限のコストで運用環境をスケールアップし、予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化します。独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
分散した研究員から分析用データへの信頼性が高く、タイムリーなアクセスを提供します。 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする隔離された環境を維持します。
技術的要件
テレメトリ データの安全かつ効率的な転送と保存を確保します。インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
約 2 年間保存されているデータを追跡するデータ テーブルに対する分析とプレゼンテーションが可能
100m記録/日
テレメトリ フローと実稼働学習サイクルの両方におけるデータ パイプラインの問題の認識に重点を置いたモニタリング インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されているため、コスト面でのメリットが得られます。信頼性と容量の約束を満たすために、大規模な分散データ パイプラインを迅速に安定させる必要があります。
CTO ステートメント
当社のパブリック クラウド サービスは、宣伝どおりに動作する必要があります。データを拡張し、安全に保つためのリソースが必要です。データサイエンティストがモデルを注意深く研究し、迅速に適応できる環境も必要です。私たちは自動化に依存してデータを処理しているため、反復中に機能する開発環境とテスト環境も必要です。
CFO ステートメント
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持できません。
また、非常に多くのデータ フィードを監視するための運用チームに人員を配置する余裕はないため、自動化とインフラストラクチャに依存することになります。Google Cloud の機械学習により、定量的研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができるようになります。
Google データポータル 360 で大規模なチーム用の新しいレポートを作成します。このレポートは、データ ソースとして Google BigQuery を使用します。従業員が自分の地域に関連付けられたデータのみを表示できるようにすることが会社のポリシーであるため、地域ごとにテーブルを作成してデータを入力します。データへの地域アクセス ポリシーを適用する必要があります。
どの 2 つのアクションを取る必要がありますか? (2つお選びください。)
Professional-Data-Engineer 試験問題 154
Dataflow プログラムをローカルで実行するために使用できる Java SDK クラスはどれですか?
Professional-Data-Engineer 試験問題 155
BigQuery テーブルをデータ シンクとして使用したいと考えています。どの書き込みモードで BigQuery をシンクとして使用できますか?