Professional-Data-Engineer 試験問題 16
スパム分類器をトレーニングしています。トレーニングデータを過学習していることに気づきました
ａ．この問題を解決するために実行できる 3 つのアクションはどれですか? （3つお選びください。）
ａ．この問題を解決するために実行できる 3 つのアクションはどれですか? （3つお選びください。）
Professional-Data-Engineer 試験問題 17
YARN ResourceManager と HDFS NameNode インターフェースは Cloud Dataproc クラスタで使用できます
____。
____。
Professional-Data-Engineer 試験問題 18
BigQuery テーブル内の特定のパーティションをクエリするにはどうすればよいでしょうか?
Professional-Data-Engineer 試験問題 19
ケーススタディ: 3、
MJTelco の導入事例
会社概要
MJTelco は、急速に成長している世界中の十分なサービスが提供されていない市場にネットワークを構築することを計画している新興企業です。同社は革新的な光通信ハードウェアに関する特許を取得しています。これらの特許に基づいて、安価なハードウェアを使用して信頼性の高い高速バックボーン リンクを多数作成できます。
会社背景
経験豊富な通信会社幹部によって設立された MJTelco は、もともと宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。運用の基礎として、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成する必要があります。同社のハードウェアは安価であるため、場所の可用性とコストに対する動的な地域政治の影響を考慮して、ネットワークを過剰に展開することを計画しています。同社の管理および運用チームは世界中に配置されており、システム内のデータ利用者と提供の間に多対多の関係を構築しています。慎重に検討した結果、パブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社の研究所で概念実証 (PoC) プロジェクトを成功させています。彼らには 2 つの主要なニーズがあります。
インストール数が 50,000 を超えた場合に生成される大幅に多くのデータ フローをサポートするために、PoC を拡張および強化します。
機械学習サイクルを改良して、トポロジー定義の制御に使用する動的モデルを検証および改善します。
MJTelco はまた、開発/テスト、ステージング、本番という 3 つの異なるオペレーティング環境を使用します。
実験の実行、新機能の導入、運用顧客へのサービスのニーズを満たすために。
ビジネス要件
最小限のコストで運用環境をスケールアップし、予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化します。独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
分散した研究員から分析用データへの信頼性が高く、タイムリーなアクセスを提供します。 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする隔離された環境を維持します。
技術的要件
テレメトリ データの安全かつ効率的な転送と保存を確保します。インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
約 2 年間保存されているデータを追跡するデータ テーブルに対する分析とプレゼンテーションが可能
100m記録/日
テレメトリ フローと実稼働学習サイクルの両方におけるデータ パイプラインの問題の認識に重点を置いたモニタリング インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されているため、コスト面でのメリットが得られます。信頼性と容量の約束を満たすために、大規模な分散データ パイプラインを迅速に安定させる必要があります。
CTO ステートメント
当社のパブリック クラウド サービスは、宣伝どおりに動作する必要があります。データを拡張し、安全に保つためのリソースが必要です。データサイエンティストがモデルを注意深く研究し、迅速に適応できる環境も必要です。私たちは自動化に依存してデータを処理しているため、反復中に機能する開発環境とテスト環境も必要です。
CFO ステートメント
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持できません。
また、非常に多くのデータ フィードを監視するための運用チームに人員を配置する余裕はないため、自動化とインフラストラクチャに依存することになります。Google Cloud の機械学習により、定量的研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができるようになります。
Google Cloud Dataflow パイプラインは、50,000 のインストールからデータの受信を開始する準備が整いました。Cloud Dataflow が必要に応じてコンピューティング能力を拡張できるようにしたいと考えています。どの Cloud Dataflow パイプライン構成設定を更新する必要がありますか?
MJTelco の導入事例
会社概要
MJTelco は、急速に成長している世界中の十分なサービスが提供されていない市場にネットワークを構築することを計画している新興企業です。同社は革新的な光通信ハードウェアに関する特許を取得しています。これらの特許に基づいて、安価なハードウェアを使用して信頼性の高い高速バックボーン リンクを多数作成できます。
会社背景
経験豊富な通信会社幹部によって設立された MJTelco は、もともと宇宙での通信の課題を克服するために開発されたテクノロジーを使用しています。運用の基礎として、リアルタイム分析を推進し、機械学習を組み込んでトポロジを継続的に最適化する分散データ インフラストラクチャを作成する必要があります。同社のハードウェアは安価であるため、場所の可用性とコストに対する動的な地域政治の影響を考慮して、ネットワークを過剰に展開することを計画しています。同社の管理および運用チームは世界中に配置されており、システム内のデータ利用者と提供の間に多対多の関係を構築しています。慎重に検討した結果、パブリック クラウドがニーズをサポートするのに最適な環境であると判断しました。
ソリューションコンセプト
MJTelco は、自社の研究所で概念実証 (PoC) プロジェクトを成功させています。彼らには 2 つの主要なニーズがあります。
インストール数が 50,000 を超えた場合に生成される大幅に多くのデータ フローをサポートするために、PoC を拡張および強化します。
機械学習サイクルを改良して、トポロジー定義の制御に使用する動的モデルを検証および改善します。
MJTelco はまた、開発/テスト、ステージング、本番という 3 つの異なるオペレーティング環境を使用します。
実験の実行、新機能の導入、運用顧客へのサービスのニーズを満たすために。
ビジネス要件
最小限のコストで運用環境をスケールアップし、予測不可能な分散型通信ユーザー コミュニティで必要なときに必要な場所でリソースをインスタンス化します。独自のデータのセキュリティを確保して、最先端の機械学習と分析を保護します。
分散した研究員から分析用データへの信頼性が高く、タイムリーなアクセスを提供します。 顧客に影響を与えることなく、機械学習モデルの迅速な反復をサポートする隔離された環境を維持します。
技術的要件
テレメトリ データの安全かつ効率的な転送と保存を確保します。インスタンスを迅速に拡張して、それぞれ複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。
約 2 年間保存されているデータを追跡するデータ テーブルに対する分析とプレゼンテーションが可能
100m記録/日
テレメトリ フローと実稼働学習サイクルの両方におけるデータ パイプラインの問題の認識に重点を置いたモニタリング インフラストラクチャの迅速な反復をサポートします。
CEOの声明
当社のビジネス モデルは、特許、分析、動的機械学習に依存しています。当社の安価なハードウェアは信頼性が高くなるように構成されているため、コスト面でのメリットが得られます。信頼性と容量の約束を満たすために、大規模な分散データ パイプラインを迅速に安定させる必要があります。
CTO ステートメント
当社のパブリック クラウド サービスは、宣伝どおりに動作する必要があります。データを拡張し、安全に保つためのリソースが必要です。データサイエンティストがモデルを注意深く研究し、迅速に適応できる環境も必要です。私たちは自動化に依存してデータを処理しているため、反復中に機能する開発環境とテスト環境も必要です。
CFO ステートメント
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持できません。
また、非常に多くのデータ フィードを監視するための運用チームに人員を配置する余裕はないため、自動化とインフラストラクチャに依存することになります。Google Cloud の機械学習により、定量的研究者はデータ パイプラインの問題ではなく、価値の高い問題に取り組むことができるようになります。
Google Cloud Dataflow パイプラインは、50,000 のインストールからデータの受信を開始する準備が整いました。Cloud Dataflow が必要に応じてコンピューティング能力を拡張できるようにしたいと考えています。どの Cloud Dataflow パイプライン構成設定を更新する必要がありますか?
Professional-Data-Engineer 試験問題 20
Cloud Dataflow で、Cloud Pub/Sub トピックからメッセージを受信し、結果を EU 内の BigQuery データセットに書き込むパイプラインを実行しています。現在、パイプラインは europe-west4 にあり、最大 3 つのワーカー、インスタンス タイプ n1-standard-1 があります。ピーク時には、3 つのワーカーすべての CPU 使用率が最大になり、パイプラインがタイムリーにレコードを処理するのに苦労していることに気づきました。パイプラインのパフォーマンスを向上させるために実行できる 2 つのアクションはどれですか? (2つお選びください。)