Cloud Storage に履歴データを保存しています。履歴データに対して分析を行う必要があります。無効なデータエントリを検出し、プログラミングやSQLの知識を必要とせずにデータ変換を実行するソリューションを使用したいと考えています。
何をすべきでしょうか?

MJTelcoのケーススタディ
会社概要
MJTelcoは、世界中で急成長を遂げているものの、サービスが行き届いていない市場にネットワークを構築することを計画しているスタートアップ企業です。同社は革新的な光通信ハードウェアに関する特許を保有しており、これらの特許に基づき、安価なハードウェアで信頼性の高い高速バックボーンリンクを多数構築することが可能です。
会社概要
経験豊富な通信業界の幹部によって設立されたMJTelcoは、宇宙における通信の課題を克服するために開発された技術を活用しています。事業運営の基盤として、リアルタイム分析を可能にし、機械学習を組み込んだ分散型データインフラストラクチャを構築することで、トポロジーを継続的に最適化する必要があります。ハードウェアは安価であるため、ネットワークを過剰に展開することで、地域情勢の変化が位置情報の可用性とコストに及ぼす影響を考慮に入れる計画です。
同社の管理・運用チームは世界中に拠点を置き、システム内でデータの利用者と提供者の間に多対多の関係を構築しています。慎重に検討した結果、パブリッククラウドが自社のニーズを満たす最適な環境であると判断しました。
ソリューションコンセプト
MJTelcoは、自社のラボで概念実証（PoC）プロジェクトを成功裏に実行しています。彼らには主に2つのニーズがあります。
より多くのデータフローを生成するために、PoCを拡張して強化する

50,000 以上のインストール。
機械学習サイクルを改良し、制御に使用する動的モデルを検証および改善する

トポロジの定義。
MJTelcoは開発/テスト、ステージング、本番の3つの独立した運用環境も使用します。
- 実験の実行、新機能の導入、実稼働顧客へのサービス提供のニーズを満たすため。
ビジネス要件
最小限のコストで生産環境を拡張し、いつでもどこでもリソースをインスタンス化します。

予測不可能な分散型通信ユーザーコミュニティに必要です。
最先端の機械学習と分析を保護するために、独自のデータのセキュリティを確保します。

分散した研究員に分析用のデータへの信頼性とタイムリーなアクセスを提供する

機械学習モデルの迅速な反復をサポートする隔離された環境を維持する

顧客に影響を与えます。
技術要件
テレメトリデータの安全かつ効率的な転送と保管を確保する

インスタンスを迅速に拡張して、複数のフローを持つ 10,000 ～ 100,000 のデータ プロバイダーをサポートします。

それぞれ。
約2年間分のデータを追跡するデータテーブルに対する分析とプレゼンテーションを可能にします。

1日あたり1億件のレコード
データ パイプラインの問題を認識することに重点を置いた監視インフラストラクチャの迅速な反復をサポートします。

テレメトリフローと本番学習サイクルの両方で。
CEO声明
当社のビジネスモデルは、特許、分析、そして動的機械学習に依存しています。低価格のハードウェアは高い信頼性を実現するよう設計されており、コスト面での優位性をもたらしています。信頼性と容量に関するコミットメントを満たすためには、大規模な分散データパイプラインを迅速に安定化させる必要があります。
CTO声明
当社のパブリッククラウドサービスは、宣伝どおりに機能する必要があります。拡張性とデータの安全性を確保できるリソースが必要です。また、データサイエンティストがモデルを綿密に研究し、迅速に適応できる環境も必要です。データ処理は自動化に依存しているため、開発環境とテスト環境も、反復作業に合わせて適切に機能する必要があります。
CFO声明
プロジェクトが大きすぎるため、データと分析に必要なハードウェアとソフトウェアを維持することはできません。
また、膨大なデータフィードを監視する運用チームを編成する余裕はないため、自動化とインフラストラクチャに頼ることになります。Google Cloud の機械学習により、定量分析の研究者はデータパイプラインの問題ではなく、より価値の高い問題に取り組むことができます。
次の要件を満たす運用チーム向けの視覚化を作成する必要があります。
レポートには、過去6週間の50,000のインストールすべてからのテレメトリデータを含める必要があります。

(1分ごとにサンプリング)
レポートはライブデータから 3 時間以上遅延してはなりません。

実用的なレポートには、最適ではないリンクのみが表示されます。

最適ではないリンクのほとんどは、一番上に並べる必要があります。

最適ではないリンクは、地域の地理によってグループ化およびフィルタリングできます。

レポートをロードするためのユーザー応答時間は 5 秒未満である必要があります。

どのアプローチが要件を満たしていますか?

あなたの会社では、Google Cloud Dataflow で学習アルゴリズムのデータ前処理を実行しています。
このステップでは多数のデータ ログが生成されるため、チームはそれらを分析したいと考えています。
キャンペーンの動的な性質により、データは毎時間指数関数的に増加しています。データサイエンティストは、ログ内の新たな主要な特徴をデータから読み取るために、以下のコードを作成しました。
BigQueryIO.読み取り
.named("ログデータ読み取り")
.from("clouddataflow-readonly:samples.log_data")
このデータ読み取りのパフォーマンスを改善したいのですが、どうすればよいでしょうか？

あなたは、1日に1回午前2時にアプリケーションのログファイルを1つのログファイルにまとめる製造工場で働いています。このログファイルを処理するためのGoogle Cloud Dataflowジョブを作成しました。ログファイルを1日に1回、できるだけ低コストで処理する必要があります。どうすればよいでしょうか？

Node.js で記述された Cloud Functions を使用して、Cloud Pub/Sub からメッセージを pull し、BigQuery にデータを送信しています。Pub /Sub トピックのメッセージ処理速度が予想よりも桁違いに高いのですが、Stackdriver Log Viewer にはエラーが記録されていません。この問題の原因として最も可能性が高いのはどれですか。2 つ選択してください。