あなたは、スケーラブルな方法でデータを収集する必要がある新しいアプリケーションを構築しています。データは 1 日を通してアプリケーションから継続的に受信され、年末までに 1 日あたり約 150 GB の JSON データが生成されることが予想されます。要件は次のとおりです。
* 生産者と消費者の切り離し
* 取り込まれた生のデータを無期限に保存する、スペースとコスト効率の高いストレージ
* ほぼリアルタイムの SQL クエリ
* 少なくとも 2 年間の履歴データを維持し、SQL でクエリを実行します。 これらの要件を満たすにはどのパイプラインを使用する必要がありますか?

Google Stackdriver Logging を使用して Google BigQuery の使用状況を監視したいと考えています。挿入ジョブを使用して特定のテーブルに新しいデータが追加されたときに、監視ツールに即時通知を送信する必要がありますが、他のテーブルについては通知を受け取りたくない場合があります。あなたは何をするべきか？

あなたは、オープンソースベースのツールと Google Kubernetes Engine (GKE) を使用してワークフロー パイプライン スケジューリングを実装しています。Google マネージド サービスを使用してタスクを簡素化し、自動化したいと考えています。共有 VPC ネットワークの考慮事項にも対応したいと考えています。あなたは何をするべきか？

あなたの会社は BigQuery を使用してデータ ウェアハウスを実装しており、あなたはデータ モデルの設計を任されています。スター データ スキーマを備えたオンプレミスの販売データ ウェアハウスを BigQuery に移行しましたが、過去 30 日間のデータをクエリするときにパフォーマンスの問題に気づきました。 Google が推奨する方法、ストレージ コストを増やさずにクエリを高速化するにはどうすればよいですか?

あなたの会社は、多数のニューロンと層を含む TensorFlow ニューラル ネットワーク モデルを構築しました。モデルはトレーニング データによく適合します。ただし、新しいデータに対してテストすると、パフォーマンスが低下します。
これに対処するにはどのような方法を採用できますか?