JSONメッセージを記述してCloudPub/SubからBigQueryに変換するサービスを選択しています。
GoogleCloudのデータパイプライン。サービスコストを最小限に抑えたい。また、監視したい
最小限の手動介入でサイズが変化する入力データ量に対応します。あなたは何をすべきか
行う？

2PBの履歴データをオンプレミスストレージアプライアンスからクラウドストレージに6か月以内に移動する必要があり、アウトバウンドネットワーク容量は20Mb/秒に制限されています。このデータをクラウドストレージにどのように移行する必要がありますか？

ソーシャルメディアの投稿をGoogleBigQueryに保存し、ほぼリアルタイムで1分あたり10,000メッセージの割合で分析する必要があります。最初に、個々の投稿にストリーミング挿入を使用するようにアプリケーションを設計します。アプリケーションは、ストリーミング挿入の直後にデータ集約も実行します。ストリーミング挿入後のクエリは強い一貫性を示さず、クエリからのレポートは処理中のデータを見逃す可能性があることがわかりました。
アプリケーションの設計をどのように調整できますか？

MariaDBSQLデータベースをGCEVMインスタンスにデプロイしており、監視とアラートを構成する必要があります。最小限の開発作業でMariaDBからネットワーク接続、ディスクIO、レプリケーションステータスなどのメトリックを収集し、ダッシュボードとアラートにStackDriverを使用する必要があります。
あなたは何をするべきか？

Pll（個人を特定できる情報）データを含む可能性のあるファイルをクラウドストレージにストリーミングし、最終的にはBigQueryにストリーミングするティールライム予測エンジンを構築しています。電子メールは結合キーとしてよく使用されます。許可されていない個人がPllデータにアクセスできないようにするには、Cloud Data Loss Prevention API（DLP API）をどのように使用する必要がありますか？