4 analyzesenrimentメソッドを使用してNatural Language APIを呼び出す

* オプション A は不正解です。Vertex AI Pipelines を使用してモデルを毎日継続的に再トレーニングすることは、予測ドリフトを防ぐ最も効率的な方法ではありません。Vertex AI Pipelines は、Google Cloud1 でスケーラブルでポータブルな ML パイプラインを作成して実行できるサービスです。Vertex AI Pipelines を使用すると、BigQuery テーブルの最新データを使用してモデルを毎日再トレーニングできます。ただし、データ分布は毎日大きく変化しない可能性があり、モデルの再トレーニングには多くのリソースと時間がかかる可能性があるため、このオプションは不要または無駄になる可能性があります。さらに、このオプションでは、モデルのパフォーマンスを監視したり、予測ドリフトを検出したりすることはできません。これらは、モデルの品質と信頼性を確保するために不可欠な手順です。
* オプションBが正解です。予測値の10%を24時間サンプリングするモデルモニタリングジョブを追加することが、予測ドリフトを防ぐ最善の方法です。モデルモニタリングは、
* デプロイしたモデルのパフォーマンスと健全性を時間の経過とともに追跡できます2。モデルモニタリングを使用すると、受信した予測の一部をサンプリングし、BigQuery テーブルやその他のソースから取得できるグラウンドトゥルースラベルと比較できます。また、モデルモニタリングを使用して、精度、適合率、再現率、F1 スコアなどのさまざまな指標を計算し、しきい値やアラートを設定することもできます。モデルモニタリングを使用すると、予測ドリフトを検出して診断し、モデルを再トレーニングまたは更新するタイミングを決定できます。受信予測の 10% を 1 週間ごとにサンプリングすると、
24 時間は、監視ジョブの精度とコストのトレードオフのバランスが取れているため、合理的な選択です。
* オプション C は不正解です。受信予測の 90% を 24 時間サンプリングするモデル監視ジョブを追加することは、予測ドリフトを防ぐ最適な方法ではないためです。このオプションは、モデル監視を使用してデプロイされたモデルのパフォーマンスと健全性を追跡するため、オプション B と同じ利点があります。
ただし、このオプションはコスト効率が良くありません。受信予測の非常に大きな部分をサンプリングするため、大量のストレージおよび処理コストが発生する可能性があります。さらに、受信予測の 10% をサンプリングするだけで、データ分布の代表的なサンプルがすでに提供される可能性があるため、このオプションでは監視ジョブの精度が大幅に向上しない可能性があります。
* オプション D は不正解です。モデル監視ジョブを追加して、受信予測の 10% を 1 時間ごとにサンプリングすることは、予測ドリフトを防ぐのに必須の方法ではないためです。このオプションには、モデル監視を使用してデプロイされたモデルのパフォーマンスと状態を追跡するという、オプション B と同じ利点もあります。ただし、このオプションは受信予測を頻繁にサンプリングしすぎるため、データ分布の実際の変化を反映しない可能性があるため、過剰である可能性があります。さらに、このオプションでは、より多くのサンプルとメトリックが生成されるため、オプション B よりも多くのストレージと処理コストが発生する可能性があります。
参考文献:
* Vertex AI Pipelines ドキュメント
* モデル監視ドキュメント
* [予測ドリフト]
* [TensorFlow Extended ドキュメント]
* [BigQuery ドキュメント]
* [Vertex AI ドキュメント]

処理手順を実装してサービス提供時に実行し、コードの変更とインフラストラクチャのメンテナンスを最小限に抑え、モデルをできるだけ早く本番環境にデプロイするための最適なオプションは、Predictor インターフェースを使用してカスタム予測ルーチンを実装することです。カスタム コンテナを構築し、コンテナを Vertex AI Model Registry にアップロードして、Vertex AI エンドポイントにデプロイします。このオプションを使用すると、Vertex AI のパワーとシンプルさを活用して、最小限の労力とカスタマイズで XGBoost モデルを提供できます。Vertex AI は、Google Cloud で機械学習ソリューションを構築およびデプロイするための統合プラットフォームです。Vertex AI は、トレーニング済みの XGBoost モデルをオンライン予測エンドポイントにデプロイして、個々のインスタンスに対して低レイテンシの予測を提供できます。カスタム予測ルーチン (CPR) は、入力データの前処理、予測の実行、出力データの後処理のロジックを定義する Python スクリプトです。CPR を使用すると、モデルの予測動作をカスタマイズし、複雑なデータ形式や標準以外のデータ形式を処理できます。また、CPR を使用すると、予測ロジックを実装するためにいくつかの関数を記述するだけで済むため、コードの変更を最小限に抑えることができます。 Predictor インターフェースは、基本クラス aiplatform.Predictor から継承され、抽象メソッド predict() と preprocess() を実装するクラスです。Predictor インターフェースは、モデルの前処理と予測ロジックを定義することで CPR を作成するのに役立ちます。コンテナ イメージは、モデル、CPR、および依存関係を含むパッケージです。コンテナ イメージを使用すると、コンテナ イメージを Vertex AI Model Registry にアップロードして Vertex AI Endpoints にデプロイするだけで済むため、デプロイ プロセスを標準化して簡素化できます。Predictor インターフェースを使用して CPR を実装し、カスタム コンテナを構築して、コンテナを Vertex AI Model Registry にアップロードし、Vertex AI エンドポイントにデプロイすることで、処理手順を実装してサービス提供時に実行できるようにし、コードの変更とインフラストラクチャのメンテナンスを最小限に抑え、モデルをできるだけ早く本番環境にデプロイできます1。
他のオプションは、次の理由によりオプション C ほど優れていません。
オプション A: FastAPI を使用して HTTP サーバーを実装し、HTTP サーバーを実行する Docker イメージを作成して、組織の GKE クラスタにデプロイするには、Predictor インターフェースを使用して CPR を実装し、カスタム コンテナを構築し、コンテナを Vertex AI Model Registry にアップロードして、Vertex AI エンドポイントにデプロイするよりも多くのスキルと手順が必要です。FastAPI は、Python でウェブ アプリケーションと API を構築するためのフレームワークです。FastAPI を使用すると、予測リクエストとレスポンスを処理し、データの前処理と後処理を実行できる HTTP サーバーを実装できます。Docker イメージは、モデル、HTTP サーバー、依存関係を含むパッケージです。Docker イメージは、Docker イメージをビルドして実行するだけなので、デプロイ プロセスを標準化して簡素化できます。GKE は、Google Cloud で Kubernetes クラスタを作成および管理できるサービスです。GKE を使用すると、Google Cloud で Docker イメージをデプロイおよびスケーリングし、高可用性とパフォーマンスを実現できます。ただし、FastAPI を使用して HTTP サーバーを実装し、HTTP サーバーを実行する Docker イメージを作成して組織の GKE クラスタにデプロイするには、Predictor インターフェースを使用して CPR を実装し、カスタム コンテナを構築し、コンテナを Vertex AI Model Registry にアップロードして Vertex AI エンドポイントにデプロイするよりも多くのスキルと手順が必要になります。コードの記述、HTTP サーバーの作成と構成、Docker イメージの構築とテスト、GKE クラスタの作成と管理、Docker イメージのデプロイとモニタリングが必要になります。さらに、このオプションでは、Google Cloud サービスとネイティブに統合されたオンライン予測を提供できる Vertex AI のパワーとシンプルさを活用できません2。
オプション B: FastAPI を使用して HTTP サーバーを実装し、HTTP サーバーを実行する Docker イメージを作成し、そのイメージを Vertex AI Model Registry にアップロードして Vertex AI エンドポイントにデプロイするには、Predictor インターフェースを使用して CPR を実装し、カスタム コンテナを構築し、そのコンテナを Vertex AI Model Registry にアップロードして Vertex AI エンドポイントにデプロイするよりも多くのスキルと手順が必要になります。FastAPI は、Python でウェブ アプリケーションと API を構築するためのフレームワークです。FastAPI を使用すると、予測リクエストとレスポンスを処理し、データの前処理と後処理を実行できる HTTP サーバーを実装できます。Docker イメージは、モデル、HTTP サーバー、依存関係を含むパッケージです。Docker イメージは、Docker イメージを構築して実行するだけなので、デプロイ プロセスを標準化して簡素化できます。Vertex AI Model Registry は、Google Cloud で機械学習モデルを保存および管理できるサービスです。Vertex AI Model Registry を使用すると、Docker イメージをアップロードして整理し、モデルのバージョンとメタデータを追跡できます。 Vertex AI Endpoints は、Google Cloud 上の機械学習モデルのオンライン予測を提供できるサービスです。Vertex AI Endpoints を使用すると、Docker イメージをオンライン予測エンドポイントにデプロイして、個々のインスタンスの低レイテンシ予測を提供できます。ただし、FastAPI を使用して HTTP サーバーを実装し、HTTP サーバーを実行する Docker イメージを作成し、そのイメージを Vertex AI Model Registry にアップロードして Vertex AI エンドポイントにデプロイするには、Predictor インターフェースを使用して CPR を実装し、カスタム コンテナを構築し、そのコンテナを Vertex AI Model Registry にアップロードして Vertex AI エンドポイントにデプロイするよりも多くのスキルと手順が必要になります。コードを記述し、HTTP サーバーを作成して構成し、Docker イメージを構築してテストし、その Docker イメージを Vertex AI Model Registry にアップロードして、その Docker イメージを Vertex AI Endpoints にデプロイする必要があります。さらに、このオプションでは、Google Cloud サービスとネイティブに統合されたオンライン予測を提供できる Vertex AI のパワーとシンプルさを活用できません2。
Option D: Using the XGBoost prebuilt serving container when importing the trained model into Vertex AI, deploying the model to a Vertex AI endpoint, working with the backend engineers to implement the pre- and postprocessing steps in the Golang backend service would not allow you to implement the processing steps so that they run at serving time, and could increase the code changes and infrastructure maintenance. A XGBoost prebuilt serving container is a container image that is provided by Google Cloud, and contains the XGBoost framework and the dependencies. A XGBoost prebuilt serving container can help you deploy a XGBoost model without writing any code, but it also limits your customization options. A XGBoost prebuilt serving container can only handle standard data formats, such as JSON or CSV, and cannot perform any preprocessing or postprocessing on the input or output data. If your input data requires any transformation or normalization before running the prediction, you cannot use a XGBoost prebuilt serving container. A Golang backend service is a service that is implemented in Golang, a programming language that can be used for web development and system programming. A Golang backend service can help you handle the prediction requests and responses from the frontend, and communicate with the Vertex AI endpoint. However, using the XGBoost prebuilt serving container when importing the trained model into Vertex AI, deploying the model to a Vertex AI endpoint, working with the backend engineers to implement the pre- and postprocessing steps in the Golang backend service would not allow you to implement the processing steps so that they run at serving time, and could increase the code changes and infrastructure maintenance. You would need to write code, import the trained model into Vertex AI, deploy the model to a Vertex AI endpoint, implement the pre- and postprocessing steps in the Golang backend service, and test and monitor the Golang backend service. Moreover, this option would not leverage the power and simplicity of Vertex AI, which can provide online prediction natively integrated with Google Cloud services2.
Reference:
Preparing for Google Cloud Certification: Machine Learning Engineer, Course 3: Production ML Systems, Week 2: Serving ML Predictions Google Cloud Professional Machine Learning Engineer Exam Guide, Section 3: Scaling ML models in production, 3.1 Deploying ML models to production Official Google Cloud Certified Professional Machine Learning Engineer Study Guide, Chapter 6: Production ML Systems, Section 6.2: Serving ML Predictions Custom prediction routines Using pre-built containers for prediction Using custom containers for prediction