コストを最小限に抑えながら高いレベルのパフォーマンスを維持するためにモデルを再トレーニングする頻度を決定するための最適なオプションは、トレーニング サービング スキュー検出バッチ ジョブを数日ごとに実行することです。トレーニング サービング スキューとは、トレーニング データセットとサービング データ内の特徴の分布の不一致を指します。新しいデータはモデルのトレーニングに使用されたデータを代表するものではないため、モデルのパフォーマンスが低下する可能性があります。トレーニング サービング スキュー検出バッチ ジョブを実行すると、時間の経過に伴う特徴分布の変化を監視し、スキューがモデルのパフォーマンスに影響を与えるほど大きくなるタイミングを特定できます。スキューが検出された場合は、最新のサービング データをラベリング サービスに送信し、ラベル付けされたデータを使用してモデルを再トレーニングできます。このオプションには次の利点があります。
* 固定スケジュールやヒューリスティックではなく、実際のデータの変更に基づいて、必要な場合にのみモデルを再トレーニングできます。これにより、ラベリング サービスと再トレーニング プロセスのコストを節約できるほか、モデルの過剰適合や不足適合を回避できます。
* TensorFlow Data Validation (TFDV) や Vertex Data Labeling など、トレーニング サービング スキュー検出用の既存のツールとフレームワークを活用します。TFDV は、データセットの記述統計を計算して視覚化し、異なるデータセット間で統計を比較できるライブラリです。Vertex Data Labeling は、人間によるラベル付けまたは自動ラベル付けを使用して、高品質かつ低レイテンシでデータをラベル付けできるサービスです。
* 継続的インテグレーションと継続的デリバリー (CI/CD) などの MLOps プラクティスと適切に統合され、スキュー検出ジョブの実行、ラベル付けサービスへのデータの送信、モデルの再トレーニング、新しいモデル バージョンのデプロイのワークフローを自動化できます。
その他のオプションは、次の理由により最適ではありません。
* オプション A: トレーニング データセットで異常検出モデルをトレーニングし、すべての受信リクエストをこのモデルで実行すると、複雑さとオーバーヘッドが増加します。このオプションでは、異常検出用に別のモデルを構築して維持する必要があり、これは困難で時間のかかる作業です。さらに、このオプションではリクエストごとに異常検出モデルを実行する必要があるため、予測サービスの待ち時間とリソース消費が増加する可能性があります。さらに、異常は通常、まれなイベントまたは極端なイベントとして定義されるため、このオプションでは、モデルのパフォーマンスに影響を与える可能性のある特徴分布の微妙な変化をキャプチャできない可能性があります。
* オプションB: 前年のモデルのパフォーマンスの時間的パターンを特定し、翌年のラベリングサービスにサービングデータを送信するスケジュールを作成すると、
* 追加の仮定とリスク。このオプションでは、履歴データとモデル パフォーマンスを分析し、モデル パフォーマンスの経時的な変化を説明できるパターンを見つける必要があります。ただし、パターンは一貫性がなく予測不可能な場合があり、データで捕捉されないさまざまな要因に依存する可能性があるため、これは困難で信頼性が低い場合があります。さらに、このオプションでは過去のパターンに基づいてスケジュールを作成する必要がありますが、これはデータや環境の将来の変化を反映しない可能性があります。これにより、ラベル付けサービスに送信されるデータが多すぎたり少なすぎたりする可能性があり、その結果、コストが無駄になったりパフォーマンスが低下したりする可能性があります。
* オプション C: 過去 1 年間のモデル パフォーマンスの低下による収益の損失とラベリング サービスのコストを比較し、それに応じてモデルの再トレーニングの頻度を調整すると、追加の課題とトレードオフが発生します。このオプションでは、ラベリング サービスのコストとモデル パフォーマンスの低下による収益の損失を見積もる必要がありますが、これらは簡単に定量化または測定できないさまざまな要因に依存する可能性があるため、困難で不正確な場合があります。さらに、このオプションでは、コストとパフォーマンスの最適なバランスを見つける必要がありますが、利害関係者によって好みや期待が異なる可能性があるため、これは主観的で変動する可能性があります。さらに、このオプションでは、モデル パフォーマンスの低下が顧客の満足度、維持、忠誠心など、ビジネスの他の側面に及ぼす潜在的な影響が考慮されない可能性があります。

銀行のベンダーから提供されたモデルを使用し、トレーニング データは機密性が高いため利用できず、モデルは各予測インスタンスの入力として文字列を受け入れる Vertex AI モデル サービング コンテナとしてパッケージ化されている場合、オンライン予測のためにカスタムの表形式 ML モデルを本番環境にデプロイし、最小限の労力で経時的に特徴分布をモニタリングするための最適なオプションは、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、モニタリング目標として特徴ドリフト検出を指定した Vertex AI モデル モニタリング ジョブを作成し、インスタンス スキーマを提供することです。このオプションを使用すると、Vertex AI のパワーとシンプルさを活用して、最小限のコードと構成でモデルを提供およびモニタリングできます。Vertex AI は、Google Cloud 上で機械学習ソリューションを構築およびデプロイするための統合プラットフォームです。Vertex AI は、トレーニング済みのモデルをオンライン予測エンドポイントにデプロイして、個々のインスタンスに対して低レイテンシの予測を提供できます。Vertex AI は、データ分析、モデル開発、モデルのデプロイ、モデルのモニタリング、およびモデル ガバナンスのためのさまざまなツールとサービスも提供できます。 Vertex AI モデル レジストリは、Vertex AI でモデルを保存および管理できるリソースです。Vertex AI モデル レジストリを使用すると、モデルを整理して追跡したり、モデル名、モデルの説明、モデル ラベルなどのさまざまなモデル情報にアクセスしたりできます。Vertex AI モデル サービング コンテナは、Vertex AI でカスタム モデル コードを実行できるリソースです。Vertex AI モデル サービング コンテナを使用すると、モデル コードと依存関係をコンテナ イメージにパッケージ化し、そのコンテナ イメージをオンライン予測エンドポイントにデプロイできます。Vertex AI モデル サービング コンテナは、JSON、CSV、TFRecord など、さまざまな入力形式を受け入れることができます。文字列入力形式は、各予測インスタンスの入力として文字列を受け入れる入力形式の一種です。文字列入力形式を使用すると、特徴値を 1 つの文字列にエンコードし、カンマで区切ることができます。モデルを Vertex AI モデル レジストリにアップロードし、Vertex AI エンドポイントにデプロイすることで、最小限のコードと構成でオンライン予測用のモデルを提供できます。 Vertex AI API または gcloud コマンドライン ツールを使用して、モデルを Vertex AI モデル レジストリにアップロードし、モデル名、モデルの説明、モデルラベルを指定できます。また、Vertex AI API または gcloud コマンドライン ツールを使用して、モデルを Vertex AI エンドポイントにデプロイし、エンドポイント名、エンドポイントの説明、エンドポイント ラベル、エンドポイント リソースを指定することもできます。Vertex AI モデル モニタリング ジョブは、Vertex AI にデプロイされたモデルのパフォーマンスと品質をモニタリングできるリソースです。Vertex AI モデル モニタリング ジョブは、データ ドリフト、予測ドリフト、トレーニング / サービング スキュー、モデルの古さなど、モデルの問題を検出して診断するのに役立ちます。特徴ドリフトは、モデルのトレーニングに使用される特徴と、モデルを提供するために使用される特徴の分布の差を経時的に測定するモデル モニタリング指標の一種です。特徴ドリフトは、オンライン データが経時的に変化し、モデルのパフォーマンスが低下していることを示している可能性があります。特徴ドリフト検出をモニタリング目標として Vertex AI モデル モニタリング ジョブを作成し、インスタンス スキーマを提供することで、最小限の労力で経時的な特徴分布をモニタリングできます。Vertex AI API または gcloud コマンドライン ツールを使用して Vertex AI モデル モニタリング ジョブを作成し、モニタリング目標、モニタリング頻度、アラートしきい値、通知チャネルを指定できます。また、インスタンス スキーマ (予測入力データ内の特徴とそのタイプを記述する JSON ファイル) を指定することもできます。インスタンス スキーマは、Vertex AI モデル モニタリングが文字列入力形式を解析および分析し、特徴分布と距離スコアを計算するのに役立ちます1。
他のオプションは、次の理由によりオプション A ほど優れていません。
* オプション B: モデルを Vertex AI モデルレジストリにアップロードして Vertex AI エンドポイントにデプロイし、特徴スキュー検出をモニタリング目標として Vertex AI モデルモニタリングジョブを作成し、インスタンススキーマを提供すると、オンラインデータの変化を時間の経過とともにモニタリングするのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。特徴スキューは、モデルのトレーニングに使用される特徴の分布と、モデルをトレーニングするために使用される特徴の分布の差を測定するモデルモニタリング指標の一種です。
* 特定の時点でモデルを提供するために使用される特徴。特徴の偏りは、モデルが代表的なデータでトレーニングされていないか、データが時間の経過とともに変化していることを示している可能性があります。特徴の偏りの検出をモニタリング目標として Vertex AI モデル モニタリング ジョブを作成し、インスタンス スキーマを提供することで、最小限の労力で特定の時点での特徴の分布をモニタリングできます。
ただし、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、特徴スキュー検出をモニタリング目標として Vertex AI モデル モニタリング ジョブを作成し、インスタンス スキーマを提供するだけでは、オンライン データの変化を経時的にモニタリングできず、エラーやパフォーマンスの低下を引き起こす可能性があります。Vertex AI API または gcloud コマンドライン ツールを使用して、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル モニタリング ジョブを作成し、インスタンス スキーマを提供する必要があります。さらに、このオプションでは、オンライン データの経時的な変化やモデルのパフォーマンスと品質を測定するためのより直接的で関連性の高い指標である特徴ドリフトをモニタリングできません1。
* Option C: Refactoring the serving container to accept key-value pairs as input format, uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective would require more skills and steps than uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective, and providing an instance schema. A key-value pair input format is a type of input format that accepts a key-value pair as input for each prediction instance. A key-value pair input format can help you specify the feature names and values in a JSON object, and separate them by colons. By refactoring the serving container to accept key-value pairs as input format, uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective, you can serve and monitor your model with minimal code and configuration. You can write code to refactor the serving container to accept key-value pairs as input format, anduse the Vertex AI API or the gcloud command-line tool to upload the model to Vertex AI Model Registry, deploy the model to a Vertex AI endpoint, and create a Vertex AI Model Monitoring job. However, refactoring the serving container to accept key-value pairs as input format, uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective would require more skills and steps than uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective, and providing an instance schema. You would need to write code, refactor the serving container, upload the model to Vertex AI Model Registry, deploy the model to a Vertex AI endpoint, and create a Vertex AI Model Monitoring job. Moreover, this option would not use the instance schema, which is a JSON file that can help Vertex AI Model Monitoring parse and analyze the string input format, and calculate the feature distributions and distance scores1.
* Option D: Refactoring the serving container to accept key-value pairs as input format, uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature skew detection as the monitoring objective would require more skills and steps than uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective, and providing an instance schema, and would not help you monitor the changes in the online data over time, and could cause errors or poor performance. Feature skew is a type of model monitoring metric that measures the difference between the distributions of the features used to train the model and the features used to serve the model at a given point in time. Feature skew can indicate that the model is not trained on the representative data, or that the data is changing over time. By creating a Vertex AI Model Monitoring job with feature skew detection as the monitoring objective, you can monitor the feature distribution at a given point in time with minimal effort. However, refactoring the
* serving container to accept key-value pairs as input format, uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature skew detection as the monitoring objective would require more skills and steps than uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, creating a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective, and providing an instance schema, and would not help you monitor the changes in the online data over time, and could cause errors or poor performance. You would need to write code, refactor the serving container, upload the model to Vertex AI Model Registry, deploy the model to a Vertex AI endpoint, and create a Vertex AI Model Monitoring job. Moreover, this option would not monitor the feature drift, which is a more direct and relevant metric formeasuring the changes in the online data over time, and the model performance and quality1.
References:
* Using Model Monitoring | Vertex AI | Google Cloud

自動スケーリングは、デプロイされたモデルのトラフィックと負荷に基づいて予測ノードの数を自動的に調整できる機能です1。ただし、自動スケーリングは予測ノードの CPU 使用率、つまりモデル サーバーで使用される CPU リソースの割合に依存します1。高負荷の期間でも CPU 使用率が低い場合は、モデル サーバーが利用可能な CPU リソースを完全に使用していないことを意味し、そのため自動スケーリングによってレプリカがさらにトリガーされることはありません2。
CPU 使用率が低い理由の 1 つは、モデル サーバーが予測リクエストの処理に単一のワーカー プロセスを使用していることです3。ワーカー プロセスは、モデル コードを実行し、予測リクエストを処理するサブプロセスです3。ワーカー プロセスが 1 つしかない場合、一度に処理できるリクエストは 1 つだけなので、トラフィックが多いときにリクエストがドロップされる可能性があります3。モデル サーバーの CPU 使用率とスループットを向上させるには、ワーカー プロセスの数を増やします。これにより、モデル サーバーが複数のリクエストを並行して処理できるようになります3。
モデル サーバーのワーカー数を増やすには、カスタム モデル サーバーのコードを変更し、--workers フラグを使用して、使用するワーカー プロセスの数を指定する必要があります3。たとえば、Gunicorn サーバーを使用している場合は、次のコマンドを使用して、4 つのワーカー プロセスでモデル サーバーを起動できます。
gunicorn --bind :$PORT --workers 4 --threads 1 --timeout 60 main:app
モデル サーバーのワーカー数を増やすと、予測ノードの CPU 使用率を高めることができ、自動スケーリングを有効にして 1 つのレプリカを超えて拡張できるようになります。
その他のオプションは、GPU の接続やスケーリングのスケジュール設定など、CPU 使用率が低い根本的な原因に対処しないか、トラフィックに関係なく常に実行される固定数のノードである minReplicaCount の増加など、自動スケーリングを有効にしないため、シナリオには適していません1。
参照：
予測ノードのスケーリング | Vertex AI | Google Cloud
トラブルシューティング | Vertex AI | Google Cloud
オンライン予測でカスタム予測ルーチンを使用する | Vertex AI | Google Cloud

オプション A は、Vertex AI Workbench ノートブックでモデル開発実験の各実行からデータをログに記録し、アーティファクトを追跡するのに最適なソリューションです。Vertex AI Workbench は、Google Cloud でインタラクティブなノートブックを作成して実行できるサービスです。Vertex AI Workbench を使用すると、時系列予測の問題に対してさまざまな前処理とモデリングのアプローチを試すことができます。
Vertex AI TensorBoard インスタンスと Vertex AI SDK を使用して、実験を作成し、TensorBoard インスタンスを関連付けることもできます。TensorBoard は、ML 実験の指標と成果物を視覚化して監視できるツールです。Vertex AI SDK を使用して、共通の目的を共有する実行の論理グループである実験オブジェクトを作成できます。また、Vertex AI SDK を使用して、実験オブジェクトを TensorBoard インスタンスに関連付けることもできます。TensorBoard インスタンスは、TensorBoard ウェブアプリをホストするマネージド サービスです。Vertex AI TensorBoard インスタンスと Vertex AI SDK を使用すると、実験を簡単にセットアップして管理し、Vertex AI コンソールから TensorBoard ウェブアプリにアクセスできます。また、log_time_series_metrics 関数と log_metrics 関数を使用して、各実行からデータをログに記録し、成果物を追跡することもできます。
log_time_series_metrics 関数は、多変量時系列やラベルなどの時系列データを TensorBoard インスタンスに記録できる関数です。log_metrics 関数は、損失値などのスカラー メトリックを TensorBoard インスタンスに記録できる関数です。これらの関数を使用すると、実験の各実行からデータと成果物を記録し、TensorBoard ウェブ アプリで比較できます。また、TensorBoard ウェブ アプリを使用して、時系列プロット、スカラー チャート、ヒストグラム、分布などのデータと成果物を視覚化することもできます。Vertex AI TensorBoard インスタンス、Vertex AI SDK、およびログ関数を使用すると、Vertex AI Workbench ノートブックで実験の各実行からデータを記録して成果物を追跡できます。参考資料:
* Vertex AI Workbench ドキュメント
* Vertex AI TensorBoard ドキュメント
* Vertex AI SDK ドキュメント
* log_time_series_metrics 関数のドキュメント
* log_metrics 関数のドキュメント
* [Google Cloud 認定資格の準備: 機械学習エンジニア プロフェッショナル認定]