機械学習モデルで使用される可能性のある機密性の高い顧客データを保護するための最善策は、AGEを分位数に分割し、LATITUDE_LONGITUDEを単精度に丸めることでデータを粗くすることです。この方法には、次のような利点があります。
* 粗粒度化することで、機械学習モデルにとってデータの有用性と関連性が維持されます。粗粒度化されたデータでも、モデルが学習する必要のある重要な情報やパターンが依然として捉えられているためです。たとえば、AGEを分位数にすることで、顧客を異なる年齢層にグループ化でき、顧客の好みや行動を予測するのに役立ちます。LATITUDE_LONGITUDEを単精度に丸めることで、位置情報の精度は低下しますが、顧客の大まかな地理的領域は保持されるため、レコメンデーションやオファーをパーソナライズするのに役立ちます。
* 粗粒度データを用いることで、データから個々の顧客を特定したり再特定したりすることが難しくなるため、顧客の個人情報やプライベート情報が漏洩するリスクが軽減されます。例えば、AGEを分位数にすることで、機密情報とみなされる可能性のある顧客の正確な年齢を隠すことができます。同様に、LATITUDE_LONGITUDEを単精度に丸めることで、機密情報とみなされる可能性のある顧客の正確な位置を隠すことができます。
他の選択肢は、以下の理由から最適とは言えません。
* オプション A: ハッシュ化されたダミー値を使用してすべてのフィールドをトークン化し、実際の値を置き換えると、トークン化されたデータにはモデルが学習する必要のあるすべての情報とパターンが失われるため、ML モデルにとってデータの有用性と関連性が失われます。たとえば、AGE をハッシュ化されたダミー値を使用してトークン化すると、モデルがランダムなトークンから何も学習できないため、データが無意味で無関係になる可能性があります。LATITUDE_LONGITUDE をハッシュ化されたダミー値を使用してトークン化すると、モデルがランダムなトークンから何も学習できないため、データが無意味で無関係になる可能性があります。
* オプション B: 主成分分析 (PCA) を使用して 4 つの機密フィールドを 1 つの PCA ベクトルに縮小すると、機械学習モデルにとってデータの有用性と関連性が低下します。これは、PCA ベクトルがモデルが学習する必要のあるすべての情報とパターンを捉えられない可能性があるためです。たとえば、PCA を使用して AGE、IS_EXISTING_CUSTOMER、LATITUDE_LONGITUDE、および SHIRT_SIZE を 1 つの PCA ベクトルに縮小すると、PCA ベクトルは元の特徴の線形結合であるため、それらの真の関係や重要性を反映しない可能性があり、一部の情報が失われたり、データにノイズが混入したりする可能性があります。さらに、PCA ベクトルによって説明される分散の量と PCA 変換行列の利用可能性によっては、PCA ベクトルが元のデータと可逆的またはリンク可能である可能性があるため、PCA を使用して 4 つの機密フィールドを 1 つの PCA ベクトルに縮小しても、顧客の個人情報やプライベート情報が漏洩するリスクは軽減されない可能性があります。
* オプション D: 機密データフィールドをすべて削除し、データサイエンスチームに機密性のないデータを使用してモデルを構築するよう依頼すると、機密性のないデータにはモデルが学習する必要のある十分な情報やパターンが含まれていない可能性があるため、機械学習モデルにとってのデータの有用性と関連性が低下します。たとえば、AGE、IS_EXISTING_CUSTOMER、LATITUDE_LONGITUDE、SHIRT_SIZE をデータから削除すると、モデルが顧客の好みや行動に影響を与える要因を学習できなくなる可能性があるため、データが不十分で代表性を失う可能性があります。さらに、データ保護法では、データが安全かつ倫理的な方法で処理され、顧客の同意と権利が尊重される限り、機械学習モデルに機密データを使用することが許可されている場合があるため、データから機密データフィールドをすべて削除する必要はないか、実行可能ではない可能性があります。
参考文献：
* 機密コンピューティングによる機密データとAIモデルの保護 | NVIDIAテクニカルブログ
* 機密データから機械学習モデルをトレーニングする | Fast Data Science
* 機械学習アプリケーションのセキュリティ確保。モデルのセキュリティと保護 - 中程度
* AI/MLシステムのセキュリティ、MLモデルのセキュリティ | Cossack Labs
機械学習モデルにおける脆弱性、セキュリティ、プライバシー

モデルの特徴値が変更されたときに最小限の追加コードを使用してモデルの再トレーニングを自動化し、トレーニング コストを削減するためにモデルの再トレーニングの回数を最小限に抑える最良のオプションは、予測ドリフトを監視するように構成された Vertex AI モデル監視ジョブを作成し、監視アラートが検出されたときに Pub/Sub キューにメッセージを公開するようにアラート監視を構成し、Cloud Function を使用して Pub/Sub キューを監視し、BigQuery で再トレーニングをトリガーすることです。このオプションを使用すると、Vertex AI、Pub/Sub、および Cloud Functions のパワーとシンプルさを活用して、モデルのパフォーマンスを監視し、必要に応じてモデルを再トレーニングできます。Vertex AI は、Google Cloud 上で機械学習ソリューションを構築およびデプロイするための統合プラットフォームです。Vertex AI は、トレーニング済みのモデルをオンライン予測エンドポイントにデプロイでき、個々のインスタンスに対して低遅延の予測を提供できます。Vertex AI は、データ分析、モデル開発、モデルデプロイ、モデル監視、およびモデルガバナンスのためのさまざまなツールとサービスも提供できます。Vertex AI モデル監視ジョブは、Vertex AI にデプロイされたモデルのパフォーマンスと品質を監視できるリソースです。 Vertex AI モデル監視ジョブは、データドリフト、予測ドリフト、トレーニング/サービングの偏り、モデルの陳腐化など、モデルの問題を検出および診断するのに役立ちます。予測ドリフトは、トレーニングデータでモデルによって生成された予測の分布と、オンラインデータでモデルによって生成された予測の分布の差を測定するモデル監視メトリックの一種です。予測ドリフトは、モデルのパフォーマンスが低下しているか、オンラインデータが時間の経過とともに変化していることを示している可能性があります。予測ドリフトを監視するように構成された Vertex AI モデル監視ジョブを作成することで、モデル予測の変化を追跡し、期待される予測と比較できます。アラート監視は、監視メトリックが事前定義されたしきい値を超えた場合に通知できる Vertex AI モデル監視の機能です。アラート監視を使用すると、アラートをトリガーするルールと条件を設定し、アラートを受信する通知チャネルを選択できます。Pub/Sub は、Google Cloud 上で信頼性が高くスケーラブルなメッセージングとイベントストリーミングを提供するサービスです。 Pub/Sub を使用すると、メッセージの発行と購読を行い、Cloud Functions などのさまざまな Google Cloud サービスに配信できます。Pub/Sub キューは、Pub/Sub トピックに発行されたメッセージを保持できるリソースです。Pub/Sub キューを使用すると、メッセージを保存および管理し、購読者に確実に配信できます。アラート監視を設定して、監視アラートが検出されたときにメッセージを Pub/Sub キューに発行することで、Pub/Sub トピックに通知を送信し、アラートに基づいて下流のアクションをトリガーできます。Cloud Functions は、Google Cloud 上のイベントに応じてステートレス コードを実行できるサービスです。Cloud Functions を使用すると、サーバーのプロビジョニングや管理を行うことなく関数を作成および実行でき、使用したリソースに対してのみ料金が発生します。Cloud Function は、Pub/Sub メッセージなどのイベントに応じてコードを実行できるリソースです。Cloud Function を使用すると、データ処理、データ変換、データ分析などのさまざまなタスクを実行できます。BigQuery は、Google Cloud 上に大規模なデータを保存およびクエリできるサービスです。BigQuery を使用すると、SQL クエリを使用してデータを分析し、データ探索、データ変換、データ視覚化などのさまざまなタスクを実行できます。BigQuery ML は、SQL クエリを使用して BigQuery で機械学習モデルを作成および実行できる BigQuery の機能です。
BigQuery ML を使用すると、線形回帰、ロジスティック回帰、k-means クラスタリング、行列分解、ディープニューラルネットワークなど、さまざまな種類のモデルを構築およびトレーニングできます。クラウド関数を使用して Pub/Sub キューを監視し、BigQuery で再トレーニングをトリガーすることで、モデルの特徴値が変更されたときに最小限の追加コードを使用してモデルの再トレーニングを自動化できます。Pub/Sub キューを監視し、予測ドリフトアラートを受信したときに SQL クエリを実行して BigQuery ML でモデルを再トレーニングするクラウド関数を作成できます。BigQuery ML でモデルを再トレーニングすることで、モデルパラメータを更新し、モデルのパフォーマンスと精度を向上させることができます 1。
他の選択肢は、以下の理由から選択肢Cほど優れていません。
* オプション A: Vertex AI エンドポイントでリクエスト/レスポンスのログ記録を有効にし、予測ドリフトを監視するために TensorFlow Data Validation ジョブをスケジュールし、分布間に大きな距離がある場合はモデルの再トレーニングを実行するには、予測ドリフトを監視するように構成された Vertex AI モデル監視ジョブを作成し、監視アラートが検出されたときに Pub/Sub キューにメッセージを公開するようにアラート監視を構成し、クラウド関数を使用して Pub/Sub キューを監視し、BigQuery で再トレーニングをトリガーするよりも多くのスキルと手順が必要です。リクエスト/レスポンスのログ記録は、オンライン予測エンドポイントとの間で送受信されるリクエストとレスポンスを記録できる Vertex AI エンドポイントの機能です。リクエスト/レスポンスのログ記録は、オンライン予測データの収集と分析、およびモデルの問題のトラブルシューティングに役立ちます。TensorFlow Data Validation は、機械学習用のデータを分析および検証できるツールです。TensorFlow Data Validation を使用すると、データの探索、理解、クリーニング、およびデータドリフト、データスキュー、データ異常などのさまざまなデータの問題を検出できます。
予測ドリフトは、トレーニングデータでモデルが生成した予測の分布と、オンラインデータでモデルが生成した予測の分布の差を測定するデータ問題の一種です。予測ドリフトは、モデルのパフォーマンスが低下しているか、オンラインデータが時間の経過とともに変化していることを示している可能性があります。Vertex AI エンドポイントでリクエスト/レスポンスのログ記録を有効にし、予測ドリフトを監視する TensorFlow データ検証ジョブをスケジュールすることで、オンライン予測データを収集して分析し、予測の分布を比較できます。ただし、Vertex AI エンドポイントでリクエスト/レスポンスのログ記録を有効にし、予測ドリフトを監視する TensorFlow データ検証ジョブをスケジュールし、分布間に大きな差がある場合にモデルの再トレーニングを実行するには、予測ドリフトを監視するように構成された Vertex AI モデル監視ジョブを作成し、監視アラートが検出されたときに Pub/Sub キューにメッセージを公開するようにアラート監視を構成し、Cloud Function を使用して Pub/Sub キューを監視し、BigQuery で再トレーニングをトリガーするよりも多くのスキルと手順が必要です。コードの記述、リクエスト/レスポンスのログ記録の有効化と設定、TensorFlowデータ検証ジョブの作成と実行、分布間の距離の定義と測定、モデルの再トレーニングの実行が必要になります。さらに、このオプションではモデルの再トレーニングは自動化されません。予測ドリフトを手動で確認し、再トレーニングをトリガーする必要があるためです。
* オプション B: Vertex AI エンドポイントでリクエスト/レスポンスのログ記録を有効にし、トレーニング/サービングの偏りを監視する TensorFlow データ検証ジョブをスケジュールし、分布間に大きな距離がある場合はモデルの再トレーニングを実行しても、モデルの特徴値の変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。トレーニング/サービングの偏りは、データの問題の一種で、
* モデルのトレーニングに使用した特徴量の分布と、モデルの提供に使用した特徴量の分布の差。トレーニング/提供の偏りは、モデルが代表的なデータでトレーニングされていないか、データが時間とともに変化していることを示している可能性があります。Vertex AI エンドポイントでリクエスト/レスポンスのログ記録を有効にし、トレーニング/提供の偏りを監視する TensorFlow データ検証ジョブをスケジュールすることで、オンライン予測データを収集して分析し、特徴量の分布を比較できます。ただし、Vertex AI エンドポイントでリクエスト/レスポンスのログ記録を有効にし、トレーニング/提供の偏りを監視する TensorFlow データ検証ジョブをスケジュールし、分布間に大きな距離がある場合にモデルの再トレーニングを実行しても、モデルの特徴量の値の変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。コードを記述し、リクエスト/レスポンスのログ記録を有効にして構成し、TensorFlow データ検証ジョブを作成して実行し、分布間の距離を定義して測定し、モデルの再トレーニングを実行する必要があります。さらに、このオプションでは予測ドリフトを監視することができません。予測ドリフトは、モデルのパフォーマンスと品質を測定するためのより直接的で関連性の高い指標です2。
* オプション D: トレーニング/サービングの偏りを監視するように構成された Vertex AI モデル監視ジョブを作成し、監視アラートが検出されたときに Pub/Sub キューにメッセージを公開するようにアラート監視を構成し、クラウド関数を使用して Pub/Sub キューを監視し、BigQuery で再トレーニングをトリガーしても、モデルの特徴値の変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。トレーニング/サービングの偏りは、モデルのトレーニングに使用される特徴の分布と、モデルの提供に使用される特徴の分布の差を測定するデータ問題の一種です。
トレーニング/サービングの偏りは、モデルが代表データでトレーニングされていないか、データが時間とともに変化していることを示している可能性があります。トレーニング/サービングの偏りを監視するように構成された Vertex AI モデル監視ジョブを作成することで、モデルの特徴の変化を追跡し、期待される特徴と比較できます。ただし、トレーニング/サービングの偏りを監視するように構成された Vertex AI モデル監視ジョブを作成し、監視アラートが検出されたときに Pub/Sub キューにメッセージを公開するようにアラート監視を構成し、Pub/Sub キューを監視して BigQuery で再トレーニングをトリガーするために Cloud Function を使用しても、モデルの特徴値の変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。コードを記述し、Vertex AI モデル監視ジョブを作成して構成し、アラート監視を構成し、Pub/Sub キューを作成して構成し、再トレーニングをトリガーする Cloud Function を作成する必要があります。さらに、このオプションでは、モデルのパフォーマンスと品質を測定するためのより直接的で関連性の高い指標である予測ドリフトは監視されません。
参考文献：
* Google Cloud認定資格の準備：機械学習エンジニア、コース3：本番環境の機械学習システム、第4週：機械学習ガバナンス
* Google Cloud プロフェッショナル機械学習エンジニア試験ガイド、セクション 3: 本番環境での機械学習モデルのスケーリング

Pub/Subは、データをリアルタイムでBigQueryにストリーミングするために使用できるメッセージングサービスです。Pub/Subを設定してユーザーアクティビティデータをBigQueryにストリーミングすることで、データのリアルタイム取り込みが保証されます。出典：Google Cloud

The best option for deploying a custom tabular ML model to production for online predictions, and monitoring the feature distribution over time with minimal effort, using a model that was provided by the bank's vendor, the training data is not available due to its sensitivity, and the model is packaged as a Vertex AI Model serving container which accepts a string as input for each prediction instance, is to upload the model to Vertex AI Model Registry and deploy the model to a Vertex AI endpoint, create a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective, and provide an instance schema. This option allows you to leverage the power and simplicity of Vertex AI to serve and monitor your model with minimal code and configuration. Vertex AI is a unified platform for building and deploying machine learning solutions on Google Cloud. Vertex AI can deploy a trained model to an online prediction endpoint, which can provide low-latency predictions for individual instances. Vertex AI can also provide various tools and services for data analysis, model development, model deployment, model monitoring, and model governance. A Vertex AI Model Registry is a resource that can store and manage your models on Vertex AI. A Vertex AI Model Registry can help you organize and track your models, and access various model information, such as model name, model description, and model labels. A Vertex AI Model serving container is a resource that can run your custom model code on Vertex AI. A Vertex AI Model serving container can help you package your model code and dependencies into a container image, and deploy the container image to an online prediction endpoint. A Vertex AI Model serving container can accept various input formats, such as JSON, CSV, or TFRecord. A string input format is a type of input format that accepts a string as input for each prediction instance. A string input format can help you encode your feature values into a single string, and separate them by commas. By uploading the model to Vertex AI Model Registry and deploying the model to a Vertex AI endpoint, you can serve your model for online predictions with minimal code and configuration. You can use the Vertex AI API or the gcloud command-line tool to upload the model to Vertex AI Model Registry, and provide the model name, model description, and model labels. You can also use the Vertex AI API or the gcloud command-line tool to deploy the model to a Vertex AI endpoint, and provide the endpoint name, endpoint description, endpoint labels, and endpoint resources. A Vertex AI Model Monitoring job is a resource that can monitor the performance and quality of your deployed models on Vertex AI. A Vertex AI Model Monitoring job can help you detect and diagnose issues with your models, such as data drift, prediction drift, training/serving skew, or model staleness. Feature drift is a type of model monitoring metric that measures the difference between the distributions of the features used to train the model and the features used to serve the model over time. Feature drift can indicate that the online data is changing over time, and the model performance is degrading. By creating a Vertex AI Model Monitoring job with feature drift detection as the monitoring objective, and providing an instance schema, you can monitor the feature distribution over time with minimal effort. You can use the Vertex AI API or the gcloud command-line tool to create a Vertex AI Model Monitoring job, and provide the monitoring objective, the monitoring frequency, the alerting threshold, and the notification channel. You can also provide an instance schema, which is a JSON file that describes the features and their types in the prediction input data. An instance schema can help Vertex AI Model Monitoring parse and analyze the string input format, and calculate the feature distributions and distance scores1.
他の選択肢は、以下の理由から選択肢Aほど優れていません。
* オプション B: モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、監視目的として特徴スキュー検出を指定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供すると、時間の経過に伴うオンライン データの変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。特徴スキューは、モデルのトレーニングに使用される特徴の分布と、
* 特定の時点においてモデルに提供される特徴量。特徴量の偏りは、モデルが代表的なデータで学習されていないか、データが時間とともに変化していることを示している可能性があります。監視目的として特徴量の偏り検出を指定して Vertex AI モデル監視ジョブを作成し、インスタンススキーマを指定することで、最小限の労力で特定の時点における特徴量の分布を監視できます。
ただし、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、監視目的として特徴スキュー検出を指定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するだけでは、時間の経過に伴うオンライン データの変化を監視することはできず、エラーやパフォーマンスの低下を引き起こす可能性があります。モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するには、Vertex AI API または gcloud コマンドライン ツールを使用する必要があります。さらに、このオプションでは、時間の経過に伴うオンライン データの変化、モデルのパフォーマンス、および品質を測定するためのより直接的で関連性の高い指標である特徴ドリフトを監視することはできません。
* オプション C: サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れ、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、機能ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成すると、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、機能ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するよりも多くのスキルと手順が必要になります。キーと値のペアの入力形式は、各予測インスタンスの入力としてキーと値のペアを受け入れる入力形式の一種です。キーと値のペアの入力形式を使用すると、JSON オブジェクトで機能名と値を指定し、それらをコロンで区切ることができます。サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れ、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、機能ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成することで、最小限のコードと構成でモデルを提供および監視できます。サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れるようにし、Vertex AI API または gcloud コマンドライン ツールを使用してモデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル監視ジョブを作成することができます。ただし、サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れるようにし、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、監視目的として機能ドリフト検出を指定した Vertex AI モデル監視ジョブを作成するには、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、監視目的として機能ドリフト検出を指定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するよりも多くのスキルと手順が必要になります。コードを記述し、サービング コンテナをリファクタリングし、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル監視ジョブを作成する必要があります。さらに、このオプションではインスタンススキーマは使用されません。インスタンススキーマは、Vertex AI Model Monitoringが文字列入力形式を解析し、特徴分布と距離スコアを計算するのに役立つJSONファイルです1。
* オプション D: サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れるようにし、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、特徴スキュー検出を監視目標とする Vertex AI モデル監視ジョブを作成すると、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、特徴ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するよりも多くのスキルと手順が必要となり、時間の経過に伴うオンライン データの変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。特徴スキューは、モデルのトレーニングに使用される特徴の分布と、特定の時点でモデルを提供するために使用される特徴の分布の差を測定するモデル監視メトリックの一種です。特徴スキューは、モデルが代表的データでトレーニングされていないか、データが時間の経過とともに変化していることを示している可能性があります。監視目標として特徴スキュー検出を指定した Vertex AI モデル監視ジョブを作成することで、最小限の労力で特定の時点での特徴分布を監視できます。しかし、
* コンテナをキーと値のペアを入力形式として受け入れるように設定し、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、特徴スキュー検出を監視目標とする Vertex AI モデル監視ジョブを作成するという方法は、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、特徴ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するよりも多くのスキルと手順が必要であり、時間の経過に伴うオンライン データの変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。コードを記述し、コンテナをリファクタリングし、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル監視ジョブを作成する必要があります。さらに、このオプションでは、時間の経過に伴うオンライン データの変化、モデルのパフォーマンスと品質を測定するためのより直接的で関連性の高い指標である特徴ドリフトは監視されません。
参考文献：
* モデルモニタリングの使用 | Vertex AI | Google Cloud