* コスト効率：Vertex AI Workbench のユーザー管理ノートブックを使用すると、適切なリソース割り当てで事前構成された仮想マシンを活用できるため、マネージドノートブックや Dataproc クラスターを使用するオプションと比較してコストを低く抑えることができます。
* 開発の柔軟性：ユーザーが管理するノートブックは、環境を完全に制御できるため、特定のEDA、前処理、モデルトレーニングタスクに必要な追加ライブラリや依存関係をインストールできます。この柔軟性は、さまざまなアルゴリズムを試す際に非常に重要です。
* BigQueryとの連携：%%bigqueryマジックコマンドを使用すると、Jupyter Notebook環境内でBigQueryとシームレスに連携できます。これにより、ノートブックから直接BigQueryに保存されている顧客取引データを効率的にクエリおよび探索できるため、ワークフローが効率化されます。
その他の選択肢と、それらが最適ではない理由：
* B. マネージドノートブック: マネージドノートブックはセットアップが簡単ですが、カスタマイズのオプションが限られている場合があり、特定のライブラリやツールをインストールする能力が制限される可能性があります。
* C. Dataproc Hub: Dataproc Hubは大規模な分散ワークロードの実行に重点を置いており、探索的分析やさまざまなアルゴリズムの実験を含むシナリオには過剰かもしれません。
さらに、ユーザーが管理するノートパソコンと比較して、コストが高くなる可能性もある。
* D. Spark BigQueryコネクタを使用したDataprocクラスタ: オプションCと同様に、Spark BigQueryコネクタを使用したDataprocクラスタは、より複雑で、場合によってはより高価になります。
BigQueryデータにアクセスするための、ユーザー管理ノートブック内の%%bigqueryマジックコマンド。
参考文献：
* https://cloud.google.com/vertex-ai/docs/workbench/instances/bigquery
* https://cloud.google.com/vertex-ai-notebooks

大規模データセットで機械学習モデルをトレーニングする場合、トレーニング プロセスを高速化するために TPU を使用し、TPU がフル キャパシティに達していないことが判明した場合は、バッチ サイズを増やすのが最善のオプションです。このオプションを使用すると、TPU のパワーとシンプルさを活用して、モデルをより高速かつ効率的にトレーニングできます。TPU は、機械学習ワークロードを高速化できるカスタム開発されたアプリケーション固有集積回路 (ASIC) です。TPU は、線形回帰、ロジスティック回帰、k-means クラスタリング、行列分解、ディープ ニューラル ネットワークなど、さまざまな種類のモデルに対して高いパフォーマンスとスケーラビリティを提供できます。TPU は、TensorFlow、PyTorch、JAX などのさまざまなツールとフレームワークもサポートできます。バッチ サイズは、1 つの順方向/逆方向パスでトレーニング 例の数を指定するパラメータです。バッチ サイズは、トレーニング プロセスの速度と精度に影響を与える可能性があります。バッチ サイズを大きくすると、TPU の並列処理能力を活用し、TPU とホスト CPU 間の通信オーバーヘッドを削減できます。バッチサイズを大きくすると、勾配更新の分散を減らすことができるため、過学習を防ぐのに役立ちます。バッチサイズを大きくすることで、大規模なデータセットでモデルをより速く効率的にトレーニングし、TPU の容量を最大限に活用できます 1 。
他の選択肢は、以下の理由から選択肢Dほど優れていません。
* オプション A: 学習率を上げても TPU の並列処理能力を有効活用できず、エラーやパフォーマンスの低下を招く可能性があります。学習率は、各反復でモデルがどれだけ更新されるかを制御するパラメータです。学習率は、トレーニング プロセスの速度と精度に影響を与える可能性があります。学習率を大きくすると収束が速くなりますが、不安定性、発散、振動を引き起こす可能性もあります。学習率を上げると、最適な解が見つからない場合があり、検証データやテスト データ 2 でモデルのパフォーマンスが低下する可能性があります。
* オプション B: エポック数を増やしても TPU の並列処理能力を有効活用することはできず、トレーニング プロセスの複雑さとコストが増加する可能性があります。エポックとは、トレーニング プロセスですべてのトレーニング 例が 1 回ずつ使用される回数の尺度です。エポックはトレーニング プロセスの速度と精度に影響を与える可能性があります。エポック数を増やすとデータからより多くのことを学習できますが、過学習、過小学習、または収穫逓減を引き起こす可能性もあります。エポック数を増やしてもモデルのパフォーマンスを大幅に改善できない場合があり、トレーニング プロセスに時間がかかり、より多くのリソースを消費する可能性があります 3 。
* オプション C: 学習率を下げると、TPU の並列処理能力を活用できず、トレーニング プロセスが遅くなる可能性があります。学習率は、各反復でモデルがどれだけ更新されるかを制御するパラメータです。学習率は、トレーニング プロセスの速度と精度に影響を与える可能性があります。学習率を小さくすると、より正確な解を見つけることができますが、収束が遅くなったり、局所的最小値に陥ったりする可能性もあります。学習率を下げると、妥当な時間内に最適な解に到達できない可能性があり、トレーニング プロセスに時間がかかる場合があります 2 。
参考文献：
Google Cloud 認定資格の準備: 機械学習エンジニア、コース 2: ML モデルとアーキテクチャ、第 1 週: ML モデルとアーキテクチャの概要、Google Cloud プロフェッショナル機械学習エンジニア試験ガイド、セクション 2: ML ソリューションのアーキテクチャ設計、
2.1 機械学習モデルの設計
Google Cloud 認定プロフェッショナル機械学習エンジニア公式学習ガイド、第 4 章: ML モデルとアーキテクチャ、セクション 4.1: ML モデルの設計 TPU の使用 トリオースリン酸の利用とその先: 光合成から最終段階まで...
クラウドTPUパフォーマンスガイド
Google TPU: アーキテクチャとパフォーマンスのベストプラクティス - 実行

Vertex AI Experiments は、Vertex AI を使用した実験の追跡、比較、管理を可能にするマネージド サービスです。Vertex AI Experiments を使用すると、各パイプライン実行のパラメータ、メトリクス、アーティファクトを記録し、グラフィカル インターフェイスで比較できます。Vertex AI TensorBoard は、精度、損失、学習曲線などのモデルのメトリクスを視覚化できるツールです。メトリクスを Vertex ML メタデータにログ記録し、Vertex AI Experiments と TensorBoard を使用することで、チームと簡単に連携し、問題に最適なモデル構成を見つけることができます。参考資料: Vertex AI Pipelines: KFP SDK を使用したメトリクスの視覚化と実行比較、Vertex AI Experiments を使用した実験の追跡、比較、管理、Vertex AI Pipelines

銀行のベンダーから提供されたモデルを使用し、トレーニング データは機密性のため利用できず、モデルは各予測インスタンスの入力として文字列を受け入れる Vertex AI モデル サービング コンテナとしてパッケージ化されているため、最小限の労力でオンライン予測用のカスタム 表形式 ML モデルを本番環境にデプロイし、特徴分布を時間の経過とともに監視するための最良のオプションは、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、監視目的として特徴ドリフト検出を指定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供することです。このオプションを使用すると、最小限のコードと構成で、Vertex AI のパワーとシンプルさを活用してモデルを提供および監視できます。Vertex AI は、Google Cloud 上で機械学習ソリューションを構築およびデプロイするための統合プラットフォームです。Vertex AI は、トレーニング済みのモデルをオンライン予測エンドポイントにデプロイでき、個々のインスタンスに対して低遅延の予測を提供できます。Vertex AI は、データ分析、モデル開発、モデルデプロイ、モデル監視、モデルガバナンスのためのさまざまなツールとサービスも提供できます。 Vertex AI モデルレジストリは、Vertex AI 上でモデルを保存および管理できるリソースです。Vertex AI モデルレジストリを使用すると、モデルを整理および追跡し、モデル名、モデルの説明、モデルラベルなどのさまざまなモデル情報にアクセスできます。Vertex AI モデルサービングコンテナは、Vertex AI 上でカスタムモデルコードを実行できるリソースです。Vertex AI モデルサービングコンテナを使用すると、モデルコードと依存関係をコンテナイメージにパッケージ化し、そのコンテナイメージをオンライン予測エンドポイントにデプロイできます。Vertex AI モデルサービングコンテナは、JSON、CSV、TFRecord など、さまざまな入力形式を受け入れることができます。文字列入力形式は、各予測インスタンスの入力として文字列を受け入れる入力形式の一種です。文字列入力形式を使用すると、特徴値を単一の文字列にエンコードし、カンマで区切ることができます。モデルを Vertex AI モデルレジストリにアップロードし、Vertex AI エンドポイントにデプロイすることで、最小限のコードと構成でオンライン予測用のモデルを提供できます。 Vertex AI API または gcloud コマンドラインツールを使用して、モデルを Vertex AI モデルレジストリにアップロードし、モデル名、モデルの説明、およびモデルラベルを指定できます。また、Vertex AI API または gcloud コマンドラインツールを使用して、モデルを Vertex AI エンドポイントにデプロイし、エンドポイント名、エンドポイントの説明、エンドポイントのラベル、およびエンドポイントのリソースを指定することもできます。Vertex AI モデル監視ジョブは、Vertex AI にデプロイされたモデルのパフォーマンスと品質を監視できるリソースです。Vertex AI モデル監視ジョブを使用すると、データドリフト、予測ドリフト、トレーニング/サービングの偏り、モデルの陳腐化など、モデルの問題を検出して診断できます。特徴ドリフトは、モデルのトレーニングに使用された特徴の分布と、モデルに提供される特徴の分布との時間の経過に伴う差を測定するモデル監視メトリックの一種です。特徴ドリフトは、オンラインデータが時間の経過とともに変化し、モデルのパフォーマンスが低下していることを示す可能性があります。監視目的として特徴ドリフト検出を指定して Vertex AI モデル監視ジョブを作成し、インスタンススキーマを提供することで、最小限の労力で時間の経過に伴う特徴の分布を監視できます。Vertex AI API または gcloud コマンドラインツールを使用して Vertex AI モデル監視ジョブを作成し、監視目的、監視頻度、アラートしきい値、および通知チャネルを指定できます。また、予測入力データ内の特徴とそのタイプを記述する JSON ファイルであるインスタンススキーマを提供することもできます。インスタンススキーマは、Vertex AI モデル監視が文字列入力形式を解析および分析し、特徴の分布と距離スコアを計算するのに役立ちます。
他の選択肢は、以下の理由から選択肢Aほど優れていません。
オプション B: モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、監視目的として特徴スキュー検出を指定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するという方法では、時間の経過に伴うオンライン データの変化を監視することはできず、エラーやパフォーマンスの低下を引き起こす可能性があります。特徴スキューは、モデルのトレーニングに使用された特徴の分布と、特定の時点でモデルに提供された特徴の分布の差を測定するモデル監視メトリックの一種です。特徴スキューは、モデルが代表的なデータでトレーニングされていないか、データが時間の経過とともに変化していることを示している可能性があります。監視目的として特徴スキュー検出を指定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供することで、最小限の労力で特定の時点での特徴分布を監視できます。ただし、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、監視目的として特徴スキュー検出を指定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するだけでは、時間の経過に伴うオンライン データの変化を監視することはできず、エラーやパフォーマンスの低下を引き起こす可能性があります。モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するには、Vertex AI API または gcloud コマンドライン ツールを使用する必要があります。さらに、このオプションでは、時間の経過に伴うオンライン データの変化、モデルのパフォーマンス、および品質を測定するためのより直接的で関連性の高い指標である特徴ドリフトを監視することはできません。
オプション C: サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れ、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、機能ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成すると、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、機能ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するよりも多くのスキルと手順が必要になります。キーと値のペアの入力形式は、各予測インスタンスの入力としてキーと値のペアを受け入れる入力形式の一種です。キーと値のペアの入力形式を使用すると、JSON オブジェクトで機能名と値を指定し、それらをコロンで区切ることができます。サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れ、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、機能ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成することで、最小限のコードと構成でモデルを提供および監視できます。サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れるようにし、Vertex AI API または gcloud コマンドライン ツールを使用してモデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル監視ジョブを作成することができます。ただし、サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れるようにし、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、監視目的として機能ドリフト検出を指定した Vertex AI モデル監視ジョブを作成するには、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、監視目的として機能ドリフト検出を指定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するよりも多くのスキルと手順が必要になります。コードを記述し、サービング コンテナをリファクタリングし、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル監視ジョブを作成する必要があります。さらに、このオプションではインスタンススキーマは使用されません。インスタンススキーマは、Vertex AI Model Monitoringが文字列入力形式を解析し、特徴分布と距離スコアを計算するのに役立つJSONファイルです1。
オプション D: サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れるようにし、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、特徴スキュー検出を監視目標とする Vertex AI モデル監視ジョブを作成すると、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、特徴ドリフト検出を監視目標とする Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するよりも多くのスキルと手順が必要となり、時間の経過に伴うオンライン データの変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。特徴スキューは、モデルのトレーニングに使用される特徴の分布と、特定の時点でモデルを提供するために使用される特徴の分布の差を測定するモデル監視メトリックの一種です。特徴スキューは、モデルが代表的データでトレーニングされていないか、データが時間の経過とともに変化していることを示している可能性があります。監視目標として特徴スキュー検出を指定した Vertex AI モデル監視ジョブを作成することで、最小限の労力で特定の時点での特徴分布を監視できます。しかし、サービング コンテナをリファクタリングしてキーと値のペアを入力形式として受け入れるようにし、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、監視目的として特徴スキュー検出を設定した Vertex AI モデル監視ジョブを作成すると、モデルを Vertex AI モデル レジストリにアップロードして Vertex AI エンドポイントにデプロイし、監視目的として特徴ドリフト検出を設定した Vertex AI モデル監視ジョブを作成し、インスタンス スキーマを提供するよりも多くのスキルと手順が必要となり、時間の経過に伴うオンライン データの変化を監視するのに役立たず、エラーやパフォーマンスの低下を引き起こす可能性があります。コードを記述し、サービング コンテナをリファクタリングし、モデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI モデル監視ジョブを作成する必要があります。さらに、このオプションでは、時間の経過に伴うオンライン データの変化、モデルのパフォーマンスと品質を測定するためのより直接的で関連性の高い指標である特徴ドリフトを監視することができません。
参照：
モデルモニタリングの利用 | Vertex AI | Google Cloud