評価品質を低下させることなくパイプラインを安定させ、インフラストラクチャのオーバーヘッドを最小限に抑える最適なオプションは、評価ステップのランナーとして Dataflow を使用することです。Dataflow は、ワークロードに応じてスケールアップおよびスケールダウンできる Apache Beam パイプラインを実行するためのフルマネージド サービスです。Dataflow は、モデル評価などの大規模な分散データ処理タスクを処理できるほか、Vertex AI Pipelines や TensorFlow Extended（TFX）と統合することもできます。beam_pipeline_args でフラグ -runner=DataflowRunner を使用すると、デフォルトの DirectRunner を使用する代わりに、Evaluator コンポーネントに Dataflow で評価ステップを実行するように指示できます。DirectRunner はローカルで実行され、メモリ不足エラーが発生する可能性があります。オプション A は正しくありません。tfma.MetricsSpec() を追加して評価ステップの指標の数を制限すると、重要な指標が一部省略される可能性があるため、評価品質が低下する可能性があります。
さらに、データとモデルのサイズと複雑さによっては、評価ステップで依然として大量のメモリが消費される可能性があるため、指標の数を減らしてもメモリ不足エラーは解決されない可能性があります。オプション B は不正解です。パイプラインを Google Kubernetes Engine (GKE) でホストされている Kubeflow に移行すると、GKE クラスターを自分でプロビジョニング、管理、監視する必要があるため、インフラストラクチャのオーバーヘッドが増加する可能性があります。
さらに、評価ステップに適切なノード パラメータを指定する必要があり、最適な構成を見つけるには試行錯誤が必要になる場合があります。オプション D は不正解です。評価ステップをパイプラインから移動してカスタム Compute Engine VM で実行すると、VM を自分で作成、構成、削除する必要があるため、インフラストラクチャのオーバーヘッドも増加する可能性があります。さらに、VM に評価ステップ用の十分なメモリがあることを確認する必要があり、最適なマシンタイプを見つけるには試行錯誤が必要になる場合があります。参考資料:
* データフローのドキュメント
* DataflowRunnerの使用
* 評価コンポーネントのドキュメント
* 評価コンポーネントの構成

エンドツーエンドで実行され、ステップ間の接続を追跡するスケーラブルで保守可能な本番環境プロセスを作成するための最適なオプションは、プロトタイプ コードから本番環境、Dataproc Serverless で実行される PySpark の特徴量エンジニアリング コード、および Vertex AI カスタム トレーニング ジョブを使用して実行されるモデル トレーニングを使用して、Kubeflow パイプライン SDK を使用して 2 つのコンポーネントを指定するコードを記述することです。1 つ目は、特徴量エンジニアリング ジョブを起動する Dataproc Serverless コンポーネントです。2 つ目は、カスタム モデル トレーニング ジョブを起動する create_custom_training_job_from_component ユーティリティにラップされたカスタム コンポーネントです。このオプションを使用すると、Kubeflow パイプラインのパワーとシンプルさを活用して、Vertex AI で機械学習ワークフローをオーケストレーションおよび自動化できます。Kubeflow パイプラインは、Kubernetes で機械学習パイプラインを構築、デプロイ、管理できるプラットフォームです。Kubeflow パイプラインを使用すると、再利用可能でスケーラブルなパイプラインを作成し、さまざまなパイプライン バージョンとパラメータを試し、パイプラインをモニタリングおよびデバッグできます。 Kubeflow パイプライン SDK は、Kubeflow パイプラインの構築と実行に役立つ Python パッケージのセットです。Kubeflow パイプライン SDK は、パイプライン コンポーネントの定義、パイプライン パラメータと入力の指定、パイプライン ステップとタスクの作成に役立ちます。コンポーネントとは、データの前処理、モデルのトレーニング、モデルの評価など、パイプラインの 1 つのステップを実行する自己完結型のコード セットです。コンポーネントは、Python 関数、コンテナ イメージ、またはビルド済みのコンポーネントから作成できます。カスタム コンポーネントとは、Kubeflow パイプラインによって提供されず、特定のタスクを実行するためにユーザーが作成するコンポーネントです。カスタム コンポーネントは、コンポーネントから Vertex AI カスタム トレーニング ジョブを作成するのに役立つユーティリティ関数にラップできます。カスタム トレーニング ジョブは、Vertex AI でカスタム トレーニング コードを実行できるリソースです。カスタム トレーニング ジョブは、線形回帰、ロジスティック回帰、k-means クラスタリング、行列分解、ディープ ニューラル ネットワークなど、さまざまな種類のモデルのトレーニングに役立ちます。 Kubeflow パイプライン SDK を使用して、2 つのコンポーネントを指定するコードを記述することで、1 つ目は特徴量エンジニアリング ジョブを起動する Dataproc Serverless コンポーネント、2 つ目はカスタム モデル トレーニング ジョブを起動する create_custom_training_job_from_component ユーティリティにラップされたカスタム コンポーネントです。これにより、エンドツーエンドで実行され、ステップ間の接続を追跡する、スケーラブルで保守可能な本番環境プロセスを作成できます。2 つのコンポーネント、それらの入力と出力、およびそれらの依存関係を定義するコードを記述できます。
次に、Kubeflow パイプライン SDK を使用して、2 つのコンポーネントを順番に実行するパイプラインを作成し、そのパイプラインを Vertex AI Pipelines に送信して実行します。Dataproc Serverless コンポーネントを使用すると、Dataproc Serverless で PySpark 特徴量エンジニアリング コードを実行できます。Dataproc Serverless は、独自のクラスタをプロビジョニングおよび管理せずに Spark バッチ ワークロードを実行できるサービスです。create_custom_training_job_from_component ユーティリティでラップされたカスタム コンポーネントを使用すると、Google Cloud で機械学習ソリューションを構築およびデプロイするための統合プラットフォームである Vertex AI でカスタム モデル トレーニング コードを実行できます1。
他のオプションは、次の理由によりオプション C ほど優れていません。
* オプション A: Vertex AI Workbench ノートブックを作成し、そのノートブックを使用して Dataproc Serverless 特徴量エンジニアリング ジョブを送信し、同じノートブックを使用してカスタム モデル トレーニング ジョブを送信し、ノートブック セルを順番に実行してエンドツーエンドでステップを結び付けるには、Kubeflow パイプライン SDK を使用して 2 つのコンポーネントを指定するコードを記述するよりも多くのスキルとステップが必要です。1 つ目は特徴量エンジニアリング ジョブを起動する Dataproc Serverless コンポーネントで、2 つ目はカスタム モデル トレーニング ジョブを起動する create_custom_training_job_from_component ユーティリティでラップされたカスタム コンポーネントです。Vertex AI Workbench は、機械学習の開発と実験のためのマネージド ノートブックを提供できるサービスです。Vertex AI Workbench を使用すると、JupyterLab ノートブックを作成して実行したり、TensorFlow、PyTorch、JAX などのさまざまなツールやフレームワークにアクセスしたりできます。 Vertex AI Workbench ノートブックを作成し、そのノートブックを使用して Dataproc Serverless 特徴量エンジニアリング ジョブを送信し、同じノートブックを使用してカスタム モデル トレーニング ジョブを送信し、ノートブック セルを順番に実行してステップをエンドツーエンドで結び付けると、エンドツーエンドで実行され、ステップ間の接続を追跡する本番環境プロセスを作成できます。Dataproc Serverless 特徴量エンジニアリング ジョブとカスタム モデル トレーニング ジョブを Vertex AI に送信するコードを記述し、ノートブック セルでコードを実行できます。ただし、Vertex AI Workbench ノートブックを作成し、そのノートブックを使用して Dataproc Serverless 特徴量エンジニアリング ジョブを送信し、同じノートブックを使用して
* カスタムモデルトレーニングジョブを送信し、ノートブックセルを順番に実行してエンドツーエンドでステップを結び付けるには、Kubeflow パイプライン SDK を使用して 2 つのコンポーネントを指定するコードを記述するよりも多くのスキルとステップが必要です。1 つ目は特徴量エンジニアリングジョブを起動する Dataproc Serverless コンポーネントで、2 つ目はカスタムモデルトレーニングジョブを起動する create_custom_training_job_from_component ユーティリティにラップされたカスタムコンポーネントです。コードを記述し、Vertex AI Workbench ノートブックを作成して構成し、Dataproc Serverless 特徴量エンジニアリングジョブとカスタムモデルトレーニングジョブを送信して、ノートブックセルを実行する必要があります。さらに、このオプションでは、パイプラインの作成と実行のプロセスを簡素化し、パイプラインパラメータ、パイプライン指標、パイプライン可視化などのさまざまな機能を提供できる Kubeflow パイプライン SDK は使用されません2。
* オプション B: Vertex AI Workbench ノートブックを作成し、ノートブックで Apache Spark コンテキストを開始して PySpark 特徴量エンジニアリング コードを実行し、同じノートブックを使用して TensorFlow でカスタム モデル トレーニング ジョブを実行し、ノートブック セルを順番に実行してステップをエンドツーエンドで結び付けると、Dataproc Serverless を使用して特徴量エンジニアリング ジョブを実行できなくなり、本番環境プロセスの複雑さとコストが増加する可能性があります。Apache Spark は、大規模なデータ処理と機械学習を実行できるフレームワークです。Apache Spark を使用すると、データの取り込み、データの変換、データ分析、データの可視化など、さまざまなタスクを実行できます。PySpark は、Apache Spark 用の Python API です。PySpark を使用すると、Python で Spark コードを記述して実行できます。Apache Spark コンテキストは、Spark 環境を初期化および構成できるリソースです。Apache Spark コンテキストを使用すると、SparkSession、SparkConf、SparkContext などの Spark オブジェクトを作成および管理できます。 Vertex AI Workbench ノートブックを作成し、ノートブックで Apache Spark コンテキストを開始して PySpark 特徴エンジニアリング コードを実行し、同じノートブックを使用して TensorFlow でカスタム モデル トレーニング ジョブを実行し、ノートブック セルを順番に実行してステップをエンドツーエンドで結び付けると、エンドツーエンドで実行され、ステップ間の接続を追跡する本番環境プロセスを作成できます。Apache Spark コンテキストを開始して PySpark 特徴エンジニアリング コードを実行し、TensorFlow でカスタム モデル トレーニング ジョブを実行し、ノートブック セルでコードを実行するコードを記述できます。ただし、Vertex AI Workbench ノートブックを作成し、ノートブックで Apache Spark コンテキストを開始して PySpark 特徴エンジニアリング コードを実行し、同じノートブックを使用して TensorFlow でカスタム モデル トレーニング ジョブを実行し、ノートブック セルを順番に実行してステップをエンドツーエンドで結び付けると、Dataproc Serverless を使用して特徴エンジニアリング ジョブを実行できなくなり、本番環境プロセスの複雑さとコストが増加する可能性があります。コードを記述し、Vertex AI Workbench ノートブックを作成して構成し、Apache Spark コンテキストを開始して構成し、PySpark 機能エンジニアリング コードを実行し、TensorFlow でカスタム モデル トレーニング ジョブを実行する必要があります。さらに、このオプションでは、独自のクラスタをプロビジョニングおよび管理せずに Spark バッチ ワークロードを実行できるサービスである Dataproc Serverless は使用されません。このサービスでは、自動スケーリング、動的なリソース割り当て、サーバーレス課金などのさまざまなメリットが得られます2。
* オプション D: Vertex AI Pipelines ジョブを作成し、両方のコンポーネントをリンクして実行します。Kubeflow Pipelines SDK を使用して 2 つのコンポーネントを指定するコードを記述します。最初のコンポーネントは PySpark 特徴量エンジニアリング コードを実行する Apache Spark コンテキストを開始し、2 番目のコンポーネントは TensorFlow カスタム モデル トレーニング コードを実行します。この場合、Dataproc Serverless を使用して特徴量エンジニアリング ジョブを実行することはできず、本番環境プロセスの複雑さとコストが増加する可能性があります。Vertex AI Pipelines は、Vertex AI で Kubeflow パイプラインを実行できるサービスです。Vertex AI Pipelines を使用すると、機械学習パイプラインを作成および管理し、Vertex AI Workbench、Vertex AI Training、Vertex AI Prediction などのさまざまな Vertex AI サービスと統合できます。Vertex AI Pipelines ジョブは、Vertex AI Pipelines でパイプラインを実行できるリソースです。Vertex AI Pipelines ジョブを使用すると、パイプラインのステップとタスクを実行し、パイプラインの実行を監視およびデバッグできます。 Vertex AI Pipelines ジョブを作成して両方のコンポーネントをリンクして実行し、Kubeflow パイプライン SDK を使用して 2 つのコンポーネントを指定するコードを記述すると、最初のコンポーネントは PySpark 機能エンジニアリング コードを実行する Apache Spark コンテキストを開始し、2 番目のコンポーネントは TensorFlow カスタム モデル トレーニング コードを実行します。
* エンドツーエンドで実行され、ステップ間の接続を追跡する、スケーラブルで保守可能な本番環境プロセスを作成できます。2 つのコンポーネント、それらの入力と出力、およびそれらの依存関係を定義するコードを記述できます。その後、Kubeflow パイプライン SDK を使用して、2 つのコンポーネントを順番に実行するパイプラインを作成し、そのパイプラインを Vertex AI Pipelines に送信して実行できます。
ただし、両方のコンポーネントをリンクして実行する Vertex AI Pipelines ジョブを作成し、Kubeflow パイプライン SDK を使用して 2 つのコンポーネントを指定するコードを記述すると、最初のコンポーネントは PySpark 機能エンジニアリング コードを実行する Apache Spark コンテキストを開始します。

Recommendations AI は、ユーザーが e コマース ウェブサイト向けにパーソナライズされた商品レコメンデーションを構築、テスト、展開できるサービスです。Google のディープラーニング モデルを使用してユーザーの行動や商品データを学習し、収益、クリックスルー率、顧客満足度の向上につながる高品質のレコメンデーションを生成します。Recommendations AI を使用する際のベスト プラクティスの 1 つは、ビジネス目標に適したレコメンデーション タイプを選択することです。「よく一緒に購入される商品」レコメンデーション タイプでは、現在の商品と一緒に購入されることが多い商品が表示され、ユーザーがショッピング カートに商品を追加するよう促されます。これにより、平均注文額と各トランザクションの収益が増加する可能性があります。他のオプションは、この目標に対して効果的でも実現可能でもありません。「おすすめのその他の商品」レコメンデーション タイプでは、現在の商品に類似した商品が表示され、クリックスルー率が増加する可能性がありますが、ショッピング カートのサイズは必ずしも増加しません。ユーザー イベントをインポートしてから商品カタログをインポートするという順序は推奨されません。データの不整合やレコメンデーションの欠落が発生する可能性があるためです。最初に商品カタログをインポートし、次にユーザー イベントをインポートする必要があります。製品カタログにプレースホルダー値を使用することは、意味のある推奨事項が生成されず、モデルの実際のパフォーマンスが反映されないため、実行可能なオプションではありません。参考資料:
* 推奨事項AIドキュメント
* 推奨タイプの選択
* データをRecommendations AIにインポートする

最小限の追加コードで Vertex AI に scikit-learn モデルをデプロイする最適なオプションは、モデルをカスタム予測ルーチン（CPR）でラップし、CPR ローカルモデルからコンテナ イメージを構築することです。scikit-learn モデル コンテナを Vertex AI モデル レジストリにアップロードします。モデルを Vertex AI エンドポイントにデプロイし、Vertex AI バッチ予測ジョブを作成します。このオプションを使用すると、Google Cloud のパワーとシンプルさを活用して、オンライン予測とバッチ予測の両方をサポートする scikit-learn モデルをデプロイして提供できます。Vertex AI は、Google Cloud で機械学習ソリューションを構築およびデプロイするための統合プラットフォームです。Vertex AI は、トレーニング済みの scikit-learn モデルをオンライン予測エンドポイントにデプロイして、個々のインスタンスに対して低レイテンシの予測を提供できます。Vertex AI は、大量のインスタンスのバッチに対して高スループットの予測を提供できるバッチ予測ジョブを作成することもできます。カスタム予測ルーチン（CPR）は、入力データの前処理、予測の実行、出力データの後処理のロジックを定義する Python スクリプトです。 CPR は、モデルの予測動作をカスタマイズし、複雑なデータ形式や非標準のデータ形式を処理するのに役立ちます。また、CPR を使用すると、予測ロジックを実装するためにいくつかの関数を記述するだけで済むため、追加コードを最小限に抑えることができます。コンテナ イメージは、モデル、CPR、依存関係を含むパッケージです。コンテナ イメージを使用すると、コンテナ イメージを Vertex AI Model Registry にアップロードして Vertex AI Endpoints にデプロイするだけで済むため、デプロイ プロセスを標準化および簡素化できます。モデルを CPR でラップし、CPR ローカル モデルからコンテナ イメージを構築し、scikit-learn モデル コンテナを Vertex AI Model Registry にアップロードして、モデルを Vertex AI Endpoints にデプロイし、Vertex AI バッチ予測ジョブを作成することで、最小限の追加コードで Vertex AI に scikit-learn モデルをデプロイできます1。
他のオプションは、次の理由によりオプション B ほど優れていません。
* オプション A: 事前に構築された scikit-learn 予測コンテナを使用してモデルを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、instanceConfig.instanceType 設定を使用して入力データを変換する Vertex AI バッチ予測ジョブを作成すると、モデル推論用の入力データを前処理できず、エラーが発生したり、パフォーマンスが低下したりする可能性があります。
ビルド済みの scikit-learn 予測コンテナは、Google Cloud によって提供されるコンテナ イメージで、scikit-learn フレームワークと依存関係が含まれています。ビルド済みの scikit-learn 予測コンテナを使用すると、コードを記述せずに scikit-learn モデルをデプロイできますが、カスタマイズ オプションも制限されます。ビルド済みの scikit-learn 予測コンテナは、JSON や CSV などの標準データ形式のみを処理でき、入力データや出力データの前処理や後処理は実行できません。予測を実行する前に入力データの変換や正規化が必要な場合は、ビルド済みの scikit-learn 予測コンテナを使用できません。instanceConfig.instanceType 設定はパラメータです。
* バッチ予測ジョブのマシンタイプとアクセラレータタイプを決定します。instanceConfig.instanceType 設定は、バッチ予測ジョブのパフォーマンスとコストを最適化するのに役立ちますが、入力データの変換には役立ちません2。
* オプション C: scikit-learn モデル用のカスタム コンテナを作成し、モデルのカスタム サービング関数を定義し、モデルとカスタム コンテナを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、Vertex AI バッチ予測ジョブを作成するには、CPR とコンテナ イメージを使用する場合よりも多くのスキルと手順が必要になります。カスタム コンテナは、モデル、依存関係、ウェブ サーバーを含むコンテナ イメージです。カスタム コンテナを使用すると、モデルの予測動作をカスタマイズしたり、複雑なデータ形式や非標準のデータ形式を処理したりできます。カスタム サービング関数は、モデルで予測を実行するためのロジックを定義する Python 関数です。カスタム サービング関数を使用すると、モデルの予測ロジックを実装したり、複雑なデータ形式や非標準のデータ形式を処理したりできます。ただし、カスタム コンテナを作成してカスタム サービング関数を定義するには、CPR とコンテナ イメージを使用する場合よりも多くのスキルと手順が必要になります。
コードを記述し、コンテナ イメージをビルドしてテストし、Web サーバーを構成し、予測ロジックを実装する必要があります。さらに、カスタム コンテナを作成してカスタム サービング関数を定義しても、モデル推論の入力データを前処理することはできません。これは、カスタム サービング関数がモデルに対して予測を実行するだけだからです3。
* オプション D: scikit-learn モデル用のカスタム コンテナを作成し、モデルとカスタム コンテナを Vertex AI モデル レジストリにアップロードし、モデルを Vertex AI エンドポイントにデプロイし、instanceConfig.instanceType 設定を使用して入力データを変換する Vertex AI バッチ予測ジョブを作成すると、モデル推論用の入力データを前処理できず、エラーが発生したり、パフォーマンスが低下したりする可能性があります。カスタム コンテナは、モデル、依存関係、ウェブ サーバーを含むコンテナ イメージです。カスタム コンテナを使用すると、モデルの予測動作をカスタマイズしたり、複雑なデータ形式や非標準のデータ形式を処理したりできます。ただし、カスタム コンテナを作成するには、CPR とコンテナ イメージを使用する場合よりも多くのスキルと手順が必要になります。コードを記述し、コンテナ イメージをビルドしてテストし、ウェブ サーバーを構成する必要があります。instanceConfig.instanceType 設定は、バッチ予測ジョブのマシンタイプとアクセラレータ タイプを決定するパラメータです。 instanceConfig.instanceType 設定は、バッチ予測ジョブのパフォーマンスとコストを最適化するのに役立ちますが、入力データの変換には役立ちません23。
参考文献:
* Google Cloud 認定資格の準備: 機械学習エンジニア、コース 3: 本番環境 ML システム、第 2 週: ML 予測の提供
* Google Cloud Professional Machine Learning Engineer 試験ガイド、セクション 3: 本番環境での ML モデルのスケーリング、3.1 本番環境への ML モデルのデプロイ
* 公式 Google Cloud Certified Professional Machine Learning Engineer 学習ガイド、第 6 章:
プロダクション ML システム、セクション 6.2: ML 予測の提供
* カスタム予測ルーチン
* 予測に事前に構築されたコンテナを使用する
* 予測にカスタムコンテナを使用する