エンドツーエンドで実行され、ステップ間の接続を追跡するスケーラブルで保守可能な本番プロセスを作成するための最良のオプションは、プロトタイプ コードから本番環境への展開、Dataproc Serverless で実行される PySpark の特徴量エンジニアリング コード、および Vertex AI カスタム トレーニング ジョブを使用して実行されるモデル トレーニングを使用して、Kubeflow pipelines SDK でコードを作成し、2 つのコンポーネントを指定することです。1 つ目は、特徴量エンジニアリング ジョブを起動する Dataproc Serverless コンポーネントです。2 つ目は、create_custom_training_job_from_component ユーティリティでラップされたカスタム コンポーネントで、カスタム モデル トレーニング ジョブを起動します。このオプションを使用すると、Kubeflow pipelines のパワーとシンプルさを活用して、Vertex AI 上で機械学習ワークフローをオーケストレーションおよび自動化できます。Kubeflow pipelines は、Kubernetes 上で機械学習パイプラインを構築、デプロイ、管理できるプラットフォームです。Kubeflow pipelines を使用すると、再利用可能でスケーラブルなパイプラインを作成したり、さまざまなパイプライン バージョンやパラメータを試したり、パイプラインを監視およびデバッグしたりできます。 Kubeflow パイプライン SDK は、Kubeflow パイプラインの構築と実行を支援する Python パッケージのセットです。Kubeflow パイプライン SDK を使用すると、パイプライン コンポーネントの定義、パイプライン パラメーターと入力の指定、パイプライン ステップとタスクの作成を行うことができます。コンポーネントは、データ前処理、モデル トレーニング、モデル評価など、パイプラインの 1 つのステップを実行する自己完結型のコード セットです。コンポーネントは、Python 関数、コンテナ イメージ、または事前構築済みのコンポーネントから作成できます。カスタム コンポーネントは、Kubeflow パイプラインでは提供されず、ユーザーが特定のタスクを実行するために作成するコンポーネントです。カスタム コンポーネントは、コンポーネントから Vertex AI カスタム トレーニング ジョブを作成するのに役立つユーティリティ関数でラップできます。カスタム トレーニング ジョブは、Vertex AI 上でカスタム トレーニング コードを実行できるリソースです。カスタム トレーニング ジョブを使用すると、線形回帰、ロジスティック回帰、k-means クラスタリング、行列分解、ディープ ニューラル ネットワークなど、さまざまな種類のモデルをトレーニングできます。 Kubeflow パイプライン SDK を使用して 2 つのコンポーネントを指定するコードを記述することで、エンドツーエンドで実行され、ステップ間の接続を追跡するスケーラブルで保守可能な本番プロセスを作成できます。 2 つのコンポーネント、それらの入力と出力、および依存関係を定義するコードを記述できます。 次に、Kubeflow パイプライン SDK を使用して、2 つのコンポーネントを順番に実行するパイプラインを作成し、そのパイプラインを Vertex AI Pipelines に送信して実行できます。 Dataproc Serverless コンポーネントを使用すると、PySpark の特徴量エンジニアリング コードを Dataproc Serverless で実行できます。これは、独自のクラスターをプロビジョニングおよび管理することなく、Spark バッチワークロードを実行できるサービスです。create_custom_training_job_from_component ユーティリティでラップされたカスタムコンポーネントを使用することで、Google Cloud1 上で機械学習ソリューションを構築およびデプロイするための統合プラットフォームである Vertex AI 上で、カスタムモデルのトレーニングコードを実行できます。
他の選択肢は、以下の理由から選択肢Cほど優れていません。
オプション A: Vertex AI Workbench ノートブックを作成し、そのノートブックを使用して Dataproc Serverless 特徴量エンジニアリング ジョブを送信し、同じノートブックを使用してカスタム モデル トレーニング ジョブを送信し、ノートブック セルを順次実行して手順をエンドツーエンドで接続するには、Kubeflow pipelines SDK を使用して 2 つのコンポーネントを指定するコードを記述するよりも多くのスキルと手順が必要です。 1 つ目は特徴量エンジニアリング ジョブを起動する Dataproc Serverless コンポーネント、2 つ目は create_custom_training_job_from_component ユーティリティでラップされたカスタム コンポーネントで、カスタム モデル トレーニング ジョブを起動します。 Vertex AI Workbench は、機械学習の開発と実験用の管理されたノートブックを提供するサービスです。 Vertex AI Workbench を使用すると、JupyterLab ノートブックを作成して実行したり、TensorFlow、PyTorch、JAX などのさまざまなツールやフレームワークにアクセスしたりできます。 Vertex AI Workbench ノートブックを作成し、そのノートブックを使用して Dataproc Serverless 特徴量エンジニアリング ジョブを送信し、同じノートブックを使用してカスタム モデル トレーニング ジョブを送信し、ノートブック セルを順番に実行して手順をエンドツーエンドで接続することで、エンドツーエンドで実行され、手順間の接続を追跡する本番プロセスを作成できます。Dataproc Serverless 特徴量エンジニアリング ジョブとカスタム モデル トレーニング ジョブを Vertex AI に送信するコードを記述し、ノートブック セルでそのコードを実行することもできます。ただし、Vertex AI Workbench ノートブックを作成し、そのノートブックを使用して Dataproc Serverless 特徴量エンジニアリング ジョブを送信し、同じノートブックを使用してカスタム モデル トレーニング ジョブを送信し、ノートブック セルを順番に実行して手順をエンドツーエンドで接続するには、Kubeflow pipelines SDK を使用して 2 つのコンポーネントを指定するコードを記述するよりも多くのスキルと手順が必要になります。1 つ目は特徴量エンジニアリング ジョブを起動する Dataproc Serverless コンポーネント、2 つ目は create_custom_training_job_from_component ユーティリティでラップされたカスタム モデル トレーニング ジョブを起動するカスタム コンポーネントです。コードを記述し、Vertex AI Workbenchノートブックを作成および構成し、Dataproc Serverless特徴量エンジニアリングジョブとカスタムモデルトレーニングジョブを送信し、ノートブックのセルを実行する必要があります。さらに、このオプションでは、パイプラインの作成と実行プロセスを簡素化し、パイプラインパラメータ、パイプラインメトリック、パイプラインの可視化などのさまざまな機能を提供するKubeflowパイプラインSDKを使用しません。
オプション B: Vertex AI Workbench ノートブックを作成し、ノートブック内で Apache Spark コンテキストを初期化し、PySpark 特徴エンジニアリング コードを実行し、同じノートブックを使用して TensorFlow でカスタム モデル トレーニング ジョブを実行し、ノートブック セルを順次実行して手順をエンドツーエンドで接続すると、Dataproc Serverless を使用して特徴エンジニアリング ジョブを実行することはできず、本番プロセスの複雑さとコストが増加する可能性があります。 Apache Spark は、大規模なデータ処理と機械学習を実行できるフレームワークです。 Apache Spark を使用すると、データの取り込み、データの変換、データの分析、データの視覚化など、さまざまなタスクを実行できます。 PySpark は Apache Spark 用の Python API です。 PySpark を使用すると、Python で Spark コードを記述して実行できます。 Apache Spark コンテキストは、Spark 環境を初期化および構成できるリソースです。 Apache Spark コンテキストを使用すると、SparkSession、SparkConf、SparkContext などの Spark オブジェクトを作成および管理できます。 Vertex AI Workbench ノートブックを作成し、ノートブック内で Apache Spark コンテキストを初期化し、PySpark 特徴量エンジニアリング コードを実行し、同じノートブックを使用して TensorFlow でカスタム モデル トレーニング ジョブを実行し、ノートブック セルを順番に実行して手順をエンドツーエンドで接続することで、エンドツーエンドで実行され、手順間の接続を追跡する本番プロセスを作成できます。Apache Spark コンテキストを初期化して PySpark 特徴量エンジニアリング コードを実行し、TensorFlow でカスタム モデル トレーニング ジョブを実行し、ノートブック セルでコードを実行するコードを記述できます。ただし、Vertex AI Workbench ノートブックを作成し、ノートブック内で Apache Spark コンテキストを初期化し、PySpark 特徴量エンジニアリング コードを実行し、同じノートブックを使用して TensorFlow でカスタム モデル トレーニング ジョブを実行し、ノートブック セルを順番に実行して手順をエンドツーエンドで接続すると、Dataproc Serverless を使用して特徴量エンジニアリング ジョブを実行することができず、本番プロセスの複雑さとコストが増加する可能性があります。コードの記述、Vertex AI Workbenchノートブックの作成と構成、Apache Sparkコンテキストの初期化と構成、PySpark特徴量エンジニアリングコードの実行、およびTensorFlowでのカスタムモデルトレーニングジョブの実行が必要になります。さらに、このオプションでは、独自のクラスタをプロビジョニングおよび管理することなくSparkバッチワークロードを実行でき、自動スケーリング、動的なリソース割り当て、サーバーレス課金2などのさまざまな利点を提供するサービスであるDataproc Serverlessは使用されません。
オプション D: 両方のコンポーネントをリンクして実行する Vertex AI Pipelines ジョブを作成し、Kubeflow パイプライン SDK を使用して 2 つのコンポーネントを指定するコードを記述します。最初のコンポーネントは PySpark 特徴エンジニアリング コードを実行する Apache Spark コンテキストを初期化し、2 番目のコンポーネントは TensorFlow カスタム モデル トレーニング コードを実行します。この方法では、Dataproc Serverless を使用して特徴エンジニアリング ジョブを実行することはできません。また、本番プロセスの複雑さとコストが増加する可能性があります。 Vertex AI Pipelines は、Vertex AI 上で Kubeflow パイプラインを実行できるサービスです。Vertex AI Pipelines を使用すると、機械学習パイプラインの作成と管理、および Vertex AI Workbench、Vertex AI Training、Vertex AI Prediction などのさまざまな Vertex AI サービスとの統合が可能です。Vertex AI Pipelines ジョブは、Vertex AI Pipelines 上でパイプラインを実行できるリソースです。Vertex AI Pipelines ジョブを使用すると、パイプラインのステップとタスクを実行したり、パイプラインの実行を監視およびデバッグしたりできます。両方のコンポーネントをリンクして実行する Vertex AI Pipelines ジョブを作成し、Kubeflow pipelines SDK を使用して 2 つのコンポーネントを指定するコードを記述します。最初のコンポーネントは PySpark 特徴エンジニアリング コードを実行する Apache Spark コンテキストを初期化し、2 番目のコンポーネントは TensorFlow カスタム モデル トレーニング コードを実行します。これにより、エンドツーエンドで実行され、ステップ間の接続を追跡するスケーラブルで保守可能な本番プロセスを作成できます。 2 つのコンポーネント、それらの入力と出力、および依存関係を定義するコードを記述できます。次に、Kubeflow pipelines SDK を使用して、2 つのコンポーネントを順番に実行するパイプラインを作成し、そのパイプラインを Vertex AI Pipelines に送信して実行できます。ただし、両方のコンポーネントをリンクして実行する Vertex AI Pipelines ジョブを作成し、Kubeflow pipelines SDK を使用して 2 つのコンポーネントを指定するコードを記述します。最初のコンポーネントは PySpark 特徴エンジニアリング コードを実行する Apache Spark コンテキストを初期化し、

ワークフローを構成するための最良のオプションは、変換を TensorFlow モデルの前処理レイヤーとして追加することです。このオプションを使用すると、TensorFlow のパワーとシンプルさを活用して、シンプルな Python コードでデータを前処理および変換できます。TensorFlow は、機械学習モデルの構築とトレーニングのためのフレームワークです。TensorFlow は、データ分析と機械学習のためのさまざまなツールとライブラリを提供します。前処理レイヤーは、入力データに対してデータの前処理と特徴エンジニアリング操作を実行できる TensorFlow のレイヤーの一種です。前処理レイヤーを使用すると、データの変換と前処理ロジックをカスタマイズしたり、複雑なデータ形式や標準以外のデータ形式を処理したりできます。また、前処理レイヤーを実装するために数行のコードを記述するだけで済み、中間データソースやパイプラインを作成する必要がないため、前処理の時間、コスト、開発作業を最小限に抑えることができます。TensorFlow モデルの前処理レイヤーとして変換を追加することで、Vertex AI のカスタムトレーニング サービスを使用して、BigQuery からデータを読み取り、将来の売上を予測する複数の TensorFlow モデルをトレーニングできます。
他の選択肢は、以下の理由から選択肢Cほど優れていません。
* Option A: Writing the transformations into Spark that uses the spark-bigquery-connector and using Dataproc to preprocess the data would require more skills and steps than using a preprocessing layer in TensorFlow. Spark is a framework for distributed data processing and machine learning. Spark can read and write data from BigQuery by using the spark-bigquery-connector, which is a library that allows Spark to communicate with BigQuery. Dataproc is a service that can create and manage Spark clusters on Google Cloud. Dataproc can help you run Spark jobs on Google Cloud, and scale the clusters according to the workload. However, writing the transformations into Spark that uses the spark-bigquery-connector and using Dataproc to preprocess the data would require more skills and steps than using a preprocessing layer in TensorFlow. You would need to write code, create and configure the Spark cluster, install and import the spark-bigquery-connector, load and preprocess the data, and write the data back to BigQuery. Moreover, this option would create an intermediate data source in BigQuery, which can increase the storage and computation costs2.
* Option B: Writing SQL queries to transform the data in-place in BigQuery would not allow you to use Vertex AI's custom training service to train multiple TensorFlow models that read the data from BigQuery and predict future sales. BigQuery is a service that can perform data analysis and machine learning by using SQL queries. BigQuery can perform data transformation and preprocessing by using SQL functions and clauses, such as MIN, MAX, CASE, and TRANSFORM. BigQuery can also perform machine learning by using BigQuery ML, which is a feature that can create and train machine learning models by using SQL queries. However, writing SQL queries to transform the data in-place in BigQuery would not allow you to use Vertex AI's custom training service to train multiple TensorFlow models that read the data from BigQuery and predict future sales. Vertex AI's custom training service is a service that can run your custom machine learning code on Vertex AI. Vertex AI's custom training service can support various machine learning frameworks, such as TensorFlow, PyTorch, and scikit-learn. Vertex AI's custom training service cannot support SQL queries, as SQL is not a machine learning framework. Therefore, if you want to use Vertex AI's custom training service, you cannot use SQL queries to transform the data in-place in BigQuery3.
* オプション D: BigQueryIO コネクタを使用してデータを取り込み、処理し、BigQuery に書き戻す Dataflow パイプラインを作成するには、TensorFlow で前処理レイヤーを使用するよりも多くのスキルと手順が必要になります。 Dataflow は、Google Cloud 上でデータ処理および機械学習パイプラインを作成して実行できるサービスです。 Dataflow は、BigQuery と通信できるようにするライブラリである BigQueryIO コネクタを使用して、BigQuery からデータを読み書きできます。 Dataflow は、分散データ処理および機械学習のフレームワークである Apache Beam を使用して、データ変換および前処理を実行できます。 ただし、BigQueryIO コネクタを使用してデータを取り込み、処理し、BigQuery に書き戻す Dataflow パイプラインを作成するには、TensorFlow で前処理レイヤーを使用するよりも多くのスキルと手順が必要になります。 コードを記述し、Dataflow パイプラインを作成して構成し、BigQueryIO コネクタをインストールしてインポートし、データをロードして前処理し、データを BigQuery に書き戻す必要があります。 さらに、このオプションでは BigQuery に中間データ ソースが作成されるため、ストレージと計算コストが増加する可能性があります 4。
参考文献：
* Google Cloud認定資格の準備：機械学習エンジニア、コース3：本番環境向け機械学習システム、第2週：機械学習予測の提供
* Google Cloud Professional Machine Learning Engineer 試験ガイド、セクション 2: ML モデルの開発、2.1 TensorFlow を使用した ML モデルの開発
* Google Cloud 認定プロフェッショナル機械学習エンジニア公式学習ガイド、第 4 章:
機械学習モデルの開発、第4.1節：TensorFlowを使用した機械学習モデルの開発
* TensorFlowの前処理レイヤー
* SparkとBigQuery
* データ処理
* BigQuery ML
* DataflowとBigQuery
* アパッチビーム

Vertex AI Model Registryはトラフィック分割と組み込みのモニタリングをサポートしており、A/Bテストをシームレスに実行できます。
このアプローチでは、追加の監視ツールやインフラストラクチャのオーバーヘッドが不要になります。Cloud RunとGKEソリューション（オプションAとC）は不要な複雑さを増す一方、Looker Studio（オプションB）は監視のために追加の設定が必要です。