Vertex AI Pipelines は、パイプライン 1 を使用して機械学習 (ML) ワークフローをオーケストレーションおよび自動化できるサービスです。パイプラインとは、ワークフロー内のすべてのコンポーネント、コンポーネントがグラフとしてどのように接続されているか、およびパイプラインが受け入れるランタイム パラメータ 1 を含む、ML ワークフローの説明です。Vertex AI Pipelines は、データの前処理からモデルのデプロイ 1 まで、ML プロジェクトのエンドツーエンドのライフサイクルを管理するのに役立ちます。
Vertex AI Feature Storeは、異なるモデルやプロジェクト間で機械学習機能を提供、共有、再利用できるようにするサービスです2。機能とは、人の年齢や製品の価格など、エンティティの測定可能な特性または特徴のことです2。Vertex AI Feature Storeは、データの重複を減らし、データの一貫性を確保し、モデルのパフォーマンスを向上させるのに役立ちます2。
Vertex AI Experiments は、モデルのさまざまなバージョンのパフォーマンスを追跡および比較するのに役立つサービスです。Vertex AI Experiments を使用すると、異なるハイパーパラメータ、アーキテクチャ、またはデータソースを使用して複数のトレーニング ジョブを実行し、メトリクス、視覚化、およびレポートを使用して結果を比較できます。Vertex AI Experiments は、ユースケースに最適なモデルを特定し、モデルのパフォーマンスを最適化するのに役立ちます。参照:
Vertex AI パイプライン | Google Cloud
Vertex AI フィーチャーストア | Google Cloud
Vertex AI 実験 | Google Cloud

* オプション A は、Google Kubernetes Engine 上で Kubeflow Pipelines を使用することが、最小限のクラスタ管理でパイプライン全体をオーケストレーションする最も便利な方法ではないため、誤りです。Kubeflow Pipelines は、コンテナを使用して ML パイプラインを構築、実行、管理できるオープンソースのプラットフォームです 1。Google Kubernetes Engine は、コンテナ化されたアプリケーションをオーケストレーションするためのオープンソース システムである Kubernetes を実行する仮想マシンのクラスタを作成および管理できるサービスです 2。ただし、このオプションでは、クラスタの作成と構成、Kubeflow Pipelines のインストールとメンテナンス、パイプライン コードの記述と実行が必要となるため、オプション B よりも多くの労力とリソースが必要です。
* オプションBが正解です。Vertex AI PipelinesとTensorFlow Extended (TFX) SDKを使用することが、最小限のクラスタ管理でパイプライン全体をオーケストレーションする最良の方法だからです。Vertex AI Pipelinesは、Google Cloud 3上でスケーラブルで移植性の高いMLパイプラインを作成および実行できるサービスです。
TensorFlow Extended (TFX) は、TensorFlow 4 を使用して本番環境に対応した機械学習パイプラインを構築するためのコンポーネントとライブラリのセットを提供するフレームワークです。TFX SDK と Vertex AI Pipelines を組み合わせることで、Cloud Storage 内のデータの取り込みと前処理、Vertex AI ジョブを使用したオブジェクトモデルのトレーニングとチューニング、定義済みまたはカスタムのコンポーネントを使用したエンドポイントへのモデルデプロイを行うことができます。Vertex AI Pipelines は基盤となるインフラストラクチャとオーケストレーションを処理するため、クラスタ管理やスケーラビリティについて心配する必要はありません。
* オプション C は、Vertex AI Pipelines を Kubeflow Pipelines SDK と併用することは、最小限のクラスタ管理でパイプライン全体をオーケストレーションする最適な方法ではないため、誤りです。Kubeflow Pipelines SDK は、Kubeflow Pipelines 5 を使用して ML パイプラインを構築および実行できるライブラリです。Vertex AI Pipelines を Kubeflow Pipelines SDK と併用することで、コンテナを使用して Google Cloud 上で ML パイプラインを作成および実行できます。ただし、このオプションは、トレーニングとデプロイには Vertex AI SDK、取り込みと前処理には Kubeflow Pipelines SDK など、パイプラインのさまざまなステップで異なる API とツールを使用する必要があるため、オプション B よりも便利で一貫性がありません。さらに、このオプションでは、標準コンポーネント、メタデータ ストア、ML メタデータ ライブラリなど、TFX の利点を活用できません。
* オプション D は、Cloud Composer をオーケストレーションに使用することは、最小限のクラスタ管理でパイプライン全体をオーケストレーションする最も効率的な方法ではないため、誤りです。Cloud Composer は、複雑なタスクをオーケストレーションするためのオープンソース プラットフォームである Apache Airflow を使用してワークフローを作成および実行できるサービスです。Cloud Composer を使用して、タスクの依存関係と順序を定義する DAG (有向非巡回グラフ) を作成および管理することで、パイプライン全体をオーケストレーションできます。ただし、このオプションは、環境の作成と構成、Airflow のインストールとメンテナンス、および DAG の作成と実行が必要となるため、オプション B よりも複雑でコストがかかります。
参考文献：
Kubeflow Pipelines のドキュメント
Google Kubernetes Engine のドキュメント
Vertex AI Pipelines のドキュメント
TensorFlow Extended ドキュメント
Kubeflow Pipelines SDK のドキュメント
[Cloud Composer ドキュメント]
[Vertex AI ドキュメント]
[クラウドストレージに関するドキュメント]
[TensorFlowドキュメント]

* オプションAは、強化学習が組立ラインの最後に撮影された製品の画像に基づいて製品の欠陥を識別するモデルを構築するのに適したアプローチではないため、誤りです。強化学習は、ラベル付きデータや明示的なフィードバックからではなく、自身の行動と報酬から学習する機械学習の一種です1。強化学習は、ゲーム、ロボット工学、制御システムなど、逐次的な意思決定を伴う問題により適しています1。
しかし、欠陥検出は画像分類やセグメンテーションを伴う問題であり、強化学習ではなく教師あり学習を必要とする。
* オプション B は、組立ラインの最後に撮影された製品の画像に基づいて製品の欠陥を識別するモデルを構築するのに、レコメンデーション システムが適切なアプローチではないため、誤りです。レコメンデーション システムとは、ユーザーの好み、行動、またはコンテキストに基づいてアイテムやアクションを提案するシステムです。レコメンデーション システムは、電子商取引、エンターテイメント、ソーシャルメディアなど、パーソナライゼーションを伴う問題に適しています。しかし、欠陥検出は、レコメンデーション システムではなく、教師あり学習を必要とする画像分類またはセグメンテーションを伴う問題です。
* オプション C は、リカレント ニューラル ネットワーク (RNN) が組立ラインの最後に撮影された製品の画像に基づいて製品の欠陥を識別するモデルを構築する最も効率的なアプローチではないため、誤りです。RNN は、テキスト、音声、ビデオなどのシーケンス データを処理するニューラル ネットワークの一種で、時間的依存関係を捉える隠れ状態を維持します 3。RNN は、自然言語処理、音声認識、ビデオ分析などの問題により適しています 3。
しかし、欠陥検出は画像分類やセグメンテーションを伴う問題であり、
* 時間的依存関係ではなく、空間的依存関係を必要とします。さらに、RNNは計算コストが高く、勾配消失や勾配爆発を起こしやすいです4。
* オプション D が正解です。畳み込みニューラルネットワーク (CNN) は、組立ラインの最後に撮影された製品の画像に基づいて製品の欠陥を識別するモデルを構築するのに最適なアプローチだからです。CNN は、ローカル特徴を抽出し、データの次元を削減する畳み込みフィルタを適用することで画像データを処理できるニューラルネットワークの一種です 5。CNN は、画像分類、物体検出、またはセグメンテーションを伴う問題により適しています 5。CNN は、プーリング、ドロップアウト、バッチ正規化などの技術を使用して、少ない計算量で画像を前処理し、製品の欠陥の特徴を迅速に抽出できます 6。
参考文献：
強化学習
* レコメンデーションシステム
* リカレントニューラルネットワーク
* 消失グラデーションと爆発グラデーション
* 畳み込みニューラルネットワーク
* CNN技術
* [欠陥検出]
* [画像分類]
* [画像分割]

* オプションAが正解です。Vertex AI Workbenchのユーザー管理ノートブックを使用してレポートを生成することは、データがモデル開発に適しているかどうかを迅速に判断し、データ分布の有益な視覚化と、チームの他のMLエンジニアと共有できるより高度な統計分析の両方を含むワンタイムレポートを作成するための最良の方法だからです。Vertex AI Workbenchはサービスです。
* これにより、機械学習の開発や実験のためのノートブックを作成して使用できます。Vertex AI Workbench を使用すると、BigQuery テーブルに接続し、SQL または Python を使用してデータをクエリおよび分析し、pandas、matplotlib、seaborn などのライブラリを使用してインタラクティブなチャートやグラフを作成できます。
Vertex AI Workbench を使用すると、TensorFlow Data Validation、TensorFlow Transform、SciPy などのライブラリを使用して、外れ値検出、特徴量エンジニアリング、仮説検定などの高度なデータ分析を実行することもできます。ノートブックを PDF または HTML ファイルとしてエクスポートし、チームと共有できます。Vertex AI Workbench は、必要なコードやライブラリを自由に使用し、レポートを思い通りにカスタマイズできるため、レポート作成において最大限の柔軟性を提供します。
* オプション B は誤りです。Google Data Studio を使用してレポートを作成することは、データがモデル開発に適しているかどうかを迅速に判断したり、データ分布の有益な視覚化と、チームの他の ML エンジニアと共有するためのより高度な統計分析の両方を含む単発レポートを作成したりするための最も柔軟な方法ではないためです。Google Data Studio は、BigQuery、Google Sheets、Google Analytics などのさまざまなソースのデータを使用して、インタラクティブなダッシュボードやレポートを作成して共有できるサービスです。Google Data Studio を使用して BigQuery テーブルに接続し、チャート、テーブル、マップを使用してデータを探索および視覚化し、データにフィルター、計算、集計を適用できます。ただし、Google Data Studio は、モデル開発に役立つ可能性のある外れ値検出、特徴量エンジニアリング、仮説検定などのより高度な統計分析をサポートしていません。さらに、Google Data Studio は、静的な単発レポートよりも、頻繁に更新する必要のある定期的なレポートの作成に適しています。
* オプション C は誤りです。Dataflow の TensorFlow Data Validation の出力を使用してレポートを生成する方法は、データがモデル開発に適しているかどうかを迅速に判断し、データ分布の有益な視覚化と、チームの他の ML エンジニアと共有するためのより高度な統計分析の両方を含む一度限りのレポートを作成するための最も効率的な方法ではありません。
TensorFlow Data Validation は、機械学習用のデータの品質を探索、検証、監視できるライブラリです。TensorFlow Data Validation を使用すると、データの記述統計量の計算、異常値の検出、スキーマの推論、データ可視化の生成を行うことができます。Dataflow は、Apache Beam を使用してスケーラブルなデータ処理パイプラインを作成および実行できるサービスです。Dataflow を使用すると、BigQuery に保存されているような大規模なデータセットに対して TensorFlow Data Validation を実行できます。
しかし、この方法はBigQueryからDataflowへのデータ移行、パイプラインの作成と実行、結果のエクスポートといった手順が必要となるため、効率的とは言えません。さらに、TensorFlow Data Validationの機能に制限されるため、レポート作成の柔軟性が最大限に発揮されず、思い通りにレポートをカスタマイズできない可能性があります。
* オプション D は、Dataprep を使用してレポートを作成することは、データがモデル開発に適しているかどうかを迅速に判断し、データ分布の有益な視覚化と、チームの他の ML エンジニアと共有するためのより高度な統計分析の両方を含むワンタイム レポートを作成するための最も柔軟な方法ではないため、誤りです。Dataprep は、分析または ML 用にデータを探索、クリーンアップ、変換できるサービスです。Dataprep を使用して BigQuery テーブルに接続し、ヒストグラム、チャート、または要約統計を使用してデータを検査およびプロファイリングし、フィルタリング、結合、分割、集計などの変換をデータに適用できます。ただし、Dataprep は、モデル開発に役立つ可能性のある外れ値検出、特徴エンジニアリング、仮説検定などのより高度な統計分析をサポートしていません。さらに、Dataprep は、静的なワンタイム レポートよりも、繰り返し実行する必要があるデータ準備ワークフローの作成に適しています。
参考文献：
* Vertex AI Workchen のドキュメント
* Googleデータスタジオのドキュメント
* TensorFlowデータ検証に関するドキュメント
* データフローに関するドキュメント
* データ準備に関するドキュメント
* [BigQueryドキュメント]
* [pandasのドキュメント]
* [matplotlibのドキュメント]
* [Seabornのドキュメント]
* [TensorFlow Transform のドキュメント]
* [SciPyのドキュメント]
* [Apache Beamのドキュメント]

機械学習モデルで使用される可能性のある機密性の高い顧客データを保護するための最善策は、AGEを分位数に分割し、LATITUDE_LONGITUDEを単精度に丸めることでデータを粗くすることです。この方法には、次のような利点があります。
* 粗粒度化することで、機械学習モデルにとってデータの有用性と関連性が維持されます。粗粒度化されたデータでも、モデルが学習する必要のある重要な情報やパターンが依然として捉えられているためです。たとえば、AGEを分位数にすることで、顧客を異なる年齢層にグループ化でき、顧客の好みや行動を予測するのに役立ちます。LATITUDE_LONGITUDEを単精度に丸めることで、位置情報の精度は低下しますが、顧客の大まかな地理的領域は保持されるため、レコメンデーションやオファーをパーソナライズするのに役立ちます。
*粗粒度データを用いることで、データから個々の顧客を特定したり再特定したりすることが難しくなるため、顧客の個人情報やプライベート情報が漏洩するリスクが軽減されます。例えば、AGEを分位数にすることで、機密情報とみなされる可能性のある顧客の正確な年齢を隠すことができます。同様に、LATITUDE_LONGITUDEを単精度に丸めることで、機密情報とみなされる可能性のある顧客の正確な位置を隠すことができます。
他の選択肢は、以下の理由から最適とは言えません。
* オプション A: ハッシュ化されたダミー値を使用してすべてのフィールドをトークン化し、実際の値を置き換えると、トークン化されたデータにはモデルが学習する必要のあるすべての情報とパターンが失われるため、ML モデルにとってデータの有用性と関連性が失われます。たとえば、AGE をハッシュ化されたダミー値を使用してトークン化すると、モデルがランダムなトークンから何も学習できないため、データが無意味で無関係になる可能性があります。LATITUDE_LONGITUDE をハッシュ化されたダミー値を使用してトークン化すると、モデルがランダムなトークンから何も学習できないため、データが無意味で無関係になる可能性があります。
* オプション B: 主成分分析 (PCA) を使用して 4 つの機密フィールドを 1 つの PCA ベクトルに縮小すると、PCA ベクトルがモデルが学習する必要のあるすべての情報やパターンを捉えられない可能性があるため、機械学習モデルにとってデータの有用性と関連性が低下します。たとえば、PCA を使用して AGE、IS_EXISTING_CUSTOMER、LATITUDE_LONGITUDE、および SHIRT_SIZE を 1 つの PCA ベクトルに縮小すると、PCA ベクトルは元の特徴の線形結合であるため、それらの真の関係や重要性を反映しない可能性があり、一部の情報が失われたり、データにノイズが混入したりする可能性があります。
さらに、PCAを使用して4つの機密フィールドを1つのPCAベクトルに削減しても、PCAベクトルによって説明される分散の量とPCA変換行列の利用可能性によっては、PCAベクトルが元のデータと可逆的であったり、関連付けられたりする可能性があるため、顧客の個人情報やプライベート情報が漏洩するリスクが軽減されるとは限りません。
* オプション D: 機密データフィールドをすべて削除し、データサイエンスチームに機密性のないデータを使用してモデルを構築するよう依頼すると、機密性のないデータにはモデルが学習する必要のある十分な情報やパターンが含まれていない可能性があるため、機械学習モデルにとってのデータの有用性と関連性が低下します。たとえば、AGE、IS_EXISTING_CUSTOMER、LATITUDE_LONGITUDE、SHIRT_SIZE をデータから削除すると、モデルが顧客の好みや行動に影響を与える要因を学習できなくなる可能性があるため、データが不十分で代表性を失う可能性があります。さらに、データ保護法では、データが安全かつ倫理的な方法で処理され、顧客の同意と権利が尊重される限り、機械学習モデルに機密データを使用することが許可されている場合があるため、データから機密データフィールドをすべて削除する必要はないか、実行可能ではない可能性があります。
参考文献：
* 機密コンピューティングによる機密データとAIモデルの保護 | NVIDIAテクニカルブログ
* 機密データから機械学習モデルをトレーニングする | Fast Data Science
* 機械学習アプリケーションのセキュリティ確保。モデルのセキュリティと保護 - 中程度
* AI/MLシステムのセキュリティ、MLモデルのセキュリティ | Cossack Labs
機械学習モデルにおける脆弱性、セキュリティ、プライバシー