* オプション A は正解です。BigQuery ML を使用して複数の回帰モデルを実行し、そのパフォーマンスを分析することが、タスクを完了するための最も効率的でセルフサービス的な方法だからです。BigQuery ML は、SQL クエリを使用して BigQuery 内で ML モデルを作成して使用できるサービスです1。BigQuery ML を使用すると、線形回帰、ロジスティック回帰、DNN 回帰などのさまざまな種類の回帰モデルを実行できます2。また、BigQuery ML を使用して、平均二乗誤差、精度、ROC 曲線などのモデルのパフォーマンスを分析することもできます3。BigQuery ML は、データの移動、コーディング、追加のツールを必要としないため、高速でスケーラブルで使いやすいです4。
* オプション B は不正解です。Dataproc を使用して BigQuery からデータを読み取り、SparkML を使用して複数のモデルを実行することは、タスクを完了するための最も効率的でセルフサービス的な方法ではありません。Dataproc は、Apache Spark やその他のオープンソース ツールを実行する仮想マシンのクラスタを作成および管理できるサービスです5。SparkML は、Spark 用の ML アルゴリズムとユーティリティを提供するライブラリです。
ただし、このオプションでは、BigQuery から Dataproc へのデータの移動、クラスタの作成と構成、SparkML コードの記述と実行、結果の分析が必要になるため、オプション A よりも多くの労力とリソースが必要になります。
* オプション C は不正解です。さまざまな ML アルゴリズムとパフォーマンス メトリック用の scikit-learn コードを含む Vertex AI Workbench ユーザー管理ノートブックを使用することは、タスクを完了するための最も効率的でセルフサービス的な方法ではないためです。Vertex AI Workbench は、ML 開発と実験用のノートブックを作成して使用できるサービスです。scikit-learn は、Python 用の ML アルゴリズムとユーティリティを提供するライブラリです。ただし、このオプションでは、ノートブックの作成と管理、scikit-learn コードの記述と実行、結果の分析が必要になるため、オプション A よりも多くの労力とリソースが必要になります。
* オプション D は不正解です。Vertex AI でカスタム TensorFlow モデルをトレーニングし、さまざまな ML アルゴリズムを備えた BigQuery からデータを読み取ることは、タスクを完了するための最も効率的でセルフサービス的な方法ではありません。TensorFlow は、Python などの言語を使用して ML モデルを作成およびトレーニングできるフレームワークです。Vertex AI は、
* 組み込みアルゴリズムまたはカスタム コンテナ。ただし、このオプションでは、TensorFlow コードの作成と実行、トレーニング ジョブの作成と管理、結果の分析が必要になるため、オプション A よりも多くの労力とリソースが必要になります。
参考文献:
* BigQuery MLの概要
* BigQuery MLでモデルを作成する
* BigQuery ML でモデルを評価する
* BigQuery MLのメリット
* Dataproc の概要
* [SparkMLの概要]
* [Vertex AI Workbench の概要]
* [Scikit-learnの概要]
* [TensorFlowの概要]
* [Vertex AIの概要]

モデルの特徴値が変更されたときに最小限の追加コードを使用してモデルの再トレーニングを自動化し、モデルの再トレーニング回数を最小限に抑えてトレーニング コストを削減するための最適なオプションは、予測ドリフトを監視するように構成された Vertex AI モデル モニタリング ジョブを作成し、モニタリング アラートが検出されたときに Pub/Sub キューにメッセージをパブリッシュするようにアラート モニタリングを構成し、Cloud Functions を使用して Pub/Sub キューを監視し、BigQuery で再トレーニングをトリガーすることです。このオプションを使用すると、Vertex AI、Pub/Sub、Cloud Functions のパワーとシンプルさを活用してモデルのパフォーマンスを監視し、必要に応じてモデルを再トレーニングできます。Vertex AI は、Google Cloud で機械学習ソリューションを構築およびデプロイするための統合プラットフォームです。Vertex AI は、トレーニング済みのモデルをオンライン予測エンドポイントにデプロイして、個々のインスタンスに対して低レイテンシの予測を提供できます。Vertex AI は、データ分析、モデル開発、モデルのデプロイ、モデルのモニタリング、モデルのガバナンスのためのさまざまなツールとサービスも提供できます。VertAI モデル モニタリング ジョブは、Vertex AI にデプロイされたモデルのパフォーマンスと品質をモニタリングできるリソースです。Vertex AI モデル モニタリング ジョブは、データ ドリフト、予測ドリフト、トレーニング/サービング スキュー、モデルの古さなど、モデルの問題を検出して診断するのに役立ちます。予測ドリフトは、モデル モニタリング メトリックの一種で、トレーニング データに対してモデルによって生成された予測の分布と、オンライン データに対してモデルによって生成された予測の分布の差を測定します。予測ドリフトは、モデルのパフォーマンスが低下していること、またはオンライン データが時間の経過とともに変化していることを示している可能性があります。予測ドリフトをモニタリングするように構成された Vertex AI モデル モニタリング ジョブを作成することで、モデル予測の変化を追跡し、予想される予測と比較することができます。アラート モニタリングは、モニタリング メトリックが事前定義されたしきい値を超えたときに通知できる Vertex AI モデル モニタリングの機能です。アラート モニタリングを使用すると、アラートをトリガーするためのルールと条件を設定し、アラートを受信するための通知チャネルを選択できます。 Pub/Sub は、Google Cloud 上で信頼性が高くスケーラブルなメッセージングとイベント ストリーミングを提供できるサービスです。Pub/Sub を使用すると、メッセージを公開およびサブスクライブし、Cloud Functions などのさまざまな Google Cloud サービスに配信できます。Pub/Sub キューは、Pub/Sub トピックに公開されたメッセージを保持できるリソースです。Pub/Sub キューを使用すると、メッセージを保存および管理し、サブスクライバーに確実に配信できます。モニタリング アラートが検出されたときに Pub/Sub キューにメッセージを公開するようにアラート モニタリングを構成すると、Pub/Sub トピックに通知を送信し、アラートに基づいてダウンストリーム アクションをトリガーできます。Cloud Functions は、Google Cloud 上のイベントに応じてステートレス コードを実行できるサービスです。Cloud Functions を使用すると、サーバーのプロビジョニングや管理を行わずに関数を作成して実行でき、使用したリソースに対してのみ料金を支払うことができます。Cloud Functions は、Pub などのイベントに応じてコードを実行できるリソースです。
/Sub メッセージ。Cloud Functions の関数を使用すると、データ処理、データ変換、データ分析などのさまざまなタスクを実行できます。BigQuery は、Google Cloud で大規模なデータを保存してクエリを実行できるサービスです。BigQuery を使用すると、SQL クエリを使用してデータを分析し、データ探索、データ変換、データの可視化などのさまざまなタスクを実行できます。BigQuery ML は、SQL クエリを使用して BigQuery で機械学習モデルを作成および実行できる BigQuery の機能です。BigQuery ML を使用すると、線形回帰、ロジスティック回帰、k-means クラスタリング、行列分解、ディープ ニューラル ネットワークなど、さまざまな種類のモデルを構築およびトレーニングできます。Cloud Functions を使用して Pub/Sub キューをモニタリングし、BigQuery で再トレーニングをトリガーすることで、モデルの機能値が変化したときに最小限の追加コードを使用してモデルの再トレーニングを自動化できます。予測ドリフト アラートを受信したときに、Pub/Sub キューをリッスンし、SQL クエリを実行して BigQuery ML でモデルを再トレーニングする Cloud Functions の関数を作成できます。 BigQuery ML でモデルを再トレーニングすることで、モデル パラメータを更新し、モデルのパフォーマンスと精度を向上させることができます1。
他のオプションは、次の理由によりオプション C ほど優れていません。
* オプション A: Vertex AI Endpoints でリクエスト / レスポンス ロギングを有効にし、予測ドリフトをモニタリングする TensorFlow Data Validation ジョブをスケジュールし、分布間に大きな隔たりがある場合にモデルの再トレーニングを実行するには、予測ドリフトをモニタリングするように構成された Vertex AI Model Monitoring ジョブを作成し、モニタリング アラートが検出されたときに Pub/Sub キューにメッセージをパブリッシュするようにアラート モニタリングを構成し、Cloud Functions を使用して Pub/Sub キューをモニタリングし、BigQuery で再トレーニングをトリガーするよりも多くのスキルと手順が必要です。リクエスト / レスポンス ロギングは、オンライン予測エンドポイントとの間で送受信されるリクエストとレスポンスを記録できる Vertex AI Endpoints の機能です。リクエスト / レスポンス ロギングは、オンライン予測データを収集して分析し、モデルの問題をトラブルシューティングするのに役立ちます。TensorFlow Data Validation は、機械学習用にデータを分析および検証できるツールです。TensorFlow Data Validation は、データの探索、理解、クリーニング、およびデータ ドリフト、データ スキュー、データ異常などのさまざまなデータの問題の検出に役立ちます。予測ドリフトは、トレーニング データに対してモデルによって生成された予測の分布と、オンライン データに対してモデルによって生成された予測の分布の差を測定するデータの問題の一種です。予測ドリフトは、モデルのパフォーマンスが低下していること、またはオンライン データが時間の経過とともに変化していることを示している可能性があります。Vertex AI Endpoints でリクエストとレスポンスのログ記録を有効にし、予測ドリフトを監視する TensorFlow Data Validation ジョブをスケジュールすることで、オンライン予測データを収集して分析し、予測の分布を比較できます。ただし、Vertex AI Endpoints でリクエストとレスポンスのログ記録を有効にし、予測ドリフトを監視する TensorFlow Data Validation ジョブをスケジュールし、分布間に大きな隔たりがある場合にモデルの再トレーニングを実行するには、予測ドリフトを監視するように構成された Vertex AI Model Monitoring ジョブを作成し、モニタリング アラートが検出されたときに Pub/Sub キューにメッセージをパブリッシュするようにアラート モニタリングを構成し、Cloud Functions を使用して Pub/Sub キューを監視し、BigQuery で再トレーニングをトリガーするよりも多くのスキルと手順が必要になります。コードを記述し、リクエストとレスポンスのログ記録を有効にして構成し、TensorFlow データ検証ジョブを作成して実行し、分布間の距離を定義および測定し、モデルの再トレーニングを実行する必要があります。さらに、このオプションではモデルの再トレーニングが自動化されず、予測ドリフトを手動で確認して再トレーニングをトリガーする必要があります2。
* オプション B: Vertex AI エンドポイントでリクエスト / レスポンスのログ記録を有効にし、トレーニング / サービング スキューを監視する TensorFlow データ検証ジョブをスケジュールし、分布間に大きな隔たりがある場合にモデルの再トレーニングを実行しても、モデルの特徴値の変化を監視することはできず、エラーやパフォーマンスの低下を引き起こす可能性があります。トレーニング / サービング スキューは、モデルのトレーニングに使用される特徴とモデルの提供に使用される特徴の分布の差を測定するデータの問題の一種です。トレーニング / サービング スキューは、モデルが代表的なデータでトレーニングされていないか、データが時間の経過とともに変化していることを示している可能性があります。Vertex AI エンドポイントでリクエスト / レスポンスのログ記録を有効にし、トレーニング / サービング スキューを監視する TensorFlow データ検証ジョブをスケジュールすることで、オンライン予測データを収集して分析し、特徴の分布を比較できます。ただし、Vertex AI エンドポイントでリクエスト / レスポンス ロギングを有効にし、トレーニング / サービング スキューを監視するために TensorFlow データ検証ジョブをスケジュールし、分布間に大きな距離がある場合にモデルの再トレーニングを実行しても、モデルの特徴値の変化を監視することはできず、エラーやパフォーマンスの低下を引き起こす可能性があります。コードを記述し、リクエスト / レスポンス ロギングを有効にして構成し、TensorFlow データ検証ジョブを作成して実行し、分布間の距離を定義および測定し、モデルの再トレーニングを実行する必要があります。さらに、このオプションでは、モデルのパフォーマンスと品質を測定するためのより直接的で関連性の高い指標である予測ドリフトが監視されません2。
* オプション D: トレーニング/サービング スキューをモニタリングするように構成された Vertex AI モデル モニタリング ジョブを作成し、モニタリング アラートが検出されたときに Pub/Sub キューにメッセージをパブリッシュするようにアラート モニタリングを構成し、Cloud Functions を使用して Pub/Sub キューをモニタリングし、BigQuery で再トレーニングをトリガーすると、モデルの特徴値の変化をモニタリングできず、エラーが発生したり、パフォーマンスが低下したりする可能性があります。トレーニング/サービング スキューは、モデルのトレーニングに使用される特徴とモデルの提供に使用される特徴の分布の差を測定するデータの問題の一種です。トレーニング
/serving skewは、モデルが代表的なデータでトレーニングされていないか、データが時間の経過とともに変化していることを示している可能性があります。トレーニングを監視するように構成されたVertex AIモデルモニタリングジョブを作成することで、
/serving skew を使用すると、モデル機能の変化を追跡し、それらを予想される機能と比較できます。ただし、トレーニング / サービング スキューをモニタリングするように構成された Vertex AI モデル モニタリング ジョブを作成し、モニタリング アラートが検出されたときに Pub/Sub キューにメッセージをパブリッシュするようにアラート モニタリングを構成し、Cloud Functions を使用して Pub/Sub キューをモニタリングし、BigQuery で再トレーニングをトリガーしても、モデル機能値の変化をモニタリングすることはできず、エラーが発生したり、パフォーマンスが低下したりする可能性があります。コードを記述し、Vertex AI モデル モニタリング ジョブを作成して構成し、アラート モニタリングを構成し、Pub/Sub キューを作成して構成し、再トレーニングをトリガーする Cloud Functions を記述する必要があります。さらに、このオプションでは、モデルのパフォーマンスと品質を測定するためのより直接的で関連性の高い指標である予測ドリフトをモニタリングできません1。
参考文献:
* Google Cloud 認定資格の準備: 機械学習エンジニア、コース 3: 本番環境 ML システム、第 4 週: ML ガバナンス
* Google Cloud Professional Machine Learning Engineer 試験ガイド、セクション 3: 本番環境での ML モデルのスケーリング

This approach would allow you to keep the critical columns of data while reducing the sensitivity of the dataset by removing the personally identifiable information (PII) before training the model. By creating an authorized view of the data, you can ensure that sensitive values cannot be accessed by unauthorized individuals.

AutoML Natural Language is a service that allows you to build and train custom natural language models without writing code. You can use AutoML Natural Language to perform sentiment analysis with custom categories, such as positive, negative, or neutral. You can also use pre-trained models or transfer learning to leverage existing knowledge and reduce the amount of data required to train a model from scratch. AutoML Natural Language provides a user-friendly interface and a powerful AutoML engine that optimizes your model for high predictive performance.
Cloud Natural Language API is a service that provides pre-trained models for common natural language tasks, such as sentiment analysis, entity analysis, and syntax analysis. However, it does not allow you to customize the categories or use your own data for training.
AI Hub pre-made Jupyter Notebooks are interactive documents that contain code, text, and visualizations for various machine learning scenarios. However, they require some coding skills and data preparation to use them effectively.
AI Platform Training built-in algorithms are pre-configured machine learning algorithms that you can use to train models on AI Platform. However, they do not support sentiment analysis as a natural language task.
Reference:
AutoML Natural Language documentation
Cloud Natural Language API documentation
AI Hub documentation
AI Platform Training documentation

オプション A は不正解です。単語のワンホット エンコーディングを作成し、そのエンコーディングをモデルに取り込むのは、自然言語モデル用に単語を個別に前処理する効率的な方法ではありません。ワンホット エンコーディングは、カテゴリ変数をバイナリ ベクトルとして表す方法です。各要素はカテゴリに対応し、1 つの要素のみが 1 で、残りは 01 です。ただし、この方法は、大量のメモリと計算を必要とし、単語間の意味の類似性や関係をキャプチャしないため、大規模な語彙の単語などの高次元でスパースなデータには適していません2。
オプション B は正解です。事前トレーニング済みモデルから単語埋め込みを識別し、モデルで埋め込みを使用することは、自然言語モデル用に単語を個別に前処理する良い方法です。単語埋め込みは、連続空間3 における単語の意味と使用法を表す低次元で密なベクトルです。単語埋め込みは、word2vec、GloVe、BERT4 などのニューラル ネットワークを使用して、大規模なテキスト コーパスから学習できます。事前トレーニング済みの単語埋め込みを使用すると、特にトレーニング データが限られている場合やノイズが多い場合に、時間とリソースを節約し、自然言語モデルのパフォーマンスを向上させることができます5。
オプション C は不正解です。単語を出現頻度で並べ替え、その頻度をモデル内のエンコーディングとして使用することは、自然言語モデル用に単語を個別に前処理する意味のある方法ではありません。この方法は、単語の出現頻度がその重要性や関連性の優れた指標であることを示していますが、これは正しくない可能性があります。たとえば、「the」という単語は頻繁に使用されますが、あまり有益ではありません。一方、「unicorn」という単語はまれですが、より特徴的です。さらに、この方法では単語間の意味的な類似性や関係性が捉えられず、モデルにノイズやバイアスが生じる可能性があります。
オプション D は不正解です。各単語に 1 から 100,000 までの数値を割り当て、その値をモデルに入力として与えることは、自然言語モデルで単語を個別に前処理する有効な方法ではありません。この方法は、単語間の順序関係を暗示しますが、これは正しくない可能性があります。たとえば、「リンゴ」、「バナナ」、「オレンジ」という単語に 1、2、3 という値を割り当てることは意味がありません。これらの果物には固有の順序がないためです。さらに、この方法では単語間の意味的な類似性や関係が捉えられず、無関係な情報や誤解を招く情報でモデルが混乱する可能性があります。
参照：
ワンホットエンコーディング
単語埋め込み
単語埋め込み
事前学習済みの単語埋め込み
Keras モデルで事前学習済みの単語埋め込みを使用する
[用語の出現頻度]
[用語頻度-逆文書頻度]
[順序変数]
[カテゴリ特徴のエンコード]