公式試験ガイド1 によると、試験で評価されるスキルの 1 つは「パイプライン成果物の系統を追跡する」ことです。Vertex AI Experiments2 は、モデル トレーニング実行の結果を追跡して比較できるサービスです。Vertex AI Experiments は、各トレーニング実行のハイパーパラメータ、メトリック、成果物などのメタデータを自動的に記録します。Vertex AI Experiments を使用すると、TensorFlow、PyTorch、XGBoost、または scikit-learn を使用してカスタム モデルをトレーニングできます。Vertex AI Model Registry3 は、トレーニング済みのモデルを一元的に管理できるサービスです。Vertex AI Model Registry を使用して、モデルを登録し、ラベルと説明を追加し、モデルの系統グラフを表示できます。系統グラフには、データセット、トレーニング パイプライン、評価メトリックなど、モデルの作成の一部である成果物と実行が表示されます。その他のオプションは、このシナリオには関連がなく、最適ではありません。参考資料:
* プロフェッショナル ML エンジニア試験ガイド
* Vertex AI 実験
* Vertex AI モデルレジストリ
* Google プロフェッショナル機械学習認定試験 2023
* 最新の Google Professional Machine Learning Engineer 実際の無料試験問題

AutoML のトレーニング パラメータを調整してモデルのパフォーマンスを向上させるための最適なオプションは、スコアしきい値を下げ、トレーニング セットに肯定的な例を追加することです。これらのオプションは、このユース ケースの優先事項である不正なトランザクションの検出率を高めるのに役立ちます。スコアしきい値は、予測が肯定的であると分類されるために必要な最小確率スコアを決定するパラメータです。スコアしきい値を下げると、モデルの再現率 (正しく識別された実際の肯定的なケースの割合) が上がります。再現率を上げると、モデルが見逃した不正なトランザクションである偽陰性の数が減ります。ただし、スコアしきい値を下げると、モデルの精度 (実際に正しい肯定的な予測の割合) も下がる可能性があります。精度を下げると、モデルによって不正であるとフラグ付けされた正当なトランザクションである偽陽性の数が増える可能性があります。したがって、再現率と精度の間にはトレードオフがあり、最適なスコアしきい値はビジネス目標とエラーのコストによって異なります1。
トレーニング セットに正の例をさらに追加すると、データ分布のバランスが取れ、モデルのパフォーマンスが向上します。正の例は、ターゲット クラスに属するインスタンスで、この場合は不正な取引です。負の例は、他のクラスに属するインスタンスで、この場合は正当な取引です。不正な取引は通常、正当な取引に比べてまれで不均衡であるため、モデルが多数派クラスに偏り、少数派クラスの特性を学習できない可能性があります。正の例をさらに追加すると、モデルが不正な取引のより多くの特徴とパターンを学習し、検出率を高めるのに役立ちます2。
他のオプションは、次の理由により、オプション B および C ほど優れていません。
* オプション A: スコアしきい値を上げると、不正な取引の検出率が低下しますが、これは望ましい結果とは逆の結果です。スコアしきい値を上げると、モデルの再現率 (正しく識別された実際の陽性ケースの割合) が低下します。再現率を下げると、モデルが見逃した不正な取引である偽陰性の件数が増加します。スコアしきい値を上げると、モデルの精度 (実際に正しい正の予測の割合) が向上します。精度を上げると、モデルによって不正とフラグが付けられた正当な取引である偽陽性の件数が減ります。ただし、このユースケースでは、偽陰性のコストが偽陽性のコストよりもはるかに高いため、スコアしきい値を上げることは良いオプションではありません1。
* オプション D: トレーニング セットにさらに負の例を追加しても、モデルのパフォーマンスは向上せず、データの不均衡が悪化する可能性があります。負の例とは、他のクラスに属するインスタンスであり、この場合は正当なトランザクションです。正当なトランザクションは通常、不正なトランザクションに比べて豊富で支配的であるため、モデルが多数派クラスに偏り、少数派クラスの特徴を学習できない可能性があります。負の例をさらに追加すると、この問題が悪化し、不正なトランザクションの検出率が低下します2。
* オプション E: トレーニングの最大ノード時間数を削減してもモデルのパフォーマンスは向上せず、モデルの最適化が制限される可能性があります。ノード時間は、AutoML モデルのトレーニングに使用される計算単位です。最大ノード時間は、トレーニングに使用できるノード時間の上限を決定するパラメーターです。最大ノード時間数を削減すると、トレーニング時間とコストが削減されますが、モデルの品質と精度も低下します。最大ノード時間数を削減すると、モデルが実行できる反復、試行、評価の数が制限され、モデルが最適なハイパーパラメーターとアーキテクチャを見つけられなくなります3。
参考文献:
* Google Cloud 認定資格の準備: 機械学習エンジニア、コース 5: 責任ある AI、週
4: 評価
* Google Cloud Professional Machine Learning Engineer 試験ガイド、セクション 2: 高品質の ML モデルの開発、2.2 不均衡なデータの処理
* 公式 Google Cloud Certified Professional Machine Learning Engineer 学習ガイド、第 4 章:
* ローコード ML ソリューション、セクション 4.3: AutoML
* スコアしきい値スライダーを理解する
* 機械学習における不均衡なデータセットの処理
* AutoML Visionの価格

* オプションAは不正解です。各カテゴリ値を整数値に変換することは、高カーディナリティのカテゴリ値をエンコードするのに良い方法ではありません。この方法は、カテゴリ間の順序関係を暗示しますが、これは正しくない可能性があります。たとえば、カテゴリに値1、2、3を割り当てると、
「赤」、「緑」、「青」という色の組み合わせは意味をなさない。これらの色の間には固有の順序がないからである1。
* オプション B は正解です。カテゴリ文字列データをワンホット ハッシュ バケットに変換することは、高いカーディナリティを持つカテゴリ値をエンコードするのに適した方法です。この方法では、ハッシュ関数を使用して各カテゴリをバイナリ値の固定長ベクトルにマッピングします。このベクトルでは、1 つの要素のみが 1 で、残りは 0 です。この方法では、カテゴリのスパース性と独立性が維持され、入力空間の次元が削減されます2。
* オプション C は不正解です。カテゴリ変数をブール値のベクトルにマッピングすることは、高カーディナリティのカテゴリ値をエンコードする有効な方法ではありません。この方法は、各カテゴリを true/false 値の組み合わせで表すことができることを意味しますが、カテゴリの数が多い場合は不可能な場合があります。たとえば、カテゴリが 10,000 個ある場合、ブール値の組み合わせは 2^10,000 通りあり、保存および処理するのは非現実的です3。
* オプション D は不正解です。各カテゴリ値をランレングスエンコードされた文字列に変換することは、カーディナリティの高いカテゴリ値をエンコードするのに便利な方法ではありません。この方法では、連続する繰り返し文字を文字と繰り返し回数に置き換えることで文字列を圧縮します。たとえば、「AAAABBBCC」は「A4B3C2」になります。この方法では、入力空間の次元が削減されず、カテゴリの意味も保持されません4。
参考文献:
* カテゴリ特徴のエンコード
* ワンホットハッシュバケット
* ブールベクトル
* ランレングス符号化

Batch prediction is the process of using an ML model to make predictions on a large set of data points. Batch prediction is suitable for scenarios where the predictions are not time-sensitive and can be done in batches, such as digitizing scanned customer forms at the end of each day. Batch prediction can also handle large volumes of data and scale up or down the resources as needed. AI Platform provides a batch prediction service that allows users to submit a job with their TensorFlow model and input data stored in Cloud Storage, and receive the output predictions in Cloud Storage as well. This service requires minimal manual intervention and can be automated with Cloud Scheduler or Cloud Functions. Therefore, using the batch prediction functionality of AI Platform is the best option for this use case.
Reference:
Batch prediction overview
Using batch prediction