トラフィック分割は、Vertex AI の機能で、同じエンドポイント内で複数のモデルまたはモデルバージョン間で予測リクエストを分散できます。各モデルまたはモデルバージョンが受信するトラフィックの割合を指定でき、いつでも変更できます。トラフィック分割を使用すると、新しいエンドポイントや別のサービスを作成することなく、本番環境で新しいモデルをテストできます。新しいモデルを既存の Vertex AI エンドポイントにデプロイし、トラフィック分割を使用して本番トラフィックの 5% を新しいモデルに送信できます。リスニング時間などのエンドユーザーメトリクスを監視して、新しいモデルと以前のモデルのパフォーマンスを比較できます。時間の経過とともにモデル間でエンドユーザーメトリクスが改善される場合は、新しいモデルに送信する本番トラフィックの割合を徐々に増やすことができます。このソリューションは、複雑さとコストを最小限に抑えながら、本番環境で新しいモデルをテストするのに役立ちます。参考資料:
* トラフィック分割 | Vertex AI
* エンドポイントへのモデルのデプロイ | Vertex AI

Kubeflow Pipelines は、さまざまな機能、モデルアーキテクチャ、ハイパーパラメータを使用して、Google Cloud 上で機械学習ワークフローを作成および実行できるサービスです。Kubeflow Pipelines を使用すると、ワークフローを拡張したり、分散トレーニングを活用したり、GPU や TPU などの専用ハードウェアにアクセスしたりできます。Kubeflow Pipelines の実験は、パイプラインのさまざまな構成を試したり、実行を論理的なグループに整理したりできるワークスペースです。実験を使用すると、さまざまなモデルのパフォーマンスを比較したり、同じダッシュボードで評価メトリクスを追跡したりできます。
顧客の購入履歴に基づいて購入を予測する、Keras でカスタマイズされた深層ニューラルネットワークを設計する場合、複数の実行を整理するために Kubeflow Pipelines で実験を作成するのが最適な方法です。このオプションを使用すると、複数のモデルアーキテクチャを使用してモデルのパフォーマンスを検証したり、トレーニングデータを保存したり、同じダッシュボードで評価指標を比較したりできます。Keras を使用して深層ニューラルネットワークモデルを構築およびトレーニングし、それらを再利用および他のコンポーネントと組み合わせることができるパイプラインコンポーネントとしてパッケージ化できます。また、Kubeflow Pipelines SDK を使用してパイプラインをプログラムで定義および送信したり、Kubeflow Pipelines UI を使用して実験を監視および管理したりすることもできます。
したがって、このユースケースにおいては、Kubeflow Pipelinesで実験を作成して複数の実行を整理することが最適な選択肢となります。
参考文献：
* Kubeflow Pipes のドキュメント
* 実験 | Kubeflow

検出を優先しつつ、モデルによってトリガーされるメンテナンス作業の50%以上が差し迫った機械故障に対処することを確実にするモデルを選択するための最良の方法は、精度が0.5を超える中で再現率が最も高いモデルを選択することです。この方法には、次のような利点があります。
* これは、モデルによって正しく予測された実際の故障の割合である再現率を最大化します。再現率は感度または真陽性率（TPR）とも呼ばれ、次のように計算されます。
mathrmRecall=fracmathrmTPmathrmTP+mathrmFN
ここで、TPは真陽性（実際に発生した故障が故障と予測された件数）の数、FNは偽陰性（実際に発生した故障が故障ではないと予測された件数）の数です。再現率を最大化することで、モデルは偽陰性の数を減らすことができます。偽陰性は、機械の故障やダウンタイムにつながる可能性のある見逃された故障を表すため、予測保守のユースケースにおいて最もコストがかかり、望ましくない結果となります。
* これは精度を制約します。精度とは、予測された故障のうち実際に故障した割合のことです。精度は陽性予測値（PPV）とも呼ばれ、次のように計算されます。
mathrmPrecision=fracmathrmTPmathrmTP+mathrmFP
ここで、FPは偽陽性（実際には故障ではないにもかかわらず、故障と予測されるケース）の数です。精度を0.5以上に制限することで、モデルによってトリガーされるメンテナンス作業の50%以上が差し迫った機械の故障に対処することを保証でき、不必要な、あるいは無駄なメンテナンスコストを回避できます。
他の選択肢は、以下の理由から最適とは言えません。
* オプション A: 受信者操作特性曲線 (AUC ROC) の下の面積が最も高く、精度が 0.5 を超えるモデルを選択しても、検出が優先されるとは限りません。AUC ROC は再現率を直接測定するものではないためです。AUC ROC は、可能なすべての閾値にわたってバイナリ分類器の全体的なパフォーマンスを評価する要約指標です。ROC 曲線は、TPR (再現率) を偽陽性率 (FPR) に対してプロットしたものです。FPR は、モデルによって誤って予測された実際の非故障の割合です。AUC ROC は ROC 曲線の下の面積であり、0 から 1 の範囲をとります。1 は完璧な分類器を表します。ただし、AUC ROC は TPR と FPR の両方の影響を受け、精度や特異度 (モデルによって正しく予測された実際の非故障の割合) を考慮しないため、AUC ROC が最も高いモデルを選択しても再現率が最大になるとは限りません。
* オプション B: 二乗平均平方根誤差 (RMSE) が最も低く、再現率が より大きいモデルを選択する
RMSEは二値分類に適した指標ではないため、0.5では検出を優先しない可能性があります。RMSEは、予測値と実際値の間の誤差の平均的な大きさを測定する回帰指標です。RMSEは次のように計算されます。
mathrmRMSE=sqrtfrac1nsumi=1n(イハティ)2
ここで、yiは実際の値、hatyiは予測値、nは観測数です。ただし、RMSEが最も低いモデルを選択しても、故障の検出が最適化されるとは限りません。RMSEは外れ値に敏感であり、クラスの不均衡や誤分類のコストを考慮していないためです。
* オプション D: 再現率が 0.5 を超える最も精度の高いモデルを選択しても、検出が優先されるとは限りません。精度は予測保守のユースケースにおいて最も重要な指標ではない可能性があるためです。精度は陽性予測の正確さを測定するものであり、モデルの感度やカバレッジを反映するものではありません。最も精度の高いモデルを選択すると、モデルが正しく予測した実際の故障の割合である再現率が犠牲になる可能性があります。これにより、偽陰性の数が増える可能性があります。偽陰性は、機械の故障やダウンタイムにつながる可能性のある見逃された故障を表すため、予測保守のユースケースにおいて最もコストがかかり、望ましくない結果となります。
参考文献：
* 評価指標（分類器） - スタンフォード大学
* 二値分類器の評価 - Wikipedia
* 予知保全：最大のメリットとスマートな活用事例

モデルのパフォーマンスを測定する上で最適なビジネス指標は、ユーザーエンゲージメントです。これは、ユーザー1人あたりの1日あたりの対戦回数で測定されます。この指標は、バランスの取れた公平な対戦を実現することでユーザーエクスペリエンスと満足度を高めるという、モデルの主要な目標を反映しています。モデルが成功すれば、ユーザーの定着率とロイヤルティ、口コミや紹介も向上するはずです。また、この指標はユーザーアクティビティデータから直接取得できるため、測定と解釈が容易です。
他の選択肢は、以下の理由から最適とは言えません。
* A. プレイヤーがチームに割り当てられるまでの平均待ち時間は、戦闘の質や結果を反映する指標ではないため、適切な指標とは言えません。これはモデルの効率性を測定するだけであり、本来の目的とはかけ離れています。さらに、この指標は、プレイヤーの可用性や需要、ネットワーク遅延、サーバー容量といった外部要因の影響を受ける可能性があります。
* B. 選手の予測能力と実際の能力に基づいてチームに選手を割り当てる際の精度と再現率は、測定と解釈が難しいため、適切な指標とは言えません。選手の能力を推定するための信頼性が高く一貫性のある方法が必要ですが、これは主観的で変動する可能性があります。また、各割り当てに対して正解ラベルが必要ですが、これは取得にコストがかかり、非現実的です。さらに、この指標は、モデルの最終目標であるユーザーからのフィードバックや満足度を反映していません。
* D. 新規モデルの開発コストを差し引いた追加収益で測定される投資収益率は、モデルのパフォーマンスに直接関係しないため、適切な指標とは言えません。これはモデルの収益性を測定するものであり、収益性は二次的な目標です。さらに、この指標は市場状況、価格戦略、マーケティングキャンペーン、競合状況など、他の多くの要因によって影響を受ける可能性があります。
:
プロフェッショナルMLエンジニア試験ガイド
Google Cloud認定資格の準備：機械学習エンジニアプロフェッショナル認定資格 Google Cloudが機械学習エンジニア認定資格を開始 ユーザーエンゲージメントを測定する方法 機械学習モデルに適した指標を選択する方法