エラー メッセージは、選択した GPU タイプ (nvidia-tesla-k80) が選択したリージョン (europe-west4-c) で利用できないことを示しています。これは、GPU タイプがリージョンでサポートされていない場合、またはリージョンの GPU クォータが使い果たされている場合に発生する可能性があります。このエラーを回避するには、ディープラーニング VM イメージを作成する前に、必要な GPU が選択したリージョンで利用できることを確認する必要があります。GPU の可用性とクォータを確認するには、次の手順に従います。
* GPU の可用性を確認するには、--filter フラグを指定した gcloud compute accelerater-types list コマンドを使用して、GPU タイプとリージョンを指定します。たとえば、europe-west4-c で nvidia-tesla-k80 が利用可能かどうかを確認するには、次のコマンドを実行します。
gcloud compute アクセラレータタイプリスト --filter="name=nvidia-tesla-k80 AND zone:europe-west4-c"
* コマンドが空の結果を返す場合、その GPU タイプはリージョンでサポートされていないことを意味します。別の GPU タイプを選択するか、その GPU タイプをサポートする別のリージョンを選択できます。--filter フラグなしで同じコマンドを使用して、使用可能なすべての GPU タイプとリージョンを一覧表示できます。たとえば、europe-west4-c で使用可能なすべての GPU タイプを一覧表示するには、次のコマンドを実行します。
gcloud コンピューティング アクセラレータ タイプ リスト --filter="zone:europe-west4-c"
* GPU クォータを確認するには、--format フラグを使用してリージョンとクォータ メトリックを指定する gcloud compute regions describe コマンドを使用します。たとえば、europe-west4-c の nvidia-tesla-k80 のクォータを確認するには、次のコマンドを実行します。
gcloud compute regions describe europe-west4-c --format="value(quotas.NVIDIA_K80_GPUS)"
* コマンドが 0 の値を返した場合、そのリージョンの GPU 割り当てが使い果たされていることを意味します。Google Cloud に追加の割り当てをリクエストするか、GPU タイプに十分な割り当てがある別のリージョンを選択してください。
参考文献:
* トラブルシューティング | ディープラーニング VM イメージ | Google Cloud
* GPUの可用性を確認
* GPUクォータの確認

入力パイプラインは、トレーニングや推論のために機械学習モデルにデータを準備して供給する方法です。入力パイプラインは通常、データの読み取り、解析、変換、バッチ処理、プリフェッチなどの複数のステップで構成されます。入力パイプラインは、大規模で複雑なデータセットを処理し、データ処理を最適化し、レイテンシとメモリ使用量を削減できるため、モデルのパフォーマンスと効率を向上させることができます1。
異なるソースからの画像を低レイテンシで処理する ML トレーニング モデルの入力パイプラインを開発するユースケースの場合、最適なオプションは、画像を TFRecord に変換し、Cloud Storage に保存してから、tf.data API を使用してトレーニング用の画像を読み取ることです。このオプションでは、次のコンポーネントと手法を使用します。
TFRecords: TFRecords は、画像、テキスト、音声などのデータ レコードのシーケンスを保存できるバイナリ ファイル形式です。TFRecords を使用すると、データを効率的に圧縮、シリアル化、保存し、データの読み込みと解析時間を短縮できます。TFRecords はデータのシャーディングとインターリーブもサポートしているため、データのスループットと並列処理が向上します2。
Cloud Storage: Cloud Storage は、Google Cloud にデータを保存してアクセスできるサービスです。Cloud Storage は、さまざまなソースからの画像など、大規模で分散されたデータセットを保存および管理するのに役立ち、高可用性、耐久性、スケーラビリティを実現します。Cloud Storage は、Compute Engine、AI Platform、Dataflow3 などの他の Google Cloud サービスと統合することもできます。
tf.data API: tf.data API is a set of tools and methods that allow you to create and manipulate data pipelines in TensorFlow. tf.data API can help to read, transform, batch, and prefetch the data efficiently, and optimize the data processing for performance and memory. tf.data API can also support various data sources and formats, such as TFRecords, CSV, JSON, and images.
By using these components and techniques, the input pipeline can process large datasets of images from disparate sources that do not fit in memory, and provide low latency and high performance for the ML training model. Therefore, converting the images into TFRecords, storing the images in Cloud Storage, and using the tf.data API to read the images for training is the best option for this use case.
Reference:
Build TensorFlow input pipelines | TensorFlow Core
TFRecord and tf.Example | TensorFlow Core
Cloud Storage documentation | Google Cloud
[tf.data: Build TensorFlow input pipelines | TensorFlow Core]

The best option for choosing a model that prioritizes detection while ensuring that more than 50% of the maintenance jobs triggered by the model address an imminent machine failure is to choose the model with the highest recall where precision is greater than 0.5. This option has the following advantages:
* It maximizes the recall, which is the proportion of actual failures that are correctly predicted by the model. Recall is also known as sensitivity or true positive rate (TPR), and it is calculated as:
mathrmRecall=fracmathrmTPmathrmTP+mathrmFN
where TP is the number of true positives (actual failures that are predicted as failures) and FN is the number of false negatives (actual failures that are predicted as non-failures). By maximizing the recall, the model can reduce the number of false negatives, which are the most costly and undesirable outcomes for the predictive maintenance use case, as they represent missed failures that can lead to machine breakdown and downtime.
* It constrains the precision, which is the proportion of predicted failures that are actual failures. Precision is also known as positive predictive value (PPV), and it is calculated as:
mathrmPrecision=fracmathrmTPmathrmTP+mathrmFP
where FP is the number of false positives (actual non-failures that are predicted as failures). By constraining the precision to be greater than 0.5, the model can ensure that more than 50% of the maintenance jobs triggered by the model address an imminent machine failure, which can avoid unnecessary or wasteful maintenance costs.
The other options are less optimal for the following reasons:
* Option A: Choosing the model with the highest area under the receiver operating characteristic curve (AUC ROC) and precision greater than 0.5 may not prioritize detection, as the AUC ROC does not directly measure the recall. The AUC ROC is a summary metric that evaluates the overall performance of a binary classifier across all possible thresholds. The ROC curve plots the TPR (recall) against the
* false positive rate (FPR), which is the proportion of actual non-failures that are incorrectly predicted by the model. The AUC ROC is the area under the ROC curve, and it ranges from 0 to 1, where 1 represents a perfect classifier. However, choosing the model with the highest AUC ROC may not maximize the recall, as the AUC ROC is influenced by both the TPR and the FPR, and it does not account for the precision or the specificity (the proportion of actual non-failures that are correctly predicted by the model).
* Option B: Choosing the model with the lowest root mean squared error (RMSE) and recall greater than
RMSE はバイナリ分類に適した指標ではないため、0.5 では検出を優先しない可能性があります。RMSE は、予測値と実際の値の間の誤差の平均の大きさを測定する回帰指標です。RMSE は次のように計算されます。
mathrmRMSE=sqrtfrac1nsumi=1n(イハティ)2
ここで、yi は実際の値、hatyi は予測値、n は観測数です。ただし、RMSE が外れ値の影響を受けやすく、クラスの不均衡や誤分類のコストを考慮していないため、RMSE が最も低いモデルを選択しても障害の検出が最適化されない可能性があります。
* オプション D: 再現率が 0.5 を超える最高の精度を持つモデルを選択すると、予測メンテナンスのユース ケースでは精度が最も重要な指標ではない可能性があるため、検出が優先されない可能性があります。精度は肯定的な予測の正確さを測定しますが、モデルの感度やカバレッジを反映するものではありません。最高の精度を持つモデルを選択すると、モデルによって正しく予測された実際の障害の割合である再現率が犠牲になる可能性があります。これにより、偽陰性の数が増加する可能性があります。偽陰性は、機械の故障やダウンタイムにつながる可能性のある障害を見逃すことになるため、予測メンテナンスのユース ケースにとって最もコストがかかり望ましくない結果となります。
参考文献:
* 評価指標（分類子） - スタンフォード大学
* バイナリ分類器の評価 - Wikipedia
* 予知保全：最大のメリットとスマートな使用例

* オプション A は不正解です。モデルを TensorFlow に移行し、Vertex AI Training を使用してトレーニングすることは、モデルのトレーニング時間を改善する最も簡単な方法ではありません。TensorFlow は、Python またはその他の言語を使用して ML モデルを作成およびトレーニングできるフレームワークです。Vertex AI Training は、組み込みアルゴリズムまたはカスタム コンテナを使用して ML モデルをトレーニングおよび最適化できるサービスです。
ただし、TensorFlow と scikit-learn には異なる API と機能があるため、このオプションでは大幅なコード変更が必要になります。さらに、このオプションでは単一のインスタンスのみを使用するため、クラウドの並列処理やスケーラビリティは活用されません。
* オプション B は不正解です。複数の Compute Engine VM を使用して分散モードでモデルをトレーニングすることは、モデルのトレーニング時間を改善する最も便利な方法ではありません。Compute Engine は、Google Cloud で実行される仮想マシンを作成および管理できるサービスです。Compute Engine では、Dask や Joblib などのライブラリを使用して、scikit-learn モデルを分散モードで実行できます。
ただし、このオプションでは、VM の作成と構成、ライブラリのインストールと保守、分散コードの作成と実行が必要になるため、オプション D よりも多くの労力とリソースが必要になります。
* オプション C は不正解です。Vertex AI で DLVM イメージを使用してモデルをトレーニングし、コードが可能な限り NumPy および SciPy の内部メソッドを使用するようにすることは、モデルのトレーニング時間を改善する最も効果的な方法ではないためです。DLVM (ディープラーニング仮想マシン) イメージは、TensorFlow、PyTorch、scikit-learn1 などの一般的な ML フレームワークとツールを含む、事前構成された VM イメージです。カスタム コンテナを使用することで、Vertex AI で DLVM イメージを使用して scikit-learn モデルをトレーニングできます。NumPy とSciPy は、Python に数値計算機能と科学計算機能を提供するライブラリです。NumPy と SciPy の内部メソッドは純粋な Python コードよりも高速で効率的であるため、これを使用して scikit-learn コードを最適化できます2。ただし、このオプションでは単一のインスタンスしか使用しないため、クラウドの並列処理やスケーラビリティは活用されません。さらに、scikit-learn はすでにほとんどの操作で NumPy と SciPy に依存しているため、このオプションはトレーニング時間に大きな影響を与えない可能性があります3。
* オプション D は正解です。モデルのトレーニング時間を短縮するには、Vertex AI Training with GPU を使用してモデルをトレーニングするのが最善の方法です。GPU (グラフィックス プロセッシング ユニット) は、CPU (中央処理装置) よりも高速に並列計算を実行できるハードウェア アクセラレータです4。Vertex AI Training は、組み込みアルゴリズムまたはカスタム コンテナを使用して ML モデルをトレーニングおよび最適化できるサービスです。カスタム コンテナを使用し、アクセラレータのタイプと数を指定することで、Vertex AI Training with GPU を使用して scikit-learn モデルをトレーニングできます5。Vertex AI Training with GPU を使用すると、コードを変更せずに、クラウドの並列処理とスケーラビリティを活用して、トレーニング プロセスを大幅に高速化できます。
参考文献:
* DLVM画像
* NumPyとSciPy
* scikit-learn の依存関係
* GPUの概要
* GPU を使用した Vertex AI トレーニング
* [scikit-learn の概要]
* [TensorFlowの概要]
* [Compute Engine の概要]
※【ダスク概要】
* [Joblibの概要]
* [Vertex AI トレーニングの概要]

オプション A は正解です。なぜなら、再現率を適合率より重視する F スコアは、不均衡なデータによるバイナリ分類に適した指標だからです。F スコアは、陽性クラスの正確性と完全性を測定する 2 つの指標である適合率と再現率の調和平均です1。適合率は予測されたすべての陽性のうちの真陽性の割合であり、再現率は実際のすべての陽性のうちの真陽性の割合です1。データが不均衡な場合、陽性クラスは少数クラスであり、通常は関心のあるクラスです。たとえば、この場合、陽性クラスは会社のロゴを含む画像であり、これはまれですが検出することが重要です。適合率よりも再現率を重視することで、たとえ偽陽性が含まれていても、すべての陽性例を見つけることの重要性を強調できます2。
Option B is incorrect because using RMSE (root mean squared error) is not a valid metric for binary classification with imbalanced data. RMSE is a metric that measures the average magnitude of the errors between the predicted and actual values3. RMSE is suitable for regression problems, where the target variable is continuous, not for classification problems, where the target variable is discrete4.
Option C is incorrect because using F1 score is not the best metric for binary classification with imbalanced data. F1 score is a special case of F-score where precision and recall are equally weighted1. F1 score is suitable for balanced data, where the positive and negative classes are equally important and frequent5. However, for imbalanced data, the positive class is more important and less frequent than the negative class, so F1 score may not reflect the performance of the model well2.
Option D is incorrect because using F-score where precision is weighed more than recall is not a good metric for binary classification with imbalanced data. By weighing precision more than recall, we can emphasize the importance of minimizing the false positives, even if some true positives are missed2. However, for imbalanced data, the true positives are more important and less frequent than the false positives, so this metric may not reflect the performance of the model well2.
Reference:
Precision, recall, and F-measure
F-score for imbalanced data
RMSE
Regression vs classification
F1 score
[Imbalanced classification]
[Binary classification]