The best option for choosing a model that prioritizes detection while ensuring that more than 50% of the maintenance jobs triggered by the model address an imminent machine failure is to choose the model with the highest recall where precision is greater than 0.5. This option has the following advantages:
* It maximizes the recall, which is the proportion of actual failures that are correctly predicted by the model. Recall is also known as sensitivity or true positive rate (TPR), and it is calculated as:
mathrmRecall=fracmathrmTPmathrmTP+mathrmFN
where TP is the number of true positives (actual failures that are predicted as failures) and FN is the number of false negatives (actual failures that are predicted as non-failures). By maximizing the recall, the model can reduce the number of false negatives, which are the most costly and undesirable outcomes for the predictive maintenance use case, as they represent missed failures that can lead to machine breakdown and downtime.
* It constrains the precision, which is the proportion of predicted failures that are actual failures. Precision is also known as positive predictive value (PPV), and it is calculated as:
mathrmPrecision=fracmathrmTPmathrmTP+mathrmFP
where FP is the number of false positives (actual non-failures that are predicted as failures). By constraining the precision to be greater than 0.5, the model can ensure that more than 50% of the maintenance jobs triggered by the model address an imminent machine failure, which can avoid unnecessary or wasteful maintenance costs.
The other options are less optimal for the following reasons:
* Option A: Choosing the model with the highest area under the receiver operating characteristic curve (AUC ROC) and precision greater than 0.5 may not prioritize detection, as the AUC ROC does not
* リコールを直接測定します。AUC ROC は、すべての可能なしきい値にわたってバイナリ分類器の全体的なパフォーマンスを評価する要約メトリックです。ROC 曲線は、TPR (リコール) を偽陽性率 (FPR) に対してプロットします。FPR は、モデルによって誤って予測された実際の非障害の割合です。AUC ROC は ROC 曲線の下の領域であり、範囲は 0 ～ 1 です。1 は完全な分類器を表します。ただし、AUC ROC が TPR と FPR の両方の影響を受け、精度や特異度 (モデルによって正しく予測された実際の非障害の割合) を考慮しないため、最高の AUC ROC を持つモデルを選択してもリコールが最大化されない可能性があります。
* オプションB: 最小の二乗平均平方根誤差（RMSE）と再現率がより大きいモデルを選択する
RMSE はバイナリ分類に適した指標ではないため、0.5 では検出を優先しない可能性があります。RMSE は、予測値と実際の値の間の誤差の平均の大きさを測定する回帰指標です。RMSE は次のように計算されます。
mathrmRMSE=sqrtfrac1nsumi=1n(イハティ)2
ここで、yi は実際の値、hatyi は予測値、n は観測数です。ただし、RMSE が外れ値の影響を受けやすく、クラスの不均衡や誤分類のコストを考慮していないため、RMSE が最も低いモデルを選択しても障害の検出が最適化されない可能性があります。
* オプション D: 再現率が 0.5 を超える最高の精度を持つモデルを選択すると、予測メンテナンスのユース ケースでは精度が最も重要な指標ではない可能性があるため、検出が優先されない可能性があります。精度は肯定的な予測の正確さを測定しますが、モデルの感度やカバレッジを反映するものではありません。最高の精度を持つモデルを選択すると、モデルによって正しく予測された実際の障害の割合である再現率が犠牲になる可能性があります。これにより、偽陰性の数が増加する可能性があります。偽陰性は、機械の故障やダウンタイムにつながる可能性のある障害を見逃すことになるため、予測メンテナンスのユース ケースにとって最もコストがかかり望ましくない結果となります。
参考文献:
* 評価指標（分類子） - スタンフォード大学
* バイナリ分類器の評価 - Wikipedia
* 予知保全：最大のメリットとスマートな使用例

説明