The problem of the text classifier is that it has a high false positive rate for comments that reference certain underrepresented religious groups. This means that the classifier is not able to distinguish between toxic and non-toxic language when those groups are mentioned. One possible reason for this is that the training data does not have enough examples of non-toxic comments that reference those groups, leading to a biased model.
Therefore, a possible solution is to add synthetic training data where those phrases are used in non-toxic ways, which can help the model learn to generalize better and reduce the false positive rate. Synthetic data is artificially generated data that mimics the characteristics of real data, and can be used to augment the existing data when the real data is scarce or imbalanced. References:
* Preparing for Google Cloud Certification: Machine Learning Engineer, Course 5: Responsible AI, Week
3: Fairness
* Google Cloud Professional Machine Learning Engineer Exam Guide, Section 4: Ensuring solution quality, 4.4 Evaluating fairness and bias in ML models
* Official Google Cloud Certified Professional Machine Learning Engineer Study Guide, Chapter 9:
Responsible AI, Section 9.3: Fairness and Bias

適合率と再現率は、分類モデルのパフォーマンスを評価するための 2 つの一般的な指標です。
適合率は正しい陽性予測の割合を測定し、再現率は正しく予測された陽性例の割合を測定します。適合率と再現率は反比例の関係にあり、一方を増加させると他方も減少し、その逆も同様です。精度と再現率のトレードオフは、分類問題の目標とコストによって異なります1。
投稿された画像に車が含まれているかどうかを検出するユースケースでは、ソーシャル メディア会社は誤検知、つまり車が含まれていると誤ってラベル付けされた画像の数を最小限に抑えたいと考えているため、再現率よりも精度が重要です。精度が高いということは、モデルが肯定的な予測に自信があり正確であることを意味しますが、再現率が低いということは、モデルがいくつかの肯定的な例や実際に車を含む画像を見逃す可能性があることを意味します。いくつかの肯定的な例を見逃すコストは、誤った肯定的な予測を行うコストよりも低くなります。後者は、ユーザー エクスペリエンスとソーシャル メディア会社の評判に影響を与える可能性があるためです。
ソフトマックス関数は、実数のベクトルを可能なクラスにわたる確率分布に変換する関数です。ソフトマックス関数は、各クラスに確率を割り当て、最も高い確率を持つクラスが予測として選択されるため、マルチクラス分類問題のニューラル ネットワークの最終層としてよく使用されます。ソフトマックス関数は次のように定義されます。
ソフトマックス (x_i) = exp (x_i) / sum_j exp (x_j)
ここで、x_i はクラス i の入力値、softmax (x_i) はクラス i の出力確率です。
ソフトマックスしきい値は、クラスが予測として選択される必要がある最小確率を決定するパラメーターです。たとえば、ソフトマックスしきい値が 0.5 の場合、最も高い確率を持つクラスが選択されるには少なくとも 0.5 が必要です。そうでない場合、予測は行われません。ソフトマックスしきい値は適合率と再現率のトレードオフを調整するために使用できます。しきい値を高くすると適合率が向上し、再現率が低下します。一方、しきい値を低くすると適合率が低下し、再現率が増加します2。
投稿された画像に車が含まれているかどうかを検出するユースケースの場合、モデルの最終レイヤーのソフトマックスしきい値を調整して精度を高める最良の方法は、再現率を下げることです。これは、モデルが信頼性の高い場合にのみ肯定的な予測を行い、誤検出を避けるために、ソフトマックスしきい値を増やす必要があることを意味します。ソフトマックスしきい値を増やすことで、モデルの肯定的な予測がより選択的かつ正確になり、精度メトリクスが向上します。したがって、この使用例では再現率を下げることが最良の選択肢となります。
参考文献:
* 精度と再現率 - Wikipedia
* ソフトマックススコアにしきい値を追加する方法 - コードログ

https://developers.google.com/machine-learning/problem-framing/framing#quantify-it