自律性のテスト: 制御を放棄すべきでない場合に人間による制御の引き継ぎをテストすることは、自律システムの定義そのものに反するため、最も不適切です。その他のテストは、人間と AI の制御間のスムーズな操作と移行を保証するために行われます。
参考:ISTQB_CT-AI_Syllabus_v1.0、自律 AI ベース システムのテストおよび人間と AI の相互作用のテストに関するセクション。

この質問は、個別の精度は良好であるにもかかわらず、実際のパフォーマンスが低いというシナリオを前提として、テストの専門家によって発見される可能性が最も高い欠陥はどれか、というものです。
* トレーニング データとテスト データの類似性の欠如 (A): これは ML でよく見られる問題で、トレーニング データではモデルのパフォーマンスは良好ですが、トレーニング データの代表性が欠如しているため、実世界のデータではパフォーマンスが低下します。これにより、新しい未知のデータへの一般化が不十分になります。
* 入力データは、テストに使用する前に品質がテストされていません (B): データの品質は重要ですが、トレーニング データの代表性と比較すると、このオプションが説明した問題の主な原因となる可能性は低くなります。
* 適切な機能パフォーマンス メトリックの選択に重点が置かれていない (C): 適切なメトリックは重要ですが、説明されている問題はメトリックの選択ではなく、データの不一致に関連しているようです。
* 非機能要件のテストに重点が置かれていない (D): 非機能要件は重要ですが、シナリオでは実際の癌症例の検出に関する問題が具体的に言及されており、データの問題が指摘されています。
参考文献:
* ISTQB CT-AI シラバスのセクション 4.2「トレーニング、検証、およびテスト データセット」では、モデルが実際のデータに適切に一般化されるようにするために、代表的なデータセットを使用することの重要性が強調されています。
* サンプル試験問題ドキュメントの質問 #40 では、データの代表性とモデルの一般化に関連する問題を取り上げています。

* A. 敵対的サンプルに基づくブラックボックス攻撃は、元のモデルの正確な複製モデルを作成します。
* ブラック ボックス攻撃では、モデルを正確に複製するわけではありません。代わりに、モデルをクエリし、その出力を使用して、内部の仕組みを知らずに敵対的なサンプルを作成することで、モデルを悪用します。
* B. これらの攻撃例では、元の画像に似ているにもかかわらず、モデルは正しいクラスを予測しますが、精度はわずかに低下します。
* 敵対的サンプルは通常、精度を低下させるだけでなく、モデルが誤ったクラスを予測する原因となります。これらのサンプルは、元の画像と視覚的に区別できないように設計されていますが、誤った分類につながります。
* C. これらの例をトレーニング データに追加してモデルを再トレーニングしても、これらの攻撃を防ぐことはできません。
* この記述は誤りです。トレーニング データに敵対的サンプルを含めてモデルを再トレーニングすると、モデルがそのような攻撃に抵抗することを学習するのに役立つため、敵対的トレーニングと呼ばれる手法が役立ちます。
* D. これらの例はモデル固有のものであり、同じタスクでトレーニングされた別のモデルが失敗する可能性は低いです。
* 敵対的サンプルは多くの場合モデル固有であり、特定のモデルの特定の弱点を悪用します。一部の敵対的サンプルはモデル間で転送される可能性がありますが、多くは生成された特定のモデルに合わせて調整されており、同じタスクでトレーニングされた他のモデルには影響しない可能性があります。
したがって、正解は D です。敵対的サンプルは通常、モデル固有のものであり、同じタスクでトレーニングされた別のモデルが失敗する原因にはならない可能性があるためです。