ISTQB CT-AIシラバスでは、チームの一部にドメイン知識が不足している場合、AIベースのシステムのテストには部門横断的な連携と経験に基づくテストが必要であることが強調されています。このシナリオでは、機械学習の専門家は機械学習とデータセットの準備を理解していますが、カメラシステムの動作、デバイスの運用データパイプライン、エンドユーザーのワークフローに関する知識が不足しています。チームの残りのメンバーはドメインとシステムテストを理解していますが、機械学習については理解していません。セクション4.4「ヒューマンファクターとAIテスト」およびセクション4.3「AIコンポーネントのシステムテスト」では、ドメイン理解が不均一な場合、チーム全体（テスター、開発者、ドメイン専門家）による経験に基づくテストが最も効果的なアプローチであると強調されています。これにより、AIの出力が実際のユーザーの期待とシステムの動作と一致することが保証されます。オプションCはまさにこの原則に沿っています。
オプションAは限定的であり、ML統合の検証の必要性に対応していません。オプションBは誤りです。古いテストケースを再利用すると、運用データパイプラインにおけるAI特有のリスクが見落とされてしまうからです。オプションDは有用ですが、データの代表性のみに焦点を当てており、システムレベルのユーザー検証には焦点が当てられていません。したがって、オプションCがシラバスに準拠した最適なテストアプローチです。

質問は、MLモデルのテストフェーズで実行される可能性が最も低いテストはどれか、というものです。それぞれの選択肢について考えてみましょう。
* 分類モデルの精度テスト (A): 精度テストは、MLモデルテストフェーズの基本的な部分です。モデルが意図したとおりにデータを正しく分類し、必要なパフォーマンス指標を満たしていることを確認します。
* MLモデルを活用したサービスのAPIテスト（B）：APIテストは、特にMLモデルがサービスの一部としてデプロイされている場合に重要です。これにより、サービスが他のシステムと適切に統合され、APIが期待どおりに動作することが保証されます。
* モデルの学習速度のテスト (C): これはMLモデルのテストフェーズに含まれる可能性が最も低いです。学習速度は、モデルの最適化とチューニングを行う開発フェーズにおいてより重要になります。テストでは、学習速度よりも、モデルのパフォーマンスと動作に重点が置かれます。
* モデルによる予測速度のテスト (D): 予測速度のテストは、モデルが実稼働環境、特にリアルタイム アプリケーションのパフォーマンス要件を満たしていることを確認するために重要です。
参考文献:
* ISTQB CT-AI シラバスのセクション 3.2「ML ワークフロー」とセクション 5「ML 機能パフォーマンス メトリック」では、モデル テスト フェーズでのテストの焦点について説明しています。これには精度と予測速度が含まれますが、トレーニング速度は含まれません。

AIベースのシステムは、しばしば非決定論的な動作を示します。つまり、同じ入力に対して常に同じ出力を生成するとは限りません。システムの動作は新しいデータ、環境要因、またはアップデートに基づいて変化する可能性があるため、安全性の確保はより困難になります。
* 非決定論が安全性に影響を与える理由:
* 従来のソフトウェアでは、同じ入力では常に同じ出力が生成されます。
* AI システムでは、学習したパターンと重みに応じて出力が確率的に変化します。
* この予測不可能性により、特に自動運転車、医療用 AI、産業オートメーションなどの重要な分野では、正確性、信頼性、安全性の検証が難しくなります。
* A (シンプルさ): AI ベースのシステムは通常、単純ではなく複雑であり、安全性の課題につながります。
* B（持続可能性）：持続可能性は AI にとって重要な考慮事項ですが、安全性に直接影響するものではありません。
* D (堅牢性):堅牢性の欠如により AI システムが安全でなくなる可能性がありますが、非決定性が安全性の検証を複雑にする主な問題です。
* ISTQB CT-AI シラバス (セクション 2.8: 安全性と AI)
* 「AI ベースのシステムの安全性を確保することを困難にする特性には、複雑性、非決定性、確率的性質、自己学習、透明性の欠如、解釈可能性と説明可能性、堅牢性の欠如などがあります。」
他の選択肢が間違っている理由:ISTQB 認定テスターの AI テスト学習ガイドからのサポート参考文献:結論:非決定性により AI の動作が予測不可能になり、安全性の保証が複雑になるため、正解は C です。

この質問は、個別の精度は良好であるにもかかわらず、実際のパフォーマンスが低いというシナリオを前提として、テストの専門家によって発見される可能性が最も高い欠陥はどれか、というものです。
* トレーニングデータとテストデータの類似性の欠如 (A): これは機械学習においてよくある問題で、トレーニングデータではモデルのパフォーマンスは良好ですが、トレーニングデータの代表性が欠如しているため、実世界データではパフォーマンスが低下します。これは、新しい未知のデータへの汎化能力の低下につながります。
* 入力データはテストに使用する前に品質テストされていません (B): データの品質は重要ですが、トレーニング データの代表性と比較すると、このオプションが説明した問題の主な原因となる可能性は低くなります。
* 適切な機能パフォーマンス メトリックの選択に重点が置かれていない (C): 適切なメトリックは重要ですが、説明されている問題はメトリックの選択よりもデータの不一致に関連しているようです。
* 非機能要件テストへの焦点の欠如 (D): 非機能要件は重要ですが、シナリオでは実際の癌症例の検出に関する問題が具体的に言及されており、データの問題が指摘されています。
参考文献:
* ISTQB CT-AI シラバスのセクション 4.2「トレーニング、検証、およびテスト データセット」では、モデルが実際のデータに適切に一般化されるようにするために代表的なデータセットを使用することの重要性が強調されています。
* サンプル試験問題ドキュメント、質問＃40では、データの代表性とモデルの一般化に関連する問題を取り上げています。

バックツーバックテストは、2 つの異なるバージョンの ML モデルを比較するために使用されます。これはまさにこのシナリオで必要なことです。
* モデルは当初、特徴の類似性により犬をオオカミと誤分類しました。
* テストチームは、犬とオオカミの追加画像を使用してモデルを再トレーニングします。
* この追加トレーニングによって分類精度が向上したかどうかを確認する最良の方法は、同じテスト データセットを使用して、元のモデルの出力と新しくトレーニングされたモデルの出力を比較することです。
* A (メタモーフィック テスト): メタモーフィック テストは、既存のテスト ケースに基づいて新しいテスト ケースを生成するのに役立ちますが、異なるモデル バージョンを直接比較するものではありません。
* B (敵対的テスト): 敵対的テストは、トレーニングの有効性を検証するためではなく、悪意を持って妨害された入力に対してモデルがどの程度堅牢であるかを確認するために使用されます。
* C (ペアワイズ テスト): ペアワイズ テストは、モデルの改善を検証するのではなく、主要な変数の相互作用に焦点を当ててテスト ケースの数を減らすための組み合わせ手法です。
* ISTQB CT-AI シラバス（セクション 9.3: バックツーバックテスト）
* 「バックツーバックテストは、更新された ML モデルを以前のバージョンと比較して、パフォーマンスが向上したか、期待どおりであるかを確認する必要がある場合に使用されます。」
* 「新しくトレーニングされたモデルの結果は、以前のバージョンの結果と比較され、変更がパフォーマンスに悪影響を与えなかったことが確認されます」。
他の選択肢が誤りである理由：ISTQB認定テスター向けAIテスト学習ガイドの参考文献：結論：再学習後にモデルのパフォーマンスが向上したことを確認するには、両方のモデルバージョンを比較するバックツーバックテストが最も適切な方法です。したがって、正解はDです。