ISTQB 認定テスター AI テスト (CT-AI) のシラバスによると、機械学習 (ML) ワークフローのデータ準備における重要なステップであるデータ取得は、次の 3 つの主要なアクティビティで構成されます。
* 識別：このステップでは、トレーニングと予測に必要なデータの種類を決定します。例えば、自動運転車のアプリケーションでは、レーダー、ビデオ、レーザー画像、LiDAR（光検出と測距）データなどのデータタイプが必要なソースとして識別される場合があります。
* 収集：必要なデータの種類を特定した後、データ収集元と適切な収集方法を決定します。例えば、国際通貨基金（IMF）から金融データを収集し、AIベースのシステムに統合することが挙げられます。
* ラベリング：収集されたデータに注釈またはタグを付け、教師あり学習モデルにとって意味のあるものにするプロセスです。ラベリングは、機械学習アルゴリズムがカテゴリを区別し、正確な予測を行うために不可欠なアクティビティです。
これらのアクティビティにより、データが機械学習モデルのトレーニングとテストに適していることが保証され、データ準備の基盤が形成されます。

過学習は、機械学習（ML）モデルがトレーニングデータに特化しすぎたパターンを学習し、新しい未知のデータに対する一般化が欠如してしまう場合に発生します。これは、モデルがトレーニングデータでは非常に優れたパフォーマンスを示す一方で、検証データやテストデータでは、根本的なパターンを学習するのではなく、ノイズや些細な詳細を記憶しているためにパフォーマンスが低下することを意味します。
* オプション A:「モデルは、新しいタイプのデータに対応するために一般化することができません。」
* これは過学習の正しい定義です。モデルがトレーニングデータを超えて一般化できない場合、新しい入力に苦労し、結果として過学習が発生します。
* オプション B:「モデルはデータに対して単純すぎる。」
* これは過剰適合ではなく、不足適合を表します。不足適合は、モデルが単純すぎてデータの根本的なパターンを捉えられない場合に発生します。
* オプション C:「モデルには入力と出力の関係がありません。」
* これは、モデルがデータ内の重要な関係性を捉えられない、アンダーフィッティングとも一致します。
* オプション D:「モデルはノイズまたは外れ値とみなしたデータを破棄します。」
* 一部の ML モデルでは外れ値を無視する場合がありますが、モデルが学習プロセスでノイズや外れ値を破棄せずに含めた場合に、実際に過剰適合が発生します。
* オーバーフィッティングの定義：「オーバーフィッティングは、モデルがデータポイントのセットに近すぎて適切に一般化できない場合に発生します。トレーニングデータではうまく機能しますが、新しいデータではうまく機能しません。」
* オーバーフィッティングのテスト:「トレーニングデータセットとは完全に独立したデータセットでモデルをテストすることで、オーバーフィッティングを検出できる場合があります」回答オプションの分析:ISTQB CT-AIシラバス参考文献:

シラバスでは、仕様が不十分であったりテスト オラクルの問題がある場合に探索的テストが特に有効であると説明されています。
「探索的テストは、AIベースのシステムによくあるように、仕様が不十分であったり、テストオラクルに問題がある場合などに特に有効です。」（参考：ISTQB CT-AIシラバスv1.0、セクション9.6、99ページ中70ページ）

ISTQB CT-AIシラバスでは、オラクル問題が存在する場合、または限定的な回帰テストが利用可能な場合、AIベースの意思決定支援システムは、バックツーバックテストとメタモーフィックテストから大きなメリットを得られると説明されています。このシナリオでは、CleverProposeが古いアドバイザリシステムを置き換えます。バックツーバックテスト（オプションA）は、既存の従来型システムの出力を参照として使用できるため、新しいAIシステムとの比較が可能になるため、理想的です。これはまさに、AIが従来の決定論的システムを置き換える際にシラバスで推奨されている方法です。
セクション4.6「メタモーフィック関係」で述べられているように、メタモーフィックテスト（オプションC）も適切です。限定的な回帰テストと複雑な意思決定ロジックを用いることで、テスターは「顧客の収入が増加しても、リスク評価は悪化しない」といったメタモーフィック関係を定義できます。これらの関係により、正確な期待出力が得られない場合でも検証が可能になります。
探索的データ分析（オプションD）はシステムテスト手法ではありません。ペアワイズテスト（オプションE）は、複雑なAIベースの金融アドバイスシステムには適していません。敵対的テスト（オプションB）は、セキュリティが重要な評価や堅牢性の評価に適しており、アドバイザリツールの主要なシステムテストには適していません。
したがって、A と Care は正しい選択肢であり、シラバスに準拠しています。

AIモデルのバイアスは、多くの場合、不完全または代表性に欠けるトレーニングデータに起因します。この場合、トレーニングデータセットが特定の障害状態を意図的に除外していると、機械学習モデルは現実世界のシナリオにおいてこれらの状態を学習・検出できなくなります。
結果は次のようになります:
* サンプルバイアス。トレーニング データは、起こりうるすべての障害状態を完全には代表していません。
* アルゴリズムのバイアス。モデルが特定の欠陥タイプを優先し、他の欠陥タイプを無視します。
* B. 既知のすべての障害状態を意図的に含めてトレーニング データを選択する# これにより、モデルの一般化が向上し、バイアスを軽減できます。
* C. トレーニング データセットとは異なるデータセットからテスト データを選択する# これはモデルの一般化を評価するための良い方法ですが、本質的にバイアスを導入することはありません。
* D. ボート製造業者のボルト寿命データからテストデータを選択する# 無関係なデータを使用するとモデルの精度が低下する可能性がありますが、誤ったデータセット内の体系的なパターンが不公平な意思決定につながらない限り、直接バイアスが導入されることはありません。
* セクション 8.3 - アルゴリズム、サンプル、および不適切なバイアスのテストでは、トレーニング データセットが予想されるデータ空間を完全に代表していない場合、サンプル バイアスが発生し、偏った予測につながる可能性があると述べています。
他の選択肢が間違っているのはなぜでしょうか?ISTQB認定テスターAIテスト学習ガイドからの参照: