予測AIシステムの精度を検証する最良の方法は、過去の売上データを用いたヒストリカルテスト（オプションD）です。AAIA™スタディガイドによると、「ヒストリカルテスト（またはバックテスト）は、過去の期間の実際のデータを用いた場合のモデルのパフォーマンスを評価するために不可欠であり、予測の妥当性を直接反映します。」この手法では、予測結果を既知の結果と比較することで、モデル内のギャップやバイアスを明らかにします。
ユニット テスト、負荷テスト、感度分析は技術的な検証と堅牢性には役立ちますが、実際のシナリオにおける予測精度の直接的な証拠は提供されません。
参照:ISACA Advanced in AI Audit™ (AAIA™) 学習ガイド、「AI モデル検証手法」セクション

トレーニングセットとテストセットが分離されていない場合、モデルはトレーニングに使用したのと同じデータで自己評価を行うため、誤った精度の認識が生じます。その結果、過学習（オプションA）が発生します。つまり、モデルはトレーニングデータを過度に学習し、新しいデータへの一般化に失敗します。
AAIAは、適切なデータ分割が機械学習評価の基礎であると強調しています。過剰適合は現実世界のパフォーマンスを損ない、信頼性の低い予測を生み出し、バイアスやエラーを隠蔽します。
モデルドリフト（B）はデプロイ後に発生します。幻覚（C）は生成モデルに関連します。アンダーフィッティング（D）はデータセットの分離不足ではなく、モデルが単純すぎる場合に発生します。
したがって、トレーニング セットとテスト セットが分離されていない場合、過剰適合が直接的かつ最大のリスクとなります。
参考文献:
AAIA ドメイン 2: テスト手法とモデル評価標準。
AAIA ドメイン 1: ML モデル トレーニングの基礎。

ドライバーの解雇や雇用継続といった雇用決定にAIを活用することは、重大な倫理的リスクをもたらします。文脈や人間による検証を伴わずにパフォーマンス指標のみに基づくシステムでは、不公平な扱いや差別につながる可能性があり、透明性と適正手続きの原則に違反することになります。
人事に関する意思決定の自動化は、差別的な結果を招くことを防ぐため、慎重に取り組む必要があります。雇用に影響を与える意思決定にAIが使用される場合、倫理的なAIガバナンスに基づく監督が不可欠です。A、C、Dは、個人の雇用権に直接影響を与えることなく、事業の最適化に関わるものです。したがって、Bは最も倫理的なリスクをもたらします。
参照: ISACA Advanced in AI Audit™ (AAIA™) 学習ガイド、セクション:「AI における倫理的および法的考慮事項」、サブセクション:「人間への影響と労働力の自動化倫理」

AI ベースのコーディング アシスタントは、誤って安全でないコード パターンを生成したり、脆弱なライブラリを再利用したり、安全なコーディング手法を回避したりする可能性があります。
AAIA は、安全でないコードによって次のような事態が発生する可能性があるため、セキュリティの脆弱性を主なリスクとして強調しています。
* データ侵害
* インジェクション攻撃
* 認証バイパス
* サプライチェーンの侵害
* 権限昇格
過度の依存 (A) は生産性に影響しますが、セキュリティには影響しません。
人間の偏見 (B) は起こり得ますが、セキュリティ上の欠陥ほど深刻ではありません。
トレーニングの複雑さ (D) は、AI システムの整合性に対するリスクではありません。
したがって、セキュリティ上の脆弱性の導入が最大のリスクとなります。
参考文献:
AAIA ドメイン 2: ソフトウェア開発における AI リスク
AAIAドメイン5：セキュリティと倫理的開発実践