AAISMフレームワークは、出力フィルタリング、制限検証、ポリシーに準拠したガードレールなど、出力ベースの制御を、高い権限を持つAIエージェントに対する主要な防御策として重視しています。エージェントが不正な命令や機密データを出力しないようにすることで、悪用を直接的に軽減できます。

プロンプトインジェクションは、入力を悪用してモデルを操作し、機密データを漏洩させる手法です。データ最小化と入力フィルタリングを直接適用することで、プロンプトに個人情報が含まれたり、漏洩の恐れのある方法で処理されたりする可能性を低減し、リスクを許容可能なレベルまで下げることができます。

AAISMの資料では、AIレッドチームの構成は組織のAIユースケースに合わせて調整する必要があると規定されています。レッドチームの目的は、AIの実際のアプリケーションに合わせた現実的な敵対的状況をシミュレートすることです。例えば、生成モデルのテストには、不正検出システムのテストとは異なる専門知識が必要です。リソースの可用性、コンプライアンス要件、市場投入までの時間的プレッシャーは実務上の考慮事項ではありますが、チームの専門知識をユースケースシナリオに合わせることに比べれば二次的なものです。したがって、最も重要な要素はAIユースケースそのものです。
参考文献：
AAISM試験内容概要 - AIリスク管理（レッドチームに関する考慮事項） AIセキュリティ管理学習ガイド - ユースケースに合わせた敵対的テストの調整

トレーニングデータ、モデルの出所、セキュリティテストに関する透明性がなければ、組織はモデルが公平で偏りのない、安全で、法的要件を満たした結果を生み出すかどうかを適切に評価することができません。これは、顧客関連データの処理や意思決定において、倫理的、規制的、ガバナンス上の重大なリスクを生み出します。

KRI（主要リスク指標）は、システムのセキュリティ体制に直接影響を与えるリスクの特定と追跡に重点を置くべきです。生成型AIの場合、これは、即時注入、データ漏洩、モデルの悪用など、AIコンポーネントに特有の脆弱性や制御のギャップを監視することを意味し、これらは継続的なリスク管理において極めて重要です。