エージェント型の検索拡張生成（RAG）アーキテクチャは、お客様の要件に最適です。従来の線形RAGパイプラインは、複雑で多段階の依存関係への対応に苦慮していましたが、エージェント型アプローチは、反復的な推論とツールオーケストレーションによって、これらの問題を自然に解決します。
エージェント型RAGパターンが、以下の3つの技術的要件を具体的にどのように満たすかを以下に示します。
1. 複雑な質問と複数チャンク検索
課題：複雑な質問では、多くの場合、異なる文書やセクションに散在する個別の情報を集約する必要がある。
エージェントによるソリューション：エージェントは推論と実行（ReAct）ループを使用します。ユーザーのクエリを評価し、それをサブクエリに分解し、複数の異なる検索クエリを実行します。そして、これらの多様な情報断片から情報を統合し、最終的な応答を生成します。
2. 複数ターン会話と検索計画
課題：標準的なRAGは、多くの場合、最新のユーザーメッセージまたは単純なチャット履歴の要約を検索インデックスに渡すだけであり、長い会話では文脈が失われたり、ユーザーの真の意図を誤解したりする可能性があります。
エージェントによるソリューション：エージェントはクエリプランナーとして機能します。会話の状態を維持し、過去のやり取りに基づいて、検索が必要かどうか、どのキーワードやベクトルをターゲットにするか、コンテキストのギャップを埋めるためにクエリをどのように再構成するかを動的に決定します。
3. 低遅延のための並列検索
課題：シーケンシャルルックアップは最初のトークン取得までの時間（TTFT）を大幅に増加させ、チャットのユーザーエクスペリエンスを損なう。
エージェントソリューション：最新のAIエージェントフレームワークでは、LLMが複数のツール呼び出しを同時に実行できます。アプリケーション層はこれらの呼び出しを傍受し、Azure AI Searchのベクトル化インデックスに対して並列非同期クエリを実行することで、レイテンシを大幅に削減できます。
参照：
https://arxiv.org/html/2501.09136v1

ユーザー入力を、推論時に動的に定義される個別のカテゴリに分類するには、Azure OpenAIのテキスト分類が最適です。GPTなどのOpenAIモデルは、コンテキストとユーザー定義の指示に基づいて、テキストを動的にカテゴリに分類できます。カテゴリは柔軟で、推論時に決定される必要があるため、OpenAIの自然言語理解機能はこのタスクに最適です。

モデルを再トレーニングする前にプロジェクトの精度を向上させるには、ContactInfo を Phone、Email、SocialMedia エンティティに置き換え、一致するすべてのスパンにラベルを付け直す必要があります。
モデルの混乱を軽減します: 電話番号、メールアドレス、ユーザー名などの異なるタイプのデータを単一の汎用エンティティ (ContactInfo) に組み合わせると、モデルに矛盾するパターンが生成されます。
これらを分割することで、モデルは各型の固有の構文規則を学習することができる。
過剰抽出を排除：エンティティが広すぎると、モデルはエンティティの開始位置と終了位置を識別するのに苦労し、隣接するテキストまで抽出してしまうため、誤検出が発生します。明確なエンティティは、より鮮明でクリーンな境界を提供します。
参照：
https://learn.microsoft.com/en-us/azure/ai-services/language-service/custom-named-entity-recognition/overview

このソリューションは目標を完全に満たすものではありません。画像モデレーションは、リスクの一部分、つまり画像が処理される前に安全でない画像コンテンツをブロックするという点においては適切です。Azure AI Content Safetyは、有害なコンテンツを検出する画像APIを提供しており、その有害性カテゴリと深刻度レベルを使用して、不適切な画像コンテンツを分類およびブロックできます。これは安全でない写真には対処できますが、画像に埋め込まれた隠れた指示には対処できません。
2つ目のリスクは、抽出された画像テキストによるプロンプト操作です。OCRがアップロードされた画像からテキストを抽出すると、そのテキストは生成モデルに提供される信頼できないサードパーティコンテンツとなります。マイクロソフトは、ドキュメント攻撃を、サードパーティコンテンツに埋め込まれた悪意のある命令と定義しています。その目的は、モデルに意図しないコマンドを実行させたり、意図した動作を変更させたりすることです。プロンプトシールドは、ユーザープロンプト攻撃とドキュメント攻撃（アップロードされたコンテンツや参照されたコンテンツからの間接的な攻撃を含む）を検出するように設計された制御機能です。
したがって、画像モデレーションだけでは不十分です。完全な対策としては、有害なビジュアルコンテンツに対する画像モデレーションと、ドキュメント攻撃に対するプロンプトシールド、そして必要に応じてスポットライト機能を組み合わせることで、抽出または埋め込まれたテキストを低信頼度として扱うことができます。参考トピック：Azure AI コンテンツ セーフティ、画像モデレーション、プロンプトシールド、ドキュメント攻撃、間接プロンプト挿入、マルチモーダル セーフティ。

Prompt Shieldsは、プロンプトインジェクション攻撃を検出します。これには、悪意のある命令がモデルが処理するコンテンツ（画像内に隠されたテキストなど）に埋め込まれる間接的なインジェクションも含まれます。