この問題を解決するには、リクエストのペイロード構造を単一の文字列から構造化されたコンテンツ配列に変更する必要があります。Azure AI Foundry のマルチモーダルモデルでは、テキストと画像に対して個別のオブジェクトの配列が想定されています。
参照：
https://towardsdatascience.com/multimodal-ai-search-for-business-applications-65356d011009/

このシナリオにおける最適な選択肢は、Foundry Tools のカスタム Azure Content Understanding アナライザーを作成し、必要なフィールドを抽出フィールドとして定義し、ルーティングのために信頼度スコアを返すことです。
信頼度スコアを使用したカスタムフィールドターゲティング：Azure Content Understanding を使用すると、ユーザー定義スキーマを使用してドキュメントアナライザーを構築できます。必要なフィールド（InvoiceNumber、InvoiceDate、VendorName、TotalAmount）を定義することで、サービスはさまざまなレイアウトからの抽出を処理し、専用のフィールドレベルの信頼度スコアを返します。これらの信頼度メトリックをネイティブに評価して、スーパーバイザールーティングワークフローを実装できます。
RAG対応出力構造：本サービスは、構造化されたJSONペイロードを自然に返します。
これにより、検索拡張生成（RAG）エージェントの基礎データとして直接取り込むのに最適化されます。
正しくない：
[Cではない]
あらかじめ用意されたレイアウトアナライザーは、テキストブロック、階層構造、選択マーク、完全なテーブルなどの生の構造要素を抽出します。ただし、ベンダー名や合計金額などの特定の対象エンティティを専用のスキーマプロパティに自動的に分類したり、きれいに分離したりする機能は備えていないため、テキストを分離するには後処理作業がかなり必要になります。
[Dではない]
事前に構築された documentSearch アナライザーは、インデックス作成のために広範囲かつレイアウトを考慮したテキスト抽出を行うように最適化されています。Azure AI Search の search.score をスーパーバイザー ルーティングに利用することは、概念的に誤りです。search.score は、データ抽出の信頼性を示す精度指標ではなく、検索クエリのランキングにおける関連性スコアを表すものです。
参照：
https://learn.microsoft.com/en-us/azure/ai-services/content-understanding/document/analyzer-improvement

アプリケーションコードに評価と再試行のループを実装する必要があります。
エージェント呼び出しは、出力結果を必要な基準（規制条項のチェックリストなど）と照合し、情報が欠落している場合はプログラムによって再試行を強制する条件付きコードループで囲む必要があります。
参照：
https://learn.microsoft.com/en-us/azure/foundry/agents/how-to/tools/ai-search

大規模な言語モデル（LLM）を導入せずにコンテンツを抽出し、表やドキュメントのレイアウトを保持し、埋め込まれたQRコードを検出するには、組み込みの事前構築済みレイアウトアナライザーを使用する必要があります。
注記：
コンテンツ理解におけるスキーマ駆動型抽出モデルが生成型AIオーケストレーションを利用するのとは異なり、レイアウトアナライザーは非常に効率的な機械学習ベースのモデルです。アクティブなLLM展開やプロビジョニングされたスループットを必要とせずに、構造ジオメトリをネイティブに出力し、バーコードをデコードします。
構造保持：ヘッダー、段落、ネストされたセクションを抽出し、各要素の正確な空間境界ボックスを返します。下流のエージェントは、この幾何学的メタデータを利用して、セクションを正確に固定したり、相互参照したりできます。
高度なテーブルマッピング：複雑な複数ページの請求書テーブルをマッピングし、行と列のインデックスとともにテキストをキャプチャします。出力構造の形式をMarkdownまたはHTMLテーブルにネイティブに設定することで、書式の整然さを維持できます。
組み込みのQRコードおよびバーコードデコード機能：デフォルトでは、設定パラメータenableBarcodeはtrueに設定されています。アナライザーはスキャンされたPDF画像をスキャンし、2Dコード領域を分離して、デコードされた文字列ペイロードをテキストブロックとともにJSON出力に追加します。
LLMへの依存がゼロ：テキスト抽出のためにGPT-4oのような基盤となるモデルにテキストをルーティングしないため、処理遅延が低く抑えられ、運用コストが大幅に削減されます。
参照：
https://learn.microsoft.com/en-us/azure/ai-services/content-understanding/quickstart/content-understanding-studio

Azure Machine Learning OCR スキル（従来は Microsoft.Skills.Vision.OcrSkill として知られていました）をスキルセットパイプラインに追加することをお勧めします。
テキスト抽出：スキャンされた画像には、テキストではなく検索不可能なピクセルが含まれている場合があります。
データ取り込み：OCR機能は、画像から印刷されたテキストとレイアウト情報を抽出します。
下流処理：生のテキストを後続のスキル（固有表現認識など）に供給したり、検索インデックスフィールドに直接供給したりします。
参照：
https://techcommunity.microsoft.com/blog/azurearchitectureblog/from-large-semi-structured-docs-to-actionable-data-reusable-pipelines-with-adi-a/4474054