Explanation:
ボックス1：現実性と関連性
Microsoft Foundry でのプレプロダクション評価において、AI の品質を評価する上で最も優れた指標は、関連性と現実性です。
Microsoft Foundry は、検索拡張生成 (RAG) システムの次の 2 つの重要な側面を測定するために特別に設計された、AI 支援型の品質評価ツールを内蔵しています。
関連性：この指標は、最初の要件である「応答がユーザーのクエリに対応しているかどうか」に直接対応します。gens.nerated の応答が最初のユーザーのクエリにどれだけ合致し、回答しているかを評価します。
根拠の明確さ: この指標は、2 番目の要件、つまり応答が提供されたコンテキストによって裏付けられているかどうかに直接対応します。生成された応答が、取得されたコンテキストによって事実的に裏付けられ、厳密にそこから派生している度合いを評価し、モデルの錯覚を捉えるのに役立ちます。ボックス 2: 保護された資料 このシナリオに最適な AI 品質評価指標は、保護された資料です。
直接的な整合性：保護された素材の指標は、AIモデルが、そのトレーニングデータまたは内部コンテキストに一致する著作権で保護されたテキスト、専有データ、または機密情報を出力しているかどうかを具体的にチェックします。
参照：
https://learn.microsoft.com/en-us/azure/foundry/concepts/observability
https://learn.microsoft.com/en-us/azure/foundry/how-to/develop/langchain-middleware

Azure でカスタム エージェントへのアクセスを監視および制御するには、まず Microsoft Foundry プロジェクトを作成する必要があります。プロジェクトを作成したら、そのプロジェクト内にカスタム エージェントを登録することで、アクセス制御やアクティビティ監視などの管理機能を有効にできます。
参照：
https://learn.microsoft.com/en-us/azure/foundry/control-plane/register-custom-agent

Foundry User は、Microsoft Foundry プロジェクトで使用できる最小限の権限を持つ組み込みロールであり、プロジェクトのエンドポイントの呼び出し、推論の実行、エージェントの使用に必要なデータプレーン操作を許可します。Microsoft は、プロジェクトの管理対象 ID に Foundry リソース上で Foundry User ロールを割り当てることを推奨しています。

正解は、Foundry Tools の Azure Content Understanding です。このシナリオでは、スキャンされた請求書のレイアウトが多様で、複数ページの表が含まれているため、基本的な OCR 以上の機能が必要です。Content Understanding は、インテリジェントなドキュメント処理のために設計されており、マネージド サービスとして OCR、レイアウト検出、表抽出、フィールド抽出、信頼度スコア、およびグラウンディングを提供します。Microsoft は、Content Understanding を、非構造化コンテンツを構造化出力に変換し、複雑なドキュメントからフィールドを抽出および検証することで請求書処理をサポートするサービスと説明しています。
これは、カスタムモデルのトレーニングを回避するという要件も満たしています。Content Understandingには、請求書や調達文書の処理など、事前構築済みのドメイン固有のアナライザーが含まれており、Microsoftはこれらのアナライザーがカスタムトレーニングなしで構造化された抽出を提供すると述べています。請求書のレイアウトごとに個別のモデルを用意するのではなく、意味論的な文書カテゴリを使用することで、ビジュアルテンプレートのバリエーション全体にわたって汎用性を実現します。
Azure Machine Learning は、モデルの開発、トレーニング、デプロイ、監視が必要となるため、管理作業が増加します。Azure Language は、テキストが利用可能になった後の分類やエンティティ抽出などのテキスト分析タスクに最適化されていますが、ドキュメントのレイアウト分析や複数ページの表構造の抽出は提供していません。参考トピック: コンテンツ理解、インテリジェントなドキュメント処理、OCR、レイアウト分析、アナライザー、フィールドスキーマ、構造化抽出。