これらの失敗は、プロジェクト固有の知識が不足していることを反映しています。クロードは、どのフィクスチャが推奨されているか、既存のテストスイートで既にカバーされている内容、チームが意味のある動作とみなしている内容を把握していません。オプションCでは、テスト生成を開始する前に、この情報を永続的なプロジェクトコンテキストとして提供します。これにより、トークンを消費してテストを生成した後に不十分なテストをフィルタリングするのではなく、生成元で生成品質が変更されます。
Anthropic社のCLAUDE.mdドキュメントでは、共有のビルドおよびテストコマンド、コーディング標準、アーキテクチャ上の決定事項、慣例、および一般的なワークフローをプロジェクトのCLAUDE.mdファイルに保存することを推奨しています。テストに関するガイダンスでは、必須の動作アサーション、フィクスチャの選択ルール、重複チェック、命名規則、および許容されるテストと許容されないテストの代表的な例を定義できます。
オプションAは、モデルの理解度を向上させるよりも、複雑なディレクトリを回避することに重点を置き、潜在的に有用な自動化を犠牲にしています。オプションBは、一部の不十分なテストを削除できるかもしれませんが、モデル作業が倍増し、明示的に記述されるべき品質基準を推測するために、別の確率的呼び出しが必要になります。オプションDは、些細なテストでも意味のある動作を検証することなくカバレッジを向上させることができるにもかかわらず、行カバレッジを品質指標として扱っています。一方、価値のある回帰テストは、既に実行された行をより適切なアサーションでカバーできる可能性があります。したがって、永続的で具体的なテスト標準こそが、最も直接的かつ拡張性の高い改善策となります。

オプションCは、モデルの動作に関わらず、必要な終了条件を保証する唯一のアプローチです。エージェントループが停止すると、オーケストレーションレイヤーは記録された結果を評価します。解決が成功せず、かつ人間によるエスカレーションも確認されなかった場合、決定論的なアプリケーションコードは、終了前に蓄積された情報を使用してescalate_to_humanを呼び出します。
max_turns制限は、ホストが制御する安全境界です。この境界に達すると、モデルはプロンプト指示に従ったり、別のツール呼び出しを行ったりする機会を失う可能性があります。したがって、必要なフォールバックは、残りのターンが尽きる前にClaudeがエスカレーションを決定することに完全に依存することはできません。
オプションAは、任意の80%のしきい値に基づいてエスカレーションを行うため、残りの予算内で解決できたはずの案件を早期に終了させて​​しまう可能性があります。オプションBは処理能力を向上させますが、2人目の担当者が自身の制限に達する前に作業を完了したり、エスカレーションを行ったりすることを保証するものではありません。オプションDは確率的なものであり、予期せぬ終了が発生した後は動作しません。
オーケストレーションのフォールバックは冪等性を持つべきであり、完了チェックを繰り返しても重複したエスカレーションレコードが作成されないようにする必要があります。また、ハンドオフペイロードには、検証済みの顧客情報、関連する注文データ、完了したアクション、失敗理由、および未解決のリクエストを含める必要があります。
公式参照/トピック: エージェントループの終了、決定論的フォールバックオーケストレーション、端末状態の検証、人間による引き継ぎの保証。

変更なしの再試行では、同じタスク仕様が繰り返されるため、同じ無効な解釈が再現されることがよくあります。バリデーターは正確な修正情報を生成しました。quantityには浮動小数点数が必要ですが、モデルは範囲文字列「2から3」を返しました。後続の処理でこのエラーを指定すると、一般的な再試行が反復的な修復操作に変換されます。
Anthropic は、反復的な改良を、以前の出力をターゲットを絞った指示とともに後続のリクエストにフィードバックすることで、矛盾を検出して修正する方法として定義しています。（https://docs.anthropic.com/en/docs）
/test-and-evaluate/strengthen-guardrails/reduce-hallucinations ) オプション A では、そのパターンを直接適用します。Claude は、無効な出力、正確な Pydantic エラー、およびスキーマに準拠した修正を返す指示を受け取ります。アプリケーションは、再試行回数を制限し、元のソースを保持し、情報損失なしに表現できないケースをエスカレーションする必要があります。
オプションBは正しいフォーマットを保証するものではありません。低温では、同じ誤った出力が繰り返し発生する可能性があります。オプションCは、体系的なOCRの問題やソースフォーマットの問題には有効ですが、検証ツールによって既に直接的なエラーが説明されている場合は、不必要に広範囲に及びます。オプションDは、既存の検証レイヤーから得られる実用的なフィードバックを事前に利用しないまま、コストと複雑さを増大させます。
サポートされているモデルの場合、ネイティブの構造化出力も考慮する必要があります。これは、スキーマに準拠した JSON を保証し、多くの Pydantic の形状エラーが発生する前に防止できるためです。( https://platform.claude.
com/docs/en/build-with-claude/structured-outputs )
公式の参考文献/トピック: 反復的改良、検証エラーフィードバック、制限付き再試行ループ、構造化出力。

オプションDは、後から不良出力をフィルタリングするのではなく、生成条件を改善します。Anthropicは、リポジトリ全体の標準と、Claudeがすべてのセッションで適用すべき情報について、CLAUDE.mdを使用することを推奨しています。このファイルでは、有用なテストの定義、観測可能な動作に関するアサーションの要求、承認済みフィクスチャファクトリの識別、既存シナリオの重複の禁止、強力なテストと単純なテストの対照的な例の提供などが可能です。これらの指示は、Claudeが作成するテストを決定する前に利用できます。
オプション A では、一部の不十分なテストが削除される可能性がありますが、モデル作業が倍増し、最初の段階で低品質な資料が生成される可能性があります。オプション B では、些細なアサーションでも動作を検証せずに新しい行を実行できるにもかかわらず、行カバレッジを品質指標として扱います。オプション C では、生成を改善するのではなく、困難な領域を放棄します。標準では、新しいケースを作成する前に、近くのテストとフィクスチャを検査し、各テストが保護する動作または回帰を特定し、その後、関連するスイートを実行するように Claude に指示する必要があります。CLAUDE.md はセッションごとにコンテキストを消費するため、ガイダンスは簡潔に保つ必要があります。長々としたテスト手順は、プロジェクトの指示から参照される再利用可能なスキルに配置する方が適切です。

オプションBは、機械可読メタデータを保持しつつ、偽陰性の原因となっているプロンプトレベルの抑制を解除します。Anthropicの現在のコードレビュープロンプトガイダンスでは、「重大な問題のみを報告する」や「慎重に行う」といった指示が文字通りに解釈される可能性があると警告しています。つまり、Claudeは分析中に真の欠陥を特定しても、出力から除外してしまう可能性があるということです。Anthropicは、すべての検出結果を要求し、フィルタリングを個別に適用することを推奨しています。
信頼度と深刻度フィールドを使用すると、下流のコードで調整可能なしきい値を適用できますが、モデルが生成中に証拠を破棄することを強制することはできません。スキーマでは、ファイル、行、説明、深刻度、信頼度、証拠、推奨アクションなどのフィールドを要求できます。Anthropic の構造化出力ドキュメントは、このような応答契約の強制をサポートしています。オプション A は同じ抑制指示を繰り返し、同じ省略を再現する可能性が高いです。オプション C は明示的なレポート構造を削除し、フィルタリング動作を未定義のままにします。オプション D は分析の深さを向上させる可能性がありますが、拡張推論は不確実な結果を抑制する直接指示を上書きしません。検出と決定論的フィルタリングを分離することで、再現率、構造、および運用制御が維持されます。