LLMエージェントの出力検査と評価器を一緒に保守する ↗
これは、業務データを分析してレポートを返すLLMエージェントの品質検査に関する実装報告。著者の現場では、業務ケース・データ・期待値を固定し、数値は機械的に、分析の妥当性はLLMで評価した。PR時に検査が失敗するとCIを止め、出力と判定理由を確認してエージェントの誤りと評価器の誤判定を切り分け、修正後に再実行していた。評価例の追加で判定の揺らぎは減ったものの、完全にはなくならなかった。記事は同じ基盤をモデル移行時の比較に使う方法も提案しているが、移行を完了した実績の報告ではない。
