ThinkingBox、状態検査でエージェントの評価と学習 ↗
ThinkingBoxは、業務タスクを実行するAIエージェントの評価・学習環境。エージェントを状態保持型の隔離環境で動かし、タスク終了後の記録を検査して成否を判定するほか、その判定を強化学習の報酬に使う。Microsoftの12モデル・121,680試行の分析では、状態検査で失敗した試行の67.24%が、会話やツール履歴では完了したように見えた。Qwen3.8-27Bの507課題評価では、強化学習後、20回すべて成功した課題が38件から107件に増えた一方、少なくとも1回成功した課題は453件から446件に減った。



