Как проверката на база данни става награда при обучение на AI агенти
Hugging Face · петък, 23 октомври, 01:24 · 1 мин четене
ThinkingBox превръща проверката на крайното състояние на базата в сигнал за RL обучение
Екипите на Microsoft и Hugging Face публикуваха продължение на предишната си статия за ThinkingBox, бенчмарк, който проверява дали AI агент наистина е свършил работата си. Проверката сравнява крайното състояние на реалната база данни с очаквания резултат. Сега същата проверка се използва като награда при обучение на агенти върху задачи, които не са част от бенчмарка.
Използвана е задача за модела Qwen3.8-27B. Средната успеваемост се е повишила от 51,70% на 60,78%, а броят задачи, решени правилно във всичките двадесет опита, е нараснал от 38 на 107 след 50 стъпки на GRPO обучение. Това показва, че моделът става по-последователен, а не само по-добър средно.
Трудната част беше подборът на задачите за обучение. Повечето задачи са или вече решени, или непосилни за модела, и в двата случая той не се учи нищо. Затова трудността се оценява спрямо конкретния модел. Успеваемостта на всяка задача се изчислява веднъж с базовия модел преди обучението, а обучителният набор остава фиксиран през целия процес.
При оценката по бенчмарка отделно се измерва и повтаряемостта, а не само средният резултат.


