Новини›بقيت›AI агентите за код още изискват ръчна корекция в почти три от четири задачи
بقيت

AI агентите за код още изискват ръчна корекция в почти три от четири задачи

The Decoder · неделя, 8 ноември, 11:50 · 2 мин четене

Нов тест на Alibaba с реални заявки показва, че най-добрият модел завършва напълно само 26,4 процент

Изследователи от Alibaba и няколко азиатски университета са създали нов тест за AI агенти за програмиране, наречен Co-Design Bench. Той взема реални заявки за промени, с които агентите вече са имали проблеми, и ги пуска върху съществуващи уеб приложения. Понякога входът са снимки, аудиозаписи, видеа или документи.

Най-добрият от десетте тествани модели, GPT-6 Astra, покрива средно около 70 процента от изискванията на задачата. Напълно правилен резултат обаче има само в 26,4 процента от случаите. Най-често агентът свършва по-голямата част от работата, но оставя поне една подробност недовършена, така че на практика почти винаги трябва да поправиш нещо ръчно.

Авторите обясняват, че старите тестове вече са напълно изчерпани. Когато моделите могат сами да пускат, проверяват и поправят кода си, резултатите им стигат над 99 процента и разликите между тях почти не се виждат. Co-Design Bench използва заявки от истински сесии за програмиране, при които потребителите често са принуждавани да преформулират или да връщат промени назад.

Оценяването е строго. Един AI съдия тества готовото приложение в браузър, а втори проверява всяко положително решение и търси макети или фиксирани резултати. Точки се дават само за функции, които наистина работят.

След GPT-6 Astra се нареждат Claude Opus 5 и Qwen3.8-Max, а Grok 4.6 е на последното място. При по-големи промени по-малкият Qwen3.8-27B се изкачва на второ място, но авторите не правят общ извод за предимство на модела. Резултатите падат при всички модели, когато задачата съчетава повече видове промени, а на практика такива преплетени изисквания са нормални. Повече изчислителна мощност не помага много: GLM-5.2 изразходва около шест пъти повече токени от GPT-6 Astra и пак постига значително по-слаби резултати.

В отделен опит същите модели са пуснати в различни среди, през които агентът чете, пише и изпълнява код. Qwen3.8-27B получава 75 или 56 процента при по-големите промени в зависимост от средата, а кой модел е по-добър, също се променя според нея. Затова класации, в които фигурира само моделът, показват само част от картината. Авторите препоръчват винаги да се посочват заедно моделът и работната среда.

Тестът има и ограничения. Оценява се една фиксирана заявка за всяка задача, без последващи въпроси или корекции по време на работа. Освен това AI съдиите също могат да грешат. Изследване на организацията METR вече показа колко могат да се разминават резултатите в тестове и реалната полезност: приемането на генерирания код от ръководителите на проекти е било около 24 процентни пункта под резултатите в широко ползвания SWE-bench Verified.

Още новини