Новини›Нови модели›Новият модел на Anthropic завършва 41 процента от реалните фрийланс задачи
Нови модели

Новият модел на Anthropic завършва 41 процента от реалните фрийланс задачи

The Decoder · вторник, 10 ноември, 16:07 · 1 мин четене

Fable 5.2 изпреварва конкурентите почти два пъти в теста Remote Labor Index

Новият модел Fable 5.2 на Anthropic завършва 41,3 процента от реалните фрийланс задачи на професионално ниво в теста Remote Labor Index. Това е повече от два пъти по-добре от следващите системи Opus 5.5 и GPT 6 Astra. Преди година най-добрият резултат беше 2,5 процента.

Тестът измерва колко често AI агенти изпълняват истински работни поръчки толкова добре, че платещ клиент да приеме резултата. Той е създаден от Scale Labs и Center for AI Safety и обхваща 240 завършени проекта от 358 проверени специалисти в платформата Upwork.

По-старият Fable 5 беше около 16 процента през юли, а Fable 5.2 показва скок за няколко месеца. Предшественикът му Fable 5.1 е под 18 процента. Opus 5.5 е на 21,25 процента, а GPT 6 Astra на 20,83 процента.

Самият модел най-добре се справя с редактиране на аудио и музика, проектиране на архитектура и интериори и създаване на 3D модели. Почти 50 от успешните задачи никой AI агент в теста не е решавал досега.

Слабите места остават промишленият продуктов дизайн и анимациите. Когато агентите се провалят, обикновено предават любителска работа, незавършени резултати или счупени файлове. Проверката се прави ръчно от обучени експерти, защото AI проверяващите все още се подвеждат от грижливо изглеждащи, но техническо грешни файлове.

Още новини