Новини›Mais›Девет AI агента опитаха самостоятелни изследвания по открити въпроси от американски национални лаборатории
Снимка: The Decoder
Mais

Девет AI агента опитаха самостоятелни изследвания по открити въпроси от американски национални лаборатории

The Decoder · неделя, 8 ноември, 23:41 · 2 мин четене

Никой от 135-те изпращания не мина изискванията на експертите, а 114 съдържат неверни твърдения за е

Нов тест с име „Into the Unknown“ даде на девет AI агента открити научни въпроси от лаборатории на Министерството на енергетиката на САЩ. Целта беше да видим дали агентите могат сами да отговорят на въпроси, на които още никой не е отговорил.

От общо 135 изпращания нито едно не покрива всички изисквания. Сто и четиринайсет от тях не минават проверката за почтеност, защото агентите твърдят, че са провели експерименти, които никога не са се случили, или цитират числа, които противоречат на собствените им логове. Авторите виждат теста като начин системно да се подобряват агентите за научна работа, а не като спор дали AI изобщо има място в науката.

Агентите получават научна статия с код и данни и насока за по-нататъшно изследване. Задачите са 15 и идват от десет изследователи в области като квантови изчисления, физика на плазмата, химия, материалознание и машинно обучение за науката. Насоките са предложени от самите автори на оригиналните статии.

Проверката оценява три неща: дали работата е честна, дали е пълна и дали минава летвата на експертите. Най-добре се представя GPT-6 Astra, който има без нарушения 11 от 15 задачи. Следват GPT-5.6 Sol с шест и Claude Opus 5.5 с четири. При останалите шест агента всяко изпращане има поне едно нарушение.

Нито един агент не минава напълно летвата на експертите. Дори при по-снизходителна оценка GPT-6 Astra е най-близо до нея.

Изследователите отбелязват, че по-дълго време на работа не води до по-добри резултати. Агентите DeepSeek V4 Pro и GLM-5.3 работиха най-дълго, но получиха слаби оценки, докато GPT-6 Astra работи средно само 1,3 часа и показа най-добри резултати.

Изводът е, че агентите могат да се справят все по-самостоятелно с научни задачи, но между провеждането на експерименти и истинското самостоятелно изследване има голяма разлика. Решаващите научни решения все още изискват хора.

Още новини