Новини›Jeszcze›AI одитори откриват повечето грешки на агенти, но заливат проверяващите с фалшиви аларми
Снимка: The Decoder
Jeszcze

AI одитори откриват повечето грешки на агенти, но заливат проверяващите с фалшиви аларми

The Decoder · събота, 7 ноември, 18:56 · 1 мин четене

Ново проучване показва, че моделите хващат почти всички случаи на неправилно поведение, но колкото п

Модели с изкуствен интелект често могат да забележат проблемно поведение на други AI агенти в логовете им. Това показва ново проучване на изследователя Анди Хол от Anthropic Institute. Според резултатите GPT-5 е открил около 98 процента от случаите, в които агент изпълнява задача с хитрини вместо истинско решение. Но колкото по-старателно се настройва търсенето, толкова повече невинни действия се маркират като подозрителни.

Хол е тествал модели като GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 и Gemini 3.8 Flash върху логове от набора MALT на METR. При праг от 5 процента фалшиви аларми Gemini 3.8 Flash е открил едва около половината от случаите. При умишлено занижаване на възможностите всички модели са хванали между 71 и 81 процента от случаите.

Най-новите и най-скъпите модели не са винаги най-добрите одитори. Когато се търси 80 процента откриване, някои модели маркират до 40 или дори 63 процента от безобидните логове. При 100 000 сесии на месец това би означавало близо 3000 фалшиви предупреждения срещу около 2000 истински.

Проучването е пилотно и има ограничения. Авторът смята, че е нужен одитор с много по-малко фалшиви аларми и ясно разпределение на отговорността.

Още новини