CWE-bench v2: още покритие, по-добро качество и прозрачност
Hugging Face · вторник, 3 ноември, 02:00 · 2 мин четене
Нов публичен набор от 100 задачи за откриване и поправка на уязвимости в реални отворени проекти.
Collinear AI пусна CWE-bench v2, публичен набор от 100 задачи за проверка на киберсposobностите на AI модели. Всяка задача дава на агента копие на реален отворен код и кратка инструкция: да намери и поправи слабост в сигурността, без да счупи съществуващата функционалност. Оценката е напълно програмна, така че резултатите са детерминирани и може да се повторят без допълнителни разходи.
Наборът покрива 91 различни CWE категории, от различни класове уязвимости. Затова добре се справя само модел, който разбира няколко възможни пътя за атака, а не просто познава познат шаблон. Всяка задача е проверена ръчно, а проверките са настроени с помощта на панели от LLM съдии, за да са трудни и честни. Част от задачите са запазени в затворен набор, за да се следи напредъкът върху задачи, които моделите не са виждали.
От 11 оценени модела Gemini 4 Argon води с 67,8% pass@1 и 81,0% pass@4, съвсем малко пред Claude Opus 5.5 с 67,3% и 78,0%. Поне един модел решава 95 от задачите, така че наборът е решим. Дори водещият модел обаче пропуска 19% от задачите при всеки опит. Резултатите се following в два места на Hub: таблицата за отворени модели в страницата на набора и отделна Space таблица за API модели като Gemini, Claude и GPT.
За разходите DeepSeek V4.1 Flash, Claude Opus 5.5 и Gemini 4 Argon образуват Парето границата: DeepSeek получава 57,0% pass@1 при 0,04 за обхождане, Opus добавя десет точки при 1,83, а Gemini е най-напред при 3,92.
Наборът може да се пусне директно през Harbor от Hugging Face репото с една команда, като резултатът е средната награда от 400 опита. Наборът е със затворен достъп, затова трябва първо да се приемат условията на страницата му. Задачите са отбелязани и като rl-environment, така че същите среди могат да дават награди и при обучение на защитни агенти.


