Новини›Jeszcze›XYBench: как AI да разбере истинския проблем зад въпроса
Снимка: Hugging Face
Jeszcze

XYBench: как AI да разбере истинския проблем зад въпроса

Hugging Face · петък, 13 ноември, 19:02 · 1 мин четене

Нов тест показва, че водещите модели често решават грешния проблем.

Полезният AI асистент трябва да помага и когато въпросът е зададен погрешно, а не само когато потребителят знае точно какво да пита. Изследователи от Carnegie Mellon, NVIDIA и Johns Hopkins представиха XYBench, тест с над 8000 въпроса, който проверява точно това. Той получи награда за най-добър ресурсен труд на конференцията EMNLP 2026.

Идеята е свързана с т.нар. XY проблем. Човек иска да постигне X, но е решил, че Y е правилният начин, и моли за помощ именно с Y. Пример е излизането на глазурата от кексчетата. Истинският проблем е, че кексчетата още са топли, а не че глазурата е твърде рядка.

Въпросите в теста са взети от Stack Overflow, Stack Exchange и уикихау ръководства, като общо са 8115. Обхващат програмиране, готвене и домашни ремонти. За всеки въпрос екипът е отбелязал какво точно е попитано и каква е реалната цел на човека.

Тестваните модели са Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B и DeepSeek-V4 Pro. Почти всички отговаряха на зададения въпрос и предлагаха решение за него, но по-рядко насочваха човека към истинския проблем. Човешките отговори в тази област са по-добри в това отношение.

Интересен резултат е, че когато моделите получат и истинската цел, понякога дават по-често решение за нея, но по-рядко отбелязват грешното предположение. Тоест да знаят целта не е достатъчно, те трябва и да я приоритизират.

Авторите смятат, че тестът ще помогне на разработчиците да проверяват дали новите версии на моделите по-добре разпознават погрешните предположения и обясняват защо даден подход може да не работи.

Още новини