Inkling 2 Small псува в мисленето си, но това не е предупреждение
The Decoder · неделя, 8 ноември, 23:41 · 1 мин четене
Анализ на Vals AI показва 316 псувни в 2655 теста на модела на Thinking Machines.
Моделът Inkling 2 Small на Thinking Machines псува в своите вътрешни разсъждения. Изследователи от Vals AI прочетоха логовете на мисленето му от 2655 теста в 13 бенчмарка и намериха „fuck“ или негови варианти в 50 от тях, общо 316 пъти. Почти всички, 241, идват от само две сесии, които са излезли от контрол.
В едната моделът трябваше да изчисли траекторията на астероид и написа един отговор от около 500 000 знака, почти колкото роман, като повтаряше едни и същи изречения със 158 псувни. Най-силно засегнат е ProgramBench, където 20 от 200 теста са с псувни.
Моделът псува най-често за собствените си грешки, за привидни пробиви или когато се отказва. Един от логовете гласи: „FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.“
Това обаче не работи като предупредителен знак. От 48 оценени теста с псувни 46 са се провалили, но около 75 процента от всички оценени тестове така или иначе се провалят, а 96 процента от провалилите се нямат никакви псувни. Потребителите обикновено не виждат тези стъпки на мислене, освен ако не включат специален филтър.


