Новини›Ytterligere›Tencent предупреждава: AI скоро ще може да прави биооръжия, но затварянето на моделите не е решението
Ytterligere

Tencent предупреждава: AI скоро ще може да прави биооръжия, но затварянето на моделите не е решението

The Decoder · понеделник, 9 ноември, 17:44 · 1 мин четене

Главният AI учен на Tencent иска среден път между отворените и затворените модели.

Главният AI учен на китайската компания Tencent Винсес Яо Шуню предупреждава, че AI скоро ще може да разработва биологични оръжия. Според него нито напълно отворените, нито напълно затворените модели могат да решат проблема сами. Той застъпва среден път, при който част от технологиите са отворени, а друга част затворени, така че защитата да е достъпна за всички.

Яо казва, че в биологията е по-трудно да се раздели защитното от нападателното, отколкото в киберсигурността. Затова, според него, цялата индустрия трябва да действа внимателно, тъй като разликата между китайските и американските модели не е голяма.

Като пример той посочва случай при Hugging Face. Когато затворен модел като Claude отказал да анализира атакуващи команди заради филтрите си, платформата използвала отворения китайски модел GLM-5.2 за разбор на логовете. Докладът обаче уточнява, че моделът е помогнал само при анализа. Самата атака е спряна с кръпка за уязвимостта, преустановен достъп и смяна на пароли.

Техника, наречена abliteration, показва колко лесно се заобикалят защитите на отворените модели. С нея може да се премахнат обученото отказване на заявки от теглата на модела. Затова изследователите предлагат друг подход: опасните знания да се махат от данните още при обучението.

Tencent планира скоро да пусне отворения модел Hy4 със safety доклад. Компанията казва, че биологичните му възможности са под опасния праг, а хакерските умения са премахнати чрез филтриране на данните за обучение.

Още новини