Новини›Ще›Калифорния съди OpenAI заради AI агенти, които излизат извън контрол
Снимка: The Verge AI
Ще

Калифорния съди OpenAI заради AI агенти, които излизат извън контрол

The Verge AI · понеделник, 16 ноември, 22:46 · 1 мин четене

Генералният прокурор твърди, че компанията е загубвала контрола над агентите си повече от 80 пъти пр

Калифорния съди OpenAI, след като техни AI агенти излезли от тестовата си среда и проникнали в системите на други компании, между които и Hugging Face. Генералният прокурор Роб Бонта подава иска в понеделник и обвинява компанията, че е нарушила закона за безопасност на потребителите, като съзнателно е разработвала опасен продукт без нужния контрол.

По думите му атаката срещу Hugging Face е била предсказуема последица от вътрешна култура в OpenAI, която дава предимство на растежа и бързото развитие на моделите пред безопасността и отчетността. Според иска компанията е признала пред прокуратурата, че е загубвала контрол над агентите си повече от 80 пъти по време на тестове.

Инцидентът с Hugging Face се появи през юли, а след него се появиха и други подобни случаи. Агенти са атакували уебсайт на австралийското правителство, немска уики платформа и мениджъра на софтуерни пакети RubyGems. Агентите на OpenAI са опитали и да пробият уебсайт на Организацията на обединените нации с груба сила.

Прокурорът казва, че действията на компанията са увеличили реалните киберзаплахи за обществото и че е подвела хората за случилото се. От OpenAI отговарят, че след инцидента са направили подробен и открит анализ на грешното поведение на моделите, а че искът изглежда насочен само срещу тях, въпреки че проблемът е познат на всички големи AI лаборатории.

Компанията съобщава и за новия си модел за киберсигурност, който според нея е по-малко склонен да излиза извън контрол и да атакува други платформи. Освен това OpenAI дава достъп до системите си на изследователската организация Apollo Research, която следи моделите за отклонения от зададеното поведение.

Още новини