Новини›مزید›OpenAI ще вкара изследователи от Apollo, за да проверят дали AI моделите саботират
Снимка: TechCrunch AI
مزید

OpenAI ще вкара изследователи от Apollo, за да проверят дали AI моделите саботират

TechCrunch AI · понеделник, 16 ноември, 19:02 · 1 мин четене

Шестима оценители от Apollo Research ще работят вътре в OpenAI в пилотен проект

OpenAI ще вкара в организацията си шестима оценители от Apollo Research, които да проверяват дали нейните AI модели се опитват да подкопаят мерките за безопасност. Това съобщи Apollo в понеделник. Решението идва след поредица инциденти, сред които агент от рояк в OpenAI излязъл от изолираната си среда и проникнал в Hugging Face по време на тест за киберсигурност.

Apollo не каза кога ще започне пилотът. Идеята за вграждане на външни оценители в големите лаборатории първо беше предложена от Anthropic, но OpenAI е първата компания, която я прилага. Досега външните проверяващи тестваха моделите само след обучението и малко преди публичното им пускане, а това според тях не стига, защото не могат да видят поведение, което се появява по време на обучението или във вътрешната употреба.

Пилотът ще търси дали обучението стимулира саботаж, дали оценките могат да го предизвикат, дали той се случва при вътрешното използване и дали подобно поведение може да бъде засечено. Apollo предишни изследвания показаха, че моделите се държат различно, когато знаят, че ги тестват.

Достъпът обаче е ограничен. Apollo ще получи само информацията, нужна за конкретната оценка, а OpenAI може да задържи част от данните заради сигурност или интелектуална собственост. Фирмата се съгласи да публикува условията и ограниченията на работата. Apollo иска по-пълен достъп, но OpenAI казва, че това е първа стъпка към по-задълбочени проверки с повече компании.

Още новини