Новини›Še›Агентите с ИИ трябва да знаят кога да спрат: новите проблеми с поверителността
Снимка: Google Research
Še

Агентите с ИИ трябва да знаят кога да спрат: новите проблеми с поверителността

Google Research · вторник, 6 октомври, 00:08 · 1 мин четене

Google Research предлага контекстен подход, вдъхновен от теорията на контекстуалната цялостност.

Google Research публикува обширен доклад за открити проблеми в поверителността и сигурността на автономните ИИ агенти. Документът е резултат от работата на над 50 учени и експерти от университети и компании, които се събраха на работилница в Ню Йорк през края на 2025 година.

Проблемът е, че за да бъде полезен, агентът често трябва да има достъп до лични данни и да може да предприема действия с последици в различни ситуации. За разлика от обикновения софтуер, агентите са гъвкави и поведението им не е напълно предвидимо, затова са нужни други подходи за защита.

Авторите се опират на теорията на контекстуалната цялостност. Според нея поверителността е уместно движение на информация според социалните норми. Например можеш да кажеш на виртуален асистент какво искаш да купиш за рождени дни, но не и на семейството си. Докладът разширява това и към действията на агентите, а не само към споделянето на данни.

Предложението е да се добави отделен слой, който проверява дали дадено действие е уместно, преди да се извърши. Този контекстен механизъм може да превежда общи правила като „пази данните ми, докато организираш пътуването ми“ в конкретни инструкции за полети, визи и комуникация с организаторите.

Докладът очертава и нови начини за тестване на безопасността, включително общи среди за симулации с много агенти, наречени „Agent Gym“. Авторите канят изследователите от академичните среди, държавата, гражданското общество и бранша да работят заедно.

Още новини