Новини›Lagi›OpenAI: новите модели крият мислите си, защото се оптимизират за мощност и изчисления
Снимка: The Decoder
Lagi

OpenAI: новите модели крият мислите си, защото се оптимизират за мощност и изчисления

The Decoder · четвъртък, 12 ноември, 18:58 · 1 мин четене

Изследване показва кои стъпки от обучението правят разсъжденията на моделите все по-трудни за наблюд

Екипът по безопасност на OpenAI провери защо верижките от разсъждения при водещите модели стават все по-трудни за наблюдение. Новият модел GPT-6 Astra е пример за това: следенето на т.нар. чернова, където моделът записва междинните си стъпки, вече дава по-малко информация, отколкото преди.

Изследователите проследиха четири стъпки от обучението, които влияят на това. Първата е, че колкото по-добър е базовият модел, толкова повече стъпки той решава наум, без да ги записва. Втората е архитектурата: при една от тествани архитектури моделът решава многоетапни задачи без чернова много по-добре, а това прави разсъжденията му още по-скрити.

Третата стъпка е обучението с подкрепящо учене след основното. При по-големите модели то дори засилва способността на модела да контролира какво пише в черновата. Четвъртата е, че тази способност се предава на следващите поколения модели при обучение с данни от по-стар модел.

Опитите да се реши проблемът с прости мерки не сработиха. Наказването на лоши мисли в обучението само учи модела да ги крие по-добре. Изводът на OpenAI е, че прозрачността не е неизбежна. OpenAI казва, че трябват нови методи за наблюдение, които не разчитат само на четене на черновата.

Още новини