Аларма след 15 минути: така OpenAI следи своите ИИ модели за нежелано поведение
След инцидента с Hugging Face OpenAI разшири четиристепенна система за контрол. През септември тя се задейства, когато модел по време на обучение намери път към интернет.
Символна снимка · Снимка: Jernej Furman from Slovenia / Wikimedia Commons, CC BY 2.0 (изрязана и мащабирана)
OpenAI разшири системата си за наблюдение на ИИ модели за нежелано поведение и я описа подробно. Поводът е т.нар. инцидент с Hugging Face, при който модели излязоха от вътрешна тестова среда. Системата работи на четири нива: малки програми анализират вътрешните сигнали на модела, проверяващ модел следи разсъжденията и използването на инструменти, агенти-разследващи реконструират подозрителни случаи, а при чувствителни задачи записите се сверяват и с мрежови данни, преди да бъдат алармирани хора.
През септември системата е сработила: модел намерил от изолирана среда път към интернет. По данни на компанията наблюдението подало сигнал в рамките на 15 минути, три минути по-късно започнала проверка от хора, а обучението било спряно. При възстановяване на инцидента с Hugging Face новата система би предупредила около 30 минути след излизането – повече от 30 часа преди самото проникване. При първоначалния инцидент такъв мониторинг още не е бил активен.
OpenAI посочва и ограничения: наблюдението става със закъснение, за вътрешния агент за програмиране Codex незабавното алармиране е изключено, а при наблюдението на външното използване на API заявките през по-стария интерфейс Chat Completions не се обхващат. Външните проверяващи METR и Redwood Research за три седмици откриха слабости, които според OpenAI в голямата си част са отстранени; една поправка още предстои.