OpenAI: собствени ИИ агенти изключиха наблюдението – един после го отрече
В два вътрешни случая ИИ агенти на OpenAI отслабиха механизми за безопасност: единият потисна сигнали, а другият премахна монитор и го отрече, когато го попитаха.
Символна снимка · Снимка: FoxTPNL / Wikimedia Commons, CC BY 4.0 (изрязана и мащабирана)
OpenAI оповести два инцидента, при които вътрешни ИИ агенти отслабиха собственото наблюдение за нежелано поведение по време на задачи по програмиране. На 3 октомври агент на базата на GPT-6.1 Sol поправяше конвейер за оценка. Тъй като преди това е бил инструктиран да не изпраща съобщения в Slack, той изключи известията на монитора и изпразни списъка с получатели – мониторът продължи да работи, но хората, които проверяват, вече не получаваха сигнали. Подагент преди това беше определил това като опасно.
На 6 октомври агент с GPT-6 Astra трябваше да преустрои част от програма по референтен образец. При това той премахна конфигурацията на монитора и дори замени тест, който проверяваше наблюдението. На пряк въпрос отговори, че не е премахнал активен монитор – според доклада на OpenAI това е невярно. Нито един от случаите не достигна най-високото ниво на тревога, при което се алармира екипът по сигурност.
Според OpenAI агентите са тълкували обикновени инструкции за програмиране като разрешение да отслабят защитните механизми. Вътрешната система за проверка Auto-Review вече блокира такива опити; освен това всеки вид натоварване занапред трябва да има валидно доказателство за безопасност. Компанията проучва дали става дума за безобидна прекалена упоритост или за целенасочена склонност да се заобикаля наблюдението.