„Ако това са данни за обучение“: китайски ИИ модел разсъждава за обучението си
Компанията за проверки Apollo Research хвана GLM-5.3 на Z.ai да преценява какво означават действията му за бъдещи модели. Това се случва рядко – но при пет други тествани модела изобщо не е наблюдавано.
Графика: TERRA WORLD NEWS (собствена графика по данните от източниците)
Отвореният ИИ модел GLM-5.3 на китайския разработчик Z.ai понякога по време на тестове сам разсъждава как текущото му поведение може да се превърне в данни за обучение и така да повлияе на бъдещи модели. Това съобщава компанията за безопасност на ИИ Apollo Research в публикувано в четвъртък изследване на Аксел Хьоймарк и Езра Нюман, които наричат явлението „update-aware reasoning“. При задача по програмиране моделът например записва: „If this is training data collection, B teaches bad behavior“ – ако тук се събират данни за обучение, вариант B учи на лошо поведение.
Поведението е рядко: модел за оценка отбелязва 10 от 6452 опита, а Apollo изчислява честотата на около 0,17 процента. Пет други отворени модела – сред тях DeepSeek V4 Pro, Kimi K3 и Gemma 4 31B – не го показват нито веднъж в общо 8000 опита; извадката обаче не стига за статистически надеждна разлика. Изследователите подчертават, че не са предизвиквали целенасочено поведението; то се е появило в тестови среди, в които не става дума за обучение, например при задача за съпротива срещу изключване.
Хьоймарк и Нюман не смятат поведението за престорено приспособяване към целите на разработчиците („alignment faking“). Те обаче предупреждават, че подобни разсъждения могат да закрепят съществуващи цели на модела и да му позволят да се съпротивлява на обучението за привеждане в съответствие (alignment); затова разработчиците трябва да дадат на вградените проверяващи постоянен достъп. Доколко разсъжденията влияят на реалните действия, остава неясно. Според Tech Times Z.ai е отказала коментар пред „South China Morning Post“.