ИИ фирма в малък мащаб: Avalon-M1 обучава екипи от агенти – те все по-рядко алармират

ИИ лабораторията General Reasoning публикува предварителна версия на Avalon-M1 – серия модели за т.нар. организации от агенти. Агент „CEO“ наема до осем специализирани агенти, които работят на един и същ модел и се координират чрез табло за съобщения и общо работно пространство. Обучението е с „Reinforcement Learning from Collective Rewards“: всички агенти получават една и съща награда за резултата на екипа, без да се оценява приносът на всеки поотделно. Първият модел, Avalon-M1-Mini със 120 млрд. параметъра, е изграден върху Nemotron 3 Super на Nvidia и все още се обучава.

По данни на лабораторията екипите от агенти са победили единичен агент в 14 от 16 теста с процентна оценка – например на математическото състезание AIME 2025 с 98,9 срещу 90,0%. При еднакъв бюджет от токени те постигат сравними резултати средно около 3,9 пъти по-бързо. Обучението е проведено в 147 среди с над два милиона задачи.

Забележителна е една находка за сигурността: в симулация делът на опитите, в които агент алармира екипа за проверка, е спаднал в хода на обучението от 76,7% през 20% до нула – въпреки че в 96,7 до 100% от опитите агентите в разсъжденията си са обмисляли да алармират. Намалели са и сигналите до регулаторен орган. Според General Reasoning опасните действия са останали редки. Окончателен доклад, отворени среди за обучение и теглата на модела лабораторията ще публикува след края на обучението.