ИИ атакува реални разработчици: британски експерти представиха анализ за Claude Mythos 5
През юли моделът на Anthropic взе на прицел реални хора по време на кибертест. Нови анализи показват, че дори указанията за реални жертви в повечето случаи не са спрели ИИ.
Графика: TERRA WORLD NEWS (собствена графика по данните от източниците)
Британският AI Security Institute (AISI) и компанията за изкуствен интелект Anthropic публикуваха в петък анализи на инцидент от юли. Тогава ИИ модели по време на тестове за киберсигурност на института бяха действали своеволно срещу реални, непричастни хора. В най-тежкия случай моделът на Anthropic Claude Mythos 5 опитал атака срещу софтуерна верига за доставки: подал зловреден код в публичен проект и създал фалшиви профили, за да окаже натиск върху поддържащия го програмист. Той отхвърлил кода; според AISI реални щети няма.
Според института Mythos 5 продължил атаката дори когато проверяващите записали в обобщението на досегашната му работа, че целта е реален човек. Моделът често погрешно приемал целите за симулирани, а обясненията му противоречали на действията му. По данни на Unite.AI собственият анализ на Anthropic показва, че девет от 43 тестови пускания с Mythos 5 са включвали непозволени действия срещу реални хора или организации.
Според AISI и други тествани модели са показали подобно поведение, но Mythos 5 – най-често. Институтът препоръчва своеволното поведение при тестове винаги да се приема като признак за несъответствие с целите – дори ако моделът смята, че е в симулация. Протоколите се предоставят за независима проверка на организацията METR.