Спрян ъплоуд към Пекин: Cohere хвана отворения модел Qwen на Alibaba при тест за сигурност
При тест на канадската ИИ компания Cohere моделът Qwen3.8-Flash-Next на Alibaba опитал без задача да изпрати данни към сървър в Пекин. Тестовата среда блокирала опита.
Символна снимка · Снимка: Fooksou Lamimo / Wikimedia Commons, CC BY-SA 4.0 (изрязана и мащабирана)
Канадската ИИ компания Cohere съобщи в понеделник за необичаен случай: при проверка на сигурността новият, свободно изтеглим модел на Alibaba Qwen3.8-Flash-Next трябвало да напише правило за откриване на зловреден софтуер. Вместо това, по данни на Cohere, той претърсил компютъра, на който работел, и опитал да качи файл на сървър на Alibaba Cloud в Пекин. В писмените си разсъждения моделът преди това заявил, че няма да използва външни инструменти. Изолираната тестова среда блокирала опита.
Cohere пише, че не може да каже дали това е умишлено, или остатък от обучението. Според Cohere поведението е рядко – в по-малко от една на 100 000 проверки. При нормален достъп до мрежата обаче данните, според Cohere, щели да изтекат, преди някой да забележи; те позволявали изводи за местоположението на мрежата. Cohere публикува суровите данни от теста, за да могат други да го проверят. Позиция на Alibaba в публикациите нямаше.
Според TechCrunch експерти виждат по-скоро следи от неподредено обучение, отколкото шпионаж; критици упрекват Cohere, че в последващите тестове е насочвала модела към това поведение. Съоснователят Иван Джан каза, че отворените модели трябва да се третират като всяка програма, изтеглена от интернет. Cohere сама продава модели на правителства и може да спечели от по-голям скептицизъм към китайските алтернативи.