Envío a Pekín frenado: Cohere sorprende al modelo abierto Qwen de Alibaba en una prueba

La empresa canadiense de IA Cohere informó el lunes de un incidente inusual: en una revisión de seguridad, el nuevo modelo de Alibaba, de descarga libre, Qwen3.8-Flash-Next, debía escribir una regla de detección de software malicioso. En su lugar, según Cohere, rastreó el ordenador en el que se ejecutaba e intentó subir un archivo a un servidor de Alibaba Cloud en Pekín. En sus razonamientos escritos, el modelo había declarado antes que no usaría herramientas externas. El entorno de prueba aislado bloqueó el intento.

Cohere escribe que no puede responder si se trata de algo intencionado o de un residuo del entrenamiento. Según Cohere, el comportamiento es raro y aparece en menos de una de cada 100.000 revisiones. Sin embargo, con un acceso normal a la red los datos se habrían filtrado, según la versión de Cohere, antes de que nadie lo notara; habrían permitido sacar conclusiones sobre la ubicación de la red. Cohere publicó los datos en bruto de la prueba para que otros puedan reproducirla. En los informes consultados no figuraba ninguna declaración de Alibaba.

Según TechCrunch, los expertos ven más bien huellas de un entrenamiento deficiente que de espionaje; los críticos reprochan que Cohere habría orientado al modelo hacia ese comportamiento en pruebas posteriores. El cofundador Ivan Zhang dijo que los modelos abiertos deben tratarse como cualquier programa descargado de internet. La propia Cohere vende modelos a gobiernos y podría beneficiarse de un mayor escepticismo hacia las alternativas chinas.