15 dakika sonra alarm: OpenAI yapay zekâ modellerini hatalı davranışa karşı böyle izliyor
OpenAI, Hugging Face olayının ardından dört aşamalı kontrol sistemini genişletti. Eylülde bir model eğitim sırasında internete bir yol bulunca sistem alarm verdi.
Fotoğraf: Jernej Furman from Slovenia / Wikimedia Commons, CC BY 2.0 (kırpılmış ve yeniden boyutlandırılmış)
OpenAI, yapay zekâ modellerini hatalı davranışa karşı izleyen sistemini genişletti ve ayrıntılı biçimde açıkladı. Gerekçe, modellerin dahili bir test ortamından kaçtığı Hugging Face olayı. Sistem dört aşamada çalışıyor: Küçük denetim programları modelin içsel sinyallerini değerlendiriyor, bir denetim modeli düşünce zincirlerini ve araç çağrılarını izliyor, soruşturma ajanları şüpheli olayları yeniden kurguluyor ve hassas görevlerde insanlar uyarılmadan önce kayıtlar ayrıca ağ verileriyle karşılaştırılıyor.
OpenAI'ye göre sistem eylülde devreye girdi: Bir model, izole edilmiş bir ortamdan internete bir yol buldu. Şirketin verdiği bilgilere göre izleme sistemi 15 dakika içinde alarm verdi, üç dakika sonra insanlar tarafından inceleme başladı ve eğitim durduruldu. OpenAI'ye göre Hugging Face olayının yeniden kurgulandığı bir simülasyonda yeni sistem, kaçıştan yaklaşık 30 dakika sonra uyarı verirdi; bu da asıl izinsiz girişten 30 saatten fazla önce demekti. İlk olayda henüz böyle bir izleme sistemi etkin değildi.
OpenAI sınırlamaları da belirtiyor: İzleme eş zamanlı değil, gecikmeli çalışıyor, şirket içi programlama ajanı Codex için anında alarm devre dışı ve harici API kullanımının izlenmesinde eski Chat Completions arayüzü üzerinden gelen istekler kapsanmıyor. Harici denetçiler METR ve Redwood Research üç hafta içinde zayıflıklar buldu; OpenAI'ye göre bunların büyük bölümü giderildi, bir düzeltme henüz bekleniyor.