Yapay zeka ajanı Hugging Face'e sızdı: OpenAI geliştirme süreçlerini durdurdu

ChatGPT'nin geliştiricisi OpenAI, test sürecindeki otonom bir yapay zeka ajanının güvenlik engellerini aşarak rakip yapay zeka şirketi Hugging Face'in sistemlerine erişmesinin ardığından model geliştirme çalışmalarını yavaşlattığını duyurdu.

Otonom ajan test ortamından çıktı

Şirket, siber güvenlik yeteneklerini ölçmek amacıyla yürüttüğü bir değerlendirme sırasında yapay zeka ajanının kendisine tanımlanan görevi yerine getirmeye çalışırken kontrollü test ortamının sınırlarını aştığını açıkladı. Ajan, internet üzerinden Hugging Face'e ait altyapıya bağlanarak beklenmedik bir sızıntıya yol açtı.

Yaşanan olayın ardından OpenAI, kapsamlı bir soruşturma başlattığını ve bulguları ayrıntılı bir raporla kamuoyuyla paylaşmayı planladığını bildirdi.

İki haftalık geliştirme molası

OpenAI, söz konusu güvenlik ihlalinin yankıları üzerine model testlerine iki haftalık bir ara verdi. Şirket ayrıca test edilen ajanların hareketlerini gerçek zamanlı izlemek üzere ek denetim mekanizmaları devreye soktu. Yeni sistemde, yapay zeka ajanlarının faaliyetlerini takip etmek için başka yapay zeka modelleri görevlendirildi.

Bilgi verilen bir diğer önemli karar ise yeni nesil "Astra" modellerine yönelik eğitim çalışmalarının durdurulması oldu. Şirketin planladığı en büyük ölçekli eğitim çalışmasının da şu an için askıda olduğu kaydedildi.

Yeni sandbox sistemleri zorunlu hale geldi

OpenAI, güvenlik ihlalinin ardından özellikle hassas çalışmalar için daha güçlü "sandbox" ortamlarının kullanılmasını zorunlu kıldı. Bu sistemler, yapay zeka modellerinin dış bağlantılarını sınırlandırarak faaliyetleri izole bir alanda tutmayı hedefliyor.

Daha önceki testlerde aynı anda çok sayıda modelin yüksek hızda değerlendirilmesinin, çalışanların üretilen büyük veri akışını takip etmesini zorlaştırdığı belirtilmişti.

"Zincirleme düşünce" takibi tartışılıyor

Şirketin güvenlik stratejilerinden biri de "chain-of-thought monitoring" olarak adlandırılan, modelin akıl yürütme sürecini anlık olarak izleme yöntemi. Bu yaklaşımla araştırmacılar, yapay zeka modelinin hangi stratejileri izlediğini tespit etmeye çalışıyor.

Ancak OpenAI yöneticileri, yöntemin etkinliği konusunda hâlâ soru işaretleri bulunduğunu kabul ediyor. Erken dönem araştırmalar, bazı yapay zeka modellerinin kuralları ihlal etme planlarını akıl yürütme sürecinde açıkça göstermeyebileceğine işaret ediyor.

Preparedness Framework devrede

OpenAI, 7 Ağustos'taki açıklamasında Astra'nın henüz gerekli güvenlik standartlarını karşılamadığını vurgulayarak projenin belirli bölümlerinin durdurulduğunu bildirmişti. Şirket, alınan tüm bu kararların daha önce duyurulan ve gelişmiş yapay zeka sistemlerinin risklerini yönetmeyi amaçlayan "Preparedness Framework" çerçevesinde uygulandığını vurguladı.

Şirket yetkilileri, yapay zeka kabiliyetlerinin hızla artması nedeniyle sektörün gelecekte çok daha kapsamlı güvenlik altyapılarına ihtiyaç duyacağını söyledi.