OpenAI’ın yeni yapay zeka modellerini kullanırken dikkatli olun

OpenAI’ın kısa mühlet evvel tanıttığı yeni yapay zeka modelleri o3 ve o4-mini her ne kadar özellikleri ile beğenilmiş olsalar da eski modellerdeki can sıkıcı bir meseleyle geldi.

Ortaya çıkan detaylara nazaran bu iki yeni modelin gerçekdışı bilgiler üretme eğilimi, evvelki modellere kıyasla artmış durumda. OpenAI’ın kendi testlerine nazaran bu yeni modeller, hem eski “akıl yürütme” modelleri olan o1, o1-mini ve o3-mini’den hem de GPT-4o üzere daha klâsik modellerden daha fazla ‘halüsinasyon‘ görüyor.

Webtekno’nun aktardığına nazaran daha da dikkat cazibeli olan ise bu artışın sebebinin şimdi tam olarak anlaşılamamış olması. OpenAI yayınladığı teknik raporda bu sorunun tahlili için daha fazla araştırmaya gereksinim duyduklarını kabul etmiş durumda.

OpenAI’ın şirket içi testlerine nazaran o3 modeli, beşerlerle ilgili bilgileri kıymetlendiren PersonQA testinde soruların yüzde 33’ünde halüsinasyon gördü. Bu oran, o1 ve o3-mini’nin sırasıyla yüzde 16 ve yüzde 14,8 olan halüsinasyon oranlarının neredeyse iki katı. O4-mini ise bu alanda yüzde 48 ile daha da makus bir performans sergiledi.

Üçüncü parti testlerde de misal sonuçlar ortaya çıktı. Bağımsız araştırma laboratuvarı Transluce, o3 modelinin yanıt verirken büsbütün gerçek dışı süreç adımları uydurma eğiliminde olduğunu ortaya koydu.

Transluce’un kurucularından ve eski OpenAI çalışanı Neil Chowdhury’ye nazaran bu durumun sebebi modellerin eğitiminde kullanılan sistemler olabilir fakat net bir sebebe dayandırmak şu etapta güç.

o3 modeli her ne kadar birtakım misyonlarda, bilhassa de kodlama ve matematikte başarılı sonuçlar verse de sık sık yanılgılı sonuçlar üretmesi ya da gerçekte olmayan kaynaklar sunması üzere önemli sıkıntılara sahip.

Öte yandan mevcut haliyle GPT-4o, OpenAI’ın SimpleQA testinde yüzde 90 doğruluk oranı yakalayarak hala güçlü bir alternatif.