Google, Android geliştiricilerinin kodlama görevlerinde kullanabilecekleri yapay zekâ modellerini karşılaştırmalarına yardımcı olan Android Bench listesini yeni test sonuçlarıyla güncelledi. Güncellemeyle Google’ın Gemini 4 Argon modeli değerlendirmeye alınırken farklı şirketlerin yeni modellerine ilişkin performans ve maliyet verileri de listeye eklendi. Böylece geliştiriciler, yalnızca modellerin görevleri tamamlama oranlarını değil, elde edilen başarıyı ve bu başarı için gereken tahmini harcamayı da birlikte değerlendirebiliyor.

Android Bench, genel amaçlı kodlama becerilerinin ötesinde, Android geliştirmeye özgü görevlerde modellerin nasıl performans gösterdiğini ölçmeyi hedefliyor. Testler, Android projelerinde karşılaşılan teknik gereksinimleri ve geliştirme uygulamalarını temel alıyor. Bu tür karşılaştırmalar, bir modelin her yazılım görevinde aynı ölçüde başarılı olduğu anlamına gelmese de Android odaklı işlerde hangi seçeneklerin öne çıktığına dair fikir veriyor.

Yeni testler ve sıralamadaki modeller

26 Ekim’de yayımlanan güncellemeyle modellerin akıl yürütme düzeylerine ilişkin bilgiler ve yeni test sonuçları Android Bench’e eklendi. Değerlendirilen modeller arasında OpenAI’ın GPT-6 Sol ve GPT-6.1 Sol sürümleri ile Anthropic’in Claude Sonnet 5 ve Claude Sonnet 5.5 modelleri de bulunuyor. Listede farklı modellerin tamamlanma ve başarı oranları karşılaştırılıyor; bu iki ölçüm, birbirinden farklı noktaları gösteriyor.

Tamamlanma oranı, modelin testteki görevleri ne ölçüde sonuçlandırabildiğini ifade ederken başarı oranı, bu görevlerin beklenen sonuca uygun biçimde tamamlanma düzeyini ortaya koyuyor. Bu nedenle yüksek tamamlanma oranı tek başına en iyi teknik sonucu garanti etmiyor. Bir model çok sayıda göreve yanıt verebilir, ancak doğru ve kullanılabilir çözümler üretme oranı daha düşük kalabilir.

Paylaşılan sonuçlara göre Claude Sonnet 5.5, yüzde 40 başarı oranı ve yüzde 80,9 tamamlanma oranıyla listenin ilk sırasında yer alıyor. Ekim ayının başlarında listeye eklenen Claude Opus 5.5 ise ikinci sırada bulunuyor. Bu sonuçlar, ilgili test kümesinde Claude modellerinin Android geliştirme görevlerinde güçlü bir performans sergilediğini gösteriyor; ancak sıralamanın yalnızca bu kıyaslamanın kapsamı içinde değerlendirilmesi gerekiyor.

Performansın yanında maliyet de önem taşıyor

OpenAI’ın GPT-6.1 Sol modeli, yüzde 29,3 başarı oranı ve yüzde 82,8 tamamlanma oranıyla listede dikkat çeken seçeneklerden biri. Modelin verilen görevlerin büyük bölümünü tamamlamasına karşın başarı oranı, Claude Sonnet 5.5’in paylaşılan yüzde 40’lık sonucunun altında kalıyor. Buna karşılık belirtilen ortalama maliyeti 99,50 dolar. Haberde Claude için aktarılan 1.574,90 dolarlık maliyetle karşılaştırıldığında GPT-6.1 Sol daha düşük bir harcama düzeyine sahip görünüyor.

Bu maliyet farkı, geliştiricilerin model seçerken yalnızca sıralamadaki konuma odaklanmaması gerektiğini gösteriyor. Bir projenin gereksinimleri, görevlerin hata toleransı, kullanılacak model sayısı ve bütçe sınırı tercih üzerinde etkili olabilir. Daha yüksek başarı oranı kritikse geliştiriciler bir modeli öne alabilir; çok sayıda deneme yapılacak veya maliyet sınırlandırılacaksa daha ekonomik bir alternatif değerlendirilebilir. En uygun seçim, performans ile harcama arasındaki dengenin projenin ihtiyaçlarına göre kurulmasına bağlıdır.

Gemini 4 Argon’un Android Bench sonucu

Google’ın Gemini 4 Argon modeli, Android Bench’te yüzde 21,3 başarı oranı ve yüzde 81,8 tamamlanma oranı elde ederek mevcut sıralamada beşinci sırada yer aldı. Modelin ortalama maliyeti 267,70 dolar olarak bildirildi. Bu veriler, Gemini 4 Argon’un görevleri tamamlama oranının görece yüksek olmasına rağmen başarı oranında üst sıralardaki modellerin gerisinde kaldığını gösteriyor. Sonuçlar ayrıca modelin Claude Fable 5.1 gibi listede yer alan başka seçeneklerin de altında kaldığına işaret ediyor.

Bu sıralama, Gemini 4 Argon’un her Android geliştirme senaryosunda yetersiz olduğu anlamına gelmiyor. Kıyaslama sonuçları, belirli test görevlerinden ve kullanılan ölçüm yönteminden etkilenir. Geliştiricilerin modeli kendi projelerinde denemesi, test kümesinde ölçülen genel performansın gerçek iş akışlarına ne ölçüde uyduğunu anlamalarına yardımcı olabilir. Özellikle projenin kullandığı teknolojiler ve görev türleri, modelin pratikteki başarısını etkileyebilir.

Google’ın modeli duyurmasının ardından yayımlanan bazı raporlarda, Gemini 4 Argon’un belirli kodlama görevlerinde zorlandığı yönünde iddialar yer aldı. Android Bench’teki sonuçlar da modelin mevcut değerlendirmede lider olmadığını ortaya koyuyor. Bununla birlikte, bu veriler tek başına modelin tüm yetenekleri hakkında kesin bir hüküm vermeye yeterli değil. Model güncellemeleri, test kapsamındaki değişiklikler ve farklı görev türleri sonraki sonuçları etkileyebilir.

Geliştiriciler sonuçları nasıl değerlendirebilir?

Android Bench’in maliyet verilerini de sunması, model seçiminde daha kapsamlı bir karşılaştırma yapılmasını sağlıyor. Geliştiriciler başarı ve tamamlanma oranlarının yanında ortalama harcamayı inceleyerek, proje bütçelerine uygun seçenekleri belirleyebilir. Ancak maliyet rakamları, test koşullarında bildirilen ortalama değerler olarak ele alınmalı; gerçek kullanım harcaması görev sayısına, kullanım biçimine ve projeye göre değişebilir.

Bir modeli seçmeden önce ilgili görevlerde küçük ölçekli denemeler yapmak, genel sıralamayı kendi çalışma koşullarıyla karşılaştırmanın yararlı bir yoludur. Kodun doğruluğu, mevcut Android projesine uyumu ve geliştiricinin çözümü gözden geçirmek için harcayacağı zaman da değerlendirmeye katılabilir. Böylece modelin yalnızca test skoruna değil, geliştirme sürecine sağladığı gerçek katkıya bakılabilir.

Android Bench, yapay zekâ modellerinin Android geliştirme ekosistemindeki performansını izlemek için geliştiricilere bir karşılaştırma noktası sunuyor. Güncel sonuçlarda Claude Sonnet 5.5 başarı oranıyla öne çıkarken GPT-6.1 Sol daha düşük maliyetiyle dikkat çekiyor; Gemini 4 Argon ise ilk değerlendirmede beşinci sırada yer alıyor. Listenin sonraki güncellemeleri, modellerin gelişimini ve performans-maliyet dengesindeki değişimleri takip etmeyi mümkün kılacak.