2013 yılında piyasaya çıkan PlayStation 4, yapay zeka uygulamaları için tasarlanmış bir bilgisayar değil. Buna rağmen geliştirici Leonardo Alegría, konsolun donanımını kullanarak 9 milyar parametreli bir dil modelini tamamen çevrimdışı biçimde çalıştırmayı başardı. Garlic LLM adı verilen proje, eski bir oyun konsolunun sınırlarının özel yazılım ve optimizasyonlarla nasıl zorlanabileceğini gösteriyor.
Sistemin çalışması için harici bir bilgisayara ya da internet bağlantısına ihtiyaç duyulmuyor. Model konsolun kendi işlemci ve grafik donanımından yararlanıyor; böylece kullanıcı, uygun kurulumun ardından yapay zekâ ile yerel olarak etkileşim kurabiliyor. Bu, projenin çevrimiçi hizmetlere bağımlı olmaması bakımından dikkat çekici. Ancak sonuçları günümüzün güçlü yapay zekâ sunucularıyla aynı düzeyde değerlendirmemek gerekiyor: Buradaki asıl başarı, modelin eski ve sınırlı donanımda çalıştırılabilmesi.
Özel yazılım, standart sürücülerin yerini aldı
PlayStation 4’ün grafik işlemcisi AMD’nin Graphics Core Next (GCN) mimarisini kullanıyor. Konsol, modern yapay zekâ modellerini çalıştırmaya yönelik genel amaçlı GPU araçları ve makine öğrenmesi kütüphaneleriyle gelmediğinden, hazır yazılımları doğrudan kullanmak mümkün değildi. Alegría bu engeli aşmak için OpenCL C ile GCN mimarisine özel GPU çekirdekleri geliştirdi.
Uygulama, geleneksel grafik sürücülerinin sunduğu işlevlere bağlı kalmak yerine GPU ile iletişim kurmak için özel olarak hazırlanan PM4 komut tamponlarından yararlanıyor. Bu yaklaşım, donanıma daha doğrudan erişim sağlarken yazılım geliştirme sürecini de karmaşıklaştırıyor. Başka bir deyişle, Garlic LLM yalnızca bir dil modelinin konsola kopyalanmasından ibaret değil; konsolun GPU’sunu bu tür bir iş yükünde kullanabilmek için özel bir çalışma altyapısı oluşturulmuş durumda.
Bellek sınırını aşmak için nicemleme
PlayStation 4’te CPU ve GPU’nun paylaştığı 8 GB GDDR5 bellek bulunuyor. İşletim sistemi ve uygulamanın diğer bileşenleri de bu belleği kullandığından, modelin tamamını yüksek hassasiyetle yüklemek mümkün değil. Garlic LLM, Alibaba’nın Qwen3.5-9B modelini yaklaşık 4,5 GB’lık bir alana sığdırmak için nicemleme tekniklerinden yararlanıyor.
Nicemleme, model ağırlıklarını daha az bellek kullanan sayısal biçimlerle temsil ederek modelin boyutunu küçültüyor. Bu projede ağırlıkların büyük bölümü 4-bit hassasiyette tutulurken bazı büyük matrislerde 3-bit hassasiyet kullanılıyor. Daha düşük hassasiyet, belleği verimli kullanmayı sağlıyor; ancak hesaplama sonuçlarında belli ölçüde değişiklik yaratabilir. Bu nedenle nicemleme, kapasite ile çıktı kalitesi arasındaki dengeyi gözeten bir optimizasyon olarak değerlendirilmeli.
Proje, modelin konuşma sırasında önceki metinleri hatırlamasına yardımcı olan KV önbelleğini de 4-bit hassasiyette kullanıyor. Paylaşılan bilgilere göre bu düzenleme, sistemin 16 bin tokenlık bir bağlam penceresini desteklemesine olanak tanıyor. Bağlam penceresi, modelin bir konuşmada ya da metin üzerinde aynı anda dikkate alabildiği içerik miktarını ifade ediyor. Bu değer tek başına modelin yanıt kalitesini belirlemiyor; fakat uzun etkileşimlerde önceki bilgilerin korunabilmesi açısından önem taşıyor.
Üretim hızını artıran tahmin yöntemi
Alegría’nın paylaştığı performans değerlerine göre Garlic LLM, PlayStation 4 üzerinde saniyede yaklaşık 31 ila 39 token üretebiliyor. Kod üretimi gibi belirli işlemlerde hızın saniyede 43 tokene kadar çıktığı belirtiliyor. Token, modelin metni işlerken kullandığı birimdir; her token bir kelimeye karşılık gelmez. Bu yüzden token/saniye değeri, yanıtın algılanan hızını gösteren yaklaşık bir ölçü olarak düşünülmeli.
Bu hız artışında spekülatif kod çözme yöntemi de rol oynuyor. Sistem, Qwen3.5 modelinin Multi-Token Prediction (MTP) özelliğinden yararlanarak bir işlem sırasında sonraki tokenlar için ileriye dönük tahminler yapabiliyor. Tahmin edilen içerik uygun olduğunda model daha az adımla metin üretebiliyor; uygun olmadığında ise doğrulama ve düzeltme süreci gerekiyor. Geliştiricinin aktardığına göre bu optimizasyon, üretim hızını saniyede yaklaşık 22 tokenden 31–39 token aralığına yükseltti.
Garlic LLM’nin ses desteği de bulunduğu belirtiliyor. Bu özellik, sistemin çevrimdışı bir yapay zekâ sohbet botu olarak kullanılabilmesini mümkün kılıyor. Bununla birlikte sesli etkileşimin hangi koşullarda ve hangi hızda çalıştığı, modelin metin üretim performansından ayrı değerlendirilmelidir. Paylaşılan hız rakamları, esas olarak modelin metin üretimine ilişkin geliştirici verileridir; farklı kullanım senaryolarında sonuçlar değişebilir.
Projenin önemi, PlayStation 4’ün günümüzün en güçlü yapay zekâ sistemleriyle yarışmasından değil, bu tür bir modelin yapay zekâ için tasarlanmamış bir cihazda çalıştırılmasından kaynaklanıyor. Daha büyük modeller, daha geniş bağlam pencereleri ve yüksek hassasiyetli hesaplamalar hâlâ çok daha güçlü donanım gerektiriyor. Yine de özel GPU kodları, bellek sıkıştırma yöntemleri ve üretim optimizasyonları bir araya geldiğinde, eski bir oyun konsolunun da yerel yapay zekâ deneyimine ev sahipliği yapabileceği gösterilmiş oluyor.










