Google araştırmacılarının incelediği yeni bir yaklaşım, yapay zekâ modellerinin sonradan öğrendiği bilgileri daha kalıcı hâle getirirken önceden edindikleri becerileri korumayı amaçlıyor. İnsan beyninin uyku sırasında anıları pekiştirmesinden esinlenen bu yöntem, bu nedenle yapay zekâ uyku yöntemi olarak anılıyor. Buradaki “uyku” ifadesi, modelin dinlendiği anlamına gelmiyor; sistemin yeni bilgi alımını geçici olarak durdurup öğrendiklerini düzenlediği ayrı bir hesaplama aşamasını tanımlıyor.

Bugün büyük dil modelleri, kullanıcıların sağladığı belgelerden ve sohbetlerden yararlanabiliyor. Ancak bu yararlanma çoğu zaman geçici oluyor: Model, bir konuşma sırasında verilen bilgiyi bağlamında kullanabilse de sohbet sona erdiğinde aynı bilgiyi genel bilgi dağarcığına kalıcı biçimde eklemeyebiliyor. Kullanıcıya özel bellek özellikleri bu sorunun bir bölümünü çözse de modelin temel parametrelerinin gerçekten güncellenmesiyle aynı şey değil.

Yeni yöntemin hedefi, modeli her yeni bilgi için baştan eğitmek yerine öğrenmeyi aşamalara bölmek. Model, günlük kullanım sırasında yeni içerikleri kısa süreli bir alanda biriktiriyor; daha sonra ayrı bir aşamada bu içerikleri mevcut bilgileriyle uyumlu biçimde kalıcılaştırmaya çalışıyor. Böylece öğrenme süreci hem daha düzenli hâle geliyor hem de güncellemenin modelin önceki yeteneklerine zarar verme riski azaltılıyor.

Kalıcı öğrenmenin önündeki temel sorun

Bir modele yeni bilgiler kazandırmanın yaygın yollarından biri yeniden eğitim ya da ince ayar (fine-tuning) uygulamak. Bu süreçte model, yeni örnekler üzerinden tekrar eğitiliyor. Ancak modelin ağırlıkları güncellendiği için yeni içeriğe uyum sağlama çabası, daha önce öğrendiği bilgileri ve becerileri olumsuz etkileyebiliyor. Bu olguya makine öğrenimi araştırmalarında yıkıcı unutma (catastrophic forgetting) deniyor.

Yıkıcı unutma özellikle sürekli öğrenme senaryolarında önem taşıyor. Çünkü bir modelin tek bir veri kümesi üzerinde iyi sonuç vermesi yeterli değil; gerçek kullanımda farklı alanlardan gelen yeni bilgileri zaman içinde edinmesi ve daha önce öğrendiklerini koruması bekleniyor. Örneğin yeni bir dilde çeviri yapmayı öğrenen sistemin, bu sırada eski dillerdeki performansını kaybetmemesi gerekiyor.

Bağlam içi öğrenme ise modele bir sohbet sırasında örnek veya açıklama sunarak o içerikten yararlanmasını sağlar; çoğu zaman modelin temel parametrelerini değiştirmez. Bu yöntem hızlı ve kullanışlı olsa da bilginin sohbet dışına taşınmasını garanti etmez. Google araştırmacılarının ele aldığı yaklaşım, kısa süreli kullanım ile parametrelerde kalıcı öğrenme arasına bir pekiştirme süreci ekleyerek bu iki sınırlamayı birlikte ele almayı hedefliyor.

Aktif aşama ve uyku aşaması

Sistemin ilk bölümü aktif, yani “uyanık” aşamadır. Model bu aşamada kullanıcı girdilerini işler, görevleri yerine getirir ve yeni içerikleri geçici belleğinde tutar. Ancak her yeni bilgi alındığı anda ana modelin kalıcı parametreleri değiştirilmez. Bu ayrım, gündelik kullanım sırasında yapılan güncellemelerin eski becerileri beklenmedik biçimde bozmasını önlemeye yardımcı olabilir.

Belirli aralıklarla devreye giren uyku aşamasında ise model yeni kullanıcı girdilerini işlemeyi bırakır ve kaynaklarını öğrenme sürecine ayırır. Bu aşamada geçici bellekteki içerikler değerlendirilir, yararlı görülen bilgiler modelin kalıcı kapasitesine aktarılır ve modelin önceki performansını koruyup korumadığı sınanır. Dolayısıyla “uyku”, bir benzetmenin yanı sıra canlı kullanım ile model güncellemesini birbirinden ayıran bir çalışma düzenidir.

Bu düzenin iki ana bileşeni bulunuyor: hafıza pekiştirme ve rüya görme. Hafıza pekiştirme, yeni edinilen bilgilerin kalıcı öğrenmeye aktarılmasına odaklanıyor. Rüya görme ise modelin kendi ürettiği sentetik örneklerle alıştırma yapmasını ve farklı bilgi parçaları arasında yeni bağlantılar kurmasını amaçlıyor. İki aşama da uyku benzetmesinden yararlansa da teknik olarak ayrı işlevler üstleniyor.

MoE mimarisi ve yeni uzman modüller

Pekiştirme sürecinde Mixture of Experts (MoE) adı verilen mimariden yararlanılıyor. MoE, tek bir büyük ağın her görevde bütün bölümlerini çalıştırması yerine, girdiye uygun uzman alt ağları seçerek işlem yapmasına dayanıyor. Böylece belirli bir konu ya da görev için ilgili uzmanlar devreye girerken diğer uzmanlar aynı ölçüde değişime maruz kalmıyor.

Araştırmada uyku aşaması sırasında mevcut yapıya düşük dereceli (low-rank) yeni uzman modüller eklenmesi de ele alınıyor. Bu modüller, modele ek öğrenme kapasitesi kazandırmayı amaçlıyor. Temel fikir, her yeni bilgiyi mevcut parametrelerin üzerine doğrudan yüklemek yerine, gerektiğinde kullanılabilecek ek uzmanlar oluşturarak eski bilginin zarar görme riskini azaltmak.

Bu yaklaşım, eski kapasiteyi korumayı tek başına garanti etmiyor; bunun için öğrenme ve değerlendirme adımlarının birlikte çalışması gerekiyor. Yeni uzmanların hangi bilgileri edineceği, mevcut uzmanlarla nasıl ilişkilendirileceği ve modelin önceki görevlerdeki performansının nasıl ölçüleceği sistemin başarısını etkileyen unsurlar arasında yer alıyor.

Bilgiyi aktarma ve becerileri koruma teknikleri

Geçici bellekte tutulan içeriğin daha geniş kapasiteli modele aktarılması için Knowledge Seeding adı verilen, “yukarı doğru damıtma” olarak tanımlanan bir yöntem kullanılıyor. Buradaki amaç, kısa süreli bellekte bulunan yeni bilginin daha büyük model tarafından öğrenilebilir bir biçime dönüştürülmesi. Bilginin yalnızca kopyalanması değil, modelin mevcut temsil yapısıyla ilişkilendirilmesi hedefleniyor.

Bu aktarımda Genel Bilgi Damıtma (GKD) ile pekiştirmeli öğrenmeye dayalı taklit öğrenimi birlikte kullanılıyor. Damıtma yöntemleri, bir öğretmen modelin veya daha kapsamlı bir sistemin çıktılarından yararlanarak başka bir modelin öğrenmesini sağlar. Taklit öğrenimi ise modelin örnek çıktıları izleyerek uygun davranışı edinmesine odaklanır. Bu tekniklerin birlikte kullanılması, yeni içeriğin aktarılmasıyla modelin beklenen yanıt biçimini öğrenmesini aynı sürece bağlamayı amaçlıyor.

Learning to Imitate (LTI) yöntemi de model çıktısını öğretmen modelin yanıtıyla karşılaştırıyor. Bu karşılaştırma yalnızca kelimelerin birebir aynı olup olmadığına dayanmıyor; anlamın korunması da dikkate alınıyor. Metinler arasındaki düzenleme farkını ölçen Levenshtein mesafesi, bir diziyi diğerine dönüştürmek için gereken ekleme, silme veya değiştirme işlemlerini sayıyor. Bu ölçüt tek başına anlamı değerlendirmese de başka değerlendirmelerle birlikte yanıtların biçimsel yakınlığını ölçmeye yardımcı olabiliyor.

Uyku aşamasının sonunda uygulanan sinaptik budama ile geçici belleğin temizlenmesi amaçlanıyor. Bu adım, her konuşma ayrıntısının kalıcı belleğe taşınmasını önleyip yalnızca öğrenme süreci için seçilen içeriğin tutulmasına yardımcı olabilir. Ancak budama, önemli bilginin yanlışlıkla elenmemesi için dikkatli tasarlanmalı; aksi takdirde öğrenilmesi gereken içerik de kaybolabilir.

Modelin “rüyaları” nasıl oluşturuluyor?

Rüya görme aşamasında model, eğitim için kullanılabilecek sentetik örnekler üretir. Bu örnekler doğrudan kullanıcı verisinin tekrarı olmak zorunda değildir. Yöntemde MoE mimarisindeki uzmanlar arasından farklı seçimler yapılarak çeşitli bilgi alanlarının bir araya getirilmesi hedeflenir. Böylece model, tek bir uzmanlık alanıyla sınırlı kalmayan yeni alıştırmalar oluşturabilir.

Üretilen her örneğin eğitim açısından eşit değeri olmayabileceği için sistem, gelişim potansiyeli yüksek örnekleri seçmeye çalışır. Gradyan tabanlı veri seçimi, bir örneğin modelin öğrenme sürecini ne ölçüde etkileyebileceğini değerlendirmek için kullanılıyor. Seçilen örnekler daha sonra gözetimli ince ayar ve pekiştirmeli öğrenme gibi yöntemlerle işleniyor.

Sentetik veri üretmenin olası yararı, modelin daha önce karşılaşmadığı kombinasyonlar üzerinde kontrollü alıştırma yapabilmesi. Bununla birlikte, modelin kendi ürettiği örnekler hatalı veya tek yönlü olabilir. Bu nedenle örnek seçimi ve değerlendirme kritik önem taşıyor: Modelin yanlış bir bilgiyi tekrar tekrar üretmesi, o hatayı pekiştirme riski taşır. Araştırma yaklaşımında seçme ve eğitim adımlarının bulunması bu riski yönetmeye yönelik olsa da sentetik verinin kalitesi ayrıca incelenmelidir.

Deneylerde bildirilen sonuçlar

Araştırmacılar yöntemi, az kaynaklı Mançu ve Kalamang dillerindeki çeviri görevleri gibi senaryolarda değerlendirdi. Az kaynaklı diller, eğitim için çok sayıda dijital metin veya etiketli örnek bulunmayan diller anlamına geliyor. Bu tür görevler, bir modelin sınırlı yeni veriden ne kadar öğrenebildiğini ve önceki becerilerini güncelleme sırasında ne ölçüde koruduğunu incelemek için yararlı bir sınama alanı sunuyor.

Aktarılan sonuçlara göre sistem, birden fazla öğrenme aşamasından sonra önceki görevlerdeki performansını büyük ölçüde korudu. Buna karşılık araştırmada karşılaştırılan geleneksel ince ayar ve bağlam içi öğrenme yaklaşımlarında daha belirgin performans düşüşleri gözlemlendi. Bu sonuçlar, yöntemin farklı görevler arasında denge kurma potansiyeline işaret ediyor; ancak performans değerlendirmeleri kullanılan veri kümeleri ve deney koşulları çerçevesinde yorumlanmalı.

BABILong testinde sistemin 10 milyon token uzunluğundaki bağlamlarda neredeyse kusursuz sonuç verdiği bildirildi. Çok uzun bağlamlı değerlendirmeler, modelin geniş bir metin içinde gerekli bilgiyi bulup kullanma becerisini sınar. Araştırmada elde edilen sonuçların GPT-4 ve Titans gibi sistemlerle karşılaştırıldığı da aktarılıyor. Bu tür kıyaslamalarda model sürümü, görev tanımı, değerlendirme ölçütü ve deney düzeni sonucu etkileyebileceğinden, karşılaştırmaların kapsamını göz önünde bulundurmak gerekir.

Google’ın paylaştığı bilgilere göre yaklaşım, SQuAD değerlendirmesinde yüzde 48,9; sürekli ön eğitim değerlendirmesinde ise yüzde 46,2 başarıya ulaştı. Bu sonuçların temel model, geleneksel ince ayar ve SEAL gibi yöntemlerin üzerinde olduğu belirtiliyor. Ancak verilen yüzdelerin hangi özel ölçütlere göre hesaplandığı ve sonuçların farklı koşullarda ne ölçüde tekrarlanabildiği de performansı doğru yorumlamak için önemlidir.

Yöntemin olası katkısı ve açık kalan sorular

Yapay zekâ uyku yöntemi, modellerin yeni bilgileri yalnızca tek bir sohbet boyunca kullanması ile her güncellemede yeniden eğitilmesi arasındaki boşluğu kapatmayı hedefliyor. Aktif kullanım sırasında bilgiyi geçici olarak toplamak, ardından planlı bir aşamada pekiştirmek; kişiselleştirilmiş ve zaman içinde güncellenen modeller için yararlı bir tasarım fikri olabilir. Özellikle daha önce öğrendiklerini koruma başarısı, sürekli öğrenme alanındaki temel sorunlardan birine doğrudan yanıt arıyor.

Buna rağmen yöntem, modellerin herhangi bir denetim olmadan güvenilir biçimde öğrenebileceğini tek başına kanıtlamıyor. Hangi bilgilerin kalıcılaştırılacağı, çelişen içeriklerin nasıl çözüleceği, hatalı kullanıcı girdilerinin nasıl ayıklanacağı ve modelin hassas bilgileri belleğe almasının nasıl önleneceği gibi soruların yanıtlanması gerekiyor. Ayrıca uyku aşamasında gereken hesaplama kaynakları ve bu işlemin ne sıklıkta uygulanacağı da gerçek ürünlerdeki kullanımı belirleyecek etkenler arasında.

Araştırma, yapay zekâ sistemlerinin öğrendiklerini dönemsel olarak düzenleyip pekiştirebileceği bir geleceğe yönelik deneysel bir yaklaşım sunuyor. Bildirilen sonuçlar umut verici olsa da yöntemin pratik ürünlere hangi biçimde ve ne zaman aktarılacağına ilişkin bir takvim paylaşılmış değil. Bu nedenle en doğru değerlendirme, yaklaşımı kalıcı öğrenme ve yıkıcı unutma sorunlarına yönelik ilgi çekici bir araştırma yönü olarak görmek; gerçek kullanım başarısının ise daha geniş deneyler ve uygulamalarla ortaya çıkmasını beklemektir.