Yapay Zekâ
CluSTER, yapay zekâ eğitiminde tekrarı azaltıyor
KAIST, dil modellerine alan bilgisi kazandırırken eğitim verisini seçip GPU’lara dengeli dağıtan CluSTER yöntemini duyurdu. Belirli deneylerde eğitim süresi en fazla %69,6 azaldı.
KAIST araştırmacıları, büyük dil modellerinin belirli görevler için ek eğitiminde benzer örneklerin tekrar tekrar işlenmesini azaltan CluSTER yöntemini duyurdu. Yaklaşım, daha fazla işlemci eklemek yerine hangi verinin seçildiğine ve işlemciler arasında nasıl dağıtıldığına odaklanıyor.
Üniversitenin 2 Kasım 2026 tarihli açıklamasına konu olan çalışma, ilk olarak 11 Eylül 2026’da arXiv’e gönderildi. Üniversite, araştırmanın ekim ayında EMNLP 2026 konferansında sunulduğunu belirtiyor.
Yöntem, örnekleri modelin öğrenmesine yaptıkları benzer etkiye göre grupluyor. Her gruptan seçilen veriler paralel çalışan GPU’lara dengeli dağıtılıyor; grupların başlangıçtaki ağırlıkları, model güncellenirken hesaba katılıyor.
Makaledeki tıbbi soru-cevap deneyinde verinin yaklaşık %31’i kullanılırken eğitim süresi %69,6 azaldı. Ortalama sınama puanı, tüm veriyle eğitimdeki 48,5’ten 48,0’a indi. Bu sonuç, her görevde aynı doğruluğun korunduğu anlamına gelmiyor.
Kodlama ve tıbbi soru-cevap deneylerinde 7 milyar ve 13 milyar parametre ölçeğindeki modeller incelendi. Ana düzenek dört H100 GPU içeriyor; ayrıca sekiz GPU ile yapılan deneyler de raporlanıyor. Resmî uygulama kodu Apache 2.0 lisansıyla erişime açık.
Dil modellerini belirli bir alana uyarlamak ek hesaplama gerektiriyor. Veri seçimi ile paralel dağıtımı birlikte ele alan yaklaşım, bu işlemin daha az tekrarla yürütülebileceğine ilişkin deneysel bulgular sunuyor.
Sonuçlar araştırma ekibinin deneylerine dayanıyor. Çalışma tek bilgisayardaki çoklu GPU düzenekleriyle ve orta büyüklükte veri kümeleriyle sınırlı; çok sayıda bilgisayara ya da milyonlarca örneğe genellenmesi gösterilmiş değil. Duyuru ve makale en fazla %69,6 süre azalması verirken kod deposunun özeti %64,6 yazıyor; bu farkın nedeni açıklanmıyor.
Kaynaklar
- KAIST — 2 Kasım araştırma duyurusu
- arXiv — araştırma ve sürüm kaydı
- arXiv — tam yöntem, deneyler ve sınırlamalar
- KAIST DMLab — resmî kod deposu