Yeni yerli yapay zeka: “Kumru” neler yapabiliyor? İşte özellikleri

VNGRS tarafından geliştirilen Kumru LLM, sıfırdan eğitilen 7,4 milyar parametreli bir Türkçe büyük dil modeli olarak dikkat çekiyor.

VNGRS ekibi, Türkçe diline özgü yapısal özellikleri dikkate alarak, çok dilli modellerden türetilmeyen tamamen sıfırdan geliştirilmiş bir model inşa etti.

Şirket açıklamasında şu ifadeler yer aldı:

“Türkiye’nin şirket içinde konuşlandırılabilen temel bir LLM modeline ihtiyaç duyduğuna inanarak, Türkçe dilinde güvenlik, uyumluluk ve mükemmellik hususları göz önüne alındığında, tüketici sınıfı GPU’larda bile konuşlandırılabilen hafif, sıfır atışlı 7B parametreli bir LLM oluşturmaya karar verdik.”

Kumru, 7,4 milyar parametre kapasitesiyle yüksek dil işleme gücü sunarken, sadece 16 GB VRAM’e sahip donanımlarda bile çalışabiliyor. Bu özellik, modeli büyük sunucu altyapılarına gerek kalmadan kullanılabilir hale getiriyor.

Ayrıca “zero-shot” (sıfır atış) yeteneği sayesinde, daha önce görmediği görevlerde bile doğru tahminler üretebiliyor.

TEKNİK ÖZELLİKLERİ

Kumru, 45 günlük yoğun bir ön eğitim süreci sonunda geliştirildi. Eğitim, H100 ve H200 GPU’lar kullanılarak 500 GB’lık özenle temizlenmiş ve tekilleştirilmiş Türkçe veri kümesi üzerinde gerçekleştirildi.

Bu süreçte model, 300 milyar jetonla (kelime veya kelime parçası) eğitildi. Ardından, yaklaşık 1 milyon örnekten oluşan bir veri karışımıyla ince ayar (fine-tuning) aşaması tamamlandı.

Kumru’nun teknik yapısı, Mistral-v0.3 mimarisi üzerine inşa edildi. Ancak VNGRS ekibi, sürgülü pencere özelliğini devre dışı bırakarak modeli LLaMA-3 mimarisiyle eşdeğer hale getirdi. Ayrıca modelin öğrenme oranı, optimizasyon algoritması ve parti boyutu ayarları, LLaMA-3 teknik makalesi temel alınarak optimize edildi.

Kumru’nun bağlam uzunluğu 8.192 Türkçe jeton — yani yaklaşık 20 A4 sayfalık metin anlamına geliyor. Bu, modelin uzun belgeleri, raporları veya sözleşmeleri bir bütün olarak anlayabilmesini sağlıyor.

Kumru’nun en dikkat çekici yönlerinden biri de donanım verimliliği. Model, yalnızca 16 GB VRAM’e sahip RTX A4000 veya RTX 3090 gibi tüketici sınıfı GPU’larda çalışabiliyor.

AÇIK KAYNAK SÜRÜMÜ: KUMRU-2B

VNGRS, 7B modelinin yanı sıra daha küçük ve erişilebilir bir versiyonu olan Kumru-2B’yi de açık kaynak olarak yayınladı.

Bu model, 8.192 jetonluk bağlam uzunluğuna ve 300 milyar ön eğitim jetonuna sahip.

Üstelik sadece 4,8 GB bellekle çalışabiliyor, bu da mobil cihazlarda bile dağıtım yapılabileceği anlamına geliyor.

DİĞER MODELLERİ GERİDE BIRAKTI

Kumru, dilbilgisi düzeltme, özetleme, soru yanıtlama, makine çevirisi, doğal dil çıkarımı ve metin sınıflandırması gibi görevlerin yer aldığı 26 testten oluşan “Cetvel” değerlendirmesine tabi tutuldu.

Sonuçlara göre, Kumru-7B ve Kumru-2B, sadece Türkçe için optimize edilmiş mimarileri sayesinde, LLaMA-3.3 (70B), Gemma-3 (27B), Qwen-2 (72B) ve Aya (32B) gibi dev modelleri Türkçe odaklı görevlerde açık farkla geçti.

TÜRKÇE’NİN İNCELİKLERİNDE RAKİPSİZ

Özellikle dilbilgisi hatası düzeltme ve metin özetleme gibi Türkçenin yapısal özelliklerine dayalı görevlerde Kumru’nun mükemmel sonuçlar verdiği belirtildi.

Uzmanlar, modelin “Türkçenin nüanslarını doğal biçimde anlaması ve üretmesi” sayesinde, çok dilli büyük modelleri bile geride bıraktığını söylüyor.

BELGE İŞLEME VE ÖZETLEME ALANINDA GÜÇLÜ

Kumru, bireysel kullanımın ötesinde B2B (iş dünyası) uygulamaları için geliştirildi. Model, özellikle belge özetleme, bilgi çıkarımı, soru-cevap sistemleri ve kurumsal raporlama gibi senaryolarda dikkat çekici doğruluk oranlarına ulaşıyor.

VNGRS, Kumru’nun temel versiyonuna ek olarak, sağlık, finans, hukuk ve kamu gibi sektörler için özelleştirilmiş alt modeller geliştirmeyi planlıyor. Bu özel sürümler, sektörel verilerle eğitilerek daha doğru ve güvenli sonuçlar üretebilecek.

TEKNİK GÜCÜN ARKASINDA AKILLI MİMARİ

Kumru, Mistral-v0.3 mimarisi üzerine inşa edilip, LLaMA-3’e eşdeğer hale getirildi. 8.192 jetonluk bağlam uzunluğu sayesinde 20 sayfalık metinleri tek seferde işleyebiliyor. Üstelik yalnızca 16 GB VRAM gereksinimiyle, RTX A4000 veya RTX 3090 gibi tüketici GPU’larında rahatlıkla çalışabiliyor.

Kumru’nun küçük versiyonu olan Kumru-2B, açık kaynak olarak Hugging Face üzerinden erişilebilir durumda.

Bu model yalnızca 4,8 GB bellekle çalışabiliyor, bu da mobil cihazlar ve gömülü sistemlerde bile Türkçe yapay zeka çözümleri geliştirmeye olanak tanıyor.