Google Research ve DeepMind ekipleri, yapay zekâda gizlilik standartlarını yeniden tanımlayabilecek yeni bir büyük dil modeli geliştirdi. “VaultGemma” adı verilen model, diferansiyel gizlilik tekniğini performans kaybı olmadan uygulayabilmesiyle öne çıkıyor.
1 milyar parametreye sahip VaultGemma, Google’ın Gemma mimarisi üzerine inşa edildi. Model, veri kümelerine kontrollü gürültü ekleyerek kişisel bilgilerin tanımlanmasını engelleyen diferansiyel gizlilik algoritmalarını kullanıyor. Bu yöntem uzun süredir finans ve sağlık gibi düzenlemelere tabi sektörlerde yer bulsa da, büyük dil modellerine entegre edilmesi bugüne dek performans sorunları nedeniyle zorlu oluyordu. VaultGemma ise bu engeli aşmak üzere sıfırdan tasarlandı.
Google’ın cuma günü yayımladığı blog yazısına göre, araştırma ekibi diferansiyel gizlilik eğitiminde ortaya çıkan “hesaplama-gizlilik-kullanım” ödünlerini ortadan kaldırmaya odaklandı. Geleneksel ölçeklendirme yasalarının geçerliliğini yitirdiği bu süreçte, ekip yeni ölçeklendirme kuralları tanımlayarak daha büyük ve daha güvenli özel LLM’lerin geliştirilmesinin önünü açtı.
VaultGemma, MMLU ve Big-Bench gibi testlerde, gizliliği korurken önceki diferansiyel gizlilik odaklı modellerden çok daha yüksek performans sergiledi. Hatta bazı görevlerde, gizlilik kısıtlaması olmayan Gemma modelleriyle karşılaştırılabilir sonuçlar elde ettiği bildirildi. Bu özellik, özellikle hassas verilerin korunmasının kritik olduğu finans ve sağlık sektörleri için dikkat çekici bir yenilik olarak değerlendiriliyor.
Google araştırmacıları, VaultGemma’nın ağırlıklarını ve kod tabanını açık kaynak lisansı altında Hugging Face ve Kaggle üzerinden erişime açtı. Ayrıca geliştirilen yeni ölçeklendirme yasalarının, gelecekte trilyonlarca parametreye sahip çok daha büyük modellerin güvenli bir şekilde eğitilmesine kapı aralayabileceği vurgulandı.
