FacebookTeknoloji Haberleri

Google’dan Gizliliğe Odaklanan İlk Büyük Dil Modeli: VaultGemma

Google’dan gizlilik odaklı ilk büyük dil modeli: VaultGemma
Google Research, yapay zeka alanında önemli bir adım atarak kullanıcı verilerini korumayı amaçlayan yeni bir büyük dil modeli (LLM) geliştirdi. VaultGemma adı verilen bu model, eğitildiği verileri “hafızasında saklama” riskini azaltan diferansiyel gizlilik (differential privacy) yöntemlerini kullanıyor.

AI ve gizlilik sorunu

Büyük yapay zeka modelleri geliştiren firmalar, kaliteli eğitim veri bulmakta genellikle zorluk yaşıyor. İnternet üzerindeki verileri toplarken, kullanıcıların hassas bilgileri ‘tesadüfen’ modele dahil olma riski artıyor. LLM’lerin çıktıları öngörülemez; yani ne üreteceklerini tahmin etmek çoğu durumda zordur. Aynı girdiler kullanılsa bile, çıktılar değişiklik gösterebilir veya model, eğitim verisinden bazı bilgileri doğrudan tekrar edebilir.

Dolayısıyla, hassas bilgiler modelin eğitiminde yer alırsa, modelin çıktılarında buna benzer tekrarlara rastlamak mümkün olabilir ve bu durum kullanıcı gizliliğini ihlal edebilir. Ayrıca, telif haklarıyla korunan içeriklerin modele dahil olması geliştiriciler için ayrı bir sorun ortaya çıkarabiliyor.

Google’dan gizlilik odaklı ilk büyük dil modeli: VaultGemma
Diferansiyel gizlilik, modelin eğitim sırasında eklenen rastgele gürültü ile bu tür “hafıza” risklerini azaltmayı amaçlıyor. Ancak bu yaklaşım, modelin doğruluğu ve hesaplama gereksinimleri üzerinde bazı etkiler yaratabiliyor. Google Research ekibi, diferansiyel gizliliğin model ölçekleme yasaları üzerindeki etkisini inceleyerek gürültü ve veri miktarının doğru dengesinin performans üzerinde belirleyici olduğunu ortaya koymuştur. Bu araştırmalar, VaultGemma’nın geliştirilmesine öncülük etmiştir.

VaultGemma nasıl geliştirildi?

Google’dan gizlilik odaklı ilk büyük dil modeli: VaultGemma

Tam Boyutta Gör


VaultGemma, Google’ın Gemma 2 temel modeli üzerine inşa edildi ve yaklaşık 1 milyar parametreye sahiptir. Modelin boyutu büyük olmasa da benzer boyutta gizlilik uygulaması yapılmamış modellerle karşılaştırıldığında rekabetçi bir performans sergilediği belirtiliyor. Araştırma ekibi, diferansiyel gizliliğin daha küçük, özel amaçlı LLM’lerde daha etkili çalıştığını vurgulamaktadır.

Google, VaultGemma’yı açık ağırlıklı bir model olarak yayımladı. Bu, kullanıcıların modeli indirebileceği ve değiştirebileceği anlamına geliyor; ancak kötüye kullanım yasağı ve Gemma lisansının şartlarına uyulması gerekmektedir. Model şu anda Hugging Face ve Kaggle üzerinden erişilebilir durumdadır.