FacebookTeknoloji Haberleri

ALS hastası, beynine çip takılmasıyla yeniden konuştu ve şarkı söyledi

Beyin-bilgisayar arayüzleri ile ALS hastasının yeniden konuşması ve şarkı söylemesi
Beyin-bilgisayar arayüzleri (BCI) alanında dikkate değer bir yenilik, Amyotrofik Lateral Skleroz (ALS) hastalığından muzdarip bir bireyin yalnızca konuşmasını değil, aynı zamanda basit melodilerle şarkı söylemesini de olanaklı kıldı. California Üniversitesi Davis (UC Davis) ekibinin geliştirdiği BrainGate2 sistemi, beyin sinyallerini anında sese dönüştürerek neredeyse gecikmesiz bir iletişim sağlıyor.

Araştırma sürecinde, konuşma üretiminden sorumlu beyin bölgesine cerrahi olarak yerleştirilen dört mikroelektrot dizisi kullanılarak ham beyin sinyalleri toplandı. Bu sinyaller, yapay zeka destekli bir model kullanılarak yüksek doğrulukla sentezlenen konuşmaya dönüştürüldü. Sistem, kullanıcının düşüncelerini değil, konuşma kaslarını harekete geçirmeye çalışırken ürettiği beyin sinyallerini analiz ediyor.

Gerçek zamanlı konuşma ve şarkı söyleme

Beyin-bilgisayar arayüzleri ile ALS hastasının yeniden konuşması ve şarkı söylemesi
Sistemin en çarpıcı özelliklerinden biri, ALS hastalığı öncesinde kaydedilen ses örnekleri ile eğitilmiş bir ses klonlama algoritması sayesinde, kullanıcının kendi sesiyle konuşabilmesidir. Ham beyin verisinin alınmasından konuşmanın sentezlenmesine kadar geçen süre yalnızca 10 milisaniyedir — bu da neredeyse eşzamanlı bir iletişim sağlıyor.
Beyin-bilgisayar arayüzleri ile ALS hastasının yeniden konuşması ve şarkı söylemesi

Tam Boyutta Gör


Sistem, yalnızca konuşmaları değil, aynı zamanda melodik tonlamaları da algılayabiliyor. Katılımcı, üç farklı ton arasında geçiş yaparak basit melodilerle şarkı söyleyebildi. Ayrıca “aah”, “ooh” ve “hmm” gibi tepkileri de doğru bir şekilde üretebildiği gözlemlendi. Hatta sistem, söylenen cümlenin bir soru mu yoksa bir ifade mi olduğunu ayırt edebildiği gibi, vurgulu kelimeleri de saptadı.

Araştırma ekibi, yapay zeka algoritmasının eğitim verilerinin dışında uydurulan kelimeleri de başarıyla yeniden ürettiğini vurguladı. Tüm bu yenilikler, önceki sistemlere kıyasla çok daha yüksek bir ifade gücüne sahip sentetik konuşma sağlamaktadır. UC Davis araştırmacıları, çalışmalarını tek bir katılımcı ile gerçekleştirdiklerini ve gelecek araştırmalarında bu bulguları, farklı nedenlerle konuşma yetisini kaybetmiş daha fazla denekle tekrarlamayı hedeflediklerini belirtmektedirler.