UC Davis Health tarafından geliştirilen teknoloji, kişilerarası iletişimi geri yükler.

Yeni bir beyin-bilgisayar arayüzü, beyin sinyallerini yüzde 97’ye varan doğrulukla konuşmaya çevirir. Araştırmacılar, amyotrofik lateral skleroz (ALS) nedeniyle ciddi şekilde konuşma bozukluğu olan bir adamın beynine sensörler yerleştirdiler. Adam, sistemi etkinleştirdikten birkaç dakika sonra amaçladığı konuşmayı iletebildi.UC Davis Health’te geliştirilen yeni bir beyin-bilgisayar arayüzü (BCI), beyin sinyallerini %97’ye varan doğrulukla konuşmaya dönüştürüyor – türünün en doğru sistemi.

Araştırmacılar, amyotrofik lateral skleroz (ALS) nedeniyle ciddi şekilde konuşma bozukluğu olan bir adamın beynine sensörler yerleştirdiler. Adam, sistemi etkinleştirdikten birkaç dakika sonra amaçladığı konuşmayı iletebildi.

Bu çalışmayla ilgili bir çalışma bugün New England Journal of Medicine’de yayınlandı.

Lou Gehrig hastalığı olarak da bilinen ALS, vücuttaki hareketi kontrol eden sinir hücrelerini etkiler. Hastalık, ayakta durma, yürüme ve ellerini kullanma yeteneğinin kademeli olarak kaybolmasına yol açar. Ayrıca, bir kişinin konuşmak için kullanılan kasların kontrolünü kaybetmesine neden olarak anlaşılır konuşma kaybına yol açabilir.

Yeni teknoloji, felç veya ALS gibi nörolojik durumlar nedeniyle konuşamayan insanlar için iletişimi yeniden sağlamak için geliştiriliyor. Kullanıcı konuşmaya çalıştığında beyin sinyallerini yorumlayabilir ve bunları bilgisayar tarafından yüksek sesle ‘konuşulan’ metne dönüştürebilir.

UC Davis beyin cerrahı David Brandman, “BCI teknolojimiz, felçli bir adamın arkadaşları, aileleri ve bakıcılarıyla iletişim kurmasına yardımcı oldu” dedi. “Makalemiz, şimdiye kadar bildirilen en doğru konuşma nöroprotezini (cihazı) gösteriyor.”

Brandman, bu çalışmanın ortak araştırmacısı ve ortak kıdemli yazarıdır. UC Davis Nörolojik Cerrahi Bölümü’nde yardımcı doçent ve UC Davis Nöroprotez Laboratuvarı’nın eş direktörüdür.

Yeni BCI iletişim engelini aşıyor

Birisi konuşmaya çalıştığında, yeni BCI cihazı beyin aktivitelerini bir bilgisayar ekranındaki metne dönüştürür. Bilgisayar daha sonra metni yüksek sesle okuyabilir.

Sistemi geliştirmek için ekip, ALS’li 45 yaşındaki bir erkek olan Casey Harrell’i BrainGate klinik denemesine dahil etti. Kayıt olduğu sırada Harrell’in kollarında ve bacaklarında güçsüzlük (tetraparezi) vardı. Konuşmasını anlamak çok zordu (dizartri) ve başkalarının onun için tercüme etmesine yardımcı olmasını gerektiriyordu.

Temmuz 2023’te Brandman, araştırma amaçlı BCI cihazını implante etti. Konuşmayı koordine etmekten sorumlu bir beyin bölgesi olan sol precentral gyrus’a dört mikroelektrot dizisi yerleştirdi. Diziler, 256 kortikal elektrottan gelen beyin aktivitesini kaydetmek için tasarlanmıştır.

Sinirbilimci Sergey Stavisky, “Kaslarını hareket ettirme ve konuşma girişimlerini gerçekten tespit ediyoruz” dedi. Stavisky, Nörolojik Cerrahi Anabilim Dalı’nda yardımcı doçenttir. UC Davis Nöroprotez Laboratuvarı’nın eş direktörü ve çalışmanın ortak araştırmacısıdır. “Beynin bu komutları kaslara göndermeye çalışan kısmından kayıt yapıyoruz. Ve biz temelde bunu dinliyoruz ve bu beyin aktivitesi kalıplarını bir fonem haline getiriyoruz — bir hece veya konuşma birimi gibi — ve sonra söylemeye çalıştıkları kelimeler.

Daha hızlı eğitim, daha iyi sonuçlar

BCI teknolojisindeki son gelişmelere rağmen, iletişimi sağlama çabaları yavaş ve hatalara açık olmuştur. Bunun nedeni, beyin sinyallerini yorumlayan makine öğrenimi programlarının gerçekleştirilmesi için büyük miktarda zaman ve veri gerektirmesidir.

“Önceki konuşma BCI sistemlerinde sık sık kelime hataları vardı. Bu, kullanıcının tutarlı bir şekilde anlaşılmasını zorlaştırdı ve iletişimin önünde bir engel oluşturdu,” diye açıkladı Brandman. “Amacımız, birinin konuşmak istediğinde anlaşılmasını sağlayan bir sistem geliştirmekti.”

Harrell, sistemi hem istemli hem de spontane konuşma ortamlarında kullandı. Her iki durumda da, konuşma kod çözme, doğru çalışmasını sağlamak için sürekli sistem güncellemeleriyle gerçek zamanlı olarak gerçekleşti.

Kodu çözülen kelimeler bir ekranda gösterildi. Şaşırtıcı bir şekilde, ALS olmadan önce Harrell’ınkine benzeyen bir sesle yüksek sesle okundular. Ses, ALS öncesi sesinin mevcut ses örnekleriyle eğitilmiş yazılım kullanılarak bestelendi.

İlk konuşma verisi eğitim oturumunda, sistemin 50 kelimelik bir kelime dağarcığı ile %99,6 kelime doğruluğu elde etmesi 30 dakika sürdü.

“The first time we tried the system, he cried with joy as the words he was trying to say correctly appeared on-screen. We all did,” Stavisky said.

In the second session, the size of the potential vocabulary increased to 125,000 words. With just an additional 1.4 hours of training data, the BCI achieved a 90.2% word accuracy with this greatly expanded vocabulary. After continued data collection, the BCI has maintained 97.5% accuracy.

“At this point, we can decode what Casey is trying to say correctly about 97% of the time, which is better than many commercially available smartphone applications that try to interpret a person’s voice,” Brandman said. “This technology is transformative because it provides hope for people who want to speak but can’t. I hope that technology like this speech BCI will help future patients speak with their family and friends.”

Çalışma, 32 hafta boyunca 84 veri toplama oturumu hakkında rapor vermektedir. Toplamda, Harrell, yüz yüze ve görüntülü sohbet üzerinden iletişim kurmak için 248 saatten fazla bir süredir kendi hızınızda konuşmalarda BCI konuşmasını kullandı.

“İletişim kuramamak çok sinir bozucu ve moral bozucu. Sanki kapana kısılmış gibisin,” dedi Harrell. “Bu teknoloji gibi bir şey, insanların hayata ve topluma geri dönmelerine yardımcı olacak.”

Çalışmanın baş yazarı Nicholas Card, “Casey’nin bu teknoloji aracılığıyla ailesi ve arkadaşlarıyla konuşma yeteneğini yeniden kazandığını görmek son derece ödüllendirici oldu” dedi. Card, UC Davis Nörolojik Cerrahi Bölümü’nde doktora sonrası bir bilim adamıdır.

“Casey ve diğer BrainGate katılımcılarımız gerçekten olağanüstü. Bu erken klinik çalışmalara katıldıkları için muazzam bir övgüyü hak ediyorlar. Bunu, herhangi bir kişisel fayda elde etmeyi umdukları için değil, felçli diğer insanlar için iletişimi ve hareketliliği yeniden sağlayacak bir sistem geliştirmemize yardımcı olmak için yapıyorlar” diyor ortak yazar ve BrainGate deneme sponsoru-araştırmacısı Leigh Hochberg. Hochberg, Massachusetts General Hospital, Brown Üniversitesi ve VA Providence Sağlık Sistemi’nde nörolog ve sinirbilimcidir.

Yeni beyin-bilgisayar arayüzü, ALS’li adamın tekrar ‘konuşmasına’ izin veriyor | Bilim Günlüğü (sciencedaily.com): Yeni beyin-bilgisayar arayüzü, ALS’li adamın tekrar ‘konuşmasına’ izin veriyor.