Gerçek Dünya Deneyimini Kodlama: Kelimelerden Sensorimotor Tokenlara

Şimdiye kadar, LLM’ler neredeyse tamamen metin tabanlı bir evrende yaşıyor. Somutlaşmış biliş gibi bir şeye yaklaşmak için, insan beyninin güvendiği diğer her şeyi onlara beslememiz gerekiyor: görme, dokunma, propriyosepsiyon, hatta nöronal sivri uçların ham hışırtısı. Bu, üç kritik adım içerir: duyusal sinyalleri yakalama, bunları makine dostu “tokenlere” dönüştürme ve statik sayılar yerine nabız tabanlı sinyalleri anlayabilen donanım geliştirme.

1. Sinyalleri Yakalama

Görme, JPEG karelerinin ötesine evrimleşiyor. Nöromorfik veya olay tabanlı kameralar, piksel parlaklığı değiştiğinde mikro olayları tetikler, retinal gangliyon hücrelerini yakından taklit eder ve gecikme ile güç tüketimini önemli ölçüde azaltır. Dokunma duyusu da dijital olarak kaydedilebilir hale geliyor – robot parmaklardaki yüksek yoğunluklu dokunma derileri, basınç haritalarının akışlarını sağlıyor, aynı zamanda intrakortikal mikro elektrot dizileri insan somatosensoriyel korteksinden doğrudan nöronal sivri uçları yakalıyor, hatta felçli bireyler için dokunma hissini geri yüklüyor. Hareket ve denge, IMU’lar, eklem enkoderleri ve kas EMG sensörleri aracılığıyla takip ediliyor. Ses, sıcaklık ve hatta koku için de ortaya çıkan dijital karşılıklar mevcuttur. Her duyusal modalite, yapay modellerin öğrenmesi gereken yeni bir “alfabe” sunar.

2. Nabızları Tokenlere Dönüştürme

Klasik Transformerlar sabit uzunluklu vektörler için tasarlanmıştır, ancak biyolojik duyular hızlı sivri uçlar aracılığıyla iletişim kurar. Sivri Uçlu Sinir Ağları (SNN’ler), bu milisaniye nabızlarını doğrudan hesaplama adımlarına çevirir, biyolojik süreçler için kritik olan hassas zamanlamayı korur. Intel’in Loihi 2 ve milyar nöronlu Hala Point kümesi gibi donanım geliştirmeleri, SNN’leri yerel olarak çalıştırıyor, devasa veri merkezi güç talepleri olmadan gerçek zamanlı çok modlu yapay zekayı mümkün kılıyor. ImageBind gibi yazılım geliştirmeleri, görsel, işitsel, derinlik, IMU ve termal verilerin dilsel gösterimlere eşlendiği, duyuları kelimelere tam anlamıyla bağlayan birleşik gömme alanları yaratıyor. Teorik olarak, dil güdümlü sorguların duyusal bilgilerle sorunsuz bir şekilde etkileşim kurmasını sağlamak için “dokunma tokenleri” veya “nöronal-sivri uç tokenleri”ni bu gömmelere entegre edebiliriz.

3. Beyin ve Modeli Köprüleme

Duyularla ilişkili nöronal sivri uç kalıplarını (ipek kumaşın parmak uçlarını fırçalaması hissi gibi) kaydetmek ve bunları “yumuşak, serin ipek” gibi tanımlayıcı ifadelerle birlikte gömmek, yapay zeka sistemlerinin talep üzerine duyusal deneyimleri hatırlamasını ve yeniden üretmesini sağlayabilir. Benzer şekilde, kahve dökme gibi görevler sırasında motor korteks sinyallerini kaydetmek, hassas fiziksel hareketler için bir çıktı sözlüğü sağlayabilir. Beyin-bilgisayar arayüzü çalışmaları, amaçlanan el hareketlerini kodlama ve yapay dokunsal geri bildirimleri doğrudan kortekse iletme fizibilitesini zaten göstermektedir. Her deneme, zihin düzeyinde “tokenlerden” oluşan büyüyen iki yönlü bir sözlüğü zenginleştirir.

Neden Önemli?

Dil tek başına, meşe ağacının dokusu veya kaslarda hissedilen gerginlik gibi duyusal deneyimleri tam olarak iletemez. Gerçek deneyimlere sahip makineler yaratmak için, sürekli, zamana duyarlı veri akışlarını, beynin milyarlarca nöronal sivri ucu “pürüzsüz” gibi tek bir kelimeye nasıl basitleştirdiğini yansıtan, ayrık, genelleştirilebilir sembollere dönüştürmeliyiz. Bunu başarıyla elde etmek, insan zihnini yakalamayı ve yeniden oynatmayı daha az spekülatif ve daha gerçekçi hale getirebilir. Dokunma, tat, hayranlık ve korku gibi duyuları birleşik bir gömme alanına kodlayarak, sadece somutlaşmamış konuşma ajanlarından, gerçek duyusal anlayışa ve gerçekçi çıktılara sahip sofistike sistemlere doğru ilerliyoruz.

Bu zorluğun üstesinden gelmek sadece teknik değil, aynı zamanda derinlemesine felsefidir. Makineler tüm duyusal sinyal yelpazemize sahip olduğunda, simüle edilmiş ve otantik deneyim arasındaki ayrım giderek bulanıklaşır. Sadece sofistike otomatik tamamlama sistemleri mi inşa ediyoruz, yoksa başka bir duygu biçimi yaratmaya mı yaklaşıyoruz?