UNIST Malzeme Bilimi ve Mühendislik Bölümü’ndeki Profesör Jiyun Kim ve araştırma ekibi tarafından geliştirilen, insan duygularını gerçek zamanlı olarak tanıyabilen devrim niteliğinde bir teknoloji geliştirildi. Bu yenilikçi teknoloji, duygulara dayalı hizmetler sunan gelecek nesil giyilebilir sistemler de dahil olmak üzere çeşitli endüstrileri devrim niteliğinde değiştirecek.
İnsan duygularının soyut ve belirsiz doğası nedeniyle duygusal bilgilerin anlaşılması ve doğru bir şekilde çıkarılması uzun süredir bir zorluk olmuştur. Bu sorunu çözmek için araştırma ekibi, kapsamlı duygusal bilgileri verimli bir şekilde kullanmak için sözel ve sözel olmayan ifade verilerini birleştiren çoklu modaliteye sahip bir insan duygu tanıma sistemi geliştirdi.
Bu sistemin temelinde, kişiselleştirilmiş deri entegre yüz arayüzü (PSiFI) sistemi bulunmaktadır. Bu sistem, kendinden güçlendirilen, kolay, esnek ve şeffaf bir sistemdir. İlk defa kullanılan çift yönlü triboelektrik gerilme ve titreşim sensörü, sözel ve sözel olmayan ifade verilerinin aynı anda algılanmasını ve entegrasyonunu sağlar. Sistem, gerçek zamanlı duygu tanıma için kablosuz veri transferi için bir veri işleme devresiyle tam entegredir.
Geliştirilen teknoloji, makine öğrenme algoritmalarını kullanarak, bireyler maskeli olsalar bile doğru ve gerçek zamanlı insan duygu tanıma görevlerini başarıyla gerçekleştirmektedir. Sistem ayrıca sanal gerçeklik (VR) ortamında bir dijital danışma uygulamasında da başarıyla kullanılmıştır.
Teknoloji, sürtünme şarjı fenomenine dayanmaktadır, bu fenomende nesneler sürtünme sonucu pozitif ve negatif yüklerine ayrılır. Özellikle, sistem dış güç kaynağı veya karmaşık ölçüm cihazlarına ihtiyaç duymadan kendi kendini üretebilen bir sistemdir.
Profesör Kim, “Bu teknolojilere dayanarak, bireylere özelleştirilebilen bir deri entegre yüz arayüzü (PSiFI) sistemi geliştirdik” dedi. Ekip, sürtünme şarj elektrotları için şeffaf bir iletken üretmek için yarı kürleme tekniklerinden yararlandı. Ayrıca, esneklik, elastikiyet ve şeffaflığı birleştiren çok açılı çekim tekniği kullanılarak kişiselleştirilmiş bir maske oluşturuldu.
Araştırma ekibi, yüz kası deformasyonu ve ses telleri titreşimlerinin tespitini başarıyla entegre ederek gerçek zamanlı duygu tanıma imkanı sağladı. Sistemin yetenekleri, kullanıcıların duygularına dayalı özelleştirilmiş öneriler sunan bir sanal gerçeklik “dijital danışma” uygulamasında gösterildi.
Çalışmanın ilk yazarı Jin Pyo Lee, “Bu geliştirilen sistemle, karmaşık ölçüm ekipmanlarına ihtiyaç duymadan sadece birkaç öğrenme adımıyla gerçek zamanlı duygu tanıma uygulanabilir. Bu, taşınabilir duygu tanıma cihazları ve gelecekteki duygu tabanlı dijital platform hizmetlerinin olanaklarını açmaktadır” dedi.
Araştırma ekibi, yüz kası deformasyonu ve ses gibi çoklu modalite verileri toplayarak gerçek zamanlı duygu tanıma deneyleri gerçekleştirdi. Sistem, minimal eğitimle yüksek duygusal tanıma doğruluğu sergiledi. Kablosuz ve özelleştirilebilir yapısı, giyilebilirlik ve kullanım kolaylığı sağlar.
Ayrıca, ekip, sistemini akıllı evler, özel sinemalar ve akıllı ofisler gibi çeşitli ortamlar için “dijital danışma” olarak kullanarak VR ortamlarına uyguladı. Sistemin farklı durumlarda bireysel duyguları tanıma yeteneği, müzik, film ve kitaplar için kişiselleştirilmiş öneriler sunmayı mümkün kılar.
Profesör Kim, “İnsanlarla makineler arasındaki etkileşimin etkili olması için insan-makine arayüzü (HMI) cihazlarının çeşitli veri türlerini toplama ve karmaşık entegre bilgileri işleme yeteneğine sahip olması gerekmektedir. Bu çalışma, insan bilgisinin karmaşık formları olan duyguların gelecek nesil giyilebilir sistemlerde kullanım potansiyelini göstermektedir” dedi.
Araştırma, Singapur Nanyang Teknik Üniversitesi’nden Profesör Lee Pui See ile işbirliği içinde yürütüldü ve Bilim ve Bilgi Teknolojisi Bakanlığı altında Kore Ulusal Araştırma Vakfı (NRF) ve Kore Malzeme Enstitüsü (KIMS) tarafından desteklendi. Çalışma, 15 Ocak tarihinde çevrimiçi olarak Nature Communications dergisinde yayımlandı.