Autor: Daria Hemmerling. Starszy inżynier ds. badań i rozwoju w firmie SoftServe, jednej z sześciu organizacji partnerskich projektu TOUCHLESS AI , oraz profesor nadzwyczajny na Akademii Górniczo-Hutniczej w Krakowie.

Wyobraź sobie, że idziesz ulicą i niespodziewanie spotykasz swojego starego przyjaciela. Co byś zrobił najpierw?

Niech zgadnę – pewnie byś go uściskał albo przynajmniej podał rękę. I jest to całkowicie normalna i bardzo naturalna reakcja człowieka. Od najmłodszych lat jesteśmy przyzwyczajeni do dotykania przedmiotów i bycia dotykanym, wyrażania siebie za pomocą mowy ciała i rozumienia uczuć innych ludzi poprzez odbiór ich biosygnałów. Na przykład, kiedy czujemy się zaniepokojeni lub zdenerwowani, pocimy się, nasze tętno wzrasta, a niektórzy zaczynają się wiercić – są to sygnały, które łatwo uchwycić na żywo. Jednak, kiedy spotkania coraz częściej odbywają się online, trudniej jest śledzić te emocje.

Ta drastyczna zmiana w komunikacji międzyludzkiej nie pozostała niezauważona – zespół sześciu organizacji postawił sobie ambitny cel, aby pomóc ludziom zaspokoić potrzebę dotyku w sieci z pomocą nowoczesnych technologii oraz neurokognitywistyki. Projekt o nazwie TOUCHLESS AI, wspierany w ramach unijnego programu finansowania Horyzont 2020, łączy jedne z najlepszych uniwersytetów w świecie, jak University College London, University of Copenhagen, Public University of Navarra oraz wiodące firmy technologiczne, takie jak Crowdhelix, Ultraleap i SoftServe, w którego zespole badawczo-rozwojowym pracuję. TOUCHLESS AI ma na celu wzbogacenie wirtualnej komunikacji poprzez rozwój następnej generacji technologii haptycznych z wykorzystaniem modeli neurokognitywnych i nowych ram sztucznej inteligencji (AI) do 2023 r.

Dzięki temu rozwiązaniu, nawet gdy z przyjacielem możesz spotkać się wyłącznie online, będziesz mógł poczuć, że się do niego przytulasz, będąc po drugiej stronie ekranu.

CZYM JEST HAPTYKA NOWEJ GENERACJI?

Aby zrozumieć naturę opracowywanej przez nas technologii haptycznej nowej generacji, zacznijmy od podstaw.

Według Oxford’s Lexico, haptyka to „zastosowanie technologii, która stymuluje zmysł dotyku i ruchu, szczególnie w celu odtworzenia w zdalnym działaniu lub symulacji komputerowej wrażeń, które byłyby odczuwane przez użytkownika wchodzącego w bezpośrednią interakcję z obiektami fizycznymi”. Najprościej mówiąc, jest to nauka i technologia przekazywania i rozumienia informacji za pomocą zmysłu dotyku.

Pamiętasz, jak Twój telefon wibruje, gdy coś piszesz lub grasz w gry? Jest to haptyczne sprzężenie zwrotne, czyli sposób komunikacji i przekazywania informacji za pomocą dotyku. Być może słyszałeś także o rękawicach haptycznych lub kombinezonach, które pozwalają użytkownikom poczuć kształt przedmiotu, a nawet doświadczyć dotyku ducha w grze. Wszystkie te urządzenia są urządzeniami noszonymi na ciele i mogą przekazywać tylko informacje funkcjonalne dotyczące dotyku.

W ramach TOUCHLESS AI staramy się opracować coś bardziej niezwykłego. Nasz zespół pracuje nad technologią haptyczną nowej generacji, która nie wymaga kontaktu z żadnymi rękawicami, kombinezonami czy kontrolerami. Dzięki haptyce w powietrzu wystarczy trzymać rękę w powietrzu nad specjalnym urządzeniem, a połączone fale ultradźwiękowe wywołują wrażenie dotyku na skórze. Podobna technologia została już wprowadzona w niektórych projektach, m.in. w projekcie SoftServe: Touch my heart, który umożliwia użytkownikom oglądanie, dotykanie i poruszanie powiększonym ludzkim sercem, które bije z częstotliwością bicia serca osoby go dotykającej w rzeczywistości mieszanej, za pomocą generowanych komputerowo bodźców sensorycznych, w tym ultradźwięków.

Jednak tym razem nasz zespół chce wyjść poza zwykły dotyk fizyczny i stworzyć odczucia oraz pomóc w przekazywaniu pewnych istotnych sygnałów, których brakuje podczas komunikacji online.

Obejrzyj WIDEO, aby zobaczyć, jak to działa:

WIĘCEJ NIŻ TYLKO DOTYK

Wszystkie nasze emocje, słowa i mowa ciała są powiązane ze zmianami w naszym stanie psychicznym. Na przykład, gdy jesteśmy zdenerwowani, pocimy się. Nasze serce zaczyna bić szybciej. Jak już wspomniałam, jest to wyraźnie widoczne podczas komunikacji twarzą w twarz, ale umyka podczas spotkań online. Takie biosygnały są jednak niezbędne w naszych interakcjach, ponieważ tworzą poczucie intymności i empatii.

Stwierdzenie to nie jest moim czystym przypuszczeniem. Sprawdziliśmy to podczas naszego eksperymentu, który wykazał udany transfer biosygnałów w sposób całkowicie bezkontaktowy. Z jednej strony można było zobaczyć emocjonalne nagranie wideo, na którym umierający mężczyzna żegna się ze swoim synem. Przed startem zmierzyliśmy jego tętno za pomocą nagradzanego rozwiązania Biosense opracowanego przez SoftServe, które może mierzyć puls osoby na podstawie analizy pikseli na nagraniu wideo.

Z drugiej strony zaprosiliśmy 20 uczestników i podzieliliśmy ich na dwa zespoły po 10 osób każdy. Jeden zespół oglądał tylko film, a drugi dokonał tego za pomocą transferu biosygnałów w powietrzu. Dla osób, które posiadały urządzenie haptyczne, stworzyliśmy wzór bicia serca aktora w postaci okręgu o dynamicznie zmieniającym się promieniu, oscylującym między 2 a 5 cm. Uczestnicy trzymali ręce nad urządzeniem i wyczuwali dynamicznie pulsujący okrąg na swojej dłoni, dając uczucie dotyku bijącego serca. Kiedy aktor był bardziej zdenerwowany, bicie serca było szybsze, a uczestnicy mogli je wyczuć za pomocą ultrasonografu.

/uploads/stories/how-to-feel-touch-in-the-air-eu-horizons-project-strives-to-regain-intimacy-in-virtual-communication/inside-photo.jpg?1669153935580

Podczas eksperymentu mierzyliśmy także biosygnały obu grup, takie jak tętno i reakcję skórno-galwaniczną (czyli, mówiąc najprościej, pocenie się), aby zrozumieć, jak uczestnicy reagowali na film. Dodatkowo, po tym, jak skończyli oglądać film, zadaliśmy im kilka pytań. Okazało się, że grupa z urządzeniami haptycznymi była bardziej smutna i bardziej zaangażowana w film, a jej tętno lepiej korelowało z zachowaniem aktora. Oczywiście potrzebne są dalsze badania, aby potwierdzić te twierdzenia, jednak już na tym etapie widać, że przekazywanie biosygnałów za pomocą technologii bezdotykowej może wzbogacić naszą komunikację i zaangażowanie podczas rozmów wideo.

PRZYSZŁOŚĆ KOMUNIKACJI

Dla wielu rodzin żyjących w dużej odległości poczucie dotyku może mieć ogromne znaczenie. Właściwie jestem jedną z tych osób, ponieważ mój chory ojciec mieszka daleko ode mnie i bardzo rzadko spotykamy się osobiście. Najczęściej rozmawiamy przez Internet i nie możemy się przytulać ani trzymać za ręce. Technologia ta może więc pozwolić nam odczuwać zmysł dotyku podczas rozmów wideo. Wyobraź sobie, że możesz na przykład połaskotać rodzeństwo w rękę i zobaczyć, jak się uśmiecha.

Naszym celem jest opracowanie nowej generacji bezdotykowych technologii haptycznych, które wywołują reakcje receptorów, a także reakcje afektywne, społeczne i poznawcze. Na obecnym etapie projektu modele sztucznej inteligencji mogą mierzyć tętno na podstawie nagrania wideo, analizować głos, pozę i inne biosygnały w celu rozpoznania naszych emocji, tak aby w przyszłości można je było przekazywać za pomocą haptyki w powietrzu.

W tym celu musimy stworzyć kilka różnych wzorów odpowiednich do naszych emocji. Na przykład można poczuć, jak szczotka przesuwa się po dłoni w górę i w dół, co jest przyjemne i relaksujące oraz może symbolizować spokój. A gdy jesteśmy źli, wzorzec może odzwierciedlać to z większą intensywnością. W zależności od tego, jakie emocje odczuwasz, komputer będzie mógł wysłać określony wzorzec do urządzeń dotykowych, aby twój partner mógł dzielić z tobą te emocje.

Mamy duży interdyscyplinarny zespół, który zajmuje się różnymi aspektami technologii, a także doświadczeniami społecznymi i psychofizyką. Na przykład partnerzy uniwersyteccy pracują nad naukami kognitywnymi, generując różne wzory i badając ludzkie odczucia z nimi związane. Ultraleap zajmuje się produkcją urządzeń haptycznych, a SoftServe znajduje się w samym środku, ponieważ to my tworzymy oprogramowanie, które stworzy silnik sztucznej inteligencji do modulacji haptycznej. Pozostało nam 1,5 roku na ukończenie koncepcji, a następnym krokiem powinna być komercjalizacja, tak aby ludzie na całym świecie mogli wykorzystywać tę technologię w codziennej komunikacji.

Rozpoczęliśmy ten projekt na początku pandemii, kiedy wiele osób straciło możliwość przytulenia się do rodziny i przyjaciół z powodu koronawirusa. Obecnie, gdy sytuacja uległa poprawie, dla wielu ludzi na całym świecie komunikacja online nadal pozostaje jedynym sposobem kontaktu. Technologia TOUCHLESS AI może znacząco poprawić sposób, w jaki się komunikują i stworzyć poczucie więzi, bez względu na odległość.