Мене звати Дарія Геммерлінг. Я Senior R&D engineer в SoftServe, одній з шести організацій-партнерів проєкту TOUCHLESS AI , і доцентка в Краківському науково-технічному університеті.

Уявіть собі, що ви йдете вулицею і несподівано зустрічаєте свого старого друга. Що ви зробите насамперед?

Дайте вгадаю – напевно, обіймете або, принаймні, потиснете руку. Це цілком нормальна і дуже природна реакція для людини. З перших днів життя ми звикли торкатися до речей і відчувати, як до нас торкаються, виражати себе мовою тіла, розуміти почуття інших людей, аналізуючи їхні біосигнали. Наприклад, коли ми відчуваємо тривогу або занепокоєння, ми пітніємо, у нас частішає серцебиття, а дехто починає метушитися—це ті сигнали, які легко помітити особисто. Однак, коли зустрічі все частіше відбуваються в режимі онлайн, відстежити ці емоції стає все важче.

Така кардинальна зміна в людському спілкуванні не пройшла непоміченою, тому команда з шести організацій поставила перед собою амбітну мету—за допомогою новітніх технологій та нейрокогнітивної науки допомогти людям задовольнити потребу в дотику онлайн. Проєкт під назвою TOUCHLESS AI* об'єднує такі визнані в академічному світі інституції, як University College London, University of Copenhagen, Public University of Navarre та провідні технологічні компанії, як Crowdhelix, Ultraleap та SoftServe, де я працюю в команді R&D. TOUCHLESS AI має на меті збагатити віртуальне спілкування шляхом розробки наступного покоління тактильних технологій (гаптики) з використанням нейрокогнітивних моделей та нової системи штучного інтелекту (ШІ) до 2023 року.

Таким чином, навіть коли ви зустрінетеся зі своїм старим другом онлайн, ви зможете відчути обійми одне одного, не роблячи цього фактично.

ЩО ТАКЕ ГАПТИКА НОВОГО ПОКОЛІННЯ?

Для того, щоб зрозуміти природу гаптики нового покоління, яку ми розробляємо, почнімо з основ.

Згідно з Оксфордським словником, гаптика – це «використання технології, яка стимулює відчуття дотику і руху, особливо для відтворення в дистанційному управлінні або комп’ютерному моделюванні відчуттів, які відчував би користувач, що безпосередньо взаємодіє з фізичними об'єктами». Простими словами, це наука і технологія передачі та розуміння інформації через відчуття дотику.

Пам’ятаєте, як вібрує ваш телефон, коли ви щось пишете або граєте в ігри? Це і є тактильний зворотний зв'язок (haptic feedback), спосіб спілкування та передачі інформації через дотик. Ви також могли чути про тактильні рукавички або навіть костюми, які дозволяють користувачам відчути форму предмета або навіть відчути дотик привида з гри . Все це стосується пристроїв, які можна носити на собі, і вони можуть передавати лише функціональну сенсорну інформацію.

Те, що ми намагаємося розробити в рамках проєкту TOUCHLESS AI, є чимось більш незвичайним. Наша команда працює над тактильною технологією нового покоління, яка не потребує контакту з будь-якими рукавичками, костюмами чи джойстиками. За допомогою технології mid-air haptics можна просто тримати руку в повітрі над спеціальним пристроєм, а комбіновані ультразвукові хвилі створять відчуття дотику до шкіри. Подібна технологія вже впроваджена в деяких проєктах, зокрема в Touch my heart від SoftServe. Він дозволяє користувачам переглядати, торкатися та рухати доповнене людське серце у змішаній реальності за допомогою комп'ютерних сенсорних входів, включно з ультразвуком.

Але цього разу наша команда хоче вийти за межі звичайного фізичного дотику і створити відчуття та допомогти передати деякі життєво важливі сигнали, яких бракує під час комунікації в режимі онлайн.

БІЛЬШЕ, НІЖ ПРОСТО ДОТИК

Всі наші емоції, слова та мова тіла пов’язані зі змінами в нашому психологічному стані. Наприклад, коли ми нервуємо, ми пітніємо. Серце починає битися швидше. Це, як я вже казала, можна добре помітити під час спілкування віч-на-віч, але не під час онлайн-зустрічей. Однак такі біосигнали є життєво важливими для нашої взаємодії, оскільки вони створюють відчуття близькості та емпатії.

Це твердження не є моїм голим припущенням. Ми перевірили його під час нашого експерименту, який продемонстрував успішну передачу біосигналів повністю безконтактним способом. З одного боку, було емоційне відео, де чоловік, який помирає, прощається зі своїм сином. Перед початком ми виміряли його пульс за допомогою рішення SoftServe Biosense, яке може вимірювати пульс людини на основі аналізу пікселів на відео.

З іншого боку ми запросили 20 учасників і розділили їх на дві команди по 10 осіб у кожній. Хтось просто дивився відео, а хтось робив це за допомогою передачі біосигналів у повітрі. Для тих, хто мав тактильний пристрій, ми створили малюнок серцебиття актора у вигляді кола, радіус якого динамічно змінювався і коливався від 2 до 5 см. Учасники тримали руки над пристроєм і відчували коло на долонях, що створювало відчуття дотику до серця, яке б’ється. Коли актор починав більше нервувати, серцебиття прискорювалося, і учасники могли відчувати це за допомогою ультразвуку.

/uploads/stories/how-to-feel-touch-in-the-air-eu-horizons-project-strives-to-regain-intimacy-in-virtual-communication/inside-photo.jpg?1669153935580

Під час експерименту ми також вимірювали біосигнали обох груп, зокрема частоту серцевих скорочень та гальванічну реакцію шкіри (простіше кажучи, потовиділення), щоб зрозуміти, як вони реагують на відео. Також, після того, як вони закінчили перегляд відео, ми поставили їм кілька запитань. Виявилося, що група з тактильними пристроями більше співпереживала і була більше занурена у відео, а їхні серцеві ритми краще корелювали з актором. Звичайно, потрібні подальші дослідження, щоб підтвердити ці твердження, але навіть на цьому етапі ми бачимо, що передача біосигналів за допомогою безконтактної технології може збагатити наше спілкування та залучення під час відеодзвінків.

МАЙБУТНЄ КОМУНІКАЦІЇ

Для багатьох сімей, які живуть на великій відстані, відчуття дотику може означати цілий світ. Власне, я належу до таких людей, бо мій хворий батько живе далеко від мене, і ми бачимося дуже рідко. Здебільшого ми спілкуємося онлайн і не можемо обійнятися чи потриматися за руки. Тож ця технологія може дозволити нам відчути дотик під час спілкування через відеозв’язок. Уявіть, як ви можете, наприклад, полоскотати руку брата чи сестри і побачити, як вони посміхаються.

Наша мета – розробити наступне покоління безконтактних тактильних технологій, які викликають реакції рецепторів і є емоційними, соціальними та когнітивними. На даному етапі проєкту моделі штучного інтелекту можуть вимірювати серцебиття на основі відео, аналізувати голос, позу та деякі інші біосигнали для розпізнавання наших емоцій, щоб у майбутньому ми могли передавати їх за допомогою технології mid-air haptics.

Для цього потрібно створити низку різних патернів, що відповідають нашим емоціям. Наприклад, ви можете відчути, як пензлик рухається вгору і вниз по вашій долоні, що є приємно і розслабляє, і може відображати спокій. Або, коли ми гніваємося, патерн може відображати це з більшою амплітудою. Таким чином, залежно від того, яку емоцію ви відчуваєте, комп’ютер зможе надіслати певний патерн дотику, щоб ваш співрозмовник міг розділити цю емоцію з вами.

У нас велика міждисциплінарна команда, яка охоплює різні аспекти технологій, різний соціальний досвід та психофізику. Наприклад, партнери з університетів працюють над когнітивною наукою, генерують різні моделі та тестують відчуття людей до них. Компанія Ultraleap фактично виробляє тактильні пристрої, а SoftServe розташований якраз посередині, оскільки ми є компанією, яка буде розробляти програмне забезпечення для створення двигуна штучного інтелекту для тактильної модуляції. У нас залишилося півтора року, щоб закінчити концепцію, а наступним кроком має стати комерціалізація, щоб люди по всьому світу могли використовувати цю технологію у повсякденному спілкуванні.

Ми розпочали цей проєкт з початком пандемії, коли багато людей втратили можливість обійняти рідних і близьких через коронавірус. Зараз, коли ситуація покращилася, онлайн-спілкування все ще залишається єдиним способом взаємодії для багатьох людей по всьому світу. І технологія TOUCHLESS AI може кардинально поліпшити спосіб їх спілкування і створити відчуття зв’язку, незалежно від відстані.

*Програма ЄС з досліджень та інновацій Horizon 2020 за грантовою угодою № 101017746, Touchless.