“Це питання створення наступного сенсорного екрану”, – сказав Ото Пентікяйнен (Ohto Pentikäinen), генеральний директор компанії Doublepoint, представляючи свою захоплюючу систему управління жестами наступного покоління. Найкраще це можна уявити як функцію Double Tap від Apple на стероїдах.
Більше, ніж додаток
Можливо, ви вже бачили на CES 2024 додаток Doublepoint для Wear OS під назвою Wow Mouse, але це лише початок того, над чим працює компанія. Wow Mouse додає управління жестами до вашого смарт-годинника з Wear OS, фактично перетворюючи його на мишку на зап’ясті, яка використовує рухи пальців та зап’ястя для роботи. Але Wow Mouse – це відносно базова демонстрація того, над чим працює Doublepoint.
“Ми пропонуємо щось набагато більш комплексне, – сказав Пентікяйнен, відповідаючи на запитання про додаток Wow Mouse, – і ми можемо робити набагато більше, ніж просто один дотик. Найбільше, на що здатне наше нинішнє обладнання, – це затиснути і утримувати, що означає, що ви можете фактично прокручувати, а також маніпулювати об’єктами”.
Doublepoint називає ці жести “мікрожестами”, і вони включають в себе все: від дотику до вибору, дотику до прокрутки та подвійних дотиків. Наявність додаткових жестів, які виходять за рамки жесту подвійного натискання Double Tap, є дуже привабливою і пояснює, чому Пентікяйнен порівняв технологію з сенсорним екраном, оскільки вона повторює багато з тих же жестів, які ми вже використовуємо на них.
Отже, як працює система Doublepoint?
Як працюють ці жести
“Розпізнавання мікрожестів відрізняється від відстеження рук за допомогою комп’ютерного зору, – пояснює Пентікяйнен, використовуючи знайоме порівняння. “Там камера обчислює положення руки, і робить це кожну мілісекунду або з будь-якою частотою кадрів, коли ваші пальці торкаються один одного. Спосіб, яким ми визначаємо дотик, використовує блок інерційних вимірювань”.
Блок інерційних вимірювань (IMU) звучить як особлива частина апаратного забезпечення, але насправді він складається з акселерометра, гіроскопа і магнітометра. Іншими словами, це основні датчики, які є майже у всіх смарт-годинниках та інших пристроях.
“Він шукає вібрацію, що виникає, коли ваші пальці торкаються один одного”, – каже Пентікяйнен, і тоді алгоритми Doublepoint відрізняють цю вібрацію від будь-якої іншої вібрації, що виникає при русі пальців. Однак інноваційний жест “стиснути і утримувати”, який є дуже незвичним і критично важливим для привабливості алгоритму, дещо відрізняється і є набагато складнішим.
“Для стискання та утримання нам також потрібно знати, коли ваші пальці тримаються разом, і для цього ми використовуємо моніторинг сухожиль. Ми використовуємо оптичний датчик серцевого ритму не для того, щоб дивитися на м’язи, а на сухожилля, які з’єднують палець з м’язом, і саме рух повідомляє нам, коли ви припиняєте торкатися”, – каже він.
Конфігурація і точність
Частково успіх Double Tap від Apple полягає в тому, що він працює без жодних налаштувань чи конфігурацій, а також має високу точність. А як щодо системи Doublepoint?
“З самого початку ми хотіли зробити однією з наших переваг те, що вона не потребує жодних налаштувань, і коли ви її вдягаєте, вона працює миттєво. Це означає, що нам потрібно мати процес для збору даних від широкого кола людей і враховувати відповідні фактори, такі як індекс маси тіла (ІМТ), вік і рівень мелатоніну. Нам вдалося досягти дуже, дуже високого рівня точності. Майже в діапазоні від 97% до 98%. Звичайно, попереду ще багато роботи”, – сказав він.
Цікаво, що смарт-годинник з функцією розпізнавання жестів Doublepoint може бути з’єднаний з іншими Bluetooth-пристроями, наприклад, з функцією відстеження руху очей, щоб вони працювали разом. Це робить управління такими системами більш природним і більш приватним, оскільки немає необхідності в розпізнаванні голосу як резервного або альтернативного варіанту.
Qualcomm зацікавлена
Керування жестами не є чимось новим, але, без сумніву, система Double Tap від Apple нещодавно відродила інтерес до них. І, швидше за все, вона приверне ще більше уваги після виходу гарнітури Vision Pro, оскільки інші конкуруючі системи можуть спробувати нові та різні речі, щоб зробити управління гарнітурами простішим та інтуїтивно зрозумілішим. Тому, мабуть, не дивно, що Qualcomm зацікавилася технологією Doublepoint.
“У нас дійсно є вендорська угода з Qualcomm, – розповів Пентікяйнен. “Це означає, що ідея полягає в тому, щоб вбудувати наші алгоритми в чіпи Qualcomm, а вони, звичайно, постачають ці чіпи багатьом різним виробникам годинників і фітнес-трекерів“.
Окрім Qualcomm, компанія також співпрацює з компаніями-виробниками датчиків, щоб вбудувати свій алгоритм у сам датчик. Крім того, компанія має власну еталонну платформу для смарт-годинників, яка, за словами Пентікяйнена, “покликана дати людям уявлення про те, що ми можемо зробити з [алгоритмами], і показати, як ми можемо вбудувати їх у продукт”.
Скоро приїдеш?
Чи означає це, що скоро з’явиться новий смарт-годинник з технологією жестів та pinch-and-hold від Doublepoint, яка дозволяє прокручувати, проводити пальцем, змінювати значення, наприклад, гучність або яскравість?
“У нас немає підтверджених графіків, коли наші партнери зможуть вивести свої продукти на ринок, але я б сказав, що ці речі зараз розвиваються дуже швидко”, – сказав Пентікяйнен.
Під час нашої короткої розмови Пентікайнен кілька разів порівнював систему управління жестами Doublepoint з сенсорним екраном, і ми закінчили розмову поясненням того, чому він зробив це порівняння.
“Сенсорний екран з’явився, в основному, в телефоні, а зараз ми бачимо його скрізь, – сказав він. “Він уможливив появу багатьох нових пристроїв. Минулого року Apple подвоїла розпізнавання жестів, і вони фактично показали, що жести стануть життєво важливим способом вдосконалення. Тому ми просто хочемо надати таку можливість якомога більшій кількості компаній, використовуючи те, що ми вважаємо наступним сенсорним екраном”.
Поки нам доведеться чекати на появу смарт-годинника з технологією Doublepoint, ви можете спробувати базову версію за допомогою додатку Wow Mouse, який можна завантажити з Google Play для деяких смарт-годинників Wear OS прямо зараз.
Джерело: DigitalTrends
