Смарт-часы без дополнительного «железа» по звуку смогут понять, что делает пользователь

Исследователями из Университета Карнеги — Меллона была разработана технология, позволяющая смарт-часам определять тапы, скрипы и звуки движений рядом с пользователем. Это позволит вывести взаимодействие с носимыми девайсами на принципиально новый уровень. Для того чтобы устройство научилось различать целый ряд биоакустических сигналов, необходимо лишь установить специальное программное обновление, расширяющее функциональность акселерометра, который уже присутствует в часах.

Эта функциональность открывает возможность появления нового класса приложений, использующих распознаваемые звуки для управления смарт-часами. Появляется также возможность взаимодействия с другими объектами через Интернет вещей.

Отслеживая вибрации, которые происходят, когда пользователь держит предметы или использует их, смарт-часы будут способны распознавать и объекты, и производимые действия.

К примеру, часы помогут пользователю настроить гитару, отображая воспроизводимые гитаристом ноты, позволяя найти правильное звучание каждой струны.

Часы будут слышать то, что пользователь делает руками, а ведь именно посредством рук люди чаще всего взаимодействуют с предметами.

Новая технология получила название ViBand и была разработана аспирантами Группы интерфейсов будущего Института человеко-компьютерного взаимодействия Университета Карнеги — Меллона Жераром Лапутом (Gierad Laput) и Робертом Сяо (Robert Xiao). Консультантом стал специалист в сфере человеко-компьютерного взаимодействия ассистент-профессор Крис Гаррисон (Chris Harrison). Их работа была представлена на симпозиуме в Токио, темой которого являлись пользовательские интерфейсы и технологии для компьютерной техники.

Обычно акселерометр умных часов применяется для того, чтобы определить, что пользователь поднимает руку. В этом случае активируется экран девайса. В некоторых случаях этот сенсор используется и для подсчета шагов.

Чтобы выполнить эти задачи, акселерометру всего лишь требуется производить измерения 100 раз в минуту. Но когда исследователями была достигнута частота акселерометра в 4000 (4 килогерца), то ими было обнаружено, что акселерометр способен работать в качестве воспринимающего вибрации микрофона. Он способен воспринимать и звуки, поступающие через воздух, и биоакустические сигналы, поскольку он касается тела.

Крис Гаррисон поясняет, что ViBand — не просто способ управления смарт-часами. Он расширяет возможности того, что пользователь способен делать своей рукой. Это мощный интерфейс, который всегда у пользователя даже не под рукой, а непосредственно на руке.

Часы с поддержкой ViBand могут почувствовать движение предплечья, ладони и задней части руки. Они распознают также движение пальца, скрипы и другие движения. Таким часам будет известно, если пользователь держит различные механические и электронные инструменты, к которым в том числе относятся электрическая зубная щетка, электродрель или другой инструмент. Ведь каждое движение тела или активность сопровождается характерным именно для него биоакустическим сигналом.

Чтобы повысить частоту работы акселерометра, команда исследователей разработала кастомизированное ядро операционной системы смарт-часов. И это единственная модификация, которая необходима для получения часами новой функциональности.

Командой также было разработано несколько показательных возможностей ViBand. В их числе программное решение, использующее движения руки в области вокруг часов для управления приложением на носимом девайсе. Подобные жесты могут использоваться для удаленного управления девайсами, в том числе освещением, телевизорами или другими устройствами, соединенными через Интернет вещей.

Также было показано, что новая разработка может использоваться в приложениях, уведомляющих о действиях с объектами — мониторинг приготовления пищи или предоставление визуального отклика при настройке гитары.

И наконец, могут распознаваться также так называемые вибротеги. Небольшие объекты издают негромкие звуки, которые также содержат определенную информацию. Вибротег офисной двери, к примеру, может передавать информацию о проведенном в офисе времени или иную контактную информацию.