Смешные перчатки нереально трогают виртуальные вещи
Экипировка клоуна или маскировка для боевых действий на детской площадке – такие сравнения приходят в голову, когда видишь эти перчатки. Рисунок яркий и вызывающе абстрактный. Трудно поверить, что он имеет непосредственное отношение к передовому компьютерному интерфейсу. Между тем именно эти геометрические пятна позволяют человеку говорить с машиной на новом языке.
Рисунок на этих перчатках напоминает кубистический ослепляющий камуфляж, но задача сумасшедшего узора — сделать перчатки, напротив, более заметными для камеры.
Кроме того, только кажется, что раскраска хаотична. На деле она представляет собой результат долгого подбора наилучших форм и даёт массу преимуществ “Системе распознавания жестов в реальном времени с цветными перчатками” (Real-Time Hand-Tracking with a Color Glove).
Создали её Роберт Ванг (Robert Y. Wang) и Йован Попович (Jovan Popović) из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института. Прелесть разработки в том, что сами перчатки (не считая цвета) — самые обычные, из эластичного синтетического материала. Снимает руки человека банальная веб-камера, и весь секрет — в хитроумной программе распознавания. А уж что дальше делать с этой информацией, зависит только от фантазии пользователя.
Тут необходимо небольшое отступление. В попытках по-новому организовать общение компьютера и человека инженеры обычно конструируют аксессуары, напичканные датчиками (вспомним электронные перчатки для глухонемых и перчатки — сенсоры эмоций).
Видели мы и перчатки для игры на виртуальной гитаре, в которых не было ничего особенного, кроме яркой окраски (тоже для облегчения распознавания камерой). Только вот информации машина о таких перчатках получала немного — взаимное положение рук да их смещение в пространстве.
Между тем идея сделать перчатки для компьютерного интерфейса без всякой электроники была настолько привлекательной, что не раз всплывала в разных проектах, один из которых послужил прообразом фантастической системы из фильма “Особое мнение” (Minority Report). Но и его нельзя было назвать идеальным — маркеры на пальцах позволяли камерам захватывать движение именно пальцев, а не кисти в целом.
Последнее ограничение и преодолели Ванг с Поповичем. Ориентируясь на цветные узоры, камера теперь может оцифровывать любой жест руки, аппарат различает каждый палец и видит форму ладони, легко опознаёт положение руки ладонью вниз и вверх. А ведь для систем машинного зрения зачастую это проблема: растопыренные пальцы выглядят похоже в обоих случаях.
И всё же — почему именно такой рисунок? Пара десятков разнокалиберных пятен десяти цветов на каждой руке легко выделяется программой из окружающего фона, что позволяет системе не сбиваться при любом освещении и угле обзора. Опознанное расположение всех пятен машина переводит в упрощённую компьютерную модель — цветной рисунок 40 х 40 пикселей.
Далее компьютеру нужно понять — что же он видит. Для этого авторы придумали новый алгоритм быстрого поиска наиболее точных визуальных совпадений в базе данных, а она содержит 100 тысяч шаблонов положения пальцев и кисти. Так что на распознавание любого движения компьютеру нужны доли секунды — запаздывание практически не ощущается.
Различный размер руки у разных пользователей тоже не поставит комплекс в тупик. Эластичные перчатки хорошо садятся практически на любую кисть, а перед началом применения системы необходима небольшая калибровка, которую можно выполнить за несколько секунд.
Кстати, о калибровке. Дебютировала система Color Glove ещё в августе прошлого года на выставке-конференции SIGGRAPH 2009, прошедшей в Новом Орлеане (к ней был подготовлен и пояснительный PDF-документ). Но тогда она была ещё довольно сырая: та же настройка под разную руку занимала много времени и да и в целом комплекс работал с ошибками. Теперь же изобретателям удалось устранить недочёты, повысить скорость работы программы и её гибкость.
Специалисты из США полагают, что массовое распространение их системы откроет путь к дешёвым наборам “жестовых интерфейсов”. Собственно набор — перчатки да оригинальный софт, остальное у пользователей уже должно быть.
Также Роберт и Йован считают, что абстракционистский цветной узор можно распространить на всё тело человека. В таком случае система может быть использована для захвата полного набора движений пользователя. Дёшево и сердито. А что при этом клиент будет похож на клоуна – так это весёлый побочный эффект.