CC BY
87Окончание. Начало в№ 1 '2008
Александр САМАРИН
Современные технологии
Multi-touch сенсорных экранов
STRIKE-интерфейс
Можно сказать, что это более компактная версия технологии, разработанной Perceptive Pixel. Только вместо проектора используется TFT ЖК-дисплей. Для трекинга теневого изображения пальцев оператора над экраном в прототипе используется всего одна камера позади экрана. Прототип интерфейса демонстрировался на выставке симпозиума SID в 2005 году.
Основные принципы работы интерфейса STRIKE («удар», «стук»), показаны на рис. 23. Световые потоки от светодиодов (1) направляются на край стеклянной или пластиковой пластины, где испытывают внутреннее отражение. При контакте пальца оператора с поверхностью (2) свет, исходящий из фронтальной поверхности стекла, частично поглощается и частично отражается от поверхности кожи пальца и рассеивается в зоне касания на поверхности пластины. Матричная КМОП-камера (3) производит захват изображения поверхности пластины (4) и посылает оцифрованный кадр в компьютерную систему обработки изображения (В). Сначала определяются границы световых пятен на тактильной поверхности и координаты их центров. В коммерческом варианте камера (рис. 24), требующая некоторого объема пространства сзади ЖК-панели, будет заменена на мас-
сив дискретных фотодатчиков, которые, в частности, могут быть встроенными в ЖК-па-нель.
Мультизонная Multi-touch технология
Существует еще одна возможность реализации Multi-touch на базе существующих технологий single-point сенсорных экранов, например на основе резистивных сенсорных панелей (рис. 25). Для этого нужно разделить рабочую площадь панели на несколько чувствительных зон, в каждой из которых при работе будет не более одной точки контактирования. Во многих приложениях такая концепция Multi-touch вполне адекватна. Система может поддерживать интерфейсы bi-finger и multi-user. Зоны могут быть не обязательно одинаковых размеров. Например, можно выделить рабочие зоны в центральной части экрана и зоны инструментов внизу и справа.
Для реализации мультизонной сенсорной панели лучше всего подходит резистивная технология пятипроводной схемы. Напомним ее структуру. На одну подложку наносят пленку прозрачного проводящего электрода, который является точкой съема или ползунком (wiper). На вторую подложку наносят прозрачный проводящий электрод и систему
из четырех полосковых электродов, расположенных по периметру подложки. Резистивные слои должны иметь однородную структуру и линейное сопротивление по всей рабочей поверхности. Координаты точки касания определяются посредством двух фаз сканирования. В обеих фазах создается градиент напряжения сначала по горизонтали и по вертикали. В точке контакта с электрода-ползунка можно снять два значения напряжений, которые пропорциональны координатам по X и Y.
По этому пути и пошла объединенная команда разработчиков небольших фирм из Сиэтла GM Nameplate и TouchKO (www.gmnameplate.com), которая спроектировала мультизонный сенсорный экран, предназначенный для применения в промышленной автоматике, медицине и в сфере развлечений. В отличие от других фирм разработчики использовали в качестве базовой стандартную одноконтактную технологию резистивных панелей. Мультиконтактность обеспечивается разделением сенсорной поверхности на четыре зоны, имеющих возможность работать одновременно.
В процессе работы осуществляется фиксация факта прикосновения к панели и последовательное сканирование четырех зон, приложением соответствующих тестовых напряжений между парами полосковых электродов,
LED1
Стекло
LED1
> ш
(Г' "Q
Малое Большое давление давление
О/
Угол
рования
Динамика
щелчка
Рис. 23. Принцип работы Multi-touch интерфейса STRIKE
образ контрастиро- высота пальца
изображения вание изобра- над повер-
без контакта жения хностью
LED — инфракрасный светодиод
Рис. 24. Коммерческий вариант STRIKE: вместо камеры — массив фотосенсоров, встроенных в активноматричный ЖК-дисплей
точно так же, как и для обычной пятипроводной резистивной панели.
Сенсорная поверхность может функционировать и в режиме целого экрана.
Недостаток такого экрана — некоторая заметность полосковых электродов на фоне изображения, которые хотя и являются прозрачными, но имеют меньший коэффициент пропускания света по сравнению со слоем ITO.
Трекинг с помощью видеокамеры
Функция Multi-touch очень просто реализуется с помощью трекинга положения пальцев или других предметов, используемых оператором в качестве курсорных указателей, в зоне над рабочей поверхностью экрана с помощью нескольких камер (рис. 26). Сама идея трекинга объектов, находящихся перед экраном, используется очень давно. Первые ма-
кетные схемы таких систем были разработаны еще в конце 1970-х годов.
Изображение может формироваться с помощью проекторов, стоящих как перед экраном (передняя проекция), так и позади него (задняя проекция).
Для вычисления координат точек касания используется триангулярный метод.
Базовыми параметрами системы являются углы, под которыми с помощью камер виден объект контактирования, например указка или палец оператора.
Каждая камера имеет определенный угол обзора — около 72°. Для определения координат точки касания экрана достаточно информации от двух камер.
Использование четырех камер позволяет исключить «мертвые» зоны. Информация всегда поступает в компьютер от всех четырех камер. Для расчета координат используется метод триангуляции (простая тригонометрическая задача по расчету сторон треугольника).
Пара камер выбирается программно на основе предварительного анализа профилей изображений.
Камеры позволяют получать не только координаты, но и определять пространственную ориентацию курсорных объектов. В качестве объектов используются пальцы рук. Это открывает возможности для реализации multifinger, multi-hand и multi-user интерфейсов. Камеры могут видеть в поле своего зрения множество объектов. Как правило, видеопоток от одной камеры обрабатывает свой DSP, еще один DSP-процессор используют для обработки сводной информацию от всех камер.
Метод трекинга — масштабируемый, его можно применять для экранов с диагональю от 15 до 100 дюймов и более (рис. 27).
Рис. 27. 84-дюймовый сенсорный экран на базе машинного зрения (используется задняя проекция)
Технология SmartTech
DViT (Digital Vision Touch) — дисплейная проекционная система с функцией трекинга рук оператора, разработана фирмой SMART Technologies в 2003 году. Можно применять как переднюю, так и заднюю проекцию. Основная заслуга фирмы — разработка базового программного обеспечения для поддержки так называемой электронной доски. ПО работает в среде Windows. Электронная доска состоит из проекционной системы, проецирующей изображение на обычную доску (диффузионный экран), и системы машинного зрения на базе микровидеокамер, смонтированных по углам доски (рис. 28). Специально
Рис. 28. Микрокамера в углу экрана (электронной доски)
Receiver 1 Receiver 2
Рис. 26. Для определения координат используется измерение углов направлений четырех камер на объект
разработанное программное обеспечение позволяет осуществлять трекинг рук, обработку изображения и интерпретацию действий оператора. Для формирования изображения используется ЖК-проектор, устанавливаемый за диффузным экраном. Для трекинга применяются инфракрасная система, состоящая из источников подсвета, дающих пучки параллельно плоскости экрана, и камер, работающих в инфракрасном диапазоне. Камеры и подсветка находятся со стороны наблюдателя в отличие от структуры HolloWall. Собственно, это обычные ПЗС-камеры с ИК-филь-тром, отсекающим спектр видимого света. Все четыре кадра изображения прилегающего к поверхности экрана пространства оцифровываются, предварительно фильтруются сигнальным процессором, а затем обработанные профили попадают в компьютер.
Технология масштабируемая, имеет очень высокое быстродействие и точность.
Программное обеспечение позволяет поддерживать ввод данных как с помощью пальцев, так и с помощью указки. Программа SMART Recorder обеспечивает распознавание рукописного текста, а также возможность делать записи поверх движущегося или неподвижного видеоизображения на экране. Первоначально система DViT была нацелена на трекинг одного объекта — указателя. Для того чтобы расширить функциональность до уровня Multi-touch, потребовалось только разработать программное обеспечение. И эта непростая задача была решена.
История компании SMART Technologies
Фирма SMART Technologies — пионер коммерческого применения интерактивных экранов и один из лидеров в производстве электронных классных досок, широко используемых в настоящее время как в школьных классах, так и для деловых семинаров и презентаций. Фирму основали в 1987 году Дэвид Мартин и Нэнси Нолтон. Компания начала свою деятельность в качестве дистрибьютора в Канаде американского проекционного оборудования. SMART Technologies продемонстрировала свою первую электронную доску в 1991-м. В первых электронных досках использовалась резистивная сенсорная технология single-touch на базе вмонтированной в доску решетки микропроволочек. При надавливании проволочки замыкались. Система сканирования определяла координаты точки касания. Это была первая интерактивная электронная классная доска, она обеспечивала управление с помощью прикосновений к экранным объектам в среде Windows. В 1992 году SMART образовала стратегический альянс с гигантом компьютерной индустрии — Intel Corporation. Вложенные Intel инвестиции позволили SMART значительно ускорить разработку и внедрение на рынок своей технологии. В 2003 году фирмой была разработана архитектура DViT на базе машинного зрения. Выпускаются модели электронных досок, как
передней, так и задней проекции. К 2007 году было продано в 100 стран мира около 800 000 электронных досок Smart Tech.
Мультиконтактная цифровая доска Hitachi America
Компания Hitachi America анонсировала выход на рынок своей новейшей серии интерактивных досок (interactive whiteboard) StarBoard FX Duo (рис. 29), обладающих
мультиконтактной технологией распознавания прикосновений. В ней также используется проектор и камеры для трекинга положения рук и указателей. Эта система с передней проекцией. Основное отличие технологии Hitachi America от технологии SMART Technologies — используется система двойного трекинга. Первая система — трекинг рук и указателей двумя (а не четырьмя камерами, как у SMART Technologies) камерами с инфракрасной подсветкой. Камеры стоят слева и справа от доски. Вторая система трекинга — с использованием ультразвукового сканирования. Отсюда и наличие суффикса Duo (двойной) в названии продукта. Система обеспечивает не только распознавание жестов рук нескольких операторов, но и поддерживает работу с электронными
ручками, разработанными компанией Hitachi America. Кроме того, электронные доски могут объединяться по сети в группы до 72 штук. При этом обеспечивается трансляция и обмен изображений между ними. Связь с хост-компьютером — по Wi-Fi или USB.
Основные характеристики доски StarBoard FX Duo:
• размер доски— 157,3x118 см;
• вес (без кронштейнов) — 24 кг;
• разрешение — 0,05 мм.
На рекламном флаере объект выглядит красиво и очень убедительно. На рис. 30 представлена электронная доска в действии.
На этой фотографии представлен реальный рабочий момент работы с электронной доской Star Duo. Фактически работа с экранной доской должна проводиться в кромешной темноте. К тому же учащиеся при работе с доской закрывают своим телом часть изображения на экране (неизбежное зло при использовании передней проекции). Требуется некоторая сноровка, чтобы рисовать на экране «из-за угла».
А в остальном все хорошо. На электронной доске можно открывать папки и передвигать объекты с места на место или просто — рисовать разные линии. В отличие от предыдущей серии электронных досок StarBoard FX, новинка обеспечивает распознавание и определение координат точек одновременного прикосновения пальцев нескольких рук или же других указателей (ручка, указка). Ранее это могла быть только специальная цифровая ручка. Доска позволяет менять масштаб изображения (его нужно просто «растянуть» руками) и выполнять много других операций, например — выходить в Интернет. Два человека могут одновременно взаимодействовать с объектами на новой доске (это пригодится преподавателю и студенту). Новая интерактивная доска имеет поле из 24 программируемых функциональных кнопок. В режиме удаленной конференции через Интернет StarBoard Duo может одновременно соединяться с 50 другими электронными досками StarBoard. Ориентировочная цена составляет $1600.
Multi-touch технология фирмы Atracsys
В основе интерактивного интерфейса beMerlin (рис. 31), разработанного американской фирмой Atracsys (www.atracsys.com), лежит проекционная система задней проекции и оригинальная система трекинга рук оператора — accuTrack. Изображение проецируется на прозрачный экран. Проектор и блок трекинга установлены с обратной стороны экрана.
В блоке трекинга accuTrack (рис. 32) установлена всего одна камера с ИК-фильтром и несколько мощных ИК-светодиодов с фокусирующей оптикой.
Вертикальные щели в корпусе — позиции ИК-светодиодов с оптикой, центральная щель — ИК-камера с оптикой. Вес блока все-
го 1,4 кг. Для трекинга позиции рук оператора используется все тот же метод триангуляции, но вместо нескольких камер используется всего одна, а вот сами источники переключаются во времени, создавая необходимую пространственную базу для триангуляции. Для настройки на конкретную геометрию модуля (рис. 33) относительно площади экрана производится калибровка излучателей, формирующих сканирующие пучки ИК-излучения.
Система поддерживает мультиконтактный интерфейс.
Области применения:
• выставки, презентации;
• игровые устройства;
• тренажеры, классы обучения;
• заказные прикладные системы навигации в пространстве.
Интерпретация жестовых команд
Компания Fingerworks сосредоточила свои усилия на разработке программных продуктов для поддержки жестовых multi-touch интерфейсов. В результате был разработан базовый набор интуитивных жестовых команд Multi-touch интерфейса для различных типов действий по работе с файлами, изображени-
File Operations - Use fingers shown
Open — Touch & rotate CCW thumb & three fingers
Close — Touch & rotate CW thumb & three fingers
Save — Touch & contract thumb & three fingers
New — Touch & expand thumb & three fingers
Г
W
* t* Start * End
Рис. 34. Пример набора жестовых команд, используемых в интерфейсе TouchStгeam компании Fingeгwoгks для операций с файлами
ем, текстовой информацией и т. д. (рис. 34). Фирма разработала наборы жестовых команд для bi-finger, bi-manual сенсорных интерфейсов. Программные модули жестовых интерпретаторов могут работать с любыми технологиями Multi-touch.
Области применения интерфейсов Multitouch:
• заказные сенсорные панели;
• игровые устройства;
• клавиатуры Multi-touch;
• музыкальные и графические профессиональные интерфейсы;
• робототехника.
Мультиконтактные сенсорные интерфейсы для музыкальных синтезаторов
Современные профессиональные музыкальные синтезаторы используют различные
виды оригинальных устройств для управления музыкальным синтезом, в том числе и настольные мультиконтактные интерфейсы с сенсорными экранами (рис. 35). Области на экране чувствительны к прикосновению. Использование двух рук позволяет значительно расширить диапазон импрессии и дает возможность управления множеством параметров аудиокомпонентов, имеющих сложные взаимосвязи. Например, музыканту помогает виртуальная панель управления, на которой расположены выбранные им инструменты и функциональные модули.
Виртуальная панель управления музыкальным синтезатором содержит множество различных органов регулировки. К ним относятся ручки вращения, кнопки, движковые регуляторы, клавиатуры.
Фирма Tactex на базе своей тактильной технологии разработала специально для музыкального сектора сенсорный интерфейс MTC Express. Матричная сенсорная структура форматом 8x9 (сенсорный коврик) обеспечивает и Z-чувствительность к усилию нажатия. Частота опроса датчиков 200 Гц. Принцип ра-
боты основан на использовании матричной структуры оптических датчиков, которые представляют собой интегрированные в эластичный коврик оптопары с открытым оптическим каналом. Оптическая проводимость каждого канала определяется локальной силой нажатия.
В музыкальных интерфейсах Lemur фирмы JazzMutant мультиконтактная сенсорная система интегрирована в ЖК-дисплей. Разрешение системы невысокое — 128x100. Система не имеет чувствительности к силе нажатия.
Музыкальный интерфейс Audiopad использует модифицированную сенсорную планшетную систему Wacom с ограниченным числом сенсорных узлов. В других музыкальных мультиконтактных сенсорных панелях — d-touch и reacTable — применяется трекинг рук оператора с помощью встроенных микровидеокамер.
Музыкальный интерфейс Audiopad
В интерфейсе AudioPad используется электромагнитный трекинг специальных объектов — фишек на поверхности рабочего стола или карты (рис. 36). Каждая фишка является контекстуальным объектом управления. Интерактивная система состоит из проекционного оборудования, которое обеспечивает получение изображения рабочей среды на поверхности стола, фишек с электромагнитной меткой (e-tag), системы трекинга фишек и специального программного обеспечения. В процессе трекинга определяются координаты передвигаемых фишек, а также их ориентация. В частном случае фишка может выполнять роль виртуальной ручки управления параметром «больше-меньше». В других случаях движение фишки можно интерпретировать и как работу клавиши, кнопки или движкового переключателя. Посредством передвижения фишек и их поворота оператор обеспечивает управление музыкальным синтезом. Программное обеспечение позволяет связать графическое изображение на экране с перемещением объектов управления и реальной синтезируемой музыкой. В большинстве современных Multi-touch музыкальных интерфейсов реализована частота выборки до 50 Гц. Для полной динамической поддержки жестовых команд необходима частота выборки 120 Гц.
Для электромагнитного трекинга используется матричное антенное поле. Программа транслирует перемещение в музыкальный трек и обеспечивает оператору обратную звуковую связь.
Электромагнитная метка, встроенная в фишку, в простейшем варианте представляет собой колебательный контур, состоящий из катушки и конденсатора.
Мультимедийный интерфейс Lemur
В настольном синтезаторе Lemur (рис. 37) используется мультисенсорная панель поверх TFT ЖК-панели. Встроенный компьютер обеспечивает интерпретацию управляющих жестов. Для компьютера используется среда JazzEditor. Функции устройства — секвенсор, модульный синтезатор, виртуальные инструменты, запись треков, обработка.
Концепция кофейного столика-компьютера с Multi-touch интерфейсом
Концепция оформления домашнего компьютера в виде небольшого передвижного столика на колесиках, у которого столешница — это сенсорный дисплей с поддержкой Multi-touch, обсуждалась уже давно. Этот проект разрабатывала группа сотрудников Microsoft. Его рабочее название — Microsoft Surface (рис. 38). В качестве корпуса был использован готовый кофейный столик Milan, разработанный итальянскими дизайнерами.
В 1995 году Билл Бакстон (Bill Buxton) разработал интерактивный планшет для multihand приложений, который по праву можно
9~%>
-•г
н
ш
Рис. 36. AudioPad — музыкальный Multi-touch интерфейс
Рис. 39. Конструкция компьютерного столика Milan:
1 — крышка стола (акриловый экран для проектора);
2 — четыре инфракрасные камеры
с разрешением 1280x960 пикселей;
3 — системный блок компьютера
с процессором Core Duo;
4 — DLP-проектор с разрешением 1024x768 пикселей
считать «отправной точкой» для реализации проекта Microsoft Surface. В официальном релизе Microsoft об этом не упоминается. Команда для разработки Microsoft Surface была организована еще в 2001 году. Идея столика была представлена Биллу Гейтсу в 2003-м. Прототип на базе столика ИКЕА был выполнен в рамках проекта Milan (рис. 39),
В системе используется дисплей задней проекции на базе твердотельного зеркального DLP-модулятора, блок инфракрасной подсветки рабочего поля экрана и четыре инфракрасные камеры. Это разновидность одной из схем Multi-touch сенсорной технологии, которая была рассмотрена ранее в данной статье,
«Прелюдией» к Microsoft Surface стала разработка Microsoft Research в 2005 году сенсорного дисплея TouchLight, который мог обеспечивать трехмерное изображение. Для него был создан жестовый интерфейс. Команда проекта Milan разработала более 85 прототипов Microsoft Surface. Несмотря на успешное продвижение проекта в 2005 году, разработки были на время приостановлены. И только через два года, 29 мая 2007 года, наконец было объявлено о начале коммерческой реализации проекта и объявлены цены на базовые модификации продукта — от $5000 до $10 000.
Небольшая американская фирма Savant Systems, в то время как Microsoft заморозила свой проект, начала параллельную разработку фактически такого же столика. И уже в конце августа 2007 года на проходящей в Денвере выставке бытовой электроники CEDIA Expo фирма Savant Systems продемонстрировала свой вариант кофейного столика-компьютера — ROSIE Coffee Table Touchpanel Controller (рис. 40) — с вмонтированным в столешницу 40-дюймовым сенсорным дисплеем. Функциональное назначение ROSIE — мультимедийный домашний коммуникатор с интерактивным интерфейсом.
В столик помимо сенсорного дисплея вмонтирован компьютер Apple (процессор Intel, винчестер на 500 Гбайт, 2-4 Гбайт опе-
Рис. 40. Кофейный столик ROSIE Coffee Table фирмы Savant
Рис. 41. Модели iPod с Multi-touch дисплеем
ративной памяти) и несколько функциональных модулей, обеспечивающих поддержку различных телекоммуникационных интерфейсов. Доступного пользователям оптического привода у ROSIE не будет. Столик может играть роль «командного пункта» для управления информационными ресурсами всего «умного» дома, обеспечивая управление электронной техникой дома и каналами связи с внешним миром. В частности, поддерживается режим работы с iTunes, копирование фотографий и видео с цифровых камер, запись телепередач и многое другое. ROSIE будут выпускать в различных вариантах — в зависимости от интерьера помещения. Рекомендованная цена — $35 000. Фирма SAVANT образована в 2005 году, и ее деятельность направлена на разработку различных домашних мультимедийных систем с эстетичным дизайном.
Применение Multi-touch интерфейсов в мобильных устройствах
Интерфейс Multi-touch от Apple
В разработанном фирмой Apple Multi-touch интерфейсе использован емкостной метод.
Первое применение интерфейс нашел в мобильных устройствах iPod touch (рис. 41, 42) и iPhone. Данное решение позволит значительным образом упростить работу с вводом текста и повысить общий уровень взаимодействия с виртуальными объектами. Сенсорная панель может обеспечивать функции
Рис. 42. Манипуляции двумя пальцами на сенсорном экране iPod
мыши, клавиатуры, колеса для скроллинга и графического планшета.
Вслед за Apple компании LG и Samsung также выпустили свои модели мобильных устройств с Multi-touch сенсорным экраном, Ведутся разработки Multi-touch интерфейса для мобильных устройств и в компании Nokia. Кроме мультиконтактности, сенсорный дисплей Nokia будет обеспечивать клиенту и тактильную обратную связь за счет введения вибрации корпуса в ответ на прикосновение. Технологию «отдачи» сенсорного дисплея назвали Haptikos. Разработка технологии, по словам главы исследовательской лаборатории Nokia, заняла 10 лет. Под экраном расположены две пластины с пьезосенсорами, а поверхность экрана может смещаться под действием пьезопривода на 0,1 мм,
Интегральный сенсорный дисплей Philips Research
Одна из разработок Philips Research — технология встроенных в каждый пиксель механических ключей-замыкателей. Идея проста: при надавливании на поверхность ЖК-экрана происходит локальная деформация
Рис. 43. Принцип работы матричной сенсорной системы на встроенных микроконтактах
верхней стеклянной пластины между задающими зазор спейсерами. В каждом пикселе формируется подвижный микроконтакт, который при деформации замыкает контакт между противоэлектродом и электродом пикселя. На рис. 43 показан принцип работы матричной сенсорной системы на встроенных микроключах.
Данная сенсорная технология имеет два ключевых компонента — конструкцию подвижного контакта и модуль электроники для фиксации локальных замыканий сенсорных контактов в пикселях. Управление дисплейными пикселями и встроенными ключами обеспечивает интегральный столбцовый драйвер.
Для управления дисплеем со встроенной сенсорной системой не требуется вводить дополнительные электроды управления и отдельные микросхемы. Структура панели ЖК-дисплея (рис. 44) со встроенными в пиксели ключами такая же, как и у обычных ТБТ ЖК-дисплеев. Для реализации среды замыкания при нажатии на локальную область экрана предложены два метода. В первом методе в качестве подвижного проводящего элемента контакта используются микрошарики-спейсеры с проводящим покрытием. Диаметр этих шариков меньше, чем диаметр задающих зазор спей-серов, чтобы не вызвать постоянного замыкания между противоэлектродом и сенсорной площадкой пикселей. Во втором варианте подвижный контакт формируется на внутренней поверхности верхней стеклянной пластины ЖК-дисплея методом фотолитографии и селективного травления. На рис. 44 показаны поперечные сечения ЖК-дисплея для двух вариантов реализации подвижного контакта.
Технология интегрированного оптического сенсорного экрана
Технология базируется на использовании встроенной в конструкцию TFT ЖК-дисплея с активной адресацией на основе аморфного кремния (a-Si) матричной системы фотодатчиков. Для этого в схеме управления адресацией пикселей формируются дополнительные элементы, образующие модуль фотодатчика. Для обеспечения достаточного разрешения необязательно формировать модуль фотодатчика для каждого пикселя. Поэтому шаг матрицы фототранзисторов гораздо больше, чем шаг элементов изображения.
«Полезное» изображение — это тень курсорного указателя, которым может являться контактное перо или же кончик пальца оператора. В качестве указателя может быть использовано и световое пятно от лазерной указки. Технология применима как для дисплеев отражательного типа, так и дисплеев с подсветкой.
Данный вид технологии уже давно разрабатывается несколькими фирмами, ведущими производителями ЖК-дисплеев. Одной из первых фирм, создавших прототип интегрированного сенсорного оптического дисплея, была американская фирма Planar Systems Inc.
Сотрудниками фирмы был создан опытный образец интегрированного оптического сенсорного экрана на основе TFT ЖК-дисплея диагональю 86 мм. Массив фотодатчиков имел формат 60x60. Шаг сенсорных датчиков — 0,96 мм. Сенсорная система обеспечила разрешение — 500 dpi. Образец демонстрировался на симпозиуме SID'02.
Система фотодатчиков обеспечивает работу в широком диапазоне освещенностей — от 50 до 50 000 лк. Программно обеспечивается фильтрация различных артефактов в виде
фоновых теней, наличия градиента освещенности, технологического разброса параметров всех элементов. Необходимо производить первичную обработку изображения, нормирование сигналов изображения, определение факта касания, определение границ объекта и, наконец, вычисление координат касания с большой точностью.
Сканирующий дисплей Sharp с Multi-touch
Компания Sharp продемонстрировала на выставке Ceatec, проходившей недавно в Токио, прототип сенсорного дисплея со способностью сканирования изображения предметов, расположенных у фронтальной поверхности (рис. 45). В отличие от технологии Planar Systems Inc. фотодатчики размещаются в каждом пикселе дисплея Sharp. Размер диагонали дисплея — 3,5 дюйма (8,9 см); разрешение — 320x480 пикселей. Интерфейс Multi-touch — побочный продукт в данной реализации. Пока что для данного образца разработан интерфейс пользователя для поддержки только режима bi-finger. Причина проста — площадь экрана очень мала и не позволяет использовать больше двух пальцев.
Серийный выпуск изделий начнется весной следующего 2008 года.
Рис. 45. Мобильное устройство со сканирующим дисплеем Sharp
Заключение
Рассмотренные технологии мультикон-тактных сенсорных интерфейсов в настоящее время покрывают все возможные области для практического применения. Некоторые из приложений Multi-touch, например электронные доски для школ, уже прочно завоевали свой сектор применения. Разрабатываются новые сценарии графических пользовательских интерфейсов на их основе. Появляются новые возможности для управления игровыми ситуациями. Для каждого специфического приложения можно применить ту или иную технологию. Все определяют требования к системе — точность, цена, интуитивность и продуманность интерфейса пользователя. Multi-touch технология находится пока еще в самом начале коммерческого использования и будет расширять свое присутствие на рынке компьютерных технологий. Пока еще реализация устройств доро-
го обходится покупателям. Следует заметить, что реальное число патентов в данной области значительно превышает число реализованных коммерческих проектов. Некоторые технологии еще ждут своего часа.
Однако не следует надеяться, что новые интерактивные технологии полностью вытеснят привычные для многих пользователей интерфейсы на базе мышей или клавиатур! Они, безусловно, сохранятся в ближайшие десятилетия. Их достоинства — простота, дешевизна и удобство работы — для большинства как профессиональных, так и непрофессиональных приложений пока еще сохраняются. Попытки вытеснить их с компьютерного рынка предпринимаются уже давно. Но они постоянно совершенствуются, расширяется их функциональность, поэтому они и продолжают прочно удерживать свои позиции. ■
Литература
1. Davidson P. L., Han J. Y. Synthesis and Control on Large Scale Multi-Touch Sensing Displays Courant. Institute of Mathematical Sciences, New York University.
2. Han J. Y. Low-Cost Multi-Touch Sensing through Frustrated Total Internal Reflection. Proceedings of the 18 th Annual ACM Symposium on User Interface Software and Technology. Seattle, Washington, 2005.
3. Izadi S., Butler A., Rrustemi A., Buxton B., Hodges S. ThinSight: Versatile Multi-touch Sensing for Thin Form-factor Displays, Microsoft Research, Cambridge.
4. Patten J., Recht B., Ishii H. Audiopad: A Tag-based Interface for Musical Performance.
5. Boring S., Hilliges O., Butz A. A Wall-sized Focus plus Context Display. University of Munich, Media Informatics.
6. HoloWall: An Architecture for Wall-based Interaction.
7. Matsushita N., Recimoto J. HoloWall: Designing a Finger, Hand, Body, And Object Sensitive Wall. Sony Computer Scince Labs Inc.
8. Davidson P. L., Han J. Y. Synthesis and Control on Large Scale Multi-Touch Sensing Displays. Proceedings of the 2006 International Conference on New Interfaces for Musical Expression (NIME06). Paris, France.
9. Wigdor D., Leigh D., Forlines C., Shipman S., Barnwell J., Balakrishnan R., Shen C. Under the Table Interaction. ACM Symposium on User Interface Software and Technology (UIST), ISBN: 1-59593-313-1, October 2006. Pp. 259-268.
10. Wigdor D., Forlines C., Baudisch P., Barnwell J., Shen C. A See-Through Mobile Device. 20th Symposium on User Interface Software and Technology. October 2007.
11. Самарин А. Новые сенсорные технологии для компьютерных устройств ввода // Компоненты и технологии. 2007. № 1.
12. Самарин А. Новые типы сенсорных панелей для портативных приборов // Компоненты и технологии. 2002. № 3.
13. Самарин А. В. Технология интегрированного оптического сенсорного экрана для TFT ЖК-дисплеев // Электронные компоненты. 2004. № 11.
