Сенсорное устройство с измерением динамического воздействия

Сенсорное устройство с измерением динамического воздействия

Иллюстрации

Показать все

Реферат

Предлагаемое сенсорное устройство относится к технике оптических Touch-панелей, широко применяемых в торговле, электронных платежных системах, в персональных компьютерах.

Известен ряд устройств подобного назначения. Например, в патенте США №7006236 В2 от 28.02.2006 г. [1], предлагается устройство, создающее виртуальную сенсорную поверхность, касание которой в определенных местах эквивалентно нажатию кнопок. Данное устройство содержит телевизионную камеру, оптически сопряженный с ней источник структурированного освещения и вычислительное устройство. Введение пальца в создаваемый источником структурированного освещения поток регистрируется телевизионной камерой. Вычислительное устройство обрабатывает видеоинформацию, поступающую с телевизионной камеры, и определяет координаты точки касания пальца с потоком структурированного излучения. В устройствах, предложенных в патентах США №6480187 от 12.11.2002 г. [2], №6492633 от 10.12.2002 г. [3], №6844539 от 18.01.2005 г. [4], №7522156 от 21.04.2009 г. [5], используются отражатель и два приемо-передающих оптических модуля. При появлении на пути потоков, формируемых излучателями, входящими в состав приемо-передающих модулей пальца (стилуса),специализированный вычислитель, с помощью фотоприемников, входящих в состав приемо-передающих модулей, регистрирует угловые координаты пальца (стилуса).

Наиболее близким по технической реализации, является устройство, предложенное в патенте РФ №2362216 от 12.05.2009 г. [6]. В нем используются первый и второй излучатели, оптически сопряженный с ними фотоприемник и вычислительное устройство, а также так называемая «поверхность теневой локации», оптически сопряженная с первым и вторым излучателями и фотоприемником, на которую поочередно падают световые потоки от первого и второго излучателя, и представляющая собой диффузно рассеивающую излучение поверхность. Кроме того, фотоприемник представляет собой телевизионную камеру, полем обзора которой является «поверхность теневой локации». Рабочая зона устройства образуется пересечением конусов распространения потоков излучения первого и второго излучателей, падающих на «поверхность теневой локации». При этом при введении пальца (стилуса) оператора в рабочую зону устройства на «поверхности теневой локации» образуются поочередно, по сигналам вычислительного устройства, управляющего включением излучателей, две тени. Их изображения с помощью телевизионной камеры вводятся в вычислительное устройство, которое определяет по ним пространственные координаты пальца (стилуса) и углы его наклона к поверхности рабочей области.

Целью предлагаемого изобретения является повышение быстродействия и расширение функциональных возможностей по сравнению с прототипом.

Для этого в известном устройстве, содержащем сенсорную поверхность, отражатель, охватывающий часть периметра сенсорной поверхности, оптически сопряженные с отражателем фотоприемник, объектив, два пространственно-разнесенных излучателя, а также специализированный вычислитель, причем выход фотоприемника подключен к входу специализированного вычислителя, а первый и второй излучатели подключены к соответствующим выходам специализированного вычислителя, дополнительно вводится цилиндрическая линза, оптически сопряженная с объективом, а фотоприемник выполняется в виде линейчатого, ПЗС или КМОП типа, размещенного параллельно сенсорной поверхности, кроме того, дополнительно вводятся третий и четвертый излучатели, оптически сопряженные с первым и вторым излучателями соответственно и подключенные к дополнительным выходам специализированного вычислителя, а отражатель выполняется в виде двух параллельных друг другу сегментов, охватывающих часть периметра сенсорной поверхности и разделенных неотражающим промежутком, причем межцентровое расстояние между этими сегментами равно расстоянию между оптическими центрами первого-третьего и второго-четвертого излучателей.

При этом появляется возможность измерить время прохождения кончика пальца заданного промежутка, перпендикулярного сенсорной поверхности и равного межцентровому расстоянию между первым-третьим и вторым-четвертым излучателями. Этому способствует использование линейчатого фотоприемника, обладающего, при сравнении с матричным линейным разрешением, большим на несколько порядков быстродействием.

Функциональная схема предлагаемого устройства приведена на фиг.1, где:

1, 2, 3, 4 - первый, второй, третий и четвертый излучатели;

5 - верхний (первый) отражающий сегмент;

6 - нижний (второй) отражающий сегмент;

7 - сенсорная поверхность;

8 - цилиндрическая линза;

9 - объектив;

10 - линейчатый фотоприемник;

11 - специализированный вычислитель;

ψ₁, ψ₂, ψ₃ и ψ₄ - потоки, формируемые излучателями 1, 2, 3, 4 соответственно;

Ф - телесный угол обзора оптической сборки «цилиндрическая линза-объектив».

На фигурах 2,3, 4 и 5 изображены возможные варианты пространственного расположения пальца оператора над сенсорной поверхностью 7, относительно излучателей 1, 2, 3, 4 и отражающих сегментов 5 и 6, и соответствующие им временные диаграммы формирования импульсов включения излучателей 1, 2, 3, 4, тактовых импульсов управления линейчатым фотоприемником 10, и видеосигналов с выхода линейчатого фотоприемника 10,

где:

П - палец оператора;

u₁, u₂, u₃, u₄ - сигналы включения соответствующих излучателей 1, 2, 3 и 4;

u_sync - синхронизирующий сигнал начала развертки линейчатого фотоприемника 10;

u_out - видеосигнал с выхода линейчатого фотоприемника 10.

Фотоприемник 10 регистрирует потоки, отраженные от сегментов 5 и 6 в сторону входной оптики 8, 9, в телесном угле Ф. При перемещении пальца оператора П к точке касания (x_п, y_п) на сенсорной поверхности 7 он обязательно пересекает потоки излучения ψ₁, ψ₂, ψ₃ и ψ₄, последовательно включаемые с помощью специализированного вычислителя 11.

Так, на фиг.2 изображена ситуация, когда палец оператора П находится вне зоны пересечения потоков ψ₁, ψ₂, ψ₃ и ψ₄ и, кроме того, не перекрывает потоки, отраженные от сегментов 6 и 7 в направлении Ф.

На фиг.3 изображена ситуация, когда палец оператора П, перекрыл часть потоков, отражаемых от сегментов 5 и 6 в направлении Ф. При этом в видеосигнале появляются участки, соответствующие этому перекрытию и обозначенные как A₁, А₂, А₃, А₄, минимальное значение видеосигнала в которых равно u A 1 3 , u A 2 3 , u A 3 3 , u A 4 3 соответственно, для включенных излучателей 1, 2, 3, 4. Очевидно, что временное положение участков A₁, А₂, А₃, А₄ в видеосигнале одинаково для любого из излучателей.

На фиг.4 изображена ситуация, когда палец оператора П опустился еще ниже к точке касания (x_n, y_п), продолжил частичное перекрытие потоков, отражаемых от сегментов 5 и 6 в направлении Ф и, кроме того, частично пересек потоки ψ₁ и ψ₂. При этом на поверхности сегмента 5 поочередно образуются две тени, соответствующие потокам ψ₁ и ψ₂, при включении соответствующих излучателей 1 и 2. Как и ранее, в видеосигнале имеются участки, соответствующие перекрытию отраженных от сегментов 5 и 6 потоков ψ₁, ψ₂, ψ₃ и ψ₄, обозначенных как A₁, А₂, А₃, А₄, соответствующих включенному состоянию излучателей 1, 2, 3, 4. Кроме того, в видеосигнале появляются два участка P₁, Р₂, соответствующих образуемым от потоков ψ₁ и ψ₂ затенениям на поверхности сегмента 5 от пальца П. В связи с тем, что при данном положении пальца П нет тени на сегменте 6, отраженное от него излучение, фокусируясь оптической системой 8, 9, не дает полного затемнения, и видеосигнал на участках P₁, Р₂ - u P 1 4 , u P 2 4 не достигает минимального значения.

На фиг.5 изображена ситуация, когда палец оператора П коснулся точки (x_n, y_п), и таким образом, кроме продолжения частичного перекрытия потоков, отражаемых от сегментов 6 и 7 в направлении Ф, и частичного перекрытия потоков ψ₃ и ψ₄, произвел частичное перекрытие потоков ψ₁ и ψ₂. Теперь и на поверхности сегмента 6 поочередно образуются две тени, соответствующие потокам ψ₁ и ψ₂, при включении соответствующих излучателей 1 и 2. Как и ранее, в видеосигнале имеются участки, соответствующие перекрытию отраженных от сегментов 5 и 6 потоков ψ₁, ψ₂, ψ₃ и ψ₄, обозначенные как A₁, А₂, А₃, А₄, соответствующие включенному состоянию излучателей 1, 2, 3, 4. Имеются два участка P₁, Р₂ с уровнями сигналов u P 1 5 , u P 2 5 , соответствующих образуемым от потоков ψ₁ и ψ₂ затенениям на поверхности сегмента 5 от пальца П. А также появились два участка Р₃, Р₄ с уровнями сигналов u P 3 5 , u P 4 5 , соответствующих образуемым от потоков ψ₃ и ψ₄ затенениям на поверхности сегмента 6 от пальца П. В связи с тем что при данном положении пальца П тени образовались и на сегменте 5 и на сегменте 6, их изображения на поверхности линейчатого фотоприемника образуются в виде полных теней. Соответственно, видеосигнал, соответствующий их изображениям, имеет более низкий уровень, по сравнению с ситуацией, изображенной на фиг.4.

На фиг.6 приведена оптическая схема построения изображения осевой линии сегмента 5, параллельной сенсорной поверхности 7, где:

ρ - осевая линия сегмента 6;

ε¹, ε² - точки, принадлежащие линии ρ;

ε m 1 , ε m 2 - меридиональные точки сходимости;

ε S 1 , ε S 2 - сагиттальные точки сходимости;

α - плоскость меридиональной фокусировки;

β - плоскость сагиттальной фокусировки;

γ - изображение линии ρ в плоскости β;

δ - изображение линии ρ в плоскости α.

Так как данная оптическая система (цилиндрическая линза-объектив) обладает ярко выраженным астигматизмом, элементарные пучки лучей, исходящие из точек ε¹ и ε², имеют в пространстве изображения в меридиональном и сагиттальном сечениях, различные точки сходимости - ε m 1 , ε m 2 и ε S 1 , ε S 2 соответственно [7].

Таким образом, благодаря наличию цилиндрической линзы 8, происходит меридиональная расфокусировка изображения сегмента 5 в плоскости β (в которой находится линейчатый фотоприемник 10) в направлении, перпендикулярном расположению фотоприемных пикселей. Аналогично, происходит и меридиональная расфокусировка изображения сегмента 6 в той же плоскости β.

На фиг.7 приведен пример формирования изображения тени от пальца, пересекающего световой поток ψ₁ излучателя 1, где:

О - центр оптической системы;

П S ψ 1 - тень, формируемая на поверхности сегмента 5, от действия светового потока ψ₁;

П β ψ 1 - изображение тени , П S ψ 1 построенное оптической системой на плоскости β.

Аналогичным образом вводим обозначения:

П S ψ 2 - тень, формируемая на поверхности сегмента 5, от действия светового потока ψ₂;

П S ψ 3 - тень, формируемая на поверхности сегмента 6, от действия светового потока ψ₃;

П S ψ 4 - тень, формируемая на поверхности сегмента 6, от действия светового потока ψ₄.

Соответственно, в плоскости β, строятся:

П β ψ 2 - изображение тени П S ψ 2 ;

П β ψ 3 - изображение тени П S ψ 3 ;

П β ψ 4 - изображение тени П S ψ 4 .

Таким образом, при затенении падающих на сегмент 5 световых потоков ψ₁ и ψ₂, формируемых при поочередном включении излучателей 1 и 2, на сегменте 5 формируются две тени - П S ψ 1 и П S ψ 2 , изображения которых - П β ψ 1 и П β ψ 1 соответственно пересекают фотоприемные пиксели линейчатого фотоприемника 10.

Аналогично, при затенении падающего на сегмент 6 световых потоков ψ₃ и ψ₄, формируемых при поочередном включении излучателей 3 и 4, на сегменте 6 формируются две тени - П S ψ 3 и П S ψ 4 , изображения которых - П β ψ 3 и П β ψ 4 соответственно, также пересекают фотоприемные пиксели линейчатого фотоприемника 10.

На фиг.8 изображен в двух проекциях пример исполнения предлагаемой системы, где:

N ( П β ψ 1 ) - номер пикселя линейчатого фотоприемника, соответствующего середине изображения тени П β ψ 1 на его поверхности;

N ( П β ψ 2 ) - номер пикселя линейчатого фотоприемника, соответствующего середине изображения тени П β ψ 2 на его поверхности;

N ( П β ψ 3 ) - номер пикселя линейчатого фотоприемника, соответствующего середине изображения тени П β ψ 3 на его поверхности;

N ( П β ψ 4 ) - номер пикселя линейчатого фотоприемника, соответствующего середине изображения тени П β ψ 4 на его поверхности;

σ - расстояние между центрами сегментов 6 и 7.

Конструктивно, первый 1 и второй 2 излучатели и линия ρ, проходящая по середине сегмента 5, находятся в плоскости, параллельной сенсорной поверхности 7. Также третий 3 и четвертый 4 излучатели и линия с, проходящая по середине сегмента 6, находятся в плоскости, параллельной сенсорной поверхности 7. Цилиндрическая линза 8, объектив 9 и линейчатый фотоприемник 10 отстоят консольно над сенсорной поверхностью 7. Благодаря расфокусировке изображений сегментов 5 и 6 в плоскости β, изображения теней в плоскости β пересекают фоточувствительную поверхность линейчатого фотоприемника 10, и не дает этим изображениям выйти за пределы расположения фотоприемных пикселей. Это в свою очередь исключает необходимость точной юстировки линейчатого фотоприемника относительно сегментов 5 и 6 и делает несущественным фактор перспективных искажений. Консольное расположение сборки «линейчатый фотоприемник-объектив-цилиндрическая линза» упрощает конструктивное исполнение данной системы в связи с тем, что не требует их размещения в одной плоскости с излучателями 1, 2, 3, 4.

По сравнению с прототипом, в котором используется матричный приемник изображения, применение линейчатого фотоприемника позволяет повысить скорость обновления информации на несколько порядков. Так, в отличие от типовой скорости кадровой развертки матричного приемника изображения в пределах 50-60 Гц линейчатый фотоприемник, например типа Atmel TH7834C [8], с разрешением 12000 пикселей, имеющий 4 выходных видеоканала и скорость считывания 5 МГц / пиксель на канал, дает эквивалентную скорость обновления информации 1700 Гц, при существенно большей точности. В случае более низкого разрешения, например при использовании линейчатого фотоприемника S9227 фирмы Hamamatsu [9], с разрешением 512 пикселей и частотой считывания 5 МГц, можно получить скорость обновления 10 кГц, т.е. выше, чем у матрицы с эквивалентным разрешением, в 200 раз.

Очевидно, что столь высокая скорость обновления видеоинформации позволяет получить высокий темп измерений, при наличии естественно достаточно быстродействующего специализированного вычислителя 10. Фиксируя время прохождения кончиком пальца оператора заданного пространственного промежутка, можно определить скорость его соприкосновения с сенсорной поверхностью и, следовательно, меру его воздействия (силу удара) о сенсорную поверхность.

Для этого, измерив интервал времени τ, между появлением тени пальца П на поверхности фотоприемника 10 при включенном состоянии первого (или второго) излучателя, например в момент времени t н * , и появлением тени на поверхности фотоприемника 10 при включенном третьем (или четвертом) излучателе, например в момент времени t к * , можно определить скорость кончика пальца П, которая будет равна:

1 )   ν = σ τ ;

где τ = t k * − t н * .

Так, при межцентровом расстоянии между 5 и 6 сегментами равном 5 мм и скорости обновления информации равной 1700 Гц / 4 (с учетом 4-х считываний видеосигнала для каждого из 4-х излучателей), может быть зафиксирована скорость более 2 м/сек.

На фиг.9 приведен вариант оптической схемы данного устройства, в которой излучатели находятся вблизи оптической системы. Это позволяет использовать при изготовлении верхнего и нижнего отражающих сегментов материал, переотражающий излучение в сторону источника излучения. Таким образом, может быть увеличена помехоустойчивость устройства, т.к. большая часть отраженного излучения будет направляться в сторону расположенной рядом с излучателями оптической системы. Для этого отражатель может быть выполнен в виде поверхности, покрытой оптически прозрачными микрошариками или микропирамидами, например интегрированными в световозвращающие пленки и ткани фирм «Zhejiang Fangyuan Yeshili Reflective Material Co., Ltd» или «Orafol» [10].

Для повышения энергетической эффективности предлагаемого устройства излучатели 1, 2, 3 и 4 должны обладать диаграммой направленности, представляющей собой поток излучения «прижатый» к сенсорной поверхности 7, максимальная энергия которого концентрируется на поверхности сегментов 5 и 6, что может быть получено использованием фокусирующих систем на базе цилиндрических линз.

На фиг.10 приведена упрощенная оптико-геометрическая схема данной системы, поясняющая вывод координат точки касания сенсорной поверхности, где:

OXY - система координат, относительно которой задаются -

(Х_П, Y_П) - координаты точки касания;

( X e m ψ 3 , Y e m ψ 3 ) - координаты излучателя 3;

( X e m ψ 4 , Y e m ψ 4 ) - координаты излучателя 4;

( X S ψ 3 , 0) - координаты оптического центра тени П S ψ 3 ;

( X S ψ 4 , 0) - координаты оптического центра тени П S ψ 4 ;

( X β ψ 3 , 0) - координаты оптического центра тени П β ψ 3 ;

( X β ψ 4 ,0)- координаты оптического центра тени П β ψ 4 ;

(Х_F, Y_F) - координаты оптического центра объектива.

Запишем уравнения прямых, проходящих через две тройки точек ( X S ψ 3 ,0), (X_F, Y_F), ( X β ψ 3 ,0) и ( X S ψ 4 ,0), (X_F, Y_F), ( X β ψ 4 , 0):

2 )   { X S ψ 3 − X β ψ 3 X F − X β ψ 3 = Y β Y β − Y F , X S ψ 4 − X β ψ 4 X F − X β ψ 4 = Y β Y β − Y F ;

откуда могут быть получены значения X S ψ 3 и X S ψ 4 .

Аналогично для двух троек точек ( X S ψ 3 , 0), (X_П, Y_П), ( X e m ψ 3 , Y e m ψ 3 ) и ( X S ψ 4 , 0), (X_П, Y_П), ( X e m ψ 4 , Y e m ψ 4 ) запишем:

3 )   { X S ψ 3 − X П X е m ψ 3 − X П = Y П Y П − Y е m ψ 3 , X S ψ 4 − X П X е m ψ 4 − X П = Y П Y П − Y е m ψ 4 ;

откуда могут быть получены значения координаты точки (Х_П, Y_П).

Таким образом, специализированный вычислитель 1 осуществляет поочередное включение одного из четырех излучателей 1, 2, 3 и 4, ввод видеосигналов с выхода линейчатого фотоприемника 10, соответствующих включенному состоянию каждого из излучателей 1, 2, 3 и 4, и определение по амплитудам видеосигналов наличие теней П β ψ 1 , П β ψ 2 , П β ψ 3 , П β ψ 4 и их координаты N ( П β ψ 1 ) , N ( П β ψ 2 ) , N ( П β ψ 3 ) , N ( П β ψ 4 ) . Далее, на основании заложенных в специализированный вычислитель данных о геометрических параметрах линейчатого фотоприемника, координат излучателей и оптического центра объективов, по формуле 2, могут быть определены координаты центров теней X S ψ 3 и X S ψ 4 на поверхности сегмента 6, а затем по формулам 3 их пересчет в координаты точки касания (Х_П, Y_П).

Осуществляя фиксацию значений t к * и t н * , специализированный вычислитель определяет скорость прохождения пальцем П отрезка длиной σ по формуле 1.

Источники информации:

1. Патент США №7006236 В2 от 28.02.2006 г.

2. Патент США №6480187 от 12.11.2002 г.

3. Патент США №6492633 от 10.12.2002 г.

4. Патент США №6844539 от 18.01.2005 г.

5. Патент США №7522156 от 21.04.2009 г.

6. Патент РФ №2362216 от 12.05.2008 г.

7. Справочник конструктора оптико-механических приборов. Под общей редакцией В. А. Панова. Ленинград, Машиностроение, 1980 г. стр. 102.

8. ТН7834С. Very High-resolution Linear CCD Image Sensor 12000 Pixels. Справочный материал фирмы Atmel. Rev. 1997 A-IMAGE-05/02.

9. S9227. CMOS Linear Image Sensor. Справочный материал фирмы HAMAMATSU. Cat. No.KMPD1074E04. Feb. 2007 DN.

10. http://www.orafol.com.

1. Оптическое сенсорное устройство с измерением динамического воздействия, содержащее сенсорную поверхность, отражатель, охватывающий часть периметра сенсорной поверхности, оптически сопряженные с отражателем фотоприемник, объектив, два пространственно-разнесенных излучателя, а также вычислитель, причем выход фотоприемника подключен к входу вычислителя, а первый и второй излучатели подключены к соответствующим выходам вычислителя, дополнительно вводится цилиндрическая линза, оптически сопряженная с объективом, а фотоприемник выполняется в виде линейчатого, размещенного параллельно сенсорной поверхности, кроме того, дополнительно вводятся третий и четвертый излучатели, оптически сопряженные с первым и вторым излучателями соответственно и подключенные к дополнительным выходам вычислителя, а отражатель выполняется в виде первого и второго сегментов, разделенных неотражающим промежутком, при этом вычислительное устройство определяет динамическое воздействие пальца оператора на сенсорную панель, измеряя интервал времени между появлением тени на первом и втором сегментах.

2. Устройство по п.1, отличающееся тем, что оптические центры первого-второго и третьего-четвертого излучателей и центральная ось первого и второго сегментов лежат в одной плоскости, параллельной сенсорной поверхности.

3. Устройство по п.1, отличающееся тем, что расстояния между первым-третьим и вторым-четвертым излучателями равно межцентровому расстоянию между первым и вторым сегментами.

4. Устройство по п.1, отличающееся тем, что первый и второй сегменты выполнены из светорассеивающего материала.

5. Устройство по п.1, отличающееся тем, что первый и второй сегменты выполнены из светоотражающего материала, а первый, второй, третий и четвертый излучатели находятся на таком расстоянии от цилиндрической линзы, что большая часть переотраженного излучения достигает ее входной апертуры.