Устройство снятия изображения, устройство отображения и снятия изображения и электронное устройство

Устройство снятия изображения, устройство отображения и снятия изображения и электронное устройство

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству снятия изображения и к устройству отображения изображения, используемому для получения информации о положении или других параметрах любого объекта, касающегося панели или находящегося рядом с ней, и к электронному устройству с таким устройством отображения и снятия изображения.

Предпосылки к созданию изобретения

Известна технология определения положения или других параметров любого объекта, касающегося поверхности дисплея устройства отображения или находящегося рядом с такой поверхностью. Эта технология обычно включает в себя общераспространенную технологию, относящуюся к устройству отображения с сенсорной панелью.

Сенсорные панели также бывают различных типов. Наиболее популярный тип панели использует измерение емкости. Панель этого типа выполнена с возможностью определять положение или другие параметры любого объекта путем восприятия изменений поверхностного заряда сенсорной панели, вызванных касанием панели пальцем. Соответственно, использование панели такого типа позволяет пользователю работать интуитивно.

Например, в патентном документе 1 и патентном документе 2 заявитель настоящей заявки предлагает устройство отображения, содержащее блок отображения (панель отображения и снятия изображения), имеющий функцию отображения для отображения изображения и функцию снятия изображения (функция обнаружения) для снятия изображения объекта (обнаружение).

Список литературы

Патентная литература

PTL 1: Публикация нерассмотренной заявки на патент Японии No. 2004-127272

PTL 2: Публикация нерассмотренной заявки на патент Японии No. 2006-276223

Сущность изобретения

При использовании устройства отображения, описанного в патентном документе 1, когда объект, такой как палец, касается, например, или приближается к панели отображения и снятия изображения, отраженный свет, представляющий собой свет, излучаемый панелью отображения и снятия изображения и отраженный объектом, может быть использован для определения положения или других параметров объекта на основе какого-либо захваченного изображения. Соответственно, при использовании такого устройства отображения нет необходимости в каких-либо дополнительных компонентах типа сенсорной панели в панели отображения и снятия изображения, так что можно определить положение или другие параметры любого объекта в такой простой конфигурации.

Однако при использовании отраженного от объекта света, как описано выше, иногда возникают проблемы из-за колебаний характеристик или других параметров внешнего света и фотоэлементов. Более конкретно, интенсивность света, который должен быть принят фотоэлементами, изменяется в зависимости от яркости внешнего света, что иногда затрудняет определение положения или других параметров объекта на основе захваченного изображения. Более того, колебания характеристик или других параметров фотоэлементов приводят к появлению постоянных шумов, что также создает затруднения при определении положения или других параметров объекта на основе принятого изображения.

С учетом этого в патентном документе 2 предпринята попытка устранить такое влияние внешнего света и постоянных шумов путем определения разности между изображением, получаемым в состоянии излучения света (изображения, полученного с использованием результата отражения излучаемого света), и изображением, получаемым в отсутствие излучения света. Эта попытка предпринята для определения положения или других параметров объекта в отсутствие влияния внешнего света и фиксированных шумов.

В реальных условиях, однако, имеет место разница во времени между описанным выше изображением, полученным в состоянии излучения света, и изображением, полученным в состоянии без излучения света. Поэтому, если, например, объект перемещается по панели отображения и снятия изображения с высокой скоростью, эта разница во времени приводит к смещению положения изображения, измеренного в состоянии излучения света, относительно положения изображения, измеренного в состоянии без излучения света. При таком смещении положения при определении разности между рассматриваемыми двумя изображениями в дополнение к изначально ожидаемому сигналу, соответствующему положению объекта, будет генерирован ложный сигнал в другом положении. В такой ситуации из-за присутствия ложного сигнала устойчивое определение положения объекта оказывается затруднительным. Заметим, что при большой скорости перемещения объекта наблюдается тенденция увеличения области генерации ложного сигнала, а при повышении яркости внешнего света наблюдается тенденция усиления ложного сигнала.

Вследствие этого, существующим известным технологиям присущи сложности в обнаружении с хорошей стабильностью любого объекта, касающегося или находящегося близко к панели, независимо от условий работы, что оставляет поле для усовершенствований.

Настоящее изобретение разработано с учетом описанных выше проблем, а целью его является создание устройства снятия изображения, устройства отображения и снятия изображения и способа определения положения объекта, позволяющего определять положение объекта с хорошей стабильностью независимо от условий использования, и электронного устройства с таким устройством отображения и снятия изображения.

Устройство снятия изображения согласно одному из вариантов настоящего изобретения включает: панель снятия изображения со множеством первых фотоэлементов, множеством вторых фотоэлементов и излучающим источником света, излучающим зондирующий свет для обнаружения близкого объекта, причем длины волн зондирующего света лежат в заданном диапазоне длин волн; и блок обработки изображения для выполнения обработки изображения над сигналами, захваченными панелью снятия изображения в процессе снятия изображения близкого объекта, и получения тем самым информации об объекте, включающей один или несколько параметров из положения, формы или размеров близкого объекта. В этом устройстве область длин волн светочувствительности первых фотоэлементов включает в себя область длин волн зондирующего света. Более того, светочувствительность вторых фотоэлементов в области длин волн зондирующего света ниже светочувствительности первых фотоэлементов в этой области. Таким образом, процессор изображения получает информацию об объекте путем обработки сигналов, приходящих от первых и вторых фотоэлементов.

Устройство отображения и снятия изображения согласно одному из вариантов настоящего изобретения включает: панель отображения и снятия изображения, имеющую множество элементов отображения, множество первых фотоэлементов и множество вторых фотоэлементов и излучающую свет, включающий зондирующий свет для обнаружения близкого объекта, причем длины волн зондирующего света лежат в заданной области длин волн; и процессор изображения для выполнения обработки изображения над сигналами, захваченными панелью отображения и снятия изображения в процессе приема изображения близкого объекта, и получения тем самым информации об объекте, включающей один или несколько параметров из положения, формы или размеров близкого объекта. В этом устройстве область длин волн светочувствительности первых фотоэлементов включает в себя область длин волн зондирующего света. Более того, светочувствительность вторых фотоэлементов в области длин волн зондирующего света ниже светочувствительности первых фотоэлементов в этой области. Таким образом, процессор изображения получает информацию об объекте путем обработки сигналов, приходящих от первых и вторых фотоэлементов.

Электронное устройство согласно одному из вариантов настоящего изобретения включает описанное выше устройство отображения и снятия изображения, имеющее функцию отображения изображения и функцию снятия изображения.

В устройстве снятия изображения, устройстве отображения и снятия изображения и электронном устройстве согласно одному из вариантов настоящего изобретения сигналы, захваченные панелью снятия изображения (панелью отображения и снятия изображения) в процессе снятия изображения близкого объекта, обрабатывают для получения информации о близком объекте. Более конкретно, информацию об объекте получают с использованием составного изображения, построенного, например, на основе изображения, захваченного первым фотоэлементом, и изображения, захваченного вторым фотоэлементом. В этом примере, поскольку для каждого из первых фотоэлементов область длин волн зондирующего света, описанная выше, попадает в диапазон длин волн светочувствительности, при перемещении близкого объекта по панели снятия изображения (или по панели отображения и снятия изображения) изображение, захваченное первыми фотоэлементами, может породить в них ложный сигнал в дополнение к сигналу обнаружения близкого объекта. С другой стороны, поскольку светочувствительность вторых фотоэлементов ниже светочувствительности первых фотоэлементов в области длин волн зондирующего света, изображение, считываемое вторыми фотоэлементами, также может породить в них ложный сигнал аналогично случаю первых фотоэлементов, но сигнал обнаружения близкого объекта не вырабатывается. Соответственно, даже при перемещении близкого объекта по панели снятия изображения (или по панели отображения и снятия изображения) получение информации об объекте с использованием составного изображения, построенного на основе изображения, считываемого первым фотоэлементом, и изображения, считываемого вторым фотоэлементом, может успешно помешать выработке ложного сигнала в составном изображении.

В устройстве снятия изображения, устройстве отображения и снятия изображения и электронном устройстве согласно одному из вариантов настоящего изобретения панель снятия изображения (панель отображения и снятия изображения) содержит множество первых фотоэлементов, для каждого из которых область длин волн зондирующего света для обнаружения близкого объекта попадает в диапазон длин волн светочувствительности, и множество вторых фотоэлементов, светочувствительность которых в области длин волн зондирующего света ниже светочувствительности первых фотоэлементов, а информацию о близком объекте получают посредством обработки сигналов, поступающих от этих первых и вторых фотоэлементов. Это позволяет не допустить выработку ложных сигналов, даже когда близкий объект, например, перемещается по панели снятия изображения (панели отображения и снятия изображения). Соответственно можно обнаруживать объект с хорошей стабильностью независимо от условий использования устройства.

Краткое описание чертежей

Фиг.1 представляет блок-схему, показывающую конфигурацию устройства отображения и снятия изображения согласно одному из вариантов настоящего изобретения.

Фиг.2 представляет блок-схему, показывающую пример конфигурации панели отображения ввода/вывода, приведенной на фиг.1.

Фиг.3 представляет схематический вид, показывающий пример расположения пикселов в области отображения (области датчиков) согласно фиг.2.

Фиг.4 представляет схематический вид, показывающий примеры топологии главных датчиков и вспомогательных датчиков в области отображения (области датчиков) согласно фиг.2.

Фиг.5 представляет схематический вид, показывающий примеры топологии главных датчиков и вспомогательных датчиков в области отображения (области датчиков) согласно фиг.2.

Фиг.6 представляет графики характеристик, показывающие пример соотношений между областью длин волн излучения источника света, используемого для обнаружения объекта, и областями обнаруживаемых длин волн, используемыми соответственно главными датчиками и вспомогательными датчиками.

Фиг.7 представляет временную диаграмму для иллюстрации соотношения с точки зрения подсветки между состояниями «Вкл.»/«Выкл.» (ON/OFF) и состоянием отображения.

Фиг.8 представляет блок-схему процесса выделения разностного изображения кончиков пальцев.

Фиг.9 представляет временную диаграмму процесса выделения разностного изображения согласно фиг.8.

Фиг.10 представляет фотографии для иллюстрации процесса выделения разностного изображения кончиков пальцев.

Фиг.11 представляет схему, иллюстрирующую процесс выделения разностного изображения кончиков пальцев в условиях яркого внешнего света.

Фиг.12 представляет схему, иллюстрирующую процесс выделения разностного изображения кончиков пальцев в условиях слабого внешнего света.

Фиг.13 представляет схему, иллюстрирующую динамический диапазон сигнала фотоэлемента в результате процесса выделения разностного изображения кончиков пальцев.

Фиг.14 представляет фотографии для иллюстрации процесса выделения разностного изображения кончиков пальцев, когда кончик пальца, являющийся целью обнаружения, присутствует в виде нескольких одновременных следов.

Фиг.15 представляет график для иллюстрации процесса выделения разностного изображения в примере для сравнения.

Фиг.16 представляет схематичное изображение для иллюстрации процесса выделения разностного изображения в примере для сравнения.

Фиг.17 представляет график для иллюстрации разностного изображения в главных датчиках рассматриваемого варианта.

Фиг.18 представляет схематичное изображение для иллюстрации разностного изображения в главных датчиках рассматриваемого варианта.

Фиг.19 представляет график для иллюстрации разностного изображения во вспомогательных датчиках рассматриваемого варианта.

Фиг.20 представляет схематичное изображение для иллюстрации разностного изображения во вспомогательных датчиках рассматриваемого варианта.

Фиг.21 представляет схематичное изображение для иллюстрации процесса синтеза разностного изображения в главных датчиках рассматриваемого варианта и разностного изображения во вспомогательных датчиках рассматриваемого варианта.

Фиг.22 представляет график для иллюстрации процесса выделения разностного изображения в первом модифицированном примере настоящего изобретения.

Фиг.23 представляет схематичное изображение для иллюстрации процесса выделения разностного изображения кончиков пальцев в первом модифицированном примере настоящего изобретения.

Фиг.24 представляет схематичное изображение для иллюстрации процесса выделения разностного изображения кончиков пальцев во втором модифицированном примере настоящего изобретения.

Фиг.25 представляет схематичное изображение для иллюстрации процесса выделения разностного изображения кончиков пальцев в третьем модифицированном примере настоящего изобретения.

Фиг.26 представляет изображение для иллюстрации примера применения, использующего результат процесса выделения кончиков пальцев.

Фиг.27 представляет изображение для иллюстрации примера применения, использующего результат процесса выделения кончиков пальцев.

Фиг.28 представляет изображение для иллюстрации примера применения, использующего результат процесса выделения кончиков пальцев.

Фиг.29 представляет изображение для иллюстрации примера применения, использующего результат процесса выделения кончиков пальцев.

Фиг.30 представляет вид в перспективе устройства отображения и снятия изображения в каждом из указанных выше вариантов, показывающий внешний вид устройства в первом примере применения.

Фиг.31(А) представляет вид в перспективе второго примера применения, показывающий внешний вид устройства спереди, и (В) вид в перспективе этого примера применения, показывающий внешний вид устройства сзади.

Фиг.32 представляет вид в перспективе третьего примера применения, показывающий внешний вид устройства.

Фиг.33 представляет вид в перспективе четвертого примера применения, показывающий внешний вид устройства.

Фиг.34(А) представляет вид спереди пятого примера применения в раскрытом состоянии, (В) представляет вид сбоку, (С) представляет вид спереди в закрытом состоянии, (D) представляет вид слева, (Е) представляет вид справа, (F) представляет вид сверху и (G) представляет вид снизу.

Фиг.35 представляет схему, показывающую другой пример соотношения между областью длин волн излучения источника света, служащего для обнаружения объекта, и областями зондирующих длин волн, используемых соответственно главными датчиками и вспомогательными датчиками.

Фиг.36 представляет блок-схему, показывающую конфигурацию устройства отображения и снятия изображения согласно другому модифицированному примеру настоящего изобретения.

Фиг.37 представляет принципиальную схему, показывающую пример конфигурации каждого пиксела в устройстве отображения и снятия изображения, приведенного на фиг.36.

Фиг.38 представляет схему для иллюстрации процесса выделения разностного изображения кончиков пальцев в устройстве отображения и снятия изображения согласно фиг.36 и 37.

Наилучшие способы осуществления изобретения

Ниже подробно описан вариант осуществления изобретения со ссылками на чертежи.

Пример полной конфигурации устройства отображения и снятия изображения

Фиг.1 представляет блок-схему, показывающую полную конфигурацию устройства отображения и снятия изображения согласно одному из вариантов настоящего изобретения. Это устройство отображения и снятия изображения включает панель 20 ввода/вывода отображения, источник 15 подсветки, схему 12 управления дисплеем, схему 13 управления фотоэлементами, процессор 14 и блок 11 выполнения прикладных программ.

Панель 20 ввода/вывода отображения выполнена в виде жидкокристаллической панели (LCD; жидкокристаллический дисплей), на которой в виде матрицы расположено множество пикселов. Эта панель 20 ввода/вывода отображения имеет не только функцию отображения изображений (функцию отображения) графических изображений, текста и т.д., заданных на основе данных отображения, но также функцию (функцию снятия изображения) снятия изображения любого объекта (близкого объекта), касающегося или находящегося рядом с панелью 20 ввода/вывода отображения, как будет описано позднее. Далее источник 15 подсветки выполнен, например, в виде совокупности множества светодиодов и служит источником света и для отображения, и для целей обнаружения объектов в панели 20 ввода/вывода отображения. Как будет описано далее, этот источник 15 подсветки выполнен с возможностью включаться/выключаться с высокой скоростью в заданные моменты времени синхронно с работой панели 20 ввода/вывода отображения.

Схема 12 управления дисплеем представляет собой схему, отвечающую за управление панелью 20 ввода/вывода отображения (управление для операции отображения с последовательной разверткой) для отображения изображений на основе данных отображения на панели 20 ввода/вывода отображения (для выполнения операции отображения).

Схема 13 управления фотоэлементами (блок генерации изображения) представляет собой схему, отвечающую за управление панелью 20 ввода/вывода отображения (управление для выполнения операции снятия изображения в режиме последовательной развертки) для получения сигнала световосприятия (сигнал снятия изображения) от каждого из пикселов панели 20 ввода/вывода отображения (для снятия изображения объекта). Далее эта схема 13 управления фотоэлементами выполнена с возможностью генерации составного изображения, что будет описано далее, путем заданной обработки изображения (процесс генерации изображения) на основе сигнала световосприятия от каждого пиксела. Кроме того, данные получаемого составного изображения накапливают на покадровой основе, например, в памяти 13А кадров и затем передают в блок 14 обработки изображения в качестве захваченного изображения. Такой процесс генерации изображения будет подробно описан далее.

Блок 14 обработки изображения отвечает за выполнение заданной обработки изображения (вычислительного процесса) на основе захваченного изображения (составного изображения), предоставленного схемой 13 управления фотоэлементами, и за обнаружение близкого объекта и получение информации об этом близком объекте (включая, например, данные о координатах положения объекта и данные о форме и размерах объекта). Кроме того, процесс обнаружения объекта как таковой будет подробно рассмотрен далее.

Блок 11 выполнения прикладных программ отвечает за выполнение процесса в соответствии с какой-либо заданной прикладной программой на основе результата обнаружения, полученного в блоке 14 обработки изображения. Такой процесс может заключаться, например, в преобразовании координат положения обнаруженного объекта в данные отображения и в отображении положения объекта на панели 20 ввода/вывода отображения. Отметим здесь, что данные отображения, генерируемые блоком 11 выполнения прикладных программ, должны быть переданы схеме 12 управления отображением.

Подробное описание примера конфигурации панели ввода/вывода отображения

Далее со ссылкой на фиг.2 будет рассмотрен подробный пример конфигурации панели 20 ввода/вывода отображения. Эта панель 20 ввода/вывода отображения выполнена включающей в себя область 21 отображения (область датчиков), схему 22 управления горизонтальной разверткой дисплея, схему 23 управления вертикальной разверткой дисплея, схему 25 управления горизонтальной разверткой для считывания датчиков и схему 24 управления вертикальной разверткой для считывания датчиков.

Область 21 отображения представляет собой область, где происходит модуляция света, излучаемого источником 15 подсветки, и снятие изображения любого объекта, оказавшегося рядом с этой областью. В рассматриваемом варианте излучаемый свет содержит излучение дисплея и зондирующий свет (например, инфракрасный свет) от инфракрасного источника света или других источников (не показаны) для обнаружения любого близкого объекта (то же самое применимо ниже). Эта область 21 отображения включает в себя матрицу жидкокристаллических элементов, каждый из которых является светоизлучающим элементом (элементом дисплея), и светочувствительных датчиков (главных датчиков 32 и вспомогательных датчиков 33, как будет описано ниже), каждый из которых является фотоэлементом (элементом снятия изображения).

Схема 22 управления горизонтальной разверткой дисплея отвечает за управление в режиме последовательной развертки жидкокристаллическими элементами в составе пикселов в области 21 отображения вместе со схемой 23 управления вертикальной разверткой дисплея на основе сигнала отображения для целей управления отображением и управляющим тактовым сигналом, генерируемыми схемой 12 управления отображением.

Схема 25 управления горизонтальной разверткой для считывания датчиков отвечает за управление в режиме последовательной развертки фотоэлементами в составе пикселов в области 21 датчиков вместе со схемой 24 управления вертикальной развертки для считывания датчиков и за получение сигналов световосприятия.

Подробное описание примера конфигурации каждого пиксела в области отображения

Далее со ссылками на фиг.3-5 будет подробно описан пример конфигурации каждого пиксела в области 21 отображения.

Прежде всего, как показано в примере на фиг.3, пиксел 31 выполнен в виде пиксела 31 RGB отображения (блок отображения), включающего в себя жидкокристаллический элемент, и пиксела снятия изображения (светочувствительный блок). Пиксел 31 RGB отображения включает в себя пиксел 31R отображения красного (R) цвета, пиксел 31G отображения зеленого (G) цвета и пиксел 31В отображения синего (В) цвета. Далее светочувствительный блок содержит два типа светочувствительных датчиков, а именно главные датчики 32 (первые фотоэлементы) и вспомогательные датчики 33 (вторые фотоэлементы). Отметим, что хотя на фиг.3 показано взаимно однозначное соответствие между пикселами 31 RGB отображения и светочувствительными датчиками, возможны альтернативные варианты, когда несколько пикселов 31 RGB отображения могут соответствовать одному светочувствительному датчику.

Главные датчики 32 и вспомогательные датчики 33 предпочтительно расположены поочередно в пропорции один к одному в области 21 отображения, как показано, например, на фиг.4(А) и (В). В альтернативном варианте, как показано, например, на фиг.5(А) и (В), количество вспомогательных датчиков 33 может быть меньше количества главных датчиков 32. В такой конструкции возникает необходимость выполнения интерполяции сигналов световосприятия от вспомогательных датчиков 33, что усложняет процесс и требует осторожности в вопросе о том, может ли возможная неполнота обнаружения создать проблемы в зависимости от типа сигнала и конкретного приложения. Отметим, что на фиг.4 и 5 для удобства описания пикселы 31RGB отображения не показаны.

Пример конфигурации области длин волн в источнике света и светочувствительном датчике

Далее будет со ссылкой на фиг.6 описан пример конфигурации области длин волн в источнике света и светочувствительном датчике. На фиг.6 показан пример соотношения между областью длин волн излучения источника света, используемого для обнаружения объекта (фиг.6(А)), и областью длин волн зондирующего света, используемого главными датчиками 32 и вспомогательными датчиками 33 (фиг.6(В) и (С)).

Прежде всего, как показывает кривая, обозначенная позицией G21, на фиг.6(В), для каждого из главных датчиков 32 область длин волн светочувствительности располагается на длинноволновой стороне спектра от длины волны λ1. Соответственно, каждый из главных датчиков 32 имеет в качестве области длин волн светочувствительности область Δλ23 длин волн (область длин волн от длины волны λ2 до длины волны λ3) зондирующего света, обозначенную позицией G1 на фиг.6(А), для использования с целью обнаружения какого-либо близкого объекта, и, следовательно, выполнен с возможностью работать в качестве светочувствительного датчика для обнаружения близких объектов. Здесь, в главных датчиках 32 светочувствительность в области Δλ23 длин волн зондирующего света выше светочувствительности в заданной области длин волн (в этом примере области длин волн короче длины волны λ2), отличной от области Δλ23 длин волн.

С другой стороны, как показывает кривая, обозначенная позицией G31 на фиг.6(С), для каждого из вспомогательных датчиков 33 область длин волн светочувствительности располагается на коротковолновой стороне спектра от длины волны λ2. Иными словами каждый из вспомогательных датчиков 33 имеет спектральную характеристику светочувствительности, отличную от характеристики указанных выше главных датчиков 32. Соответственно, у этих вспомогательных датчиков 33 светочувствительность в области Δλ23 длин волн зондирующего света ниже, чем у главных датчиков 32 (в рассматриваемом примере светочувствительность в области Δλ23 длин волн зондирующего света равна нулю (0)). Таким образом, каждый вспомогательный датчик 33 выполнен с возможностью работать в качестве фотоприемного датчика для использования с целью обнаружения ложного сигнала, что будет описано ниже. Более того, вспомогательные датчики 33 в области Δλ23 длин волн зондирующего света имеют светочувствительность ниже, чем в указанной выше заданной области длин волн (области длин волн короче длины волны λ2 в данном примере). Отметим, что в данном примере область Δλ12 длин волн (область длин волн от длины волны λ1 до длины волны λ2) является областью длин волн светочувствительности, используемой и главными датчиками 32, и вспомогательными датчиками 33.

В частности, когда в качестве зондирующего света используют инфракрасный свет, главные датчики 32 могут быть выполнены таким образом, чтобы эта область длин волн инфракрасного света попала в область длин волн светочувствительности, а вспомогательные датчики 33 могут быть выполнены таким образом, чтобы областью длин волн светочувствительности оказалась область видимого или иного света. Однако возможное соотношение между областью длин волн зондирующего света и областями длин волн светочувствительности соответственно главных датчиков 32 и вспомогательных датчиков 33 этим не ограничивается. Например, в качестве зондирующего света можно использовать зеленый свет, а область длин волн светочувствительности вспомогательных датчиков 33 может включать только область длин волн красного света. В этом случае, однако, необходимо быть внимательными, чтобы убедиться, что вспомогательные датчики 33 принимают внешний свет с длиной волны, которую могут принимать главные датчики 32, хотя область длин волн светочувствительности вспомогательных датчиков предпочтительно не включает область длин волн зондирующего света. Это обусловлено тем, что, как будет описано позже, вспомогательные датчики 33 предназначены для обнаружения ложного сигнала, порождаемого внешним светом, попадающим в главные датчики 32. Такое соотношение между областью длин волн зондирующего света и областями длин волн светочувствительности главных датчиков 32 и вспомогательных датчиков 33, соответственно, может быть реализовано посредством сочетания любых существующих цветных светофильтров, построения характеристики спектральной чувствительности фотоприемного датчика или иными способами.

В этом случае область длин волн светочувствительности главных датчиков 32 может быть обозначена позицией G22 на фиг.6(В), и аналогично область длин волн светочувствительности вспомогательных датчиков 33 может быть обозначена позицией G32 на фиг.6(С). В этом случае область Δλ12 длин волн (область длин волн от длины волны λ1 до длины волны λ2) и область Δλ34 длин волн (область длин волн от длины волны λ3 до длины волны λ4) составляют область длин волн светочувствительности и для главных датчиков 32, и для вспомогательных датчиков 33.

Далее описаны преимущества и результаты применения устройства отображения и снятия изображения согласно варианту изобретения.

Пример основной работы устройства отображения и снятия

Сначала опишем основную работу устройства отображения и снятия изображения, т.е. операцию отображения изображения и операции снятия изображения объекта.

В таком устройстве отображения и снятия изображения данные отображения, предоставляемые блоком 11 выполнения прикладных программ, используют в качестве основы для генерирования сигнала управления отображения в схеме 12 управления отображением. Полученный сигнал управления обеспечивает управление панелью 20 ввода/вывода отображения в режиме последовательной развертки для выполнения отображения изображения. Кроме того, источник 15 подсветки в это время тоже получает сигнал управления от схемы 12 управления отображением для его включения/выключения синхронно с панели 20 ввода/вывода отображения.

Теперь со ссылкой на фиг.7 рассмотрим соотношение между состоянием «Вкл.»/«Выкл.» (ON/OFF) источника 15 подсветки и состоянием отображения на панели 20 ввода/вывода отображения. На фиг.7 по горизонтальной оси отложено время, а на вертикальной оси отмечено положение строки, в которой активизируют фотоэлементы для приема света.

Прежде всего, при отображении изображения с периодом следования кадров, например, 1/60 секунды источник 15 подсветки выключен (установлен в состояние «Выкл.» (OFF)) в первом полупериоде (1/120 с) каждого периода следования кадров, так что никакого отображения не выполняется. С другой стороны, во втором полупериоде каждого периода следования кадров источник 15 подсветки включен (установлен в состояние «Вкл.» (ON)), так что происходит отображение изображения для соответствующего периода кадра с подачей сигнала отображения каждому пикселу.

Таким образом, первый полупериод каждого периода кадра является периодом несвечения, в котором от панели 20 ввода/вывода отображения свет не поступает, а второй полупериод каждого периода кадра является периодом свечения, когда от панели 20 ввода/вывода отображения исходит свет.

В данном случае, когда рядом с панелью 20 ввода/вывода отображения находится близкий объект (например, кончик пальца), вследствие управления панелью в режиме последовательной развертки схемой 13 управления световосприятием с целью приема света происходит снятие изображения этого близкого объекта посредством фотоэлемента в каждом пикселе панели 20 ввода/вывода отображения. Сигнал световосприятия от каждого фотоэлемента затем поступает в схему 13 управления световосприятием. В этой схеме 13 управления световосприятием накапливают сигналы световосприятия пикселов в одном кадре и затем выводят их в блок 14 обработки изображения в качестве снятого изображения.

Блок 14 обработки изображения выполняет заданную обработку изображения (вычислительный процесс) на основе принятого изображения, как будет описано далее, и тем самым выделяет информацию об объекте, близком к панели 20 ввода/вывода отображения (например, данные о координатах положения, данные о форме и размерах объекта).

Пример основных операций процесса выделения изображения кончиков пальцев (процесса выделения разностного изображения кончиков пальцев) в устройстве отображения и снятия изображения

Далее со ссылками на фиг.8-14 будут описаны базовые операции процесса выделения объекта (например, кончика пальца), близкого к панели 20 ввода/вывода отображения, посредством блока 14 обработки изображения (процесс выделения кончиков пальцев). Фиг.8 представляет блок-схему процесса выделения кончиков пальцев (процесс выделения разностного изображения кончиков пальцев будет описан далее) в блоке 14 обработки изображения, а фиг.9 представляет временную диаграмму части этого процесса выделения разностного изображения кончиков пальцев.

Прежде всего, в первом полупериоде одного периода кадра отображения, когда источник 15 подсветки выключен (период несвечения), панель 20 ввода/вывода отображения осуществляет снятие изображения близкого объекта. В результате получают изображение А (теневое изображение) (этап S11 на фиг.8 и период времени от момента t1 до момента t2 на фиг.9).

Далее во втором полупериоде периода кадра отображения, когда источник 15 подсветки включен (период свечения), панель 20 ввода/вывода отображения осуществляет снятие изображения близкого объекта. В результате получают изображение В (отраженное изображение с использованием отражения излучаемого света) (этап S12 на фиг.8 и период времени от момента t3 до момента t4 на фиг.9).

Далее с использованием этого изображения В и указанного изображения А (теневое изображение), полученного в результате снятия изображения в период, когда источник 15 подсветки выключен (период несвечения), блок 14 обработки изображения генерирует разностное изображение С (этап S13 на фиг.8 и период времени от момента t3 до момента t4 на фиг.9).

Затем блок 14 обработки изображения использует полученное таким образом разностное изображение С в качестве основы для вычислений с целью определения центра масс (этап S14), идентифицируя тем самым центр касания (близости) (этап S15). После этого результат обнаружения близкого объекта передают из блока 14 обработки изображения в блок 11 выполнения прикладных программ, так что этот момент является окончанием процесса выделения разностного изображения кончиков пальцев в блоке 14 обработки изображения.

Таким образом, в процессе выделения разностного изображения кончиков пальцев такое выделение изображения кончиков пальцев осуществляют на основе разностного изображения С, полученного с использованием изображения В, использующего отражение излучаемого света, и изображения А, использующего не излучаемый свет, а внешний свет (окружающий свет). Соответственно, как, например, на фотографии разностного изображения С на фиг.10, любое влияние яркости внешнего света оказывается устранено, так что обнаружение близкого объекта осуществляется без какого-либо влияния яркости внешнего света. В то же время вместе с таким устранением внешнего света можно исключить любые постоянные шумы, возникающие вследствие вариаций характеристик светоизлучающих элементов или других факторов.

Более конкретно, в примере, показанном на виде в разрезе на фиг.11(А), при ярком падающем внешнем свете выходное напряжение Von1 световосприятия, когда источник 15 подсветки включен, показано на фиг.11(В). А им