Интегральное устройство восприятия изображения и соответствующий способ

Интегральное устройство восприятия изображения и соответствующий способ

Иллюстрации

Показать все

Реферат

Ссылки на родственные заявки

Настоящая заявка претендует на приоритет патентной заявки US 12/880964, поданной 13 сентября 2010 г., являющейся частичным продолжением патентной заявки US 11/477571, поданной 30 июня 2006 г., которая претендует на приоритет предварительной патентной заявки 60/694988, поданной 30 июня 2005 г., содержание которых полностью введено в настоящее описание посредством ссылки.

Область техники

В целом, изобретение относится к области устройств для формирования изображений и соответствующим способам. В частности, настоящее изобретение относится к микро-устройствам для распознавания изображений со светоизлучающими элементами, расположенным на прозрачной или полупрозрачной подложке, например, стекле или пластике, или встроенным в нее, а также к способам распознавания изображений.

Уровень техники

Прозрачные поверхности, например, стеклянные, существовали сотни лет. Прозрачные поверхности первоначально использовались для защиты жилого пространства, позволяя его обитателям воспринимать окружающий мир (местность, погоду и возможные опасности). В последнее время на прозрачные поверхности существует огромная потребность в производстве дисплеев, начиная от электронно-лучевых трубок (ЭЛТ) и кончая, в последние годы, жидкокристаллическими дисплеями (ЖК-дисплеи) и разного рода дисплеями с плоскими панелями. При их использовании, во многих случаях человек или живые организмы (животные, растения) располагаются вблизи таких прозрачных поверхностей.

Датчики изображения используются уже несколько десятилетий (например, ПЗС датчики (датчики на базе приборов с зарядовыми связями) или КМОП датчики (датчики на комплементарных структурах ″металл/оксид/полупроводник″). Например, в US 6617565, содержание которого включено в настоящее описание посредством ссылки, описан КМОП датчик изображения на одном кристалле. Типовыми конструкциями датчиков изображения являются камеры, включающие интегральную схему, установленную за линзой объектива, который может быть миниатюрным или сменным (например, навинчивающийся объектив). Чувствительные элементы датчика предназначены для преобразования световой энергии (фотонов) в электрический сигнал, пропорциональный количеству света, принятому фоточувствительными элементами, из которых в чувствительном элементе датчика сформирована решетка. Изображение синтезируется из выходных сигналов фоточувствительных элементов.

Технологии распознавания изображений становятся все более востребованными. Видеокамеры различных размеров и конструкций требуются для самых различных применений, например, охраны, идентификации личности, разведки, контроля качества, наблюдения за дорожным движением и др. Видеокамеры часто соединены с дисплеями либо проводной, либо беспроводной связью. Сегодня видеокамеры, объединенные с ЖК дисплеем, стали стандартной принадлежностью сотовых телефонов.

Для совершенствования распознавания изображений требуется синтез изображения высокого разрешения. Существующие системы распознавания изображений работают со сравнительно невысокой скоростью из-за низких вычислительных возможностей и (или) из-за того, что процессоры могут вести обработку не более одного пиксела изображения за один раз.

Таким образом, требуется создание новых устройств распознавания изображений, более совершенных, чем существующие.

Раскрытие изобретения

В основу настоящего изобретения положена задача создания устройства распознавания (восприятия) изображений, имеющего чувствительную площадку (например, фоточувствительные элементы), непосредственно встроенную в прозрачный или полупрозрачный материал, образующий оптический интерфейс между падающим изображением и чувствительной площадкой, или расположенную на таком материале. В предпочтительном варианте, само устройство распознавания изображений является прозрачным или полупрозрачным.

Другой задачей настоящего изобретения является создание чувствительной площадки, обладающей функцией самостоятельного ("на месте") принятия решения с использованием решетки обучаемых процессорных элементов. В одном варианте выполнения настоящего изобретения, обучаемые элементы когнитивной памяти или ячейки связаны с одним или более фоточувствительными элементами. Преимуществом принятия решения "на месте" является то, что снижаются требования к скорости передачи данных устройством (т.е., полосе пропускания), особенно в тех случаях, когда число фоточувствительных элементов велико, и должна быть высока частота передачи данных фоточувствительных элементов. Используя большие решетки чувствительных площадок, каждая из которых обладает способностью принятия решений "на месте", можно создать устройство формирования изображения с высоким быстродействием и разрешением.

В соответствии с вариантом выполнения настоящего изобретения, обучаемые элементы когнитивной памяти могут работать параллельно на низких

частотах и потреблять очень малый ток. Как следствие, может обеспечиваться автономная работа каждого элемента при использовании маломощных источников энергии, например, солнечных батарей или их эквивалентов.

В соответствии с вариантом выполнения настоящего изобретения, новое интегральное устройство распознавания изображений образовано соединением одного или более фоточувствительных элементов с одним или более обучаемых элементов когнитивной памяти, причем все они встроены в подложку или расположены на ней.

В соответствии с вариантом выполнения настоящего изобретения, множество фоточувствительных элементов, связанных с большим числом обучаемых элементов когнитивной памяти, может быть организовано в одну или несколько решеток и распределено по плоской прозрачной или полупрозрачной подложке. Решетки могут обладать изменяемыми геометрией и соединяемостью. К типичной геометрии относится, среди прочего, линейная решетка параллельно расположенных нейронов, либо двумерная решетка нейронов, объединенных растровой или сотовой геометрией.

Согласно одной особенности, в настоящем изобретении предложено устройство распознавания изображений, имеющее множество когнитивных воспринимающих элементов, множество оптических интерфейсов и множество светоизлучающих элементов. Множество когнитивных воспринимающих элементов встроено в прозрачную или полупрозрачную подложку или расположено на ней. Каждый воспринимающий элемент имеет фоточувствительный элемент и связанную с фоточувствительным элементом ячейку обучаемой когнитивной памяти. Каждый из множества оптических интерфейсов, встроенных в подложку или сформированных на ней, оптически сопряжен с соответствующим элементом из множества когнитивных воспринимающих элементов. Множество светоизлучающих элементов расположены на подложке и приспособлены для излучения света.

В некоторых вариантах выполнения, светом, излучаемым одним или более из множества светоизлучающих элементов, можно управлять в соответствии с выходным сигналом одного или более когнитивных воспринимающих элементов. Множество светоизлучающих элементов могут быть расположены таким образом, что формируют устройство воспроизведения изображения.

Устройство воспроизведения изображения может быть приспособлено для воспроизведения изображения, соответствующего свету, воспринимаемому фоточувствительными элементами одного или более из множества когнитивных воспринимающих элементов. Каждый когнитивный воспринимающий элемент может быть обучаемым и приспособленным для распознавания образов, связанных с падающим светом, а устройство воспроизведения изображения может быть приспособлено для воспроизведения изображения и модификации изображения в соответствии с образами, распознаваемыми одним или более из множества когнитивных воспринимающих элементов. Множество когнитивных воспринимающих элементов могут обладать полем зрения, и светоизлучающие элементы могут быть приспособлены для излучения света в этом поле зрения. Светоизлучающие элементы могут быть приспособлены для воспроизведения изображения, которое может восприниматься объектами, находящимися в поле зрения. Один или более из множества когнитивных элементов могут быть приспособлены для распознавания образов в падающем свете и для управления излучением света и воспроизведения изображения одного или более из светоизлучающих элементов в виде функции распознанного образа. Каждая ячейка когнитивной памяти может быть обучена распознаванию своей части изображения, и множество ячеек когнитивной памяти может быть приспособлено для совместной работы для распознавания изображения. Каждый элемент когнитивной памяти может содержать множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон обучается ″знанием″, которое позволяет соответствующему нейрону распознавать сигнал и принимать решение. Множество когнитивных воспринимающих элементов может быть приспособлено для выполнения цифровых операций распознавания изображений, без использования программного обеспечения, посредством множества параллельно действующих элементов, каждый из которых действует независимо и автономно. Светоизлучающие элементы из множества светоизлучающих элементов выбираются из светодиодов (СД), органических светодиодов и плазменных ячеек.

В некоторых вариантах выполнения, устройства распознавания изображений могут включать фотоэлектрические элементы, встроенные в подложку или расположенные на ней. Фотоэлектрические элементы могут быть приспособлены для приема энергии, поступающей по беспроводному каналу, и подачи принимаемой энергии к множеству когнитивных воспринимающих элементов и множеству светоизлучающих элементов. Устройство распознавания изображений может иметь выходные линии передачи и линии подачи питания, гравированные или нанесенные напылением непосредственно на подложке. Каждый из множества когнитивных воспринимающих элементов может быть приспособлен для получения энергии от линий подачи питания и для выдачи выходных сигналов, используя линии подачи питания. Устройство распознавания изображений может иметь прозрачный или полупрозрачный защитный слой, и множество когнитивных воспринимающих элементов и множество светоизлучающих элементов могут быть расположены между защитным слоем и подложкой. Один или более из множества светоизлучающих элементов могут быть приспособлены для излучения света сквозь подложку. Один или более из множества светоизлучающих элементов могут быть приспособлены для излучения света сквозь защитный слой. Множество светоизлучающих элементов и множество когнитивных воспринимающих элементов могут быть расположены рядами и столбцами, и множество светоизлучающих элементов и множество когнитивных воспринимающих элементов могут чередоваться в каждом ряду и чередоваться в каждом столбце. Множество светоизлучающих элементов и множество когнитивных воспринимающих элементов могут быть расположены так, что каждый из множества когнитивных воспринимающих элементов окружен светоизлучающими элементами. Множество светоизлучающих элементов могут включать, в частном примере, красные пикселы, зеленые пикселы и синие пикселы.

В изобретении также предложено устройство распознавания изображений, имеющее чувствительный элемент, обрабатывающий элемент, соединенный с чувствительным элементом, и светоизлучающий элемент. Чувствительный элемент встроен в прозрачную или полупрозрачную подложку или расположен на ней. Обрабатывающий элемент встроен в подложку или расположен на ней и включает одну или более нейронных цепей. Светоизлучающий элемент встроен в подложку или расположен на ней. Прозрачная или полупрозрачная подложка

имеет оптический интерфейс между воспринимаемым падающим изображением и чувствительным пикселем чувствительного элемента. Светоизлучающий элемент приспособлен для излучения света навстречу падающему сигналу изображения, либо в противоположную сторону. В некоторых вариантах выполнения, светоизлучающий элемент может представлять собой один или более светодиодов (СД), органических СД или плазменных ячеек. Светоизлучающим элементом можно произвольно управлять посредством выходного сигнала обрабатывающего элемента. Обрабатывающий элемент может быть обучаемым и приспособленным для распознавания образов, основанных на воспринимаемых приходящих сигналах изображения. Обрабатывающий элемент может быть приспособлен для управления светом, излучаемым светоизлучающим элементом, в соответствии с образами, распознаваемыми обрабатывающим элементом. Чувствительный элемент может иметь поле зрения, и светоизлучающие элементы могут быть приспособлены для излучения света в этом поле зрения. Чувствительный элемент может иметь поле зрения, и светоизлучающие элементы могут быть приспособлены для излучения света в направлении, противоположном этому полю зрения. Обрабатывающий элемент может содержать множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной. Каждый нейрон может быть обучен ″знанием″, которое может позволить соответствующему нейрону распознавать сигнал и принимать решение. Обрабатывающий элемент может быть приспособлен для выполнения цифровых операций распознавания образов, без использования программного обеспечения, посредством множества параллельно действующих элементов, каждый из которых действует независимо и автономно. Устройство распознавания изображений может также содержать фотоэлектрические элементы, встроенные в подложку или расположенные на ней. Устройство распознавания изображений может также содержать выходные линии передачи и линии подачи питания, гравированные или нанесенные напылением непосредственно на подложке. Обрабатывающий элемент может быть приспособлен для получения энергии от линий подачи питания и для выдачи выходных сигналов, используя линии подачи питания. Устройство распознавания изображений может также иметь прозрачный или полупрозрачный защитный слой, а чувствительный элемент, обрабатывающий элемент и светоизлучающий элемент могут быть расположены между защитным слоем и подложкой. Светоизлучающий элемент может быть приспособлен для излучения света сквозь подложку. Светоизлучающий элемент может быть приспособлен для излучения света сквозь защитный слой.

Согласно другой особенности, в настоящем изобретении предложен способ распознавания изображений. При выполнении способа создают оптический тракт для множества чувствительных элементов, встроенных в прозрачную или полупрозрачную подложку, или расположенных на ней, путем использования множества оптических интерфейсов, встроенных в подложку или расположенных на ней. При выполнении способа, сигналы, вырабатываемые множеством чувствительных элементов, параллельно обрабатывают во множестве обрабатывающих элементов, каждый из которых соединен с одним из чувствительных элементов и встроен в подложку или расположен на ней. При выполнении способа излучают свет множеством светоизлучающих элементов, встроенных в подложку, или расположенных на подложке.

В некоторых вариантах выполнения, излучение света может включать управление светом, излучаемым из множества светоизлучающих элементов, в соответствии с выходными сигналами одного или более из множества обрабатывающих элементов. Обработка может включать распознавание образов, и излучение может включать управление светом, излучаемым множеством светоизлучающих элементов, в соответствии с распознанными образами. Распознавание образов может включать обнаружение присутствия одного или более объектов в поле зрения множества чувствительных элементов. Распознавание образов может включать определение расстояния от подложки до одного или более обнаруженных объектов. Распознавание образов может включать определение количества одного или более обнаруженных объектов. Распознавание образов может включать определение положения одного или более обнаруженных объектов. Управление может включать излучение уменьшенного количества света из множества светоизлучающих элементов, если объекты не обнаружены. Распознавание образов может включать определение того, является ли какой-либо из одного или более обнаруженных объектов авторизованным объектом. Распознавание образов может включать определение положения и направления взгляда одного или более наблюдателей в поле зрения множества чувствительных элементов. Распознавание образов может включать распознавание лица или распознавание выражения лица. Распознавание образов может включать биометрическую идентификацию. Излучение может включать воспроизведение изображения. Воспроизведенное изображение может соответствовать изображению, принятому множеством чувствительных элементов. Обработка может включать распознавание образов, а излучение может дополнительно включать модификацию воспроизведенного изображения в соответствии с распознанными образами.

Согласно другой особенности, в настоящем изобретении предлагается устройство распознавания изображений, имеющее прозрачную или полупрозрачную подложку, множество когнитивных воспринимающих элементов, множество оптических интерфейсов, слой наполнителя и множество светоизлучающих элементов. Множество когнитивных воспринимающих элементов расположены на подложке, и каждый из них включает фоточувствительный элемент и ячейку обучаемой когнитивной памяти, связанную с фоточувствительным элементом. Множество оптических интерфейсов сформировано на подложке, и каждый из них оптически связан с соответствующим когнитивным воспринимающим элементом. Слой наполнителя содержит наполнитель, между соседними когнитивными воспринимающими элементами из множества когнитивных воспринимающих элементов. Множество светоизлучающих элементов расположено на слое наполнителя и каждый из них приспособлен для излучения света. В некоторых вариантах выполнения, множество светоизлучающих элементов включает красные пикселы, зеленые пикселы и синие пикселы.

Другие применения и преимущества различных вариантов выполнения настоящего изобретения будут рассмотрены ниже, со ссылками на чертежи.

Согласно другой особенности, в настоящем изобретении предложен способ распознавания изображений. При выполнении способа, создают оптический тракт для чувствительного элемента, встроенного в прозрачную или полупрозрачную подложку, или расположенного на ней, путем использования оптического интерфейса, встроенного в подложку, или расположенного на ней. При выполнении способа, сигналы, вырабатываемые чувствительным элементом, обрабатывают в обрабатывающем элементе, соединенном с чувствительным элементом и встроенном в подложку или расположенном на подложке. При выполнении способа излучают свет светоизлучающим элементом, встроенным в подложку или расположенным на ней.

В некоторых вариантах выполнения, излучение света может включать управление светом, излучаемым из светоизлучающего элемента, в соответствии с выходными сигналами обрабатывающего элемента. Обработка может включать распознавание образов, и излучение может включать управление светом, излучаемым множеством светоизлучающих элементов, в соответствии с распознанными образами. Распознавание образов может включать обнаружение присутствия одного или более объектов в поле зрения упомянутого чувствительного элемента. Распознавание образов может включать определение расстояния от подложки до одного или более обнаруженных объектов. Распознавание образов может включать определение количества одного или более обнаруженных объектов. Распознавание образов может включать определение положения одного или более обнаруженных объектов. Распознавание образов может включать определение того, является ли какой-либо из одного или более обнаруженных объектов авторизованным объектом. Распознавание образов может включать определение положения и направления взгляда одного или более наблюдателей в поле зрения чувствительного элемента. Распознавание образов может включать распознавание лица или распознавание выражения лица. Распознавание образов может включать биометрическую идентификацию. Излучение может включать воспроизведение изображения. Воспроизведенное изображение может соответствовать изображению, принятому чувствительным элементом. Обработка может включать распознавание образов, а излучение может дополнительно включать модификацию воспроизведенного изображения в соответствии с распознанными образами.

Краткое описание чертежей

Ниже изобретение более подробно рассмотрено со ссылкой на прилагаемые чертежи, на которых:

на фиг.1А-Б представлены, соответственно, вид спереди и вид сверху решеток чувствительных элементов, расположенных на стекле или плексигласе, или ином прозрачном пластике или прозрачной подложке, в которой гравированы линзы, в соответствии с вариантом выполнения настоящего изобретения;

на фиг.2 представлен вид сверху решетки чувствительных элементов, расположенных на стеклянной или плексигласовой подложке с гравированными в ней линзами, в процессе распознавания фрагментов ДНК;

на фиг.3А-Б представлены, соответственно, вид сбоку и вид сверху матрицы чувствительных элементов;

на фиг.4 представлена блок-схема чувствительных элементов;

на фиг.5А представлена блок-схема решеток чувствительных элементов;

на фиг.5Б представлена блок-схема банка решеток чувствительных элементов;

на фиг.6А-В представлена конфигурация нейрона;

на фиг.7 представлена блок-схема нейрона;

на фиг.8-12 приведены примеры применения устройства распознавания образов;

на фиг.13А-Г представлены варианты выполнения, в которых чувствительные элементы и светоизлучающие элементы расположены в одной или на одной прозрачной или полупрозрачной подложке;

на фиг.14А-В представлен вариант выполнения интеллектуального светоизлучающего узла, включающего чувствительные элементы и светоизлучающие элементы, расположенные в одной или на одной прозрачной или полупрозрачной подложке;

на фиг.15А и 15Б представлен вариант выполнения интеллектуального дисплея, включающего чувствительные элементы и светоизлучающие элементы, расположенные в одной или на одной прозрачной или полупрозрачной подложке.

Подробное описание осуществления изобретения

Хотя настоящее изобретение может быть выполнено во множестве различных форм, в данном раскрытии описано несколько частных вариантов выполнения, в предположении, что они используются только в качестве иллюстрации принципов изобретения, и изобретение не должно считаться ограниченным этими конкретными описанными и (или) изображенными здесь предпочтительными вариантами выполнения.

Настоящее изобретение представляет собой устройство формирования изображения, которое может включать чувствительное воспринимающее устройство, например, фоточувствительный элемент, соединенный, скрепленный, либо иначе связанный с обучаемым когнитивным элементом, причем оба элементы нанесены химическим или иным путем на поверхность прозрачной подложки, либо встроены в нее. Объединение чувствительной площадки с обучаемым когнитивным элементом, обладающим способностью принятия решения ″на месте″, в настоящем документе называется ″CogniSensor″ (″познающий чувствительный элемент″). Обучаемый когнитивный элемент в настоящем документе называется ″CogniMem″ (″познающая память″). Чувствительные площадки обычно выполнены из одного или более фоточувствительных элементов, но могут быть и другие варианты конструкции чувствительной области.

В соответствии с вариантами выполнения настоящего изобретения, CogniSensors могут приспособлены для распознавания приходящей световой картины (например, изображений или частей изображений), обработку приходящей световой картины для принятия решения ″на месте″ и передачу результатов этого решения или его индикацию. CogniSensor может включать несколько компонентов, например, логическую схему ввода данных для принятия решения ″на месте″, ″нейроны″ и логическую схему вывода решений, буфер памяти, солнечные элементы для обеспечения автономной работы, а также и другие компоненты. В предпочтительном варианте выполнения, каждый CogniSensor включает параллельно организованные элементы реагирующей обучаемой ассоциативной памяти (REALM - от англ. reactive associative learning memories). Согласно варианту выполнения изобретения, CogniMem обеспечивает распознавание образов, как аналоговое, так и цифровое, без подключения к компьютеру.

CogniMem может содержать один или более нейронов, которые представляют собой параллельно организованные элементы ассоциативной памяти, которые могут реагировать на входные образы, аналогичные их собственному контенту. Нейроны могут реагировать как индивидуально, так и коллективно, подкрепляя свою реакцию реакцией других соседних нейронов. Выбор может осуществляться по входной линии ″торможение/возбуждение″, подходящей к нейронам.

Контент нейронов CogniMem образует ″знание″. Знание представляет собой набор статистически разделяемых дискретных сигнатур. Знание может быть статическим (загружаемым однократно) или динамическим (обновляемым реакцией других нейронов или загружаемым адаптивно из внешней базы данных знания), а в предпочтительном варианте знание генерируется автоматически в процессе обучения без использования компьютера. CogniMem, располагающаяся на той же подложке, может использовать это же или какое-либо иное знание.

CogniMem может быть нанесена на подложку или встроена в нее (либо присоединена иным способом), как часть CogniSensor, либо может быть отдельным компонентом. В первом случае, CogniMem обычно используется для распознавания данных пикселей, получаемых от фоточувствительного элемента. Во втором случае, CogniMem может быть использована для обслуживания других CogniMem и может, например, распознавать данные различных типов, передаваемые другими узлами CogniMem (например, для объединения образов по выходным данным с многих CogniSensors).

Приведенные ниже патенты и опубликованные заявки, содержание которых полностью включено в настоящее раскрытие посредством ссылки, описывают различные особенности нейронов и нейронных сетей, применимые к CogniMems и CogniSensors: US 5621863 - Нейронная сеть; US 5717832 - Усовершенствованная архитектура нейронной сети; US 5701397 - Схема для предварительной загрузки свободной нейронной сети; US 5710869 - Гирляндная схема для последовательного соединения нейронных сетей; US 5740326 - Поиск/сортировка данных в нейронных сетях; US 6332137 - Параллельная ассоциативная память для распознавания изолированного оборудования; US 6606614 - Однопроводный поиск и сортировка; заявки Японии JP 8-171543 - Гирляндная схема для последовательного соединения нейронных сетей; JP 8-171542 - Усовершенствованная схема загрузки; JP 8-171541 - Схема группирования (поиск/сортировка); JP 8-171540 - Нейронная сеть и нейронный чип; JP8-069445 - Архитектура нейронной сети; патентная заявка Кореи KR 164943 - Новая архитектура нейронной сети; Европейские патенты EP 0694852 - Новая архитектура нейронной сети; EP 0694854 - Усовершенствованная нейронная архитектура полупроводникового чипа; EP 0694855 - Поиск/сортировка для нейронных сетей; EP 0694853 - Схема для предварительной загрузки компонентов входного вектора в сети свободных нейронов в фазе распознавания; EP 0694856 - Гирляндная схема для последовательного соединения нейронных сетей; заявка Канады CA 2149478 - Усовершенствованная архитектура нейронной сети; патент Канады CA 2149479 - Усовершенствованная нейронная архитектура полупроводникового чипа.

Число нейронов, реализованных на CogniMem, может составлять от 1 до N, где N теоретически неограниченно благодаря архитектуре нейронной ячейки. В настоящее время N может достигать 1000. Вообще, N зависит от применения и, в частности, от разнообразия образов, которые требуется распознавать, и типа решений, которые необходимо передавать. Специалисту должно быть понятно, что технология кремниевых приборов может быть фактором, определяющим количество нейронов на единицу площади.

Пример конфигурации устройства распознавания изображений, согласно варианту выполнения настоящего изобретения, показан на фиг.1А и 1Б. Фиг.1А представляет вид сверху устройства 100, включающего подложку 102, которая может быть выполнена из ряда прозрачных или полупрозрачных материалов, например, стекла, плексигласа, прозрачных пластиков и др. Один или более CogniSensors 104 (в данном случае, в виде решетки) может быть встроен в подложку 102 или, как в данном случае, прикреплен или приклеен, либо как-то иначе связан с поверхностью подложки 102 (см. фиг.1Б). Оптический тракт может быть гравирован или нанесен на подложку перед каждым фоточувствительным элементом. Например, подложка 102 может иметь гравировку в месте размещения CogniSensors 104 для формования линз 102a для каждого CogniSensor 104. В другом варианте, микролинзы 102a могут быть встроены в подложку (фиг.2), либо приклеены (фиг.3А-Б) на подложку 102 перед фоточувствительными элементами. Другим вариантом может быть модификация подложки для изменения коэффициента отражения части подложки, граничащей с каждым чувствительным элементом, для фокусировки падающего света. Как показано на фиг.1Б, падающий свет фокусируется на каждом CogniSensor 104 линзами 102a подложки.

Множество линз 102a позволяет CogniSensors 104 иметь различное поле зрения, в предпочтительном варианте, равное поверхности подложки, хотя также возможно получение более узкого или более широкого поля зрения, чем поле зрения, равное поверхности подложки. Микролинзы 102a превращают решетку CogniSensors 104 в телецентрическое устройство восприятия изображения с неограниченной поверхностью и полем зрения.

На фиг.2 представлен вид сверху интегрального устройства формирования изображения, в соответствии с другим вариантом выполнения изобретения. Видно, что линзы 102a встроены в подложку 102 и расположены над каждым CogniSensor 104. В качестве примера использования устройства формирования изображения, на поверхности подложки 102 показаны расположенные там фрагменты 202 ДНК. Каждый CogniSensor 104 может обеспечивать независимое распознавание, либо распознавание во взаимодействии с соседними CogniSensors 104, отдельного фрагмента ДНК и выдачу сигнала при идентификации этого фрагмента.

На фиг.3А-Б показан пример варианта выполнения отдельного CogniSensor 104. Как показано на фиг.3А, площадка размещения нейронов 104а окружает чувствительную область 104b, где размещаются пикселы. Нейроны в площадке 104а размещения нейронов могут быть соединены с чувствительными элементами в площадке 104b пикселов, и могут быть приспособлены для распознавания образов, воспринятых площадкой 104b пикселов. Как показано на фиг.3Б, выпуклые линзы или микролинзы 102a расположены над площадкой 104b пикселов на поверхности подложки 102 для фокусировки падающего света на площадке 104b пикселов или соединены непосредственно с чувствительным элементом без промежуточной подложки. Линзы 102а могут, например, быть химически нанесены на подложку обычными средствами.

На фиг.4 приведена блок-схема использованного в качестве примера CogniSensor 104, в соответствии с вариантом выполнения настоящего изобретения. CogniSensor 104 включает область 402 чувствительного элемента (сенсора) или чувствительных элементов, логическую схему 404 представления данных, нейронную сеть 406 и логическую схему 408 принятия решений ″на месте″. Чувствительный элемент 402 может включать один или более чувствительных элементов, например, фоточувствительных элементов. Логическая схема 404 представления данных соединена с чувствительной областью 402 и нейронной сетью 406, приспособлена для представления в нейроны выходных данных чувствительных элементов в виде, пригодном для обработки. Нейроны 406 ″обучены″ или ″обучаются″ знанием и могут обрабатывать данные, поступающие на нейроны 406 из логической схемы 404 представления данных, и выдавать обработанные данные на логическую схему 408 принятия решений ″на месте″, которая принимает решение на основе обработанных данных. Логическая схема 408 принятия решений ″на месте″ может быть соединена с другими CogniSensors или CogniMem различными известными способами. Соответственно, CogniSensors 104 могут быть организованы в решетки или решетки решеток.

На фиг.5А и 5Б показаны схемы расположения решеток CogniSensors. Как показано на фиг.5А, каждый CogniSensors 104 может быть соединен с несколькими CogniSensors 104 для формирования решетки 502. Как описано ниже, входные и выходные шины могут быть использованы для последовательного или параллельного соединения чувствительных элементов.

Как показано на фиг.5Б, каждая решетка 502 может быть соединена с несколькими решетками 502 для образования банка 504 решеток. Объединяя решетки решеток CogniSensors 104, можно получить чрезвычайно мощное распознающее устройство, отличающееся как высоким разрешением, так и высоким быстродействием. Другими словами, разрешение формирователя изображения может быть увеличено путем увеличения числа чувствительных элементов. При использовании, однако, эффективного способа принятия решения ″на месте″ в форме CogniMem, увеличение числа CogniSensors не сопровождается снижением скорости обработки данных в устройстве. Кроме того, должно быть понятно, что организация решеток может иметь самую различную геометрию, и изобретение не ограничено только квадратными решетками.

Как уже упоминалось выше, каждый нейрон может быть соединен со многими входами 1-n, в том числе, например, мультиплексными, но также и другими. На фиг.6А представлен нейрон с большим числом входов, что упрощенно показано на фиг.6Б. Таким образом, может быть собрана решетка нейронов с использованием входной шины 602 (на фиг.6 В шина 602 отсутствует), имеющая простую параллельную архитектуру, показанную на фиг.6В. Каждый выход нейронов 406 может быть соединен с общей шиной 406 принятия решений.

Фиг.7 представляет функциональную схему нейрона, иллюстрирующую вариант выполнения изобретения. Назначение нейронов, организованных в неограниченно расширяемую сеть, состоит в том, чтобы выучить и вызывать из памяти дискретные векторы или сигнатуру (образ). Дискретные сигнатуры по большей части представляют собой пространственные распределения интенсивности света, кодированные сжатием данных при обработке. Нейроны могут быть соединены параллельно, как показано на фиг.6В, что означает, что все входы нейронов соединены параллельно, также как и их выходы.

Сигналы данных могут поступать в нейрон 700 с мультиплексной входной шины (не показана). Обучающий мультиплексор 702 может разделять мультиплексные входные сигналы и передавать сигналы входных данных в память 704 образов нейрона и элемент 706 ассоциативной логики. Память 704 образов нейрона обрабатывает входные сигналы и выдает обработанные сигналы в элемент 706 ассоциативной логики. Элемент 706 ассоциативной логики включает элемент 706а принятия решения по параметру сходства.

Каждый нейрон может получить образ (т.е., вектор, представляющий дискретную сигнатуру данных чувствительного элемента), генерируемый логической схемой 404 представления данных, используя широковещательную адресацию. Этот передаваемый всем нейронам образ может представлять собой трансформацию (сжатие) данных чувствительного элемента, либо мгновенную, либо во временной области.

Нейрон может находиться в трех хронологически последовательных состояниях: неактивном, готовности к обучению (RTL - от англ. ready to learn) и, затем, в активном состоянии. По меньшей мере один нейрон находится в состоянии RTL постоянно, за исключением случаев, когда сеть полна (т.е., все нейроны активны). Если рассматривать все параллельно соединенные нейроны как цепочку, RTL-нейрон может перемещаться из первого положения в цепочке в последнее положение. В контексте настоящего раскрытия, RTL-нейрон обычно будет находиться справа от активного нейрона, а неактивный нейрон будет находиться справа от RTL-нейрона.

Когда нейрон находится в неактивном состоянии, он не реагирует ни на какой поступающий к нему образ. RTL-нейрон загрузит поступающий образ в свою память образов с тем, чтобы обучиться ему, если пользователь