Способ цветовой классификации объектов и оптико-электронное устройство для его реализации

Способ цветовой классификации объектов и оптико-электронное устройство для его реализации

Иллюстрации

Показать все

Реферат

Изобретение относится к контрольно-измерительной технике, а именно к способам и устройствам для цветовой классификации объекта или их поверхностей на основе анализа цветовых параметров объекта, и может быть использовано для решения различных прикладных задач, например для сортировки полезных ископаемых и их селекции, для сортировки промышленных или бытовых отходов, для контроля качества продуктов или промышленных изделий и т.д.

Известно портативное устройство для измерения цвета на основании применения интегрирующей сферы (патент US 6,362,886 B2, МПК G01J 3/50, дата публикации 26 марта 2002 г.). Это устройство может быть использовано как самостоятельно, так и в соединении с компьютером и может применяться в качестве устройства измерения цвета, спектрофотометра, колориметра или устройства контроля излучения источника света. Устройство включает в себя источник излучения, интегрирующую сферу, набор приемников оптического излучения (набор фотодиодов, или линейку фотодиодов), блок обработки данных, дисплей для отображения результатов и источник питания. Источник излучения располагается таким образом, чтобы излучаемый свет после отражения от исследуемого объекта попадал во входное отверстие интегрирующей сферы, внутренняя поверхность которой покрыта слоем вещества с высоким коэффициентом отражения. Излучение источника после отражения от объекта исследования попадает в интегрирующую сферу, после прохождения которой, поступает на набор приемников оптического излучения. Эффект применения интегрирующей сферы приводит к тому, что измеряется полный спектр отражения поверхности объекта или только диффузная составляющая спектра отражения. Назначение блока обработки заключается в обработке данных, поступающих с набора приемников для представления их в приемлемом для пользователя виде в любой, выбранной пользователем, системе цветовых координат.

Недостатками устройства является то, что устройство предназначено исключительно для измерения однородности цвета протяженного объекта (лист бумаги или металла), или может вывести среднее значение цветовых координат по объекту. Таким образом, с помощью данного устройства невозможно выявить на объекте области определенного цвета. Также устройство не предназначено для определения цвета небольших объектов, которые меньше по размеру входного отверстия интегрирующей сферы. С помощью рассмотренного устройства невозможно измерение цвета движущегося объекта.

Известен способ для определения цвета изображения исследуемого объекта или сравнения цветовых параметров объектов, который по совокупности существенных признаков является наиболее близким к заявляемому способу классификации и принят за прототип (патент US 6,757,428 B1, МПК G06K 9/00, дата публикации 29 июня 2004 г.). Данный способ включает формирование цветных изображений эталонных объектов в плоскости изображения зоны анализа, преобразование каждого цветного изображения в электрический сигнал и последующее его преобразование из аналоговой формы в цифровую. В результате чего для каждого эталонного объекта получают три двумерных массива целых чисел, каждый из которых содержит информацию о пространственном распределении в изображении одного из трех цветов - красного, синего или зеленого. Ту же последовательность операций проводят и для изображения зоны анализа, в которой расположены объекты контроля. Полученные массивы целых чисел преобразуют в цветовое пространство HSI. Для каждого элемента каждого из полученных массивов, относящихся к изображениям эталонных объектов и объектов контроля, производят вычисление процентной информации о количестве пространственных элементов изображений, относящихся к каждой цветовой категории, на основании чего производится классификация объектов контроля.

Известному способу присущи нижеперечисленные существенные недостатки.

В данном способе не предусмотрена операция коррекции искажений, возникающих вследствие воздействия различного рода факторов: смаза изображения, искажения изображения вследствие различных шумовых эффектов многоэлементного приемника оптического изображения и др. Отсутствие данной операции резко ограничивает возможности анализа движущихся объектов, а также может вызывать значительные погрешности в определении необходимых признаков объектов, что влечет за собой ошибочную классификацию.

В известном способе отсутствует операция выравнивания цвета изображений, что делает разработанное на основе данного способа устройство крайне чувствительным к условиям измерения. Операция выравнивания цвета необходима для компенсации на изображении незначительных дефектов поверхности объектов анализа, которые могут возникнуть из-за наличия шероховатости поверхности объектов, недостаточной их чистоты, наличия запыленности или чрезмерной влажности помещения, в котором проводятся измерения. Отсутствие операции выравнивания цвета может повлечь за собой ошибочную классификацию.

Способ не предусматривает адаптации измерений к изменяющимся условиям идентификации объектов, поскольку в данном случае не учитываются условия эксплуатации устройства и характеристики фона. Использование цветового пространства HSI с классическим преобразованием цветовых координат приводит к неоднородности представления визуально равноконтрастных цветовых оттенков, что может повлечь за собой ошибочную идентификацию объекта.

При обработке изображения известным способом не учитываются параметры фона, не проводится анализ по нескольким рабочим диапазонам цветов. Это может привести к ошибочной классификации, а также вызывать ошибки определения количества объектов измерения при одновременном анализе сразу нескольких объектов, находящихся в зоне анализа.

Для классификации объектов при помощи данного способа требуется определение количества пикселей, относящихся к каждой цветовой категории. Зачастую при анализе контрастных объектов для классификации достаточно одной из трех цветовых координат или неполного их набора, поэтому в таких случаях можно отказаться от проведения анализа по остальным координатам, за счет чего уменьшить время обработки. Подобный способ обработки изображений позволяет особенно сильно сократить время обработки снимков с высоким разрешением, на которых присутствуют изображения нескольких объектов контроля.

Известно устройство для измерения цветовых параметров объекта, которое по совокупности существенных признаков является наиболее близким к заявляемому устройству и может быть принято за прототип (заявка US 2008/0037019 A1, МПК G01N 21/25, дата публикации 14 февраля 2008 г.). Устройство включает источник излучения, выполненный в виде белого полупроводникового излучающего диода (ПИД), освещающий неподвижный объект под углом в 45°±5-10°, фотоприемный модуль, состоящий из оптической системы, выполненной в виде полевой линзы, и линейного многоэлементного приемника оптического излучения (МПОИ), цветовая чувствительность которого обеспечивается нанесением на каждый из пикселей различных неповторяющихся светофильтров, а также блок обработки, выполненный в виде печатной платы, на которой расположены МПОИ и ПИД. Кроме того, блок обработки имеет выход на внешнее устройство.

Данное устройство обладает рядом существенных недостатков.

Данное устройство предназначено для измерения однородности цвета объектов, размер которых превышает размеры зоны анализа, или для вывода среднего значения цветовых координат по объекту, в результате чего с помощью данной системы невозможно выявить на объекте области определенного цвета, проводить классификацию движущихся объектов, а также анализировать одновременно несколько объектов, находящихся в зоне анализа.

Наличие в качестве объектива полевой линзы существенно снижается качество анализируемых изображений, что делает устройство непригодным для анализа нескольких объектов, а также проведения анализа в динамике и определения структуры объекта.

Устройство не способно адаптироваться к изменяющимся условиям идентификации объектов и изменениям в спектре источника. Это вызвано тем, что в устройстве не предусмотрено блока управления источником, способного изменять параметры освещения, например яркость источника. Кроме того, в устройстве не предусмотрены необходимые связи для управления экспонированием МПОИ.

Устройство предназначено для работы с отраженным от объекта излучением, что ограничивает возможности его применения для анализа прозрачных объектов.

Задачей, на решение которой направлено заявляемое изобретение, является обеспечение возможности одновременной классификации сразу нескольких как неподвижных, так и движущихся объектов при произвольном их расположении в зоне анализа, снижении требований к условиям проведения измерений, адаптации измерений к изменяющимся условиям идентификации объектов, а также повышение быстродействия системы.

Указанная задача решается за счет того, что в способе цветовой классификации объектов, заключающемся в том, что, по крайней мере, один контролируемый объект размещают в зоне анализа, оптически сопряженной с источником излучения и фотоприемным модулем, формируют цветное изображение каждого из объектов контроля в плоскости изображения зоны анализа, преобразуют совокупное цветное изображение в электрический сигнал, преобразуют полученный электрический сигнал из аналоговой формы в цифровую с получением трех двумерных массивов целых чисел, каждый из которых содержит информацию о пространственном распределении в изображении одного из трех цветов - красного, синего или зеленого, затем преобразуют полученные массивы в другое цветовое пространство, а классификацию контролируемых объектов осуществляют путем анализа распределения цветовых координат в изображении, новым является то, что двумерные массивы целых чисел, полученные после аналогово-цифрового преобразования, преобразуют в цветовое пространство HLS, сравнивают значение цветовой координаты h(x_i, y_i), l(х_i, y_i) или s(х_i, y_i) каждого элемента соответствующего массива с априорно известными значениями соответствующих цветовых координат изображения зоны анализа, для несовпадающих по цветовой координате элементов проводят выравнивание цветовых координат по выражению:

,

где - значение выровненного по цвету элемента массива, w(f, t) - коэффициенты выравнивающей маски размером m×n, величина которой согласована с априорно известным размером изображений контролируемых объектов, k(x, y) - значение соответствующей цветовой координаты элемента массива, а=(m-1)/2, b=(n-1)/2, а классификацию объектов путем сравнения значений цветовых координат выровненных по цвету элементов массивов [H(х_i, y_i)], [L(х_i, y_i)] и [S(x_i, y_i)], по крайней мере, по одной цветовой координате с априорно известным значением соответствующей цветовой координаты эталонных объектов.

В устройстве для цветовой классификации объектов, включающем оптически сопряженные с зоной анализа источник излучения белого света и фотоприемный модуль, содержащий оптическую систему и установленный в плоскости формирования изображения многоэлементный приемник оптического излучения, на каждый пространственный элемент которого нанесен светофильтр, причем главная ось индикатрисы излучения источника расположена под углом к визирной оси фотоприемного модуля, размер зоны анализа ограничен угловым полем оптической системы и линейным размером цветочувствительного многоэлементного приемника оптического излучения, выход которого соединен с блоком обработки, новым является то, что устройство содержит не менее одного фотоприемного модуля, многоэлементый приемник оптического излучения каждого из которых выполнен в виде матричного фотоприемника с нанесенными на его элементы светофильтрами красного, зеленого и синего цветов, вход каждого многоэлементного приемника оптического излучения соединен с первым выходом блока обработки, а выход соединен с входом соответствующего блока преобразований, выход каждого из которых подключен к блоку обработки, устройство содержит не менее одного источника излучения, каждый из которых подключен к соответствующим выходам блока управления источниками, вход которого подключен ко второму выходу блока обработки, причем размер зоны анализа превосходит совокупный размер объектов контроля. Кроме того, для контроля прозрачных объектов угол между главной осью индикатрисы излучения источника и визирной осью фотоприемного модуля составляет 135°, а для контроля непрозрачных объектов - 45°. Кроме того, источник излучения белого света выполнен в виде линейки полупроводниковых излучающих диодов или флюоресцентной лампы, светофильтры матричного многоэлементного приемника оптического излучения выполнены в виде фильтра Байера, а фотоприемный модуль выполнен в виде высокоскоростной телевизионной камеры.

Сущность изобретения поясняется чертежами, где на фиг.1 представлена обобщенная структурная схема устройства, на фиг.2 - взаимное расположение блоков устройства при контроле прозрачных объектов, на фиг.3 - взаимное расположение блоков устройства при контроле непрозрачных объектов, а фиг.4 поясняет принцип цветовой классификации объектов в случае использования нескольких фотоприемных модулей.

Устройство (фиг.1) содержит источник излучения 1 белого цвета, фотоприемный модуль 2, содержащий оптическую систему 3 и многоэлементный приемник оптического излучения 4 с набором светофильтров 5 красного, синего и зеленого цветов, нанесенных на каждый пространственный элемент приемника. Кроме того, устройство содержит блок преобразователей 6, блок обработки 7, а также блок управления источниками 8.

На фигурах 2 и 3 представлены взаимные положения блоков устройства при контроле прозрачных и непрозрачных объектов соответственно. На фигурах не показаны блок преобразований, блок управления источниками, а также блок обработки.

Способ цветовой классификации объекта и устройство для его осуществления работают следующим образом.

Перед началом классификации для классифицируемых объектов определяется набор цветовых координат, необходимых для классификации (Н, L или S, или их сочетания). Например, для классификации микроклина достаточно использовать значения цветовой координаты Н (для микроклина Н∈[55; 65], для несущей породы Н∈[340; 3601). При классификации янтаря (не отделения кусков янтаря от попутной породы, а определения качества кусков самого минерала) удобно использовать сочетание цветовых координат Н и S (для светлых кусков H∈[55; 60], S∈[40; 60], для «насыщенных» по цвету образцов H∈[40; 50], S∈[70; 80]). Кроме того, перед началом измерения определяются цветовые параметры зоны анализа (фона). Цвет зоны анализа может быть любым, однако необходимо, чтобы он был контрастным по отношению к классифицируемым объектам. Универсальными с этой точки зрения являются черный и белый цвета. Для данных цветов координата цветового тона Н отсутствует и поэтому назначается алгоритмически максимально отличной от координаты цветности классифицируемых объектов. Например, для объектов желтого цвета (координата Н=60) удобно задать белому или черному цвету фона координату Н=240.

Источник излучения 1 белого света освещает зону анализа с расположенными в ее пределах объектами контроля. В случае анализа непрозрачных объектов устройство классификации работает на отражение, поэтому угол между главной осью индикатрисы излучения источника 1 и визирной осью фотоприемного модуля 2 выставляют равным 45° (фиг.3), который является оптимальным с точки зрения условий наблюдения (обеспечивает минимум бликов и искажений). В случае анализа прозрачных объектов устройство работает на прохождение света, и в данном случае оптимальным углом между главной осью индикатрисы излучения источника 1 и визирной осью фотоприемного модуля 2 является угол, равный 135° (фиг.2). Устройство может включать несколько источников излучения 1, поскольку несколько источников 1 позволяет обеспечить более равномерное освещение зоны анализа с расположенными в ее пределах объектами. Оптическая система 3 фотоприемного модуля 2 формирует изображение в плоскости установки матричного МПОИ 4, на каждый пространственный элемент которого нанесен светофильтр 5 красного, зеленого или синего цвета по схеме фильтра Байера. Размер зоны анализа ограничен угловым полем оптической системы и линейным размером цветочувствительного многоэлементного приемника оптического излучения (перенесено из формулы). Поскольку в зоне анализа может размещаться несколько объектов контроля, т.е. размер зоны анализа превосходит совокупный размер объектов контроля (фиг.2, 3, 4), то изображение, формируемое на МПОИ 4, представляет собой совокупность изображения зоны анализа (фон) и изображений каждого из объектов контроля. Фоточувствительная площадка МПОИ 4 преобразует совокупное цветное изображение в электрический сигнал, который поступает на вход блока преобразований 6. В блоке преобразований осуществляют аналогово-цифровое преобразование сигнала, а также преобразование в цветовое пространство HLS. В результате анало-цифрового преобразования получают три двумерных массива целых чисел, каждый из которых содержит информацию о пространственном распределении в изображении одного из трех цветов - красного, синего или зеленого, т.е. [R(x_i, y_i)], [G(х_i, y_i)] и [В(х_i, у_i)]. После преобразования в цветовое пространство HLS получают три двумерные массива целых чисел [H(х_i, y_i)], [L(x_i, y_i)] и [S(х_i, y_i)], содержащих информацию о тоне, яркости и насыщенности изображения соответственно. Таким образом, для каждого пространственного элемента (х_i, y_i) получают набор из трех цветовых координат h(x_i, y_i), l(x_i, y_i) и s(x_i, y_i).

С выхода(-ов) блока(-ов) преобразований 6 электрические сигналы поступают на вход блока обработки 7. Если полученные изображения требуют коррекции параметров МПОИ (например, экспозиции) или изменения параметров источников излучения 1 (например, их яркости), или требуется подстройка к изменениям в спектре источника, то блок обработки 7 исходя из анализа характеристических зон изображений посылает необходимые команды на вход матричного МПОИ 4 для изменения экспозиции и (или) на вход блока управления источниками 8 для регулировки яркости и (или) вносит необходимые поправочные коэффициенты в алгоритм обработки изображения.

В качестве характеристической зоны может быть использовано изображение зоны анализа (фона) или маркеров в зоне анализа, например, нанесенных на ленту транспортного лотка. Если коррекции не требуется, то значение как минимум одной цветовой координаты h(х_i, y_i), l(x_i, y_i) или s(x_i, y_i) каждого пространственного элемента (х_i, y_i) сравнивают со значением соответствующей цветовой координаты изображения зоны анализа, которая априорно известна. Для несовпадающих по цветовым координатам элементам проводят выравнивание цветовых координат по выражению:

где - значение выровненного по цвету элемента массива, w(f, t) - коэффициенты выравнивающей маски размером m×n, величина которой согласована с априорно известным размером изображений контролируемых объектов, k(x, y) - значение соответствующей цветовой координаты элемента массива, а=(m-1)/2, b=(n-1)/2.

Операция выравнивания цветовых координат позволяет очистить изображения объектов от искажений, вносимых средой распространения излучения, шумами матричного МПОИ 4 и другими помехами. Если в результате выполнения операции выравнивания цветовые координаты характеристических зон изображения, отвечающих за индикацию состояния зоны анализа, не укладываются в допустимые пределы, то блок обработки 7 посылает сигнал на вспомогательное устройство адаптации, приводящее зону анализа в работоспособное состояние (очистка от пыли, чрезмерной влажности и т.д.).

Значение цветовых координат выровненных по цвету элементов массивов [Н(х_i, у_i], [L(x_i, y_i)] и [S(х_i, y_i)] сравнивают, по крайней мере, по одной цветовой координате с априорно известным значением соответствующей цветовой координаты эталонных объектов, осуществляя, таким образом, классификацию контролируемых объектов. Данные о распределении цветовых координат эталонных объектов занесены в базу данных и хранятся в памяти блока обработки 7. При этом база данных может быть сформирована посредством алгоритмического задания параметров объектов (известные признаки классов вводятся вручную в тело алгоритма) или при помощи операции обучения системы.

Поскольку для классификации некоторых объектов не требуется анализировать все три цветовые координаты изображения, поэтому можно значительным образом сократить время обработки одного изображения за счет исключения из анализа неосновных цветовых координат.

По полученному от блока обработки 7 сигналу внешнее устройство выполняет над классифицированными объектами необходимые действия (например, отсечение полезных ископаемых от пустой породы посредством пневмоотсекателя).

Пример конкретного исполнения.

Фотоприемный модуль 2 выполнен в виде цифровой камеры, оптическая система 3 которого выполнена в виде фотографического объектива с угловым полем 2ω=48,6° и фокусным расстоянием f'=8 мм, а многоэлементный приемник оптического изображения 4 - в виде КМОП-матрицы с 2592×1944 пространственными элементами (пикселями), размер каждого из которых равен 2,2 мкм × 2,2 мкм (r_el=2,2 мкм). Цветочувствительность матрицы обеспечена нанесением на ее поверхность набора светофильтров 5 по схеме Байера. Размер зоны анализа ограничен угловым полем оптической системы и линейным размером цветочувствительного многоэлементного приемника оптического излучения. Поскольку фокусное расстояние объектива f'=8 мм, а угловое поле 2ω=48,6°, то из этого следует, что размер изображения зоны анализа по каждой координате не может превышать х'_max=2·tg(ω)·f'=2·tg(24,3)·8=7,2 мм, однако линейный размер матрицы, равный 5,7 мм × 4,3 мм, вносит дополнительное ограничение на размер зоны анализа. Полезное поле зрения объектива составляет по горизонтали 2ω_g=39,9° и по вертикали 2ω_v=30°. Контролируемые объекты расположены на расстоянии а=100 мм от объектива. Таким образом, действительный размер зоны анализа по горизонтали составляет х_g=2а·tg(ω_g)=2·100·tg(19,95°)=72,6 (мм), а по вертикали х_v=2a·tg(ω_v)=2·100·tg(15°)=53,6 (мм), т.е. 73 мм × 54 мм. Размер выравнивающей маски b×b равен 5×5 пикселей (из опыта). Таким образом, минимальный размер изображения объекта . Минимальный размер объекта, соответственно

Источник излучения 1 выполнен в виде линейки из 12 полупроводниковых излучающих диодов. Для контроля непрозрачных объектов используют два источника излучения 1, главные оси индикатрис излучения которых расположены под углом ±45° к визирной оси фотоприемного модуля 2. Для контроля прозрачных объектов также используются два источника излучения 1, но главные оси индикатрис излучения расположены под углом ±135° к визирной оси фотоприемного модуля 2.

Блок преобразований 6 состоит из аналого-цифрового преобразователя, работающего под управлением микроконтроллера. Блок преобразований 6 выполнен единым блоком с фотоприемным модулем 2.

Блок управления источниками 8 выполнен в виде микроконтроллера и схемы широтно-импульсной модуляции.

Блок управления источниками 8 и блок обработки 7 выполнены единым блоком в виде электронной вычислительной машины.

Т.о., заявляемый способ цветовой классификации объектов и устройство для его осуществления на основании вышеизложенной совокупности признаков обеспечивают возможность одновременной классификации сразу нескольких как неподвижных, так и движущихся объектов при произвольном их расположении в зоне анализа, снижении требований к условиям проведения измерений, адаптации измерений к изменяющимся условиям идентификации объектов, а также повышение быстродействия системы.

1. Способ цветовой классификации объектов, заключающийся в том, что, по крайней мере, один контролируемый объект размещают в зоне анализа, оптически сопряженной с источником излучения и фотоприемным модулем, формируют цветное изображение каждого из объектов контроля в плоскости изображения зоны анализа, преобразуют совокупное цветное изображение в электрический сигнал, преобразуют полученный электрический сигнал из аналоговой формы в цифровую с получением трех двумерных массивов целых чисел, каждый из которых содержит информацию о пространственном распределении в изображении одного из трех цветов - красного, синего или зеленого, затем преобразуют полученные массивы в другое цветовое пространство, а классификацию контролируемых объектов осуществляют путем анализа распределения цветовых координат в изображении, отличающийся тем, что двумерные массивы целых чисел, полученные после аналогово-цифрового преобразования, преобразуют в цветовое пространство HLS, сравнивают значение цветовой координаты h(x_i, y_i), l(x_i, y_i) или s(x_i, y_i) каждого элемента соответствующего массива с априорно известными значениями соответствующих цветовых координат изображения зоны анализа, для несовпадающих по цветовой координате элементов проводят выравнивание цветовых координат по выражению: где - значение выровненного по цвету элемента массива, w(f, t) - коэффициенты выравнивающей маски размером m×n, величина которой согласована с априорно известным размером изображений контролируемых объектов, k(x, y) - значение соответствующей цветовой координаты элемента массива, a=(m-1)/2, b=(n-1)/2, а классификацию объектов осуществляют путем сравнения значений цветовых координат выровненных по цвету элементов массивов [Н(x_i, y_i)], [L(x_i, y_i)] и [S(x_i, y_i)], по крайней мере, по одной цветовой координате с априорно известным значением соответствующей цветовой координаты эталонных объектов.

2. Устройство для цветовой классификации объектов, включающее оптически сопряженные с зоной анализа источник излучения белого света и фотоприемный модуль, содержащий оптическую систему и установленный в плоскости формирования изображения многоэлементный приемник оптического излучения, на каждый пространственный элемент которого нанесен светофильтр, причем главная ось индикатрисы излучения источника расположена под углом к визирной оси фотоприемного модуля, а выход многоэлементного приемника оптического излучения соединен с блоком обработки, отличающееся тем, что устройство содержит не менее одного фотоприемного модуля, многоэлементный приемник оптического излучения каждого из которых выполнен в виде матричного фотоприемника с нанесенными на его элементы светофильтрами красного, зеленого и синего цветов, вход каждого многоэлементного приемника оптического излучения соединен с первым выходом блока обработки, а выход соединен с входом соответствующего блока преобразований, выход каждого из которых подключен к блоку обработки, устройство содержит не менее одного источника излучения, каждый из которых подключен к соответствующим выходам блока управления источниками, вход которого подключен ко второму выходу блока обработки, причем размер зоны анализа превосходит совокупный размер объектов контроля.

3. Устройство по п.2, отличающееся тем, что для контроля прозрачных объектов угол между главной осью индикатрисы излучения источника и визирной осью фотоприемного модуля составляет 135°.

4. Устройство по п.2, отличающееся тем, что для контроля непрозрачных объектов угол между главной осью индикатрисы излучения источника и визирной осью фотоприемного модуля составляет 45°.

5. Устройство по п.2, отличающееся тем, что источник излучения белого света выполнен в виде линейки полупроводниковых излучающих диодов или флюоресцентной лампы.

6. Устройство по п.2, отличающееся тем, что светофильтры матричного многоэлементного приемника оптического излучения выполнены в виде фильтра Байера.

7. Устройство по п.2, отличающееся тем, что фотоприемный модуль выполнен в виде высокоскоростной телевизионной камеры.