Способ определения координат центра тяжести изображения

Способ определения координат центра тяжести изображения

Иллюстрации

Показать все

Реферат

Изобретение относится к замкнутым телевизионным системам H04N 7/18 и может быть использовано в автоматике и измерительной технике, в контрольно-измерительных устройствах, в которых в качестве информационного сигнала используется телевизионное изображение, полученное на матричном ПЗС датчике. Оно может быть использовано также в области навигации, в том числе в приборах для космической навигации G01C 21/24, в устройствах позиционирования, в системах управления космического аппарата в качестве датчика ориентации, где используют оптико-электронные приборы ориентации по звездам, содержащие матричный фотоприемник с накоплением заряда. В ряде случаев во многих этих применениях важно знать положение центра объекта наблюдения, определяемого как центр тяжести его телевизионного изображения.

Известен способ определения координат центра формы плоских неподвижных объектов в декартовой системе координат методом уравновешивания площадей [1, с.93-97], заключающийся в том, что изображение объекта проецируют на матрицу фотоприемников, последовательно опрашивают ячейки фотоприемной матрицы и находят абсциссу Х₁=l центра формы из условия

( ∑ j = 1 l ‖ h ( j ) ‖ − ∑ j = l + 1 n ‖ h ( j ) ‖ ) ( ∑ j = 1 l + 1 ‖ h ( j ) ‖ − ∑ j = l + 2 n ‖ h ( j ) ‖ ) ≤ 0,   l = 1,2 … , n   ( 1 )

и координату Y_c=k из условия

( ∑ i = 1 k ‖ h ( i ) ‖ − ∑ i = k + 1 n ‖ h ( i ) ‖ ) ( ∑ i = 1 k + 1 ‖ h ( i ) ‖ − ∑ i = k + 2 n ‖ h ( i ) ‖ ) ≤ 0 ,   k = 1 ,2 … ,n ,   ( 2 )

где ‖ h ‖ - норма матрицы (строки, столбца), i - номер строки; j - номер столбца; n - размер матрицы; так, чтобы площади фигуры, лежащие по обе стороны от прямой Х_С=l и прямой Y_С=k, были равны с заданной точностью.

Недостатками этого способа являются:

- неоднозначность определения центра формы изображения, поскольку его положение зависит от порядка перебора возможных значений l и k, а также от ориентации изображения относительно осей;

- для нахождения центра формы путем перебора значений l и k требуется большой объем вычислений и длительное время;

- низкая точность определения координат, обусловленная бинарным представлением изображения объекта и отсутствием учета погрешностей преобразования изображения объекта в матричном фотоприемнике.

Известен способ выделения центра изображения объекта излучения и устройство для его осуществления [2]. Сущность способа заключается в том, что поток электромагнитного излучения от объекта пропускают через оптическую систему, направляют в фотоприемный блок на основе прибора с зарядовой связью, где его преобразовывают в матрицу бинарных электрических зарядов, которую вначале пропускают через один нейроускоритель, формируя потенциал смещения, обеспечивающий выделение на выходе нейроускорителя элементов матрицы выпуклого изображения, центр которого совпадает с искомым центром анализируемого изображения. В дальнейшем выделенную матрицу преобразовывают в другом нейроускорителе, формируя потенциал смещения таким образом, что за несколько тактов получают матрицу бинарных электрических зарядов, в которой единичные заряды соответствуют центру анализируемого изображения. Указанный способ имеет следующие недостатки:

- вследствие рекурсивного характера центрирования изображения увеличивается время, необходимое для нахождения центра изображения;

- низкая точность определения координат, обусловленная преобразованием изображения, формируемого на ПЗС, в матрицу бинарных электрических зарядов и отсутствием учета погрешностей преобразования изображения объекта в матричном фотоприемнике;

- сложность аппаратурной реализации.

Наиболее близким к изобретению является способ определения координат центра тяжести изображения [3]. Указанный способ заключается в проецировании объекта на фотоприемную матрицу, с помощью которой преобразуют совокупность оптических сигналов, полученных в результате пространственной дискретизации изображения на элементах ПЗС матрицы фотоприемника в совокупность электрических сигналов Е₀(m,n), где m=1÷M, а n=1÷N. Здесь М и N - число элементов разложения по ортогональным осям матрицы (число элементов ПЗС матрицы); с амплитудой, пропорциональной интенсивности соответствующих оптических сигналов, определении статических моментов инерции изображения относительно осей выбранной системы координат путем формирования из полученных электрических сигналов двух групп новых совокупностей сигналов

{ E 1 x ( m , n ) , … , E i x ( m , n ) , … , E ⌈ log 2 M ⌉ x ( m , n ) } ,   ( 3 )

{ E 1 y ( m , n ) , … , E j y ( m , n ) , … , E ⌈ log 2 N ⌉ y ( m , n ) }   ( 4 )

по правилу

E i x ( m , n ) = { E 0 ( m , n ) ,   е с л и ⌊ m 2 i − 1 ⌋ − н е ч е т н о е 0,   е с л и ⌊ m 2 i − 1 ⌋ − ч е т н о е   ( 5 )

E j y ( m , n ) = { E 0 ( m , n ) ,   е с л и ⌊ n 2 j − 1 ⌋ − н е ч е т н о е 0,   е с л и ⌊ n 2 j − 1 ⌋ − ч е т н о е   ( 6 )

здесь ⌈ a ⌉ означает округление числа а до ближайшего целого в большую сторону, a ⌊ a ⌋ - округление числа а до ближайшего целого в меньшую сторону,

одновременно формируют две группы интегральных сигналов

{ S 1 x , … , S i x , … , S ⌈ log 2 M ⌉ x } и { S 1 y , … , S i y , … , S ⌈ log 2 N ⌉ y } и вспомогательный интегральный сигнал S_o, соответствующий интегральной интенсивности изображения объекта, путем интегрирования (накапливания, суммирования) всех сигналов E i x ( m , n ) , E j y ( m , n ) , Е(m,n) соответствующих совокупностей по правилу

S i x = ∑ m = 1 M ∑ n = 1 N E i x ( m , n ) ,   ( 7 ) ;

S j y = ∑ m = 1 M ∑ n = 1 N E j y ( m , n ) ,   ( 8 ) ;

S 0 = ∑ m = 1 M ∑ n = 1 N E ( m , n ) ,   ( 9 ) .

Координату центра тяжести изображения определяют по формулам

X C = ∑ i = 1 log 2 M s i x 2 i − 1 S 0 ,   ( 10 )

y C = ∑ j = 1 log 2 N s j y 2 j − 1 S 0 .   ( 11 )

для чего известными методами суммируют с учетом весовых коэффициентов интегральные сигналы и производят деление на вспомогательный интегральный сигнал.

Основным недостатком этого способа являются низкая точность определения координат, обусловленная отсутствием учета погрешностей преобразования изображения объекта в матричном фотоприемнике ПЗС.

Хорошо известно [4, с.74], что матричные фотоприемники на основе ПЗС не обладают одинаковой чувствительностью по элементам матрицы. Это приводит к искажению уровней сигнала изображения по элементам матричного фотоприемника. Факторами, ограничивающими чувствительность ячеек ПЗС, являются темновой ток и тепловой шум, являющиеся следствием термоэлектронной эмиссии и так называемых шумов считывания. Первый возникает в ПЗС-элементе при подаче потенциала на электрод, под которым формируется потенциальная яма при полном отсутствии светового потока. Если световой поток слаб, то величина фототока близка, а порой и меньше, чем величина темнового тока. Количество возникших термоэлектронов зависит от двух основных параметров: продолжительности экспозиции и температуры матрицы. При комнатной температуре у большинства ПЗС пикселы полностью заполняются теплоэлектронами уже за несколько секунд, даже при отсутствии засветки. Тепловой шум возникает даже при отсутствии потенциала на электродах одним лишь хаотичным движением электронов по ПЗС-элементу. Практически в каждом ПЗС-элементе уровни темнового тока и теплового шума не такие, как в соседних пикселах. Поэтому степень искажения фототоков паразитными зарядами распределена по матрице хаотическим образом. Выдержки большой длительности ведут к постепенному накапливанию блуждающих электронов в потенциальных ямах и увеличению тепловых шумов в ячейках. Наиболее заметные из них называют «горячими пикселами». Охлаждение матрицы - один из эффективных способов уменьшить темновой ток и тепловые шумы, но не избавиться от них полностью. Практика обработки изображений заключается в получении темнового фрагмента (при закрытом объективе) с такой же длительностью и температурой, с какими будет производиться съемка объекта. Тогда при обработке результата компьютер сможет вычесть этот шум из полученного изображения. Высокая точность воспроизведения параметров съемки зачастую позволяет использовать однажды полученный темновой фрагмент многократно, потому что скорость рождения термоэлектронов в каждом пикселе определяется технологией его изготовления и должна с хорошей степенью точности воспроизводиться при одинаковой температуре и одинаковой продолжительности экспозиции.

Помимо шумов на результирующее изображение оказывают влияние локальные технологические неоднородности, возникающие при производстве матриц [4, с.82]. На практике локальные технологические неоднородности выправляют с помощью техники флэт-поля. Идея состоит в том, чтобы в рабочей комбинации матрица + объектив получить снимок равномерного серого поля (это может быть просто лист белой бумаги, освещенный рассеяным светом, или участок белесого сумеречного неба без звезд). В дальнейшем компьютер сможет учесть возникшие перепады яркости по поверхности кадра и подкорректировать конечный снимок. Значительным преимуществом использования такой техники съемки является возможность учесть не только технологические, но и ложные фотометрические неоднородности изображения, вносимые самой оптической системой объектива.

Потери электронов, составляющих фототок, происходят не только в процессе накопления заряда, но и при его транспортировке к выходу матрицы [4, с.81]. Потери эти вызваны дрейфом электронов, «оторвавшихся» от основного заряда при его перетекании под следующий электрод переноса. Чем меньше количество «оторвавшихся» электронов, тем выше эффективность переноса заряда. Данный параметр измеряется в процентах и показывает долю заряда, сохранившуюся при «переправе» между ПЗС-элементами. Потери заряда в процессе считывания являются источником нелинейности передаточных характеристик ПЗС и обусловлены последовательным характером считывания заряда с матрицы, осуществляемого параллельно от строки к строке. При этом первая строка сначала переписывается в буферный регистр, а затем считывается последовательно из буферного регистра на выход матрицы. При этом основная потеря заряда происходит именно при параллельной передаче от строки к строке. Очевидно, что эти потери тем больше, чем удаленнее считываемая строка от буферного регистра и чем выше уровень передаваемого заряда, что и свидетельствует о нелинейности передачи изображения по ячейкам матрицы.

Влияние эффективности переноса заряда по строкам ПЗС матрицы можно продемонстрировать на следующем примере. Если для матрицы 1024 Х 1024 величина данного параметра составит 99,9%, то чтобы определить значение фототока пикселей крайней строки на выходе матрицы, необходимо К=0,999 (коэффициент, определяющий часть объема переносимого заряда от строки к строке) возвести в степень 1024 (количество «переправ» между строками) и умножить на 100 (проценты). Результат совершенно неудовлетворительный - от исходного заряда останется 36%. Очевидно, что при росте разрешения требования к эффективности переноса становятся еще более жесткими. Кроме того, падает скорость считывания кадра, потому что наращивание скорости переноса (для компенсации увеличившегося разрешения) ведет к неприемлемому росту числа «оторвавшихся» электронов.

Суммируя вышесказанное, можно утверждать, что дискретизированные значения сигналов изображения объекта Е₀(m,n), используемые в прототипе для определения центра тяжести изображения, не отражают истинного значения яркости изображения, а следовательно, их использование для определения центра изображения по распределению его яркости на поверхности ПЗС матрицы через расчет центра тяжести этого распределения будет иметь погрешности тем большие, чем выше искажения этого распределения.

Таким образом полученные с помощью способов, описанных в аналогах и прототипе, значения центра тяжести изображения не будут соответствовать его истинному значению и имеют погрешности как вследствие неучета распределения яркости по поверхности ПЗС матрицы, как это имеет место в аналогах, так и вследствие воздействия шумов (аддитивная составляющая), технологической неоднородности матрицы (мультипликативная составляющая) и неэффективного переноса заряда (нелинейная составляющая), сказывающихся на точности измерений как в аналогах, так и в прототипе.

Целью изобретения является повышение точности измерения положения центра тяжести изображения, полученного фотоприемной матрицей на основе ПЗС.

Указанная цель достигается тем, что изображение объекта проецируется на фотоприемную матрицу ПЗС, с помощью которой совокупность оптических сигналов преобразуется в дискретную по пространству совокупность электрических сигналов, с амплитудой, пропорциональной интенсивности сигнала изображения в соответствующем элементе пространственного разрешения, полученный аналоговый сигнал преобразуется в совокупность дискретизированных электрических сигналов Е₀(m,n), где m=1÷М, а n=1÷N. Здесь М и N - число элементов разложения по ортогональным осям матрицы (М и N - число элементов ПЗС матрицы), из каждого значения Е₀(m,n) вычитается поправка, соответствующая аддитивной составляющей искажений изображения Е_Т(m,n) и результат корректируется обратно пропорционально мультипликативной составляющей искажений (коэффициент A(m,n)) по правилу:

E ( m , n ) = A ( m , n ) [ E 0 ( m , n ) − E T ( m , n ) ] .   ( 12 )

Далее формируются 1+[log₂N] групп строчных интегральных сигналов, соответствующие строчному накоплению сигнала изображения по правилу

S m 0 = ∑ n = 1 N E ( m , n ) ,   m = 1,2, … , M   ( 13 )

S m j = ∑ n ∈ { [ 1, N ] ∩ ( ⌊ n 2 j − 1 ⌋ − н е ч е т н ы е ) } E ( m , n ) ,   m = 1,2, … , M ,   j = 1,2, … , ⌈ log 2 N ⌉ .   ( 14 )

Здесь и далее ⌈ a ⌉ означает округление числа а до ближайшего целого в большую сторону, a ⌊ a ⌋ - округление числа а до ближайшего целого в меньшую сторону.

Затем формируется набор взвешенных строчных интегральных сигналов по правилу:

S w m k = W m S m k ,   k = 0,1,2, … , ⌈ log 2 N ⌉ .   ( 15 )

Веса W_m определяются исходя из известных для данной матрицы ПЗС коэффициентов эффективности передачи заряда от строки к строке К в соответствии с правилом

W m = K − m .   ( 16 )

Из набора взвешенных строчных интегральных сигналов формируется полный интегральный сигнал S_o, соответствующий интегральной интенсивности изображения объекта, x-группу вспомогательных откорректированных интегральных сигналов { S 1 x , … , S i x , … , S ⌈ log 2 M ⌉ x } и y-группу вспомогательных откорректированных интегральных сигналов { S 1 y , … , S i y , … , S ⌈ log 2 N ⌉ y } по правилу:

S 0 = ∑ m = 1 M S m 0 ,   ( 17 )

S j y = ∑ m = 1 M S m j ,   j = 1,2, … , ⌈ log 2 N ⌉   ( 18 )

S i x = ∑ m ∈ { [ 1, M ] ∩ ( ⌊ m 2 i − 1 ⌋ − н е ч е т н ы е ) } S m 0 , i = 1,2, … , ⌈ log 2 M ⌉   ( 19 )

По полному интегральному сигналу и двум группам вспомогательных интегральных сигналов определяются истинные координаты центра тяжести изображения по правилу:

X C = ∑ i = 1 ⌈ log 2 M ⌉ s i x 2 i − 1 S 0 ,   ( 20 )

y C = ∑ j = 1 ⌈ log 2 N ⌉ s j y 2 j − 1 S 0 ,   ( 21 )

для чего известными методами суммируют с учетом весовых коэффициентов вспомогательные интегральные сигналы и производят деление на полный интегральный сигнал.

Проведем сравнение предлагаемого способа определения координат центра тяжести изображения и определяемого прототипом. Для этого воспользуемся примером изображения N×M=9 элементам разложения, приведенного в прототипе, введя в него искажения, характерные для реальной ПЗС матрицы. На фиг.1 приведен вариант исходного цифрового изображения для определения центра тяжести. Здесь цифры внутри клеток соответствуют коду яркости светового пятна, т.е. амплитуде электрического сигнала Е₀(m,n). В позиции (1, 2) виден «горячий пиксел» E₀(1, 2)=27. Будем считать, что величина коэффициента переноса заряда от строки к строке К=0,99. Для упрощения расчетов остальные шумовые характеристики в изображение не вводились.

По известному способу координаты Хц.т и Уц.т центра тяжести изображения любого объекта вычисляются путем деления соответствующих моментов инерции по оси ОХ и OY "массу" изображения. Определим истинный центр изображения без учета искажений. При этом естественно не учитываем «горячий пиксел» E₀(1, 2) и нелинейность коэффициента передачи ПЗС матрицы. Обозначим статические моменты инерции по оси ОХ через М_x и по оси OY через M_y. Интегральная яркость изображения составит S₀=1+3+7+9+10+10+2+4+5+8+11+5+17+14+13+6+3+64+3+ 1+6+1++2+1+2+8+7+9=232

M_x=(1+3+7+9+10+10)×3+(2+4+5+8++11+5)×4+(17+14+13+6)×5+(3+64+3++1)×6+(6+1+2+1)×7+(9+7+8+9)×8=1214

M_y=(1+2)×3+(3+14)×4+(7+5+17+3+6++9)×5+(9+8+14+64+1+7)×6+(10+11+13+3+2+8)×7+(10+5+6+1+1+2)×8=1419

X Ц Т = M x S 0 = 1214 232 = 5,232759

Y Ц Т = M y S 0 = 1419 232 = 6,116379

Применительно к прототипу, учитывая наличие «горячего» пикселя Е₀(1, 2)=27 и нелинейных искажений сигнала при его считывании с ПЗС матрицы с коэффициентом эффективности переноса заряда по строкам К=0,99, получим, что интегральные сигналы первой группы равны

S x 1 = 1 * ( 0,99 ) 3 + 3 * ( 0,99 ) 4 + ( 7 + 17 + 6 ) * ( 0,99 ) 5 + ( 9 + 14 + 1 ) * ( 0,99 ) 6 + ( 10 + 13 + 2 ) * ( 0,99 ) 7 + ( 10 + 6 + 1 ) * ( 0,99 ) 8 = 93,9651

Аналогично S x 2 = 140,5214 ; S x 3 = 156,198 ; S x 4 = 24,45128 . Интегральные сигналы для второй группы равны: S y 1 = 118,1445 ; S y 2 = 143,6904 ; S y 3 = 192,2002 ; S y 4 = 23,06862 .

Интегральная яркость изображения с учетом искажений составит S₀=244,9097. Тогда в соответствии с (10) и (11) координаты центра тяжести изображения будут равны: Х_ЦТ=4,881026; Y_ЦТ=5,548473, что существенно отличается от истинных значений центра тяжести, полученных выше.

Расчеты, проведенные по формулам (12) - (21), приводят к следующим результатам: Х_ЦТ=5,232759; Y_ЦТ=6,116379, что соответствует истинному центру тяжести. Таким образом предлагаемый способ определения центра тяжести не приводит к отклонению его значения от истинного значения, что свидетельствует о повышении точности определения центра тяжести изображения.

Рассматриваемый способ предполагает выполнение необходимых операций следующим образом. Изображение объекта проецируется на телевизионную камеру на базе ПЗС матрицы. В камере происходит преобразование оптического сигнала в совокупности электрических сигналов и полученный видеосигнал поступает на параллельный быстродействующий аналого-цифровой преобразователь (АЦП) для дискретизации. На выходе АЦП из последовательности сигналов вычитается поправка, соответствующая аддитивной составляющей искажений изображения, и результат корректируется обратно пропорционально мультипликативной составляющей искажений (12). Значения аддитивной и мультипликативной поправок заранее записываются в память и соответствуют как времени экспозиции, так и техническим особенностям конкретной ПЗС матрицы. Далее, используя управляемый по жесткой программе коммутатор столбцов, откорректированные значения сигналов подают на группу строчных накапливающих сумматоров, где формируются группы строчных интегральных сигналов, соответствующие строчному накоплению сигнала изображения (13), (14). Результат накопления по каждой строке изображения умножается на заранее рассчитанные (16) для этой строки и хранящиеся в памяти коэффициенты, учитывающие нелинейные искажения по матрице ПЗС исходя из заданного коэффициента эффективности передачи заряда от строки к строке, то есть формируется набор взвешенных строчных интегральных сигналов (15). Строчные интегральные сигналы, соответствующие полному интегральному сигналу кадра изображения, подаются на управляемый по жесткой программе коммутатор строк, выходы которого обеспечивают формирование в кадровых накапливающих сумматорах полного интегрального сигнала (17), соответствующего откорректированной интегральной интенсивности изображения, и х-группы вспомогательных откорректированных интегральных сигналов (19). Y-группа вспомогательных откорректированных интегральных сигналов образуется в кадровых накапливающих сумматорах, подключенных к каналам остальных строчных интегральных сигналов (18). По полному интегральному сигналу и двум группам вспомогательных интегральных сигналов в вычислителе координат определяются истинные координату центра тяжести изображения, для чего известными методами суммируют с учетом весовых коэффициентов вспомогательные интегральные сигналы и производят деление на полный интегральный сигнал.

На фиг.2 приведен пример структурной схемы устройства, реализующего предлагаемый способ для случая 9 строк и 9 столбцов изображения, где цифрами обозначены: 1 - телевизионная камера на базе ПЗС; 2 - быстродействующий параллельный аналого-цифровой преобразователь; 3 - цифровой сумматор; 4, 7 и 8 - полупостоянные запоминающие устройства ППЗУ1, ППЗУ2, ППЗУ3; 5 - блок управления; 6, 11-1, 11-2, …, 11-5 - цифровые умножители; 9 - строчный коммутатор; 10-1, …, 10-5 - строчные накапливающие сумматоры; 12 - кадровый коммутатор; 13-1, …, 13-9 - кадровые накапливающие сумматоры; 14 - вычислитель координат центра тяжести изображения.

Устройство, реализующее способ, содержит телевизионную камеру на базе ПЗС матрицы (например, типа КТ-2-2) 1; быстродействующий параллельный аналого-цифровой преобразователь (АЦП) (например, типа 1107ПВ1) 2; цифровой сумматор 3, который может быть реализован по схеме многоразрядного сумматора с параллельным переносом [5, с.127-130]; умножители 6 и 11-1, 11-2, …, 11-5, которые для повышения быстродействия могут быть реализованы на базе ПЗУ, например, К596РЕ1, в ячейках которой записана таблица умножении; строчные и кадровые накапливающие сумматоры 10-1, …, 10-5 и 13-1, …, 13-9 соответственно, которые могут быть реализованы, например, по схеме [6, с.114, рис. 5.59]; строчный 9 и кадровый 12 коммутаторы, работающие по жесткой программе и реализующие функцию передачи входного цифрового отсчета в соответствии с алгоритмами формирования строчных интегральных сигналов (13), (14) и х-группы вспомогательных откорректированных интегральных сигналов (19). Коммутаторы могут быть реализованы на базе программируемых логических матриц [7, с.56-72]. В устройство включены три полупостоянных запоминающих устройства 4 (ППЗУ1), 7 (ППЗУ2), 8 (ППЗУ3), в которые записана информация о поправках, соответствующих аддитивной Е_T(m,n) составляющей искажений изображения (ППЗУ1), мультипликативной А(m,n) (ППЗУ2) и нелинейной W_m (ППЗУ3) составляющих искажений. Выходы накапливающих сумматоров 13 подаются на входы вычислителя координат центра тяжести изображения 14. Вычислитель координат центра тяжести изображения 14 может быть построен на базе микропроцессора и в этом случае включает шинный формирователь для объединения выходов накапливающих сумматоров и подачи их на общую шину микропроцессора и собственно сам микропроцессор, обеспечивающий расчет центра тяжести изображения в соответствии с выражением (21) и (22). Управление работой коммутаторов 9, 12, ППЗУ 4, 7, 8, накапливающих сумматоров 10-1, …, 10-5, 13-1, …, 13-9 и вычислителя координат центра тяжести изображения 14, а также общая синхронизация ус