Способ и устройство формирования сигналов изображения в системах цифрового телевидения стандартной и высокой четкости
Иллюстрации
Показать всеИзобретение относится к области цветного телевидения с высокой разрешающей способностью. Техническим результатом является улучшение качества восстановления отсутствующих значений пикселей сигналов цветовых составляющих, увеличение четкости изображений, уменьшение искажений и сохранение цветности. Предложено в способе формирования сигналов изображения, помимо внутрикадровой интерполяции (экстраполяции), использовать интерполяцию (экстраполяцию) по направлению распределения цветовых составляющих, при которой вычисление значений уровней отсутствующих пикселей цветовых составляющих каждого отдельного элемента сигнала изображения с фиксированными координатами осуществляется на основе использования значения уровней других цветовых составляющих указанного пикселя. Полученные с помощью интерполяции недостающие дискретные значения одних и тех же по координатам цветовых составляющих подвергают суммированию для получения результирующего значения пикселя цветовой составляющей, предварительно произведя умножение этих значений на весовые коэффициенты. Для увеличения точности восстановления недостающих значений цветовых составляющих интерполяция как по пространственному, так и по межцветовому направлениям осуществляется с вычислением значений промежуточных пикселей, для получения которых используются значения исходных, соседних с восстанавливаемым, пикселей. Также производится вычисление межпиксельных разностей, показывающих вклад каждого из значений промежуточных пикселей в итоговое значение восстанавливаемого пикселя. 2 н. и 4 з.п. ф-лы, 14 ил.
Реферат
Область техники
Настоящее изобретение относится к области систем цветного телевидения с высокой разрешающей способностью и может быть использовано в системах вещательного и прикладного телевидения при формировании цветовых составляющих сигналов изображений стандартной и высокой четкости. Изобретение может найти применение в системах вещательного и прикладного телевидения, например в видеосвязи, в мультимедийных системах передачи видеоинформации, системах спектрозонального и стереотелевидения, при кинопроизводстве, формировании программ телевидения, в телевизионных (ТВ) системах дистанционного зондирования поверхности Земли и в других системах формирования и передачи видеоинформационных сигналов со стандартной, повышенной или высокой четкостью изображений.
Уровень техники
Как известно, формирование цветовых составляющих сигналов ТВ-изображений стандартной и высокой четкости в настоящее время чаще всего осуществляют с использованием фоточувствительных матриц ПЗС (ФМПЗС). Однако совершенствование подобных преобразователей "свет-сигнал" фактически достигло своего предела, что обусловлено существенными ограничениями, свойственными данной технологии:
низкий процент выхода годных приборов с увеличением числа и плотности светочувствительных элементов в пространстве данной матрицы ПЗС;
потери части зарядов дискретных пакетов при их переносе (неэффективность переноса зарядовых пакетов), которая возрастает с увеличением числа светочувствительных элементов, распределенных во внутрикадровом пространстве ФМПЗС, и соответственно числа и скорости переносов при фиксированной (стандартной) длительности отдельного кадра телевизионного сигнала;
трудности реализации произвольного и непосредственного координатного доступа к пикселям заданных фрагментов внутрикадровой структуры сигнала ТВ-изображения;
относительно низкая степень интеграции (~106 элементов на одном кристалле);
используемая многоуровневая технология не обеспечивает возможности совмещения на одном кристалле ПЗС и транзисторных схем обработки сформированных ТВ-сигналов;
высокое энергопотребление, отличающееся, чаще всего, по уровню напряжения питания для генератора (интегральная схема) необходимых сигналов управления.
В некоторой мере указанные выше недостатки в настоящее время преодолеваются в фототранзисторных матрицах на основе технологии КМОП (ФМКМОП), имеющих чаще всего организацию с произвольным координатным доступом и высокую степень интеграции (>109 элементов на одном кристалле - very large scale integration (VLSI)). Ha этом же кристалле решается задача аналого-цифрового преобразования (АЦП) в цифровой вид (8, 10 и более разрядов двоичного кода) пикселей и задачи цифровой обработки ТВ-сигнала изображений при их формировании.
Использование относительно высокой частоты дискретизации (≥13,5 МГц) уже сформированного ТВ-сигнала может при этом обусловить потребление интегральной схемой АЦП (ИС АЦП) относительно большой мощности, что приводит к увеличению температуры кристалла и соответствующему увеличению уровня шумов, вносимых в процессе формирования сигнала телевизионного изображения. Поэтому АЦП осуществляют в ФМКМОП отдельными столбцами пикселей. Цифровые потоки от каждой схемы АЦП при этом поступают на мультиплексор, формирующий общий телевизионный сигнал в цифровом виде. Такое решение позволило резко снизить частоту АЦП и, следовательно, уменьшить рассеиваемую на кристалле мощность с соответствующим снижением уровня вносимых шумов. Некоторые разработчики в еще большей степени снижают частоту преобразования вплоть до установки схем АЦП, в структуре ФМКМОП на каждый пиксель телевизионного сигнала. Однако в данном случае имеет место увеличение доли площади кристалла, расходуемой на реализацию числа всех необходимых схем АЦП, что снижает, естественно, его совокупную площадь, расходуемую на реализацию необходимого числа светочувствительных элементов.
При формировании сигналов ТВ-изображений с использованием ФМКМОП имеется также возможность преобразования параметров и обработки считанных сигналов с доступом к заданным совокупностям пикселей в процессе формирования соответствующего выходного цифрового сигнала ТВ-изображения.
Рассмотренные выше фоточувствительные матрицы (матричные преобразователи "свет-сигнал" (МПСС)) обеспечили возможность формирования цветовых составляющих сигналов изображений с использованием массива светочувствительных элементов одной ФМПЗС (ФМКМОП) и дискретных (мозаичного типа) световых фильтров (светофильтров). Работы по созданию таких камер были развернуты с конца 70-х годов (Пригожий Г.Я. Матричные формирователи видеосигнала на приборах с зарядовой связью для одноматричных цветных телевизионных камер // Обзоры по электронной технике. Сер. Полупроводниковые приборы. - 1986. - Вып.4 (1186. - С.60; Кузнецов Ю.А., Шилин В.А. Микросхемотехника на приборах с зарядовой связью // Радио и связь. - 1988. - 160 с.)). В настоящее время активно выпускаются малогабаритные одноматричные ТВ-камеры с нанесением дискретных светофильтров непосредственно на светочувствительные элементы. Такие камеры активно используются для решения прикладных задач (видеоконтроль охраняемых объектов, производственных процессов, космическое телевидение и др.).
Основным недостатком одноматричных камер цветного телевидения является низкая разрешающая способность и(или) невысокое качество цветопередачи сформированными сигналами изображений. По указанным параметрам одноматричные камеры существенно уступают камерам с большим числом светочувствительных матриц.
В известных методах формирования сигналов изображений стандартной и высокой четкости, используемых в одноматричных устройствах, переданные с преобразователя свет-сигнал кодированные отсчеты разных цветовых составляющих разделяют при приеме на последовательности кодированных отсчетов каждого из основных цветов. В пределах области каждой из полученных цветовых составляющих производится восстановление недостающих значений цветовых составляющих каждого элемента изображения.
Одним из вариантов такого восстановления является восстановление по формуле ряда Тейлора [1]:
ξ i ( t ) = ∑ k = 0 c ξ k ( t 0 ) k ! ∗ ( t − t 0 ) k + R c ( t ) [ 1 ]
где ξ i k ( t 0 ) - значение функции ТВ-сигнала и производных функции в точке t=t0;
R c ( t ) = ξ i k + 1 ∗ ( t c ) ( k + 1 ) ! ∗ ( t − t 0 ) k + 1 − о с т а т о ч н ы й ч л е н ф о р м у л ы р я д а Т е й л о р а [ 2 ]
(tc лежит в интервале t0-t).
Необходимые составляющие формулы ряда Тейлора находят по переданным группам элементов ТВ-сигнала в пределах кадров.
В результате этого восстановления в каждом элементе изображения формируется необходимое для формирования полноценного изображения количество значений разных цветовых составляющих.
Однако такие методы вносят существенные искажения в структуру изображений из-за ошибок интерполяции, неизбежно возникающих при восстановлении недостающих значений цветовых составляющих.
Известно решение, обеспечивающее увеличение разрешающей способности, качества цветопередачи и сужение полосы частот при формировании выходного ТВ-сигнала цветных изображений в одноматричных телевизионных камерах на ФМПЗС (авт. свид. 1211892 СССР от 15.02.1986, кл. H04N 11/00, 9/04. «Способ формирования телевизионного сигнала цветного изображения и устройство для его реализации»). Здесь исходный световой поток разделяют при проецировании на составляющие основных цветов. Каждую из разделенных составляющих светового потока предварительно дискретизируют в плоскости, ортогональной оси проецирования, на идентичные по форме ячейки пропускания светового потока. Затем каждую из составляющих светового потока дополнительно дискретизируют в пределах и за пределами полученных ячеек пропускания на соответствующие группы смежных элементов дискретизации светового потока. При этом общее число элементов дискретизации каждой из составляющих светового потока в ячейках пропускания и прерывания устанавливают в n раз большим числа светочувствительных элементов соответствующих МПСС. Число же элементов дискретизации в участках пропускания устанавливают равным числу светочувствительных элементов соответствующего МПСС. Ячейки пропускания составляющей светового потока последовательно чередуют в полосах, расположенных на плоскости дискретизации вдоль фиксированных параллельных линий, соединяющих центры смежных элементов составляющих светового потока. Ячейки пропускания каждой из составляющих светового потока смещают в четных (нечетных) полосах чередования вдоль соответствующих полос на интервал, кратный половине диаметра элемента дискретизации соответствующей составляющей светового потока.
Относительные в плоскости дискретизации координаты ячеек пропускания цветовых составляющих светового потока периодически изменяют во времени с частотой изменений относительных координат. При этом частоту изменений относительных координат выбирают по величине, равной результату от деления частоты последовательных считываний сигналов смежных кадров в датчиках ТВ-сигналов на целое число. Ячейки пропускания каждой составляющей светового потока периодически возвращают в положение с исходными относительными координатами, а частоту возвращения ячеек в положение с исходными относительными координатами устанавливают по величине, равной результату от деления частоты изменения относительных координат на целое число. Причем ячейки пропускания фиксируют в каждом из положений с различными относительными координатами в течение интервала времени, кратного длительности кадра, а в каждый текущий момент времени равномерно распределяют и проецируют на светочувствительные элементы соответствующей МПСС лишь группы элементов дискретизации каждой составляющей светового потока, совпадающие с положением ячеек пропускания. Соответственно этому периодически считывают с ФМПЗС преобразованные сигналы кадров с уменьшенным числом элементов, а считывание сигналов, соответствующих одним и тем же координатам ячеек пропускания, реализуют группами смежных во времени кадров.
Считанные ТВ-сигналы последовательных кадров кодируют и передают по каналу связи кодированными импульсами (отсчетами, пикселями), каждый из которых соответствует отдельным элементам дискретизации соответствующей составляющей светового потока.
Переданные кодированные отсчеты разделяют при приеме на последовательности кодированных отсчетов каждого из основных цветов. Каждый из разделенных сигналов представляет собой результат преобразования при передаче дискретизированных по группам элементов составляющих основных цветов в сигнал, соответствующий равномерному в пространстве МПСС распределению элементов групп при проецировании.
Разделенные сигналы подвергают при приеме обратному преобразованию к виду, соответствующему исходному, по группам, распределению дискретизированных элементов составляющих основных цветов. Одновременно восстанавливают и отсутствующие элементы сигналов изображений, попавшие при проецировании соответствующих составляющих основных цветов за пределы ячеек пропускания. Для этого разделенные отсчеты параллельно задерживают в последовательности кадров на целое число интервалов времени, кратных по длительности половине периода следования кадров в формируемых ТВ-сигналах основных цветов. Незадержанные и полученные задержанные в последовательности кадров отсчеты параллельно задерживают в пределах строк на целое число интервалов времени, кратных по длительностям половине периода следования смежных элементов в формируемых ТВ-сигналах основных цветов.
Задержкой многократно совмещают во времени все отсчеты смежных групп, которые совместно используются при дальнейшем восстановлении отсутствующих отсчетов в пределах кадра и в последовательности кадров.
Восстановление одних и тех же отсчетов ТВ-сигнала, соответствующих отсутствующим между переданными группами элементам сигналов изображений, реализуют независимо в пределах и в последовательности кадров с применением специальных многочленов, обеспечивающих регенерацию отсутствующих отрезков функции по ее переданным значениям (участкам).
В результате проведенного восстановления имеют несколько восстановленных промежуточных значений амплитуды одних и тех же отсчетов, соответствующих каждому отсутствующему элементу ТВ-сигнала. Значительная скважность передачи групп отсчетов при этом сопровождается увеличением погрешности восстановления. Соответственно, отдельное значение амплитуды отсчета как результата промежуточного восстановления данного элемента сигнала изображения может превысить максимально возможную амплитуду ТВ-сигнала или стать меньше минимально возможной амплитуды. Устранение подобного типа искажений достигают введением соответствующего амплитудного ограничения восстановленных ТВ-сигналов. Уменьшение погрешности восстановления достигается также путем весового усреднения независимо полученных промежуточных значений ТВ-сигнала, соответствующих одному и тому же отсутствующему элементу ТВ-сигнала, за счет изменения коэффициентов весового усреднения. При этом учитывается тот факт, что погрешность восстановления растет с увеличением амплитуды производных в формуле ряда Тейлора и с увеличением расстояния (вдоль направления восстановления) между восстанавливаемыми и опорными (переданными) отсчетами. Поэтому общую сумму весовых коэффициентов при выполнении каждого из суммирований устанавливают равной единице, а отношение между величинами весовых коэффициентов устанавливают обратно пропорциональным протяженности интервалов в пределах кадра и последовательности кадров между опорными и отсутствующими (восстанавливаемыми) отсчетами. Кроме того, относительные величины весовых коэффициентов суммирований изменяют обратно пропорционально изменениям модуля амплитуды сигналов огибающих, соответствующим первым и более высоким по порядку составляющим формулы ряда Тейлора. Восстановленные в пределах сигнала кадра группы элементов ТВ-сигнала суммируют с опорными группами элементов. Аналогичное суммирование реализуют и в последовательности кадров. При этом получают две независимо восстановленные последовательности одних и тех же элементов ТВ-сигнала, которые подвергают аналогичным раздельному амплитудному ограничению и весовому усреднению. Полученный общий сигнал последовательности элементов ограничивают по минимальному и максимальному уровням амплитуд и демодулируют. Демодулированные (в аналоговом виде) или цифровые сигналы каждой из составляющих и используют для формирования сигналов основных цветов.
Формирование сигналов от слабоизменяющихся (малоподвижных) и быстроизменяющихся (подвижных) во времени объектов осуществляют с фиксированными по диапазону величин коэффициентами весового суммирования восстановленных в пределах сигнала кадра и сигнала последовательности кадров кодированных отсчетов ТВ-сигналов.
Недостатком рассмотренного способа является необходимость формирования цветовых составляющих сигналов телевизионных (ТВ) изображений с увеличенной, по отношению к стандартной, частотой кадров. При этом снижается время накопления потенциального рельефа при формировании телевизионных сигналов отдельных кадров и, следовательно, снижается потенциально достижимое соотношение сигнал/шум. Другим недостатком является необходимость периодического изменения во времени (микросмещений) относительных в плоскости дискретизации координат ячеек пропускания цветовых составляющих светового потока с частотами, кратными частоте кадров, что усложняет практическую реализацию устройств, разрабатываемых в соответствии с данным способом.
В некоторой степени подобными по технической сущности рассмотренному выше и предлагаемому изобретению являются варианты способа интерполяции значений уровней отсутствующих пикселей по известным значением уровней соседних пикселей (патент № US 7,551,214 от 23.06.2009, кл. H04N 3/14 (2006.01), H04N 5/335 (2006.01), H04N 9/04 (2006.01), H04N 9/83 (2006.01), H04N 9/00 (2006.01). «Pixel interpolation method»).
Первый из предложенных здесь вариантов основан на вводе и запоминании распределенных по направлениям в пределах данного пространства совокупностей реальных пикселей сигналов составляющих цветных изображений, отражающих значения уровней пикселей, смежных по заданным направлениям и координатам в пространстве интерполируемым пикселям, каждый из сигналов соответствующих цветовых составляющих, нахождении коэффициента корреляционных связей между уровнями каждых двух из смежных пикселей отдельной составляющей в каждом из 4-х направлений в пространстве, при этом 2-е из указанных направлений перпендикулярно первому, третье направление отличается от первого и второго, а четвертое перпендикулярно третьему, на интерполяционном вычислении значения одного и того же отсутствующего пикселя отдельной цветовой составляющей по двум взаимно перпендикулярным направлениям с использованием значений уровня реальных, соседних в пространстве пикселей данной составляющей, между которыми находится отсутствующий пиксель по каждому из указанных направлений.
Другими отличительными признаками данного варианта решения являются также то, что
- вводимые пиксельные данные предопределенного цветового пространства соответствуют значениям цветовых составляющих этих пикселей, получаемых путем фильтрации этого цветового пространства по методу Байера;
- первым выбирается одно из двух направлений - вертикальное или горизонтальное, а третье направление должно находиться под углом 45 градусов относительно к вертикальному направлению;
- в случае, если распределенные в пространстве пиксельные данные представляют собой R, G, B цветовые составляющие, то коэффициенты корреляционных связей между уровнями каждых двух из смежных пикселей сигналов цветовых составляющих находят для сигнала G составляющей;
- в случае, если распределенные в пространстве пиксельные данные сигналов цветных изображений содержат яркостные составляющие, то коэффициенты корреляционных связей между уровнями каждых двух из смежных пикселей сигналов составляющих находят для сигнала яркостной составляющей;
- значение коэффициента корреляционных связей между уровнями каждых двух из смежных пикселей сигналов составляющих по первому выбранному для интерполяции направлению обозначается как С1, значение коэффициента корреляционных связей между уровнями каждых двух из смежных пикселей сигналов составляющих по второму выбранному для интерполяции направлению обозначается как С2, а коэффициенты пропорциональности, используемые при реализации интерполяции для каждого из выбранных направлении, принимают значения, равные C 1 C 1 + C 2 и C 2 C 1 + C 2 ;
- значение уровня искомого пикселя, полученное в результате его интерполяции по первому направлению, обозначается как Р1, значение искомого пикселя, полученное в результате его интерполяции по второму направлению, обозначается как Р2, а результирующее значение Pr искомого пикселя задается выражением:
P r = P 2 ∗ C 1 C 1 + C 2 + P 1 ∗ C 2 C 1 + C 2 [ 3 ]
Несколько отличается от рассмотренного выше варианта второй вариант способа интерполяции значений уровней отсутствующих пикселей по известным значениям уровней соседних пикселей (патент № US 7,551,214 от 07.06.2007, кл. H04N 3/14 (2006.01), H04N 5/335 (2006.01), H04N 9/04 (2006.01), H04N 9/83 (2006.01), H04N 9/00 (2006.01). «Pixel interpolation method»), основанный на вводе и запоминании распределенных по направлениям в пределах данного пространства совокупностей реальных пикселей сигналов составляющих цветных изображений, отражающих значения уровней пикселей, смежных по заданным направлениям и координатам в пространстве интерполируемым пикселям, каждый из сигналов соответствующих цветовых составляющих, нахождении коэффициента корреляционных связей между уровнями каждых двух из смежных пикселей отдельной составляющей в каждом из 4-х направлений в пространстве таких, что второе направление перпендикулярно первому, третье отличается от первого и второго, а четвертое перпендикулярно третьему, использовании значений смежных отсутствующему пикселей и последующей реализации интерполяции значения отсутствующего пикселя в двух взаимно перпендикулярных из указанных направлений, при этом значение интерполированного пикселя должно быть пропорционально отношению значений коэффициентов корреляционных связей между уровнями каждых двух из смежных пикселей по этим взаимно перпендикулярным направлениям.
Другими отличительными признаками второго варианта решения являются также то, что
- реализация интерполяции пикселя производится в направлении, имеющем наибольший коэффициент корреляционных связей из двух направлений, входящих в пару направлений с наибольшей разностью значений соответствующих каждому из направлений коэффициентов корреляционных связей;
- реализация интерполяции производится по двум направлениям, включающим направление с наибольшей разностью значений соответствующих каждому из направлений коэффициентов корреляционных связей, и каждому из этих направлений назначаются соответствующие весовые коэффициенты пропорциональности, зависящие от величины коэффициентов корреляционных связей в этих направлениях.
Третий вариант данного способа интерполяции значений уровней отсутствующих пикселей по известным значением уровней соседних пикселей (патент № US 7,551,214 от 07.06.2007, кл. H04N 3/14 (2006.01), H04N 5/335 (2006.01), H04N 9/04 (2006.01), H04N 9/83 (2006.01), H04N 9/00 (2006.01). «Pixel interpolation method»), основанный на вводе и запоминании распределенных по направлениям в пределах данного пространства совокупностей реальных пикселей сигналов составляющих цветных изображений, отражающих значения уровней пикселей, смежных по заданным направлениям и координатам в пространстве интерполируемым пикселям, каждый из сигналов соответствующих цветовых составляющих, нахождении коэффициента корреляционных связей между уровнями каждых двух из смежных интерполируемому пикселю пикселей отдельной цветовой составляющей в первом направлении, втором направлении, перпендикулярном первому, в третьем направлении, не совпадающем с первым и вторым, и в четвертом направлении, перпендикулярном третьему, из 4-х не совпадающих направлений в пространстве, отличающийся тем, что с целью увеличения точности находят коэффициенты корреляционных связей между уровнями двух ближайших, из смежных, интерполируемому пикселю, пикселей данной цветовой составляющей по каждому отдельному, из четырех, направлений в пространстве вокруг местоположения интерполируемого пикселя, используют четыре значения коэффициентов корреляционных связей, и выполняют вычисление значения уровня отсутствующего пикселя с использованием хотя бы одного направления интерполяции, совпадающего с направлением, входящим в пару направлений с наибольшей разностью коэффициентов корреляционных связей, причем первую пару составляют первое и второе направление, а вторую пару составляют третье и четвертое направление.
Четвертый вариант известного способа интерполяции значений уровней отсутствующих пикселей по известным значениям уровней соседних пикселей (патент № US 7,551,214 от 07.06.2007, кл. H04N 3/14 (2006.01), H04N 5/335 (2006.01), H04N 9/04 (2006.01), H04N 9/83 (2006.01), H04N 9/00 (2006.01). «Pixel interpolation method») отличается от первого, второго и третьего вариантов тем, что значения коэффициентов корреляционных связей между уровнями каждых двух из смежных пикселей сигналов составляющих по направлениям интерполяции обозначаются С1-С4 соответственно их направлениям, и реализацию интерполяции значения отсутствующего пикселя осуществляют по четырем направлениям с использованием следующих коэффициентов пропорциональности: C 2 + C 3 + C 4 C 1 + C 2 + C 3 + C 4 C 1 + C 3 + C 4 C 1 + C 2 + C 3 + C 4 C 1 + C 2 + C 4 C 1 + C 2 + C 3 + C 4 C 1 + C 2 + C 3 C 1 + C 2 + C 3 + C 4
Пятый вариант представленного способа интерполяции значений уровней отсутствующих пикселей по известным значениям уровней соседних пикселей (патент № US 7,551,214 от 07.06.2007, кл. H04N 3/14 (2006.01), H04N 5/335 (2006.01), H04N 9/04 (2006.01), H04N 9/83 (2006.01), H04N 9/00 (2006.01). «Pixel interpolation method») отличается от первого, второго и третьего вариантов тем, что реализация интерполяции уровня отсутствующего пикселя производится по 4-м направлениям обратно пропорционально значениям коэффициентов корреляционных связей каждого из этих направлений.
Другим отличительным признаком пятого варианта решения является также то, что первый коэффициент пропорциональности представляется в виде коэффициента корреляционной связи по второму направлению интерполяции отсутствующего пикселя, деленного на сумму коэффициентов корреляционной связи по первому и второму направлениям интерполяции, второй коэффициент пропорциональности представляется в виде коэффициента корреляционной связи по первому направлению интерполяции отсутствующего пикселя, деленного на сумму коэффициентов корреляционной связи по первому и второму направлениям интерполяции, третий коэффициент пропорциональности представляется в виде коэффициента корреляционной связи по четвертому направлению, деленного на сумму коэффициентов корреляционной связи по четвертому и третьему направлениям интерполяции, четвертый коэффициент пропорциональности представляется в виде коэффициента корреляционной связи по третьему направлению, деленного на сумму коэффициентов корреляционной связи по четвертому и третьему направлениям интерполяции.
Шестой вариант способа интерполяции значений уровней отсутствующих пикселей по известным значениям уровней соседних пикселей (патент № US 7,551,214 от 07.06.2007, кл. H04N 3/14 (2006.01), H04N 5/335 (2006.01), H04N 9/04 (2006.01), H04N 9/83 (2006.01), H04N 9/00 (2006.01). «Pixel interpolation method») основан на вводе и запоминании распределенных по направлениям в пределах данного пространства совокупностей реальных пикселей сигналов составляющих цветных изображений, отражающих значения уровней пикселей, смежных по заданным направлениям и координатам в пространстве интерполируемым пикселям, каждый из сигналов соответствующих цветовых составляющих, нахождении коэффициента корреляционных связей между уровнями каждых двух из смежных пикселей отдельной составляющей в каждом из 4-х направлений в пространстве таких, что второе направление перпендикулярно первому, третье отличается от первого и второго, а четвертое перпендикулярно третьему, нахождении первой разницы между коэффициентами корреляционных связей в первом и втором направлениях и второй разницы между коэффициентами корреляционных связей в третьем и четвертом направлении, определении первого и второго коэффициентов пропорциональности с использованием первого и второго коэффициентов корреляционных связей, определении третьего и четвертого коэффициентов пропорциональности с использованием третьего и четвертого коэффициентов корреляционных связей, перемножении первого и второго коэффициента пропорциональности на первую разницу между коэффициентами корреляционных связей, перемножении третьего и четвертого коэффициента пропорциональности на вторую разницу между коэффициентами корреляционных связей и на последующей реализации интерполяции значений пикселя по 4-м направлениям, причем по каждому направлению интерполяция проводится с учетом перемноженных коэффициентов пропорциональности.
Недостатком рассмотренного способа интерполяции значений уровней отсутствующих пикселей по известным значениям уровней соседних пикселей (патент № US 7,551,214 от 07.06.2007, кл. H04N 3/14 (2006.01), H04N 5/335 (2006.01), H04N 9/04 (2006.01), H04N 9/83 (2006.01), H04N 9/00 (2006.01). «Pixel interpolation method») являются потери четкости сигналов изображений интерполированных цветовых составляющих.
Специфика практической реализации устройства и блоков параллельной интерполяции отсутствующих пикселей сигналов телевизионных изображений подробно представлена в работе, посвященной преобразованию чересстрочной развертки в построчную (патент РФ №2,454,822 от 27.06.2012, кл. H04N 7/01. «Способ преобразования сигнала телевизионного изображения и устройство для его осуществления»).
Близкими по технической сущности являются также метод и устройство интерполяции пикселей цветовых составляющих сигнала изображения (патент № US 7,206,021 от 21.08.2003, кл. H04N 3/14 (2006.01), H04N 5/228 (2006.01), H04N 1/46 (2006.01), H04N 9/32 (2006.01), Apr.17, 2007. «Hybrid pixel interpolating apparatus and hybrid pixel interpolating method»), основанные на использовании n-го числа вариантов параллельной, в пределах отдельных и смежных строк внутрикадрового пространства, интерполяции отсутствующих пикселей отдельной из цветовых составляющих, на вычислении для каждой из указанных цветовых составляющих пикселей сигнала изображения с учетом результатов предварительно выполненной оценки статистических параметров (таких как общая сумма, среднее значение, дисперсия или стандартное отклонение яркости, оттенка, насыщенности и др.) в области 3×3 или 5×5 пикселей, в пределах отдельных и смежных строк внутрикадрового пространства, данной цветовой составляющей, окружающих отсутствующие пиксели, значений весовых коэффициентов, определяющих вклад каждого из параллельно полученных при реализации указанных вариантов осуществления интерполяции отсутствующего пикселя пикселей в общий, соответствующий конечному результату интерполяции, пиксель, умножении каждого из параллельно полученных при реализации указанных вариантов осуществления интерполяции пикселей на соответствующие весовые коэффициенты и суммировании умноженных пикселей с получением указанного общего, соответствующего конечному результату интерполяции, пикселя.
Наиболее близким по технической сущности аналогом заявленного изобретения по совокупности признаков и операций над сигналом изображений приняты метод и устройство интерполяции пикселей цветовых составляющих сигнала изображения (патент № US 7,206,021 от 21.08.2003, кл. H04N 3/14 (2006.01), H04N 5/228 (2006.01), H04N 1/46 (2006.01), H04N 9/32 (2006.01). «Hybrid pixel interpolating apparatus and hybrid pixel interpolating method»), основанные на использовании n-го числа вариантов параллельной интерполяции отсутствующих пикселей отдельной из цветовых составляющих, на вычислении для каждой из указанных цветовых составляющих пикселей сигнала изображения с учетом результатов предварительно выполненной оценки статистических параметров (таких как общая сумма, среднее значение, дисперсия или стандартное отклонение яркости, оттенка, насыщенности и др.) в области 3×3 или 5×5 пикселей данной цветовой составляющей, окружающих отсутствующие ее пиксели, значений весовых коэффициентов, определяющих вклад каждого из параллельно полученных при реализации указанных вариантов осуществления интерполяции отсутствующего пикселя пикселей в общий, соответствующий конечному результату интерполяции, пиксель, умножении каждого из параллельно полученных при реализации указанных вариантов осуществления интерполяции пикселей на соответствующие весовые коэффициенты и суммировании умноженных пикселей с получением указанного общего, соответствующего конечному результату интерполяции, пикселя.
Соответствующее данному методу устройство содержит первый регистр (блок памяти), подключенный ко входу устройства, блок вычисления весовых коэффициентов, входы которого соединены с выходами блока памяти и первыми выходами каждого из блоков параллельной интерполяции 41,42…4n, блок смешения, при этом вторые выходы DI1, DI2…DIn блоков параллельной интерполяции 41,42…4n пикселей цветовых составляющих соединены в блоке смешения с сигнальными входами блоков взвешивания 61,62…6n полученных в блоках параллельной интерполяции пикселей, управляющие входы блоков взвешивания 61,62…6n соединены с соответствующими выходами блока вычисления весовых коэффициентов, выходы каждого из блоков взвешивания 61,62…6n соединены с отдельным из входов первого блока суммирования, выход которого подключен к выходу устройства Dc.
Первый регистр может состоять в данном случае из регистров сдвига, или модулей памяти, которые последовательно задерживают информацию пикселей заданного числа цветовых составляющих двумерной области изображения размерами 3 на 3 или 5 на 5 пикселей. В первом регистре пиксель с цветовой составляющей, как у центрального пикселя, считается текущим и отличается от других пикселей. Блоки интерполяции 41,42,…,4n-1,4n разными вариантами осуществляют интерполяцию пикселей недостающих (по отношению к текущему) пикселей других цветовых составляющих, используя при этом пиксели, выводимые с первого регистра памяти и подвергнутые определенной выборке.
В блоке вычисления весовых коэффициентов для каждого пикселя производится расчет весовых коэффициентов α1α2, …, αn-1, αn, которые назначаются соответствующим им блокам взвешивания, в которых присваивают вес пикселям, поступающим с первого регистра памяти, или пикселям DP1, DP2, …, DPn, параллельно полученным в блоках интерполяции 41-4n. Весовые коэффициенты являются значениями, показывающими относительный вклад каждого параллельно интерполированного пикселя в общее (конечное) интерполированное значение пикселя. Сумма коэффициентов взвешивания α1+α2+…+αn-1+αn имеет постоянное значение.
Далее в блоках 61-6n блока смешения производится взвешивание (перемножение) значений пикселей DI1-DIn, полученных в блоках параллельной интерполя