Способ и устройство обработки изображения

Способ и устройство обработки изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству обработки изображения, и, более конкретно, оно относится к способу и устройству обработки изображения, позволяющим, например, повысить эффективность кодирования изображений с прогнозированием.

Уровень техники

В последние годы все более широкое распространение как для распространения информации подобно вещательным станциям, так и для приема информации в обычных домах получают устройства, совместимые с форматами, такими как MPEG (экспертная группа по движущемуся изображению), которые используют избыточность, свойственную информации изображения, и выполняют сжатие с применением ортогонального преобразования, такого как дискретное косинусное преобразование или другое подобное преобразование, и компенсации движения с целью передачи и хранения изображения с высокой эффективностью при обработке информации изображения в виде цифровых сигналов.

Иными словами, все более широко распространяется использование кодирующих устройств и декодирующих устройств для обработки данных, осуществляемой при приеме информации изображения, сжатой в формате кодирования с применением ортогонального преобразования, такого как дискретное косинусное преобразование или преобразования Карунена-Лоэва, и компенсации движения, таких как MPEG или H.26x или подобные, например, (поток битов), через сетевую среду, такую как система спутникового широко вещания, кабельное телевидение, Интернет или другая подобная среда, или во время обработки информации, такой как на носителе записи, таком как оптические диски или магнитные диски, флэш-память или другой подобный носитель.

Например, стандарт MPEG2 (ISO/IEC 13818-2) определен в качестве формата кодирования изображения общего назначения и является стандартом, охватывающим как изображения с чересстрочной разверткой (изображения в формате с чересстрочной разверткой), так и изображения с построчной разверткой (изображения в формате с прогрессивной разверткой), а также изображения со стандартным разрешением и изображения высокой четкости и является широко используемым самыми разнообразными приложениями как для профессионального, так и для потребительского применения. Использование формата сжатия MPEG2 позволяет реализовать высокую степень сжатия и хорошее качество изображения путем назначения объема кода (скорости передачи информации) от 4 до 8 Мбит/с для изображения с чересстрочной разверткой и стандартным разрешением, имеющего (горизонтальный×вертикальный) размер, например, 720×480 пикселов, и назначения объема кода от 18 до 22 Мбит/с для изображения с чересстрочной разверткой и высокой четкостью, имеющего (горизонтальный×вертикальный) размер, например, 1920×1088 пикселов.

Стандарт MPEG2 был создан главным образом для реализации высококачественного кодирования изображения применительно к области широкого вещания, но не работает с более низкими объемами кода (скоростью передачи информации), чем объем кода для стандартов MPEG1, т.е. для формата кодирования, имеющего более высокий коэффициент сжатия. Считается, что широкое распространение сотовых телефонов увеличит потребность в таких форматах кодирования по сравнению с сегодняшним состоянием, и в ответ на такие потребности была произведена стандартизация формата MPEG4 кодирования. Стандарт для такого способа кодирования изображения был утвержден в качестве международного стандарта ISO/IEC 14496-2 в декабре 1998.

Кроме того, в последние годы продвигался процесс оформления стандарта, именуемого Н.264 (ITU-T Q6/16 VCEG), который изначально был предназначен для кодирования изображения с целью использования в ходе видеоконференций. Известно, что стандарт Н.264 способен реализовать даже более высокую эффективность кодирования по сравнению с известными способами кодирования, такими как MPEG2 или MPEG4, хотя при кодировании и декодировании в этом стандарте требуется выполнить больший объем вычислений. Кроме того, в настоящее время в рамках работы над стандартами MPEG4 ведется на основе стандартов Н.264 разработка способов, позволяющих реализовать даже более высокую эффективность кодирования, включая функции, не поддерживаемые стандартом Н.264. Эти работы ведутся под названием «Совместная модель видео кодирования с повышенной степенью сжатия» (Joint Model of Enhanced-Compression Video Coding).

Применительно к формату кодирования (JVT Codec), стандартизированному Объединенной видео группой (Joint Video Team), были рассмотрены различные усовершенствования для повышения эффективности кодирования сверх эффективности, достигнутой на сегодня, например в стандартах MPEG2 или MPEG4 или аналогичных. Например, при использовании дискретного косинусного преобразования такое преобразование к целочисленным коэффициентам преобразования осуществляется над блоками размером 4×4 пикселов. Кроме того, при использовании компенсации движения размер блока является переменным, что дает возможность осуществить оптимальную компенсацию движения. Отметим, однако, что базовые алгоритмы кодирования являются такими же, как в известных способах, таких как MPEG2 или MPEG4 или подобных стандартах.

Сегодня среди контентов изображений, подлежащих такому кодированию, как описано выше, присутствуют контенты стереоскопических изображений, которые можно просматривать с применением стереоскопии, в дополнение к двумерным изображениям (2D-изображениям)

Для представления на дисплее стереоскопических изображений используют специальное устройство (именуемое в дальнейшем стереоскопическим устройством). Примером такого стереоскопического устройства является стереоскопическая видеосистема IP (Интегральная фотография (Integral Photography)), разрабатываемая компанией NHK (Японская вещательная корпорация).

Данные стереоскопического изображения построены из данных изображения, полученных с нескольких точек зрения (данные изображений, снимаемых с нескольких точек зрения). При этом, чем больше число таких точек зрения и чем шире диапазон, в котором распределены эти точки зрения, тем лучше реализуется так называемое «телевидение, позволяющее заглянуть внутрь» ("television which can be looked into"), где предмет можно рассматривать с различных направлений.

Сегодня способ кодирования и декодирования данных изображения применительно к стереоскопическим изображениям, т.е. данных изображения с нескольких точек зрения, описан, например, в документе PTL 1.

Из стереоскопических изображений, содержащих наименьшее число точек зрения, следует назвать 3D (Трехмерное) изображение, в котором число точек зрения равно двум (стереоизображение), а данные для 3D-изображения построены из данных изображения для левого глаза, представляющих изображение, видимое левым глазом, (в дальнейшем именуемое также L (Левое) изображение), и изображения для правого глаза, представляющих изображение, видимое правым глазом (в дальнейшем именуемое также R (Правое) изображение).

Как описано выше, 3D-изображение (стереоизображение) составлено из левого L-изображения и правого R-изображения, так что для представления одного кадра 3D-изображения необходимы данные изображения двух кадров, относящиеся к левому L-изображению и правому R-изображению (эти два кадра относятся к случаю представления двумерного 2D-изображения).

Однако в зависимости от полосы пропускания тракта передачи данных для передачи 3D-изображения, емкости памяти носителя записи, на котором предполагается записывать 3D-изображение, ограничений скорости передачи данных носителя записи и т.п., возможны ситуации, когда затруднительно передать два кадра данных изображения (включая запись на носителе записи) для представления на дисплее одного кадра 3D-изображения.

Соответственно, было предложено кодирующее устройство, осуществляющее обработку данных с целью преобразования данных изображения для представления одного кадра 3D-изображения в данные изображения объемом в один экран путем выполнения субдискретизации (прореживания) каждого из изображений - левого L-изображения и R-изображения, составляющих 3D-изображение, в пространственном направлении, и вслед за этим кодирующее данные изображения.

Фиг.1 представляет схему, описывающую способы прореживания (исключения пикселов) левого L-изображения и правого R-изображения, составляющих 3D-изображение.

Вид А на Фиг.1 представляет диаграмму, иллюстрирующую левое L-изображение и правое R-изображение.

Эти левое L-изображение и правое R-изображение имеют каждое объем одного кадра 2D-изображения (двумерное изображение).

Вид В на Фиг.1 иллюстрирует изображение, в котором пространственное разрешение в горизонтальном направлении установлено равным 1/2 разрешения оригинала путем исключения пикселов в каждом изображении - L-изображении и R-изображении, в каждой второй строке в вертикальном направлении.

Отметим, что при исключении каждой второй строки в вертикальном направлении могут быть исключены пикселы либо с нечетными номерами, либо с четными номерами из состава левого L-изображения и правого R-изображения или может быть применена система, в которой из левого L-изображения исключают пикселы одного вида - с нечетными номерами или четными номерами, а из правого R-изображения исключают пикселы другого вида - с четными номерами или с нечетными номерами соответственно.

Вид С на Фиг.1 иллюстрирует изображение, в котором пространственное разрешение в вертикальном направлении установлено равным 1/2 разрешения оригинала путем исключения пикселов в каждом изображении - L-изображении и R-изображении, в каждой второй строке в горизонтальном направлении.

Отметим, что для исключения каждой второй строки в горизонтальном направлении можно исключить пикселы либо с нечетными, либо с четными номерами в верхней части левого L-изображения и правого R-изображения или может быть применена система, в которой из левого L-изображения исключают пикселы одного вида - с нечетными номерами или четными номерами, а из правого R-изображения исключают пикселы соответственно другого вида.

Вид D на Фиг.1 представляет изображение, в котором пространственное разрешение в наклонном направлении установлено равным 1/2 разрешения оригинала путем исключения пикселов в каждом изображении - L-изображении и R-изображении, в каждой второй строке в наклонном направлении (либо в наклонном направлении в верхнюю левую сторону, либо в наклонном направлении в верхнюю правую сторону).

Рассматриваемые левое L-изображение и правое R-изображение после прореживания, как на виде D на Фиг.1, превращаются в изображения, в которых пикселы расположены в шахматном порядке, в результате исключения пикселов в наклонном направлении.

При исключении пикселов в наклонном направлении пикселы, подлежащие исключению из одного из изображений - левого L-изображения или правого R-изображения, могут быть такими же пикселами, как пикселы, исключаемые из другого изображения, либо могут быть пикселами, отличными от пикселов, исключаемых из другого изображения (т.е. исключаются пикселы в позициях, в которых в другом изображении пикселы после исключения остаются).

Число пикселов в левом L-изображении и в правом R-изображении после прореживания становится равным 1/2 от первоначального числа в любом из вариантов прореживания, показанных на Фиг.1В-D, вследствие чего общий объем данных (число пикселов) в составе левого L-изображения и правого R-изображения после прореживания становится равным объему данных одного кадра, соответствующего данным изображения для 2D-изображения.

Отметим, что при исключении пикселов необходима фильтрация для устранения высокочастотных составляющих с целью предотвратить наложение спектров в результате прореживания, так что вследствие такой фильтрации появляется размытость левого L-изображения и правого R-изображения.

Человеческому зрению свойственна меньшая чувствительность к прореживанию в наклонном направлении по сравнению с горизонтальным направлением или вертикальным направлением, так что, выполняя прореживание пикселов в наклонном направлении, можно уменьшить визуально воспринимаемую размытость.

Фиг.2 представляет блок-схему, иллюстрирующую пример конфигурации известного кодирующего устройства, осуществляющего исключение каждой второй строки в наклонном направлении пикселов каждого изображения - левого L-изображения и правого R-изображения, как показано на виде D на Фиг.1, и кодирующего полученные в результате прореженное левое L-изображение и прореженное правое R-изображение с расположением пикселов в шахматном порядке.

В кодирующем устройстве, изображенном на Фиг.2, данные изображения для 3D-изображения, являющегося движущимся изображением, например, передают в фильтрующий модуль 11 в виде сегментов, каждый объемом в один экран.

Иными словами, в фильтрующий модуль 11 передают левое L-изображение и правое R-изображение, составляющие один кадр 3D-изображения.

Фильтрующий модуль 11 осуществляет фильтрацию для устранения высокочастотных составляющих (пространственные частоты в наклонном направлении) в составе левого L-изображения и правого R-изображения для предотвращения проявлений наложения спектров в прореженном левом L-изображении и прореженном правом R-изображении, полученных в результате прореживания левого L-изображения и правого R-изображения.

Иными словами, фильтрующий модуль 11 построен из фильтров 11L и 11R, являющихся фильтрами нижних частот.

Фильтр 11L осуществляет фильтрацию левого L-изображения, поступающего в фильтрующий модуль 11, и передает результат в прореживающий модуль 12. Фильтр 11R осуществляет фильтрацию правого R-изображения, поступающего в фильтрующий модуль 11, и передает результат в прореживающий модуль 12.

Прореживающий модуль 12 исключает пикселы левого L-изображения, поступающего от модуля фильтрации, в каждой второй строке в наклонном направлении, как показано на Виде Б на Фиг.1, в результате чего левое L-изображение от фильтрующего модуля 11 превращается в прореженное левое L-изображение с расположенными в шахматном порядке пикселами.

Далее, прореживающий модуль 12 исключает пикселы правого R-изображения, поступающего от модуля фильтрации, в наклонном направлении аналогичным образом, в результате чего правое R-изображение от фильтрующего модуля 11 превращается в прореженное правое R-изображение с расположенными в шахматном порядке пикселами.

Иными словами, прореживающий модуль 12 построен из прореживающих модулей 12L и 12R.

Прореживающий модуль 12L исключает пикселы левого L-изображения, поступившего от фильтрующего модуля 11, в каждой второй строке в наклонном направлении, как показано на Виде D на Фиг.1, и передает прореженное левое L-изображение с расположенными в шахматном порядке пикселами (рисунок шахматной доски) в модуль объединения 13.

Прореживающий модуль 12R исключает пикселы правого R-изображения, поступившего от фильтрующего модуля 11, в каждой второй строке в наклонном направлении, как показано на Виде D на Фиг.1, и передает прореженное правое R-изображение с расположенными в шахматном порядке пикселами в модуль 13 объединения.

Следует сказать, что прореживающий модуль 12R исключает из правого R-изображения пикселы, отличные от пикселов, которые прореживающий модуль 12L исключает из левого L-изображения.

Соответственно, прореженное левое L-изображение (или прореженное правое R-изображение) представляет собой изображение, в котором пикселы расположены там, где нет пикселов в прореженном правом R-изображении (или прореженном левом L-изображении).

Модуль 13 объединения осуществляет объединение прореженного левого L-изображения и прореженного правого R-изображения, поступающих от прореживающего модуля 12, генерирует объединенное изображение, объем данных которого равен объему данных изображения в одном кадре 2D-изображения, и передает результат в модуль 14 кодирования.

Модуль 14 кодирования осуществляет кодирование объединенного изображения, поступающего от модуля 13 объединения, в формате MPEG2 или формате H.264/AVC или другом подобном формате, например, и передает на выход полученные в результате кодированные данные. Кодированные данные с выхода модуля 14 кодирования передают в линию передачи или записывают на носителе записи.

Фиг.3 представляет схему для описания процесса объединения прореженного левого L-изображения и прореженного правого R-изображения в модуле 13 объединения, показанном на Фиг.2.

Вид А на Фиг.3 представляет схему, иллюстрирующую прореженное левое L-изображение и прореженное правое R-изображение, подлежащие объединению посредством модуля 13 объединения.

В прореженном левом L-изображении и прореженном правом R-изображении пикселы (оставшиеся после прореживания) расположены в шахматном порядке.

Иными словами, мы обозначим пиксел (точнее величину пиксела), расположенный в x-й позиции слева и в y-й позиции сверху, в составе прореженного левого L-изображения, как L_x,у, и пиксел (точнее величину пиксела), расположенный в x-й позиции слева и в y-й позиции сверху, в составе прореженного правого R-изображения, как R_x,у.

Кроме того, обозначим С остаток от деления А на В, который будет представлен выражением mod(A,В)=С.

Прореженное левое L-изображение представляет собой изображение, в котором пиксел L_x,y расположен в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=1 (или в позиции (x,y), удовлетворяющей выражению mod(x,2)=1 и выражению mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=0 и выражению mod(y,2)=1).

Кроме того, прореженное правое R-изображение представляет собой изображение, в котором пиксел R_x,y расположен в позиции (x,y), удовлетворяющей выражению mod(x,2)=1 и выражению mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=0 и выражению mod(y,2)=1 (или в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=1).

Вид В на Фиг.3 иллюстрирует объединенное изображение, полученное путем объединения прореженного левого L-изображения и прореженного правого R-изображения в модуле 13 объединения, показанном на Фиг.2.

Модуль 13 объединения генерирует объединенное изображение, в котором пикселы L_x,y прореженного левого L-изображения и пикселы RX; у прореженного правого R-изображения расположены в шахматном порядке, путем встраивания пикселов R_x,y у прореженного правого R-изображения в прореженное левое L-изображение в позициях, где нет пикселов L_x,y прореженного левого L-изображения, например.

Иными словами, комбинационный модуль 13 помещает пикселы L_x,y прореженного левого L-изображения в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=0, в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=1, а также помещает пикселы R_x,y прореженного правого R-изображения в позиции (x,y), удовлетворяющей выражению mod(x,2)=1 и выражению mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=0 и выражению mod(y,2)=1, генерируя тем самым объединенное изображение, объем данных которого равен объему данных изображения в одном кадре 2D-изображения.

Соответственно, если обозначить пиксел (величину этого пиксела), расположенный в позиции (x,y) в составе объединенного изображения, как C_x,y, тогда пиксел C_x,y равен пикселам L_x,y прореженного левого L-изображения, расположенным в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=mod(y,2)=1 (С_х,у=L_x,y).

Кроме того, пиксел C_x,y равен пикселам R_x,y прореженного правого R-изображения, расположенным в позиции (x,y), удовлетворяющей выражению mod(x,2)=1 и выражению mod(y,2)=0, и в позиции (x,y), удовлетворяющей выражению mod(x,2)=0 и выражению mod(y,2)=1 (C_x,y=R_x,y).

Фиг.4 представляет блок-схему, иллюстрирующую пример конфигурации известного декодирующего устройства, которое осуществляет декодирование кодированных данных с выхода кодирующего устройства, показанного на Фиг.2.

В декодирующем устройстве, представленном на Фиг.4, декодер 21 получает кодированные данные с выхода кодирующего устройства.

Декодер 21 осуществляет декодирование в формате, соответствующем формату, в котором модуль 34 кодирования, показанный на Фиг.2, осуществляет кодирование.

Иными словами, декодер 21 осуществляет декодирование, получаемых им кодированных данных, в соответствии с форматом MPEG2 или форматом H.264/AVG, например, и передает полученное в результате объединенное изображение 3D-дисплею 22.

Указанный 3D-дисплей 22 представляет собой стереоскопическое устройство, способное представлять в трехмерном виде (представлять как 3D-изображение) показанное на Виде В на Фиг.3 объединенное изображение, в котором пикселы L_x,y прореженного левого L-изображения и пикселы R_x,y и прореженного правого R-изображения расположены в шахматном порядке. Дисплей представляет 3D-изображение посредством, например, представления левого L-изображения и правого R-изображения в соответствии с объединенным изображением от декодера 21.

Перечень литературы

Патентная литература

PTL 1: Публикация нерассмотренной Заявки на патент Японии №2008-182669

Раскрытие изобретения

Техническая проблема

Прореженное левое L-изображение и прореженное правое R-изображение представляют собой изображения с расхождением, а объединенное изображение, полученное в модуле 13 объединения кодирующего устройства, показанного на Фиг.2, представляет собой изображение, в котором пикселы L_x,y прореженного левого L-изображения и пикселы R_x,y у прореженного правого R-изображения расположены в шахматном порядке.

Соответственно, объединенное изображение, полученное от одного кадра 3D-изображения (левое L-изображение для одного кадра и правое R-изображение для одного кадра) для некоторой сцены, имеет такой же объем данных (число пикселов), как 2D-изображение сцены, такой же, как указанная сцена (или левое L-изображение или правое R-изображение, составляющие 3D-изображение), но корреляция в темпоральном (по оси времени) направлении и в пространственном направлении в этом изображении заметно ниже.

В частности, если имеется кромка, проходящая непрерывно (плавно) в некотором направлении, таком как вертикальное направление или горизонтальное направление или подобное направление, в 3D-изображении, например, то эта кромка, непрерывная в составе 3D-изображения, проявляется в виде ненепрерывной кромки в составе объединенного изображения, полученного путем объединения прореженного левого L-изображения и прореженного правого R-изображения, со смещением, как показано на Фиг.3.

В результате, в таком объединенном изображении корреляция в пространственном направлении (корреляция между некоторым пикселом в составе одного кадра в объединенном изображении и пикселами вокруг этого пиксела (в частности, корреляция между пикселом в составе прореженного левого L-изображения и пикселами в составе прореженного правого R-изображения, расположенными поблизости от указанного пиксела)) невелика.

Кроме того, если имеется объект (движущийся объект), который движется с постоянной скоростью в 3D-изображении, например, то движение объекта с постоянной скоростью в 3D-изображении, в объединенном изображении, полученном в результате объединения прореженного левого L-изображения и прореженного правого R-изображения со смещением, как показано на Фиг.3, будет проявляться в виде различных движений в зависимости от конкретных пикселов.

В результате в таком объединенном изображении корреляция в темпоральном направлении (корреляция между некоторым кадром и другим кадром - непосредственно до или непосредственно после этого кадра) становится низкой.

Как описано выше, корреляция объединенного изображения в пространственном направлении и в темпоральном направлении невелика, так что при выполнении кодирования с прогнозированием в модуле 14 кодирования в составе кодирующего устройства, показанного на Фиг.2, в котором изображение кодируют с использованием корреляции в темпоральном направлении или в пространственном направлении, например в формате MPEG2 или формате H.264/AVC или в другом подобном формате (применительно к участку изображения, который нужно кодировать, в качестве прогнозируемой величины используют участок, расположенный во времени (темпорально) или в пространстве рядом с этим кодируемым участком, и кодируют разность между участком, подлежащим кодированию, и прогнозируемой величиной), эффективность кодирования с прогнозированием для такого объединенного изображения снижается.

Такая деградация эффективности кодирования происходит не только в случае кодирования с прогнозированием для левого L-изображения и правого R-изображения, составляющих 3D-изображение, но и в случае генерации объединенного изображения из любых двух разных изображений и осуществления кодирования с прогнозированием.

Настоящее изобретение сделано в свете такой ситуации и позволяет повысить эффективность кодирования с прогнозированием применительно к изображениям.

Решение проблемы

Устройство обработки изображения согласно первому аспекту настоящего изобретения включает: средства горизонтальной обработки, выполненные с возможностью приема, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения пикселов в наклонном направлении во втором изображении, отличающемся от первого изображения, и для выполнения горизонтальной упаковки, причем в процессе горизонтальной обработки для манипуляции матрицей пикселов в горизонтальном направлении, представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении; и средства объединения, выполненные с возможностью генерирования, в качестве кодируемого изображения объекта, служащего объектом кодирования с прогнозированием, объединенного изображения, в котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, расположены смежно в виде матрицы.

Способ обработки изображения согласно первому аспекту настоящего изобретения включает этапы, на которых: принимают в устройстве обработки изображения, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполняют горизонтальную упаковку, при которой в процессе горизонтальной обработки для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении; и генерируют, в качестве изображения объекта кодирования, служащего объектом кодирования с прогнозированием, объединенного изображения, в котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, расположены смежно в виде матрицы.

Согласно первому аспекту, описанному выше, с использованием первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, в качестве объекта обработки, выполняют горизонтальную упаковку, при которой горизонтальной обработки для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и генерируют объединенное изображение, в качестве изображения объекта кодирования, служащего объектом кодирования с прогнозированием, в котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, расположены смежно в виде матрицы.

Устройство для обработки изображения согласно второму аспекту настоящего изобретения включает: средства разделения, выполненные с возможностью разделения на первое прореженное изображение и второе прореженное изображение, подвергнутое горизонтальной упаковке посредством горизонтальной обработки, объединенное изображение, полученное путем приема, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения, в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполнения горизонтальной упаковки, при которой горизонтальная обработка для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и осуществление кодирования с прогнозированием применительно к объединенному изображению, созданному посредством размещения смежно в виде матрицы первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке путем горизонтальной обработки, и декодирование сформированных таким образом кодированных данных; и средства обратной горизонтальной обработки, выполненные с возможностью выполнения обратной горизонтальной обработки, причем первое прореженное изображение и второе прореженное изображение, подвергнутых горизонтальной упаковке посредством горизонтальной обработки и разделенных в средствах разделения, возвращают к состоянию первого прореженного изображения и второго прореженного изображения.

Способ обработки изображения согласно второму аспекту настоящего изобретения включает этапы, на которых: разделяют в устройстве для обработки изображения, на первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, объединенного изображения, полученного путем приема, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполняют горизонтальную упаковку, при которой горизонтальная обработка для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и выполняют кодирование с прогнозированием применительно к объединенному изображению, созданному посредством размещения смежно в виде матрицы первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке путем горизонтальной обработки, и декодирование сформированных таким образом кодированных данных; и осуществляют обратную горизонтальную обработку, при котором первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, возвращают к состоянию первого прореженного изображения и второго прореженного изображения.

Согласно второму аспекту, описанному выше, разделяют на первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, объединенное изображение, полученное путем приема, в качестве объекта обработки, первого прореженного изображения, полученного путем исключения в наклонном направлении пикселов в первом изображении, и второго прореженного изображения, полученного путем исключения в наклонном направлении пикселов во втором изображении, отличающемся от первого изображения, и выполнения горизонтальной упаковки, при которой горизонтальная обработка для манипуляции матрицей пикселов в горизонтальном направлении представляет собой упаковку пикселов первого прореженного изображения и пикселов второго прореженного изображения в горизонтальном направлении, и осуществляют кодирование с прогнозированием применительно к объединенному изображению, созданному посредством размещения смежно в виде матрицы первого прореженного изображения и второго прореженного изображения, подвергнутых горизонтальной упаковке путем горизонтальной обработки, и декодирование сформированных таким образом кодированных данных; и осуществляют обратную горизонтальную обработку, где первое прореженное изображение и второе прореженное изображение, подвергнутые горизонтальной упаковке посредством горизонтальной обработки, возвращают к состоянию первого прореженного изображения и второго прореженного изображения.

Отметим, что устройства для обработки изображения согласно первому и второму аспектам могут быть независимыми устройствами или могут быть внутренними блоками в составе единого устройства.

Кроме того, устройства для обработки изображения согласно первому и второму аспектам могут быть реализованы посредством выполнения соответствующей программы на компьютере.

Кроме того, выполняемая компьютером программа для генерации кодированных данных, где кодированные данные, полученные в первом устройстве для обработки изображения, были подвергнуты кодированию с прогнозированием, и для реализации устройств для обработки изображения согласно первому и второму аспектам может быть предоставлена посредством передачи по линии связи или записи на носителе записи.

Преимущества изобретения

Согласно указанным первому и второму аспектам настоящего изобретения можно повысить эффективность кодирования в случае обработки изображения посредством кодирования с прогнозированием.

Краткое описание чертежей

Фиг.1 представляет схему, описывающую способы прореживания левого L-изображения и правого R-изображения, составляющих 3D-изображение.

Фиг.2 представляет блок-схему, иллюстрирующую конфигурацию примера известного кодирующего устройства.

Фиг.3 представляет схему, описывающую объединение прореженного левого L-изображения и прореженного правого R-изображения в комбинационном модуле 13.

Фиг.4 представляет блок-схему, иллюстрирующую пример конфигурации известного декодирующего устройства.

Фиг.5 представляет блок-схему, иллюстрирующую пример конфигурации варианта кодирующего устройства, к которому применено настоящее изобретение.

Фиг.6 представляет блок-схему, иллюстрирующую пример конфигурации модуля 34 кодирования.

Фиг.7 представляет логическую схему, описывающую обработку в кодирующем устройстве.

Фиг.8 представляет логическую схему, описывающую параллельную обработку, выполняемую модулем 31 горизонтальной обработки.

Фиг.9 представляет логическую схему, описывающую кодирующую обработку, когда флаг разделения указывает на невыполнение разделения.

Фиг.10 представляет логическую схему, описывающую вертикальную обработку, выполняемую модулем 32 вертикальной обработки.

Фиг.11 представляет схему, описывающую обработку объединения, выполняемую модулем 33 объединения.

Фиг.12 представляет логическую схему, описывающую вертикальную обработку, выполняемую модулем 32 вертикальной обработки.

Фиг.13 представляет схему, описывающую обработку объединения, выполняемую модулем 33 объединения.

Фиг.14 представляет схему для описания флага разделения, флага вертикальной структуры и флага структуры размещения.

Фиг.15 представляет логическую схему, описывающую подробности вертикальной обработки и обработки объединения, выполняемых в соответствии с флагом разделения, флагом вертикальной структуры и флагом структуры размещения.

Фиг.16 представляет блок-схему, иллюстрирующ