Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования

Устройство кодирования, способ кодирования, устройство декодирования и способ декодирования

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящая технология относится к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования и, более конкретно, относится к устройству кодирования, способу кодирования, устройству декодирования и способу декодирования, выполненным с возможностью улучшения эффективности кодирования изображения параллакса, используя информацию об изображении параллакса.

Уровень техники

В последние годы внимание привлекают 3-D изображения, и был предложен способ кодирования изображения параллакса, используемого для генерирования 3-D изображения для множества точек обзора (например, см. Непатентный документ 1). Следует отметить, что изображение параллакса представляет собой изображение, включающее в себя каждый пиксель цветного изображения из точки обзора, соответствующей изображению параллакса, и значение параллакса, представляющее расстояние в горизонтальном направлении от положения на экране пикселя цветного изображения указанной точки обзора, используемой, как базовая точка, соответствующая указанному пикселю.

В настоящее время стандартизуют способ кодирования, называемый HEVC (высокоэффективное кодирование видеоданных) с целью дальнейшего улучшения эффективности кодирования по сравнению со способом AVC (усовершенствованное кодирование видеоданных), и Непатентный документ 2 был разработан, как его проект в настоящее время, август 2011 г.

Список литературы

Непатентный документ

Непатентный документ 1. "Call for Proposals on 3D Video Coding Technology", ISO/IEC JTC1/SC29/WG11, MPEG2011/N12036, Geneva, Switzerland, March 2011

Непатентный документ 2. Thomas Wiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivian, "WD3: Working Draft 3 of High-Efficiency Video Coding". JCTVC-E603_d5 (version5). May 20, 2011

Раскрытие изобретения

Задачи, решаемые изобретением

Однако до настоящего времени не был создан способ кодирования для улучшения эффективности кодирования изображения параллакса с использованием информации об изображении параллакса.

Настоящая технология была разработана с учетом таких обстоятельств, и она предназначена для обеспечения улучшения эффективности кодирования изображения параллакса с использованием информации об изображении параллакса.

Решения задач

Устройство кодирования, в соответствии с первым аспектом настоящей технологии, представляет собой устройство кодирования, включающее в себя модуль коррекции, выполненный с возможностью коррекции изображения прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора, модуль кодирования, выполненный с возможностью кодирования изображения параллакса с опорной точки обзора с использованием изображения прогнозирования, скорректированного модулем коррекции; и модуль передачи, выполненный с возможностью передачи изображения параллакса с опорной точки обзора, кодированного модулем кодирования, и информации об изображении параллакса из опорной точки обзора.

Способ кодирования в соответствии с первым аспектом настоящей технологии соответствует устройству кодирования в соответствии с первым аспектом настоящей технологии.

В первом аспекте настоящей технологии изображение прогнозирования для изображения параллакса с опорной точки обзора корректируют с использованием информации об изображении параллакса с опорной точки обзора, и изображение параллакса с опорной точки обзора кодируют с использованием скорректированного изображения прогнозирования, и передают кодированное изображение параллакса с опорной точки обзора и информацию об изображении параллакса с опорной точки обзора.

Устройство декодирования по второму аспекту настоящей технологии представляет собой устройство декодирования, включающее в себя модуль приема, выполненный с возможностью приема изображения параллакса с опорной точки обзора, кодированного с использованием изображения прогнозирования для изображения параллакса с опорной точки обзора, скорректированного с использованием информации об изображении параллакса с опорной точки обзора, и информации об изображении параллакса с опорной точки обзора, модуль коррекции, выполненный с возможностью коррекции изображения прогнозирования для изображения параллакса с опорной точки обзора с использованием информации об изображении параллакса с опорной точки обзора, принятой модулем приема, и модуль декодирования, выполненный с возможностью декодирования кодированного изображения параллакса с опорной точки обзора, принятого модулем приема с использованием изображения прогнозирования, скорректированного модулем коррекции.

Способ декодирования по второму аспекту настоящей технологии соответствует устройству декодирования по второму аспекту настоящей технологии.

Во втором аспекте настоящей технологии принимают изображение параллакса с опорной точки обзора, кодированного с использованием изображения прогнозирования для изображения параллакса с опорной точки обзора, скорректированного с использованием информации об изображении параллакса с опорной точки обзора и информацию об изображении параллакса с опорной точки обзора, корректируют изображение прогнозирования для изображения параллакса с опорной точки обзора с использованием принятой информации об изображении параллакса с опорной точки обзора, и декодируют кодированное изображение параллакса с опорной точки обзора с использованием скорректированного изображения прогнозирования.

Следует отметить, что устройство кодирования в соответствии с первым аспектом и устройство декодирования в соответствии со вторым аспектом могут быть получены в результате исполнения компьютером программы.

Для достижения устройства кодирования в соответствии с первым аспектом и устройства декодирования в соответствии со вторым аспектом может быть предоставлена программа, выполняемая компьютером, путем передачи через среду передачи данных или путем записи программы на носитель записи.

Результаты изобретения

В соответствии с первым аспектом настоящей технологии, эффективность кодирования изображения параллакса может быть улучшена путем использовании информации об изображении параллакса.

В соответствии со вторым аспектом настоящей технологии, могут быть декодированы кодированные данные изображения параллакса, для которых эффективность кодирования была улучшена, в результате выполнения кодирования с использованием информации об изображении параллакса.

Краткое описание чертежей

На фиг. 1 показана блок-схема, поясняющая пример конфигурации первого варианта осуществления устройства кодирования, в котором применена настоящая технология.

На фиг. 2 показан график, поясняющий максимальное значение параллакса и минимальное значение параллакса информации о генерировании точки обзора.

На фиг. 3 показана схема, поясняющая параметр точности параллакса для информации о генерировании точки обзора.

На фиг. 4 показана схема, поясняющая расстояние между камерами информации о генерировании точки обзора.

На фиг. 5 показана блок-схема, поясняющая пример конфигурации модуля кодирования изображения для множества точек обзора по фиг. 1.

На фиг. 6 показана блок-схема, поясняющая пример конфигурации модуля кодирования.

На фиг. 7 показана схема, поясняющая пример конфигурации кодированного потока битов.

На фиг. 8 показана схема, поясняющая пример синтаксиса PPS по фиг. 7.

На фиг. 9 показана схема, поясняющая пример синтаксиса заголовка среза.

На фиг. 10 показана схема, поясняющая пример синтаксиса заголовка среза.

На фиг. 11 показана блок-схема последовательности операций, поясняющая обработку кодирования устройства кодирования по фиг. 1.

На фиг. 12 показана блок-схема последовательности операций, поясняющая детали обработки кодирования для множества точек обзора по фиг. 11.

На фиг. 13 показана блок-схема последовательности операций, поясняющая детали обработки кодирования изображения параллакса по фиг. 12.

На фиг. 14 показана блок-схема последовательности операций, поясняющая детали обработки кодирования изображения параллакса по фиг. 12.

На фиг. 15 показана блок-схема, поясняющая пример конфигурации первого варианта осуществления устройства декодирования, в котором применена настоящая технология.

На фиг. 16 показана блок-схема, поясняющая пример конфигурации модуля декодирования изображения для множества точек обзора по фиг. 15.

На фиг. 17 показана блок-схема, поясняющая пример конфигурации модуля декодирования.

На фиг. 18 показана блок-схема последовательности операций, поясняющая обработку декодирования устройства 150 декодирования по фиг. 15.

На фиг. 19 показана блок-схема последовательности операций, поясняющая детали обработки декодирования для множества точек обзора по фиг. 18.

На фиг. 20 показана блок-схема последовательности операций, поясняющая детали обработки декодирования изображения параллакса по фиг. 16.

На фиг. 21 показана таблица, поясняющая способ передачи информации, используемой для коррекции изображения прогнозирования.

На фиг. 22 показана схема, поясняющая пример конфигурации кодированного потока битов в соответствии со вторым способом передачи.

На фиг. 23 показана схема, поясняющая пример конфигурации кодированного потока битов в соответствии с третьим способом передачи.

На фиг. 24 показана блок-схема, поясняющая пример конфигурации варианта осуществления компьютера.

На фиг. 25 показана схема, поясняющая пример схематичной конфигурации телевизионного устройства, в котором применена настоящая технология.

На фиг. 26 показана схема, поясняющая пример схематичной конфигурации портативного телефона, в котором применена настоящая технология.

На фиг. 27 показана схема, поясняющая пример схематичной конфигурации устройства записи/воспроизведений, в котором применена настоящая технология.

На фиг. 28 показана схема, поясняющая пример схематичной конфигурации устройства съемки изображения, в котором применена настоящая технология.

Осуществление изобретения

Первый вариант осуществления

Пример конфигурации первого варианта осуществления устройства кодирования

На фиг. 1 показана блок-схема, иллюстрирующая пример конфигурации первого варианта осуществления устройства кодирования, в котором применяется настоящая технология.

Устройство 50 кодирования по фиг. 1 включает в себя модуль 51 съемки изображения для цветного изображения, снятого для множества точек обзора, модуль 52 коррекции цветного изображения для множества точек обзора, модуль 53 коррекции изображения параллакса для множества точек обзора, модуль 54 генерирования информации о генерировании точек обзора и модуль 55 кодирования изображения для множества точек обзора.

Устройство 50 кодирования кодирует изображение параллакса для заданной точки обзора, используя информацию об изображении параллакса.

Более конкретно, модуль 51 съемки изображения для цветного изображения для множества точек обзора устройства 50 кодирования снимает цветные изображения для множества точек обзора, и передает их, как цветные изображения, снятые для множества точек обзора, в модуль 52 коррекции цветного изображения для множества точек обзора. Модуль 51 съемки изображения для цветного изображения для множества точек обзора, генерирует внешний параметр, максимальное значение параллакса и минимальное значение параллакса (детали которых будут описаны ниже). Модуль 51 съемки изображения для цветного изображения для множества точек обзора предоставляет внешний параметр, максимальное значение параллакса и минимальное значение параллакса в модуль 54 генерирования информации о генерировании точек обзора, и предоставляет максимальное значение параллакса и минимальное значение параллакса в модуль 53 генерирования изображения параллакса для множества точек обзора.

Следует отметить, что внешний параметр представляет собой параметр для определения положения модуля 51 съемки изображения для цветного изображения для множества точек обзора в горизонтальном направлении. Максимальное значение параллакса и минимальное значение параллакса представляют собой максимальное значение и минимальное значение, соответственно, для значений параллакса в мировых координатах, которые могут возникать для изображения параллакса, снятого для множества точек обзора.

Модуль 52 коррекции цветного изображения, снятого для множества точек обзора, выполняет коррекцию цвета, коррекцию яркости, коррекцию искажений и т.п. для цветных изображений, снятых для множества точек обзора, предоставляемых модулем 51 съемки изображения для цветного изображения, снятого для множества точек обзора. В соответствии с этим, фокусное расстояние модуля 51 съемки изображения для цветного изображения, снятого для множества точек обзора, в скорректированном цветном изображении, снятом для множества точек обзора в горизонтальном направлении (направлении X) является таким же, как и для всех точек обзора. Модуль 52 коррекции цветного изображения, снятого для множества точек обзора, представляет скорректированное цветное изображение для множества точек обзора, в модуль 53 генерирования изображения параллакса для множества точек обзора и в модуль 55 кодирования изображения, снятого для множества точек обзора, как цветные изображения, скорректированные для множества точек обзора.

Модуль 53 генерирования изображения параллакса для множества точек обзора генерирует изображение параллакса для множества точек обзора из цветного изображения для коррекции множества точек обзора, предоставляемого модулем 52 коррекции цветного изображения для множества точек обзора, на основе максимального значения параллакса и минимального значения параллакса, предоставляемых из модуля 51 съемки изображения для цветного изображения, снятого для множества точек обзора. Более конкретно, модуль 53 генерирования изображения параллакса для множества точек обзора выводит значение параллакса каждого пикселя из цветного изображения коррекции для множества точек обзора для каждой точки обзора среди множества точек обзора (опорных точек обзора), и нормализует значение параллакса на основе максимального значения параллакса и минимального значения параллакса. Затем модуль 53 генерирования изображения параллакса для множества точек обзора генерирует изображение параллакса, в котором нормализованное значение параллакса каждого пикселя представляет собой значение пикселя каждого пикселя для каждой точки обзора среди множества точек обзора.

Модуль 53 генерирования изображения параллакса для множества точек обзора представляет сгенерированное изображение параллакса для множества точек обзора, как изображение параллакса для множества точек обзора, в модуль 55 кодирования изображения для множества точек обзора. Кроме того, модуль 53 генерирования изображения параллакса для множества точек обзора генерирует параметр точности параллакса, представляющий точность значения пикселя изображения параллакса для множества точек обзора, и передает его в модуль 54 генерирования информации о генерировании точки обзора.

Модуль 54 генерирования информации о генерировании точки обзора генерирует информацию о генерировании точки обзора (информацию о генерировании точки обзора), используемую для генерирования цветного изображения для другой точки обзора, кроме множества точек обзора, используя цветное изображение коррекции для множества точек обзора и изображение параллакса. Более конкретно, модуль 54 генерирования информации о генерировании точки обзора получает расстояние между камерами на основе внешних параметров, предоставляемых модулем 51 съемки изображения для цветного для множества точек обзора. Расстояние между камерами представляет собой расстояние между положением модуля 51 съемки изображения для цветного изображения для множества точек обзора в горизонтальном направлении, когда модуль 51 съемки изображения для цветного изображения для множества точек обзора снимает цветное изображение в каждой точке обзора для изображения параллакса с множеством точек обзора и положение модуля 51 съемки изображения для цветного изображения, снятого для множества точек обзора в горизонтальном направлении, когда модуль 51 съемки изображения для цветного изображения множества точек обзора снимает цветное изображение, имеющее параллакс, соответствующий изображению параллакса относительно снятого, таким образом, цветного изображения.

Модуль 54 генерирования информации о генерировании точки обзора принимает, как информацию о генерировании точки обзора, максимальное значение параллакса и минимальное значение параллакса, предоставляемые модулем 51 съемки изображения для цветного изображения, снятого для множества точек обзора, расстояние между камерами и параметр точности параллакса предоставляются модулем 53 генерирования изображения параллакса для множества точек обзора. Модуль 54 генерирования информации о генерировании точки обзора предоставляет информацию генерирования для сгенерированных точек обзора в модуль 55 кодирования изображения для множества точек обзора.

Модуль 55 кодирования изображения для множества точек обзора кодирует цветное изображение коррекции для множества точек обзора, которое предоставляют из модуля 52 коррекции цветного изображения для множества точек обзора, в соответствии со способом HEVC. Модуль 55 кодирования изображения для множества точек обзора кодирует изображение параллакса для множества точек обзора, предоставленного модулем 53 генерирования изображения параллакса для множества точек обзора, в соответствии со способом на основе способа HEVC, используя информацию параллакса, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами для информация генерирования точки обзора, предусмотренной модулем 54 генерирования информации о генерировании точки обзора.

Модуль 55 кодирования изображения для множества точек обзора выполняет дифференциальное кодирование для максимального значения параллакса, минимального значения параллакса и расстояния между камерами при генерировании информации точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора, и обеспечивает включение такой информации в информацию (параметр кодирования) о кодировании изображения параллакса для множества точек обзора. Затем модуль 55 кодирования изображения для множества точек обзора передает, как кодированный поток битов, поток битов, включающий в себя скорректированные цветные изображения для множества точек обзора и изображение параллакса для множества точек обзора, которые кодируют максимальное значение параллакса и минимальное значение параллакса, и расстояние между камерами, которые были дифференциально кодированы, параметр точности параллакса предоставляется модулем 54 генерирования информации о генерировании точки обзора и т.п.

Как описано выше, модуль 55 кодирования изображения для множества точек обзора выполняет дифференциальное кодирование и передает максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, и поэтому, позволяет уменьшить количество кодов информации о генерировании точки обзора. Для предоставления удобного 3-D изображения, вероятно незначительное изменение максимального значения параллакса, минимального значения параллакса и расстояния между камерами между изображениями, и, поэтому, дифференциальное кодирование является эффективным для уменьшения количества кода.

В устройстве 50 кодирования, изображение параллакса для множества точек обзора генерируется из скорректированного цветного изображения для множества точек обзора, но оно может быть сгенерировано с помощью датчиков, детектирующих значение параллакса во время съемки изображения для цветного изображения для множества точек обзора.

Пояснение информации генерирования точки обзора

На фиг. 2 показан график, поясняющий максимальное значение параллакса и минимальное значение параллакса для информации генерирования точки обзора.

На фиг. 2 по горизонтальной оси обозначено ненормализованное значение параллакса, и по вертикальной оси обозначено значение пикселя изображения параллакса.

Как показано на фиг. 2, модуль 53 генерирования изображения параллакса для множества точек обзора нормализует значение параллакса каждого пикселя до, например, значения от 0 до 255, используя минимальное значение Dmin параллакса и максимальное значение Dmax параллакса. Затем модуль 53 генерирования изображения параллакса для множества точек обзора генерирует изображение параллакса, в котором значение параллакса каждого из нормализованных пикселей, имеющих значение от 0 до 255, представляет собой значение пикселя.

Более конкретно, значение I пикселя для каждого пикселя изображения параллакса является таким, что ненормализованное значение d параллакса, минимальное значение Dmin параллакса и максимальное значение Dmax параллакса пикселя выражены следующим уравнением (1).

Уравнение 1

Поэтому, в соответствии со следующим уравнением (2), устройство декодирования, описанное ниже, должно восстанавливать ненормализованное значение d параллакса, начиная от значения I пикселя для каждого пикселя изображения параллакса, используя минимальное значение Dmin параллакса и максимальное значение Dmax параллакса.

Уравнение 2

В соответствии с этим, минимальное значение Dmin параллакса и максимальное значение Dmax параллакса передают в устройство декодирования.

На фиг. 3 показана схема, поясняющая параметр точности параллакса информации генерировании точки обзора.

Как показано в верхнем ряду на фиг. 3, в случае, когда ненормализованное значение параллакса для нормализованного значения 1 параллакса составляет 0,5, параметр точности параллакса представляет точность 0,5 значения параллакса. Как показано в нижнем ряду на фиг. 3, когда ненормализованное значение параллакса для нормализованного значения 1 параллакса составляет 1, параметр точности параллакса составляет 1,0, что представляет собой точность значения параллакса.

В примере на фиг. 3 ненормализованное значение параллакса в точке #1 обзора, как первой точке обзора, равно 1,0, и ненормализованное значение параллакса в точке #2 обзора, как второй точке обзора равно 0,5. Поэтому, нормализованное значение параллакса в точке #1 обзора равно 1,0, даже при том, что точность значения параллакса равна 0,5 или 1,0. С другой стороны, значение параллакса в точке #1 обзора равно 0,5, где точность значения параллакса составляет 0,5, она равна нулю, когда точность значения параллакса равна 1,0.

На фиг. 4 показана схема, поясняющая расстояние между камерами информации генерирования точки обзора.

Как показано на фиг. 4, расстояние между камерами изображения параллакса точки #1 обзора, в отношении точки #2 обзора, представляет собой расстояние между положением, представленным внешним параметром точки #1 обзора и положением, представленным внешним параметром точки #2 обзора.

Пример конфигурации модуля кодирования изображения для множества точек обзора

На фиг. 5 показана блок-схема, иллюстрирующая пример конфигурации модуля 55 кодирования изображения для множества точек обзора по фиг. 1.

Модуль 55 кодирования изображения для множества точек обзора по фиг. 5 включает в себя модуль 61 кодирования среза, модуль 62 кодирования заголовка среза, модуль 63 кодирования PPS и модуль 64 кодирования SPS.

Модуль 61 кодирования среза модуля 55 кодирования изображения для множества точек обзора кодирует скорректированное цветное изображение для множества точек обзора, предоставляемое модулем 52 коррекции цветного изображения для множества точек обзора, в соответствии со способом HEVC в единицах срезов. Модуль 61 кодирования среза кодирует изображение параллакса для множества точек обзора, предоставляемое модулем 53 генерирования изображения параллакса для множества точек обзора, в соответствии со способом на основе способа HEVC в единицах среза, используя, как информацию о параллаксе, максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среди информации генерирования точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора по фиг. 1. Модуль 61 кодирования среза предоставляет в модуль 62 кодирования заголовка среза кодированные данные и т.п. в единицах среза, полученные в результате кодирования.

Модуль 62 кодирования заголовка среза определяет, что максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами для информации генерирования точки обзора, предоставляемой модулем 54 генерирования информации о генерировании точки обзора, представляет собой максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среза текущей цели обработки, и содержит их.

Модуль 62 кодирования заголовка среза также определяет, являются или максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами среза текущей цели обработки таким же, как и максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами, соответственно, предыдущего среза для кодирования текущего среза, и, таким образом, выполняет определение в модуле, в которого предоставляется то же значение PPS (ниже называется тем же модулем PPS).

Затем, когда определяют, что все максимальные значения параллакса, минимальные значения параллакса и расстояние между камерами для среза, составляющего тот же модуль PPS, являются такими же, как и максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами предыдущего среза в порядке кодирования, модуль 62 кодирования заголовка среза добавляет другую информацию о порядке кодирования, кроме максимального значения параллакса, минимального значения параллакса и расстояния между камерами этого среза, как заголовок среза кодированных данных каждого среза, составляющих тот же самый модуль PPS, и предоставляет эту информацию в модуль 63 кодирования PPS. Модуль 62 кодирования заголовка среза предоставляет в модуль 63 кодирования PPS флаг передачи, обозначающий отсутствие передачи результата, кодированного по разности максимального значения параллакса, минимального значения параллакса и расстояния между камерами.

С другой стороны, когда все из максимального значения параллакса, минимального значения параллакса и расстояния между камерами, по меньшей мере, одного среза, составляющего один и тот же модуль PPS, определяют, как не являющиеся такими же, как и максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами предыдущего среза в порядке кодирования, модуль 62 кодирования заголовка среза добавляет информацию о кодировании, включающую в себя максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами такого среза, как заголовок среза, в кодированные данные типа внутри среза и предоставляет информацию в модуль 63 кодирования PPS.

Модуль 62 кодирования заголовка среза выполняет кодирование разности максимального значения параллакса, минимального значения параллакса и расстояния между камерами для типа между срезами. Более конкретно, модуль 62 кодирования заголовка среза вычитает максимальное значение параллакса, минимальное значение параллакса и расстояние между камерами предыдущего среза в порядке кодирования в отношении текущего среза из максимального значения параллакса, минимального значения параллакса и расстояния между камерами для типа между срезами, соответственно, и получает результат, кодированный по разности. Затем модуль 62 кодирования заголовка среза добавляет информацию о кодировании, включающую в себя результат кодированной разности максимального значения параллакса, минимального значения параллакса и расстояния между камерами, как заголовок среза, к кодированным данным для типа между срезами, и предоставляет эту информацию в модуль 63 кодирования PPS.

В этом случае, модуль 62 кодирования заголовка среза предоставляет в модуль 63 кодирования PPS флаг передачи, обозначающий присутствие передачи результатов, кодированных по разности максимального значения параллакса, минимального значения параллакса и расстояния между камерами.

Модуль 63 кодирования PPS генерирует PPS, включающий в себя флаг передачи, предоставляемый из модуля 62 кодирования заголовка среза, и параметр точности параллакса в информацию генерирования точки обзора, предоставленную из модуля 54 генерирования информации о генерировании точки обзора по фиг. 1. Модуль 63 кодирования PPS добавляет, в том же модуле PPS, PPS к кодированным данным в единицах срезов, к которым был добавлен заголовок среза, предоставленный из модуля 62 кодирования заголовка среза, и предоставляет их в модуль 64 кодирования SPS.

Модуль 64 кодирования SP генерируют SPS. Затем модуль 64 кодирования SP добавляют, в единицах последовательностей, SP к кодированным данным, к которым был добавлен PPS, предоставляемый из модуля 63 кодирования PPS. Модуль 64 кодирования SPS функционирует, как модуль передачи, и передает поток битов, полученный в результате, как кодированный поток битов.

Пример конфигурации модуля кодирования среза

На фиг. 6 показана блок-схема, иллюстрирующая пример конфигурации модуля кодирования для кодирования изображения параллакса любой заданной точки обзора в модуле 61 кодирования среза по фиг. 5. Более конкретно, модуль кодирования, предназначенный для кодирования изображения параллакса для множества точек обзора в модуле 61 кодирования среза, состоит из такого количества модулей 120 кодирования по фиг. 6, каково количество точек обзора.

Модуль 120 кодирования по фиг. 6 включает в себя модуль 121 A/D преобразования, буфер 122 сортировки экрана, модуль 123 арифметической операции, модуль 124 ортогонального преобразования, модуль 125 квантования, модуль 126 кодирования без потерь, буфер 127 накопления, модуль 128 обратного квантования, модуль 129 обратного ортогонального преобразования, модуль 130 суммирования, фильтр 131 удаления блоков, запоминающее устройство 132 кадра, модуль 133 прогнозирования внутри кадров, модуль 134 прогнозирования/компенсации движения, модуль 135 коррекции, модуль 136 выбора и модуль 137 управления скоростью.

Модуль 121 A/D преобразования модуля 120 кодирования выполняет A/D преобразование для мультиплексированных изображений в единицах кадров для заданных точек обзора, предусмотренных модулем 53 генерирования изображения параллакса для множества точек обзора по фиг. 1, и выводит эти изображения в буфер 122 сортировки экрана для сохранения таким образом, что эти изображения сохраняются в нем. Буфер 122 сортировки экрана сортирует изображения параллакса в единицах кадров в порядке отображения, сохраненных в порядке для кодирования, в соответствии со структурой GOP (группа изображений), и выводит эти изображения в модуль 123 арифметической операции, модуль 133 прогнозирования внутри кадра и в модуль 134 прогнозирования/компенсации движения.

Модуль 123 арифметической операции функционирует, как модуль кодирования и рассчитывает разность между изображением прогнозирования, предоставляемым модулем 136 выбора, и изображением параллакса цели кодирования, которое выводят из буфера 122 сортировки экрана, таким образом, кодируя изображение параллакса цели кодирования. Более конкретно, модуль 123 арифметической операции вычитает изображение прогнозирования, предоставляемое модулем 136 выбора, из изображения параллакса цели кодирования, которое выводят из буфера 122 сортировки экрана. Модуль 123 арифметической операции выводит изображение, полученное в результате вычитания, как остаточную информацию, в модуль 124 ортогонального преобразования. Когда модуль 136 выбора не предоставляет изображение прогнозирования, модуль 123 арифметической операции выводит изображение параллакса, которое считывают из буфера 122 сортировки экрана, в модуль 124 ортогонального преобразования, как остаточную информацию, без обработки.

Модуль 124 ортогонального преобразования применяет ортогональное преобразование, такое как дискретное косинусное преобразование и преобразование Карунена-Лоэве для остаточной информации, предоставляемой из модуля 123 арифметической операции, и предоставляет полученные таким образом коэффициенты в модуль 125 квантования.

Модуль 125 квантования квантует коэффициенты, поданные из модуля 124 ортогонального преобразования. Квантованные коэффициенты вводят в модуль 126 кодирования без потерь.

Модуль 126 кодирования без потерь выполняет кодирование без потерь, такое как кодирование переменной длины (например, CAVLC (адаптивное по контексту кодирование с переменной длиной)) и арифметическое кодирование (например, САВАС (адаптивное по контексту двоичное арифметическое кодирование)) для коэффициентов, квантованных модулем 125 квантования. Модуль 126 кодирования без потерь предоставляет кодированные данные, полученные в результате кодирования без потерь, в буфер 127 накопления и накапливает эти данные в нем.

Буфер 127 накопления временно содержит кодированные данные, предоставляемые модулем 126 кодирования без потерь, и предоставляет эти данные в модуль 62 кодирования заголовка среза, в единицах срезов.

Квантованные коэффициенты, которые выводят из модуля 125 квантования, также подают в модуль 128 обратного квантования, и, после обратного квантования этих коэффициентов, коэффициенты предоставляют в модуль 129 обратного ортогонального преобразования.

Модуль 129 обратного ортогонального преобразования применяет обратное ортогональное преобразование, такое как обратно-дискретное косинусное преобразование и обратное преобразование Карунена-Лоэве по коэффициентам, предоставляемым модулем 128 обратного квантования, и предоставляет остаточную информацию, полученную в результате, в модуль 130 суммирования.

Модуль 130 суммирования добавляет остаточную информацию, используемую, как изображение параллакса цели декодирования, предоставляемой модулем 129 обратного ортогонального преобразования, и изображение прогнозирование, предоставляемое модулем 136 выбора, и получает локально декодированное изображение параллакса. Следует отметить, что, когда модуль 136 выбора не обеспечивает изображение прогнозирования, модуль 130 суммирования принимает остаточную информацию, предоставляемую модулем 129 обратного ортогонального преобразования, как локально декодированное изображение параллакса. Модуль 130 суммирования предоставляет локально декодированное изображение параллакса в фильтр 131 удаления блоков и предоставляет изображение, как опорное изображение, в модуль 133 прогнозирования внутри кадра.

Фильтр 131 удаления блоков фильтрует локально декодированное изображение параллакса, предоставляемое модулем 130 суммирования, устраняя, таким образом, искажение блоков. Фильтр 131 удаления блоков предоставляет полученное таким образом изображение параллакса в запоминающее устройство 132 кадра, таким образом, что изображение накапливается в нем. Изображение параллакса, накапливаемое в запоминающем устройстве 132 кадра, выводится, как опорное изображение, в модуль 134 прогнозирования/компенсации движения.

Модуль 133 прогнозирования внутри кадра выполняет прогнозирование внутри кадра во всех режимах прогнозирования внутри кадра, которые представляют собой кандидатов, используя опорное изображение, предоставляемое модулем 130 суммирования, для сгенерированных таким образом изображений прогнозирования.

Модуль 133 прогнозирования внутри кадра рассчитывает значение функции стоимости для всех режимов прогнозирования внутри кадра, которые представляют собой кандидатов (детали которых будут подробно описаны ниже). Затем модуль 133 прогнозирования внутри кадра определяет, как оптимальный режим прогнозир