Устройство обработки изображений и способ обработки изображений

Устройство обработки изображений и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящий способ относится к устройству обработки изображений и способу обработки изображений и, более конкретно, к устройству обработки изображений и способу обработки изображений, способным формировать цветное изображение точки просмотра изображения, используя цветное изображение и глубинное изображение заданной точки просмотра.

Уровень техники

В последние годы внимание привлечено к трехмерным (3D) изображениям. Обычно используемый способ просмотра трехмерных изображения состоит в том, что человек надевает очки, которые открывают затвор левого глаза во время отображения одного из изображений, полученных с двух точек просмотра, и которые открывают затвор правого глаза во время отображения другого из этих изображений, и человек рассматривает изображения двух точек просмотра, которые отображаются поочередно (здесь далее упоминается как ″способ, использующий очки″).

Однако, при таком способе, использующем очки, зрителю необходимо в дополнение к устройству отображения трехмерного изображения покупать очки, что снижает желание покупки. Кроме того, зритель должен быть в очках на время просмотра, что надоедает. Поэтому существует потребность в способе просмотра, позволяющем просматривать трехмерные изображения без надевания очков (здесь далее упоминаемый как ″способ без очков″).

При способе без очков изображения трех или более точек просмотра отображаются таким образом, что для каждой точки просмотра угол просмотра различен, и когда зритель видит изображения двух точек просмотра правым и левым глазами, он может видеть трехмерное изображение, не надевая очки.

Следующий способ был создан как способ отображения трехмерного изображения, соответствующий способу без очков. При этом способе получают цветное изображение и глубинное изображение заданной точки просмотра и, используя цветное изображение и глубинное изображение, формируют и отображают цветные изображения многожества точек просмотра, которые являются точками просмотра изображения, содержащими точки просмотра, отличные от заданной точки просмотра. Следует заметить, что ″множество точек просмотра″ означают три или более точек просмотра.

В качестве способа кодирования цветных изображений множества точек просмотра и глубинных изображений предложен способ раздельного кодирования цветных изображений и глубинных изображений (например, смотрите патентный документ 1).

Используемая литература

Непатентный документ

Непатентный документ 1: Международная организация по стандартизации ISO/IEC JTC1/SC29/WG11 ″Кодирование движущихся изображений и звука″ (Coding of moving pictures and audio), Гуанчжоу, Китай, октябрь 2010 г.

Сущность изобретения

Проблемы, подлежащие решению изобретением

В традиционном стандарте кодирования и т.п. передача информации, пригодной для отображения трехмерного изображения в соответствии со способом без очков, не рассматривается. Поэтому в традиционном стандарте кодирования передается большой объем информации, которая не требуется для формирования цветных изображений множества точек просмотра, являющихся точками просмотра изображения, содержащими точки просмотра, отличные от заданной точки просмотра, используя цветное изображение заданной точки просмотра, и изображения, связанного с параллаксом, которое является изображением (глубинным изображением), связанным с параллаксом, таким как глубинное изображение, и, кроме того, передается необходимая информация.

В результате, на стороне приема не может быть сформировано цветное изображение точки просмотра, отличной от точки просмотра, использующей цветное изображение заданной точки просмотра и изображение, связанное с параллаксом.

Настоящий способ предлагается с учетом таких обстоятельств и должен позволить формировать цветное изображение точки просмотра изображения, используя цветное изображение заданной точки просмотра и изображение, связанное с параллаксом.

Решения проблем

Устройство обработки изображений по первому варианту настоящего способа является устройством обработки изображений, содержащим блок кодирования для формирования битового потока путем кодирования цветного изображения точки просмотра и глубинного изображения точки просмотра; блок формирования для формирования информации о формировании точек просмотра, используемой для формирования цветного изображения отображаемой точки просмотра изображения, в соответствии со способом формирования цветного изображения отображаемой точки просмотра изображения, полученной при выполнении процесса деформирования с использованием указанного цветного изображения и указанного глубинного изображения; блок передачи для передачи указанного битового потока, формируемого блоком кодирования, и информации о формировании точки просмотра, формируемой блоком формирования.

Способ обработки изображений согласно первому варианту настоящей технологии соответствует устройству обработки изображений по первому варианту настоящей технологии.

В первом варианте настоящей технологии формируют битовый поток, кодируя цветное изображение точки просмотра и глубинное изображение точки просмотра, и информацию о формировании точки просмотра, которая используется для формирования цветного изображения отображаемой точки просмотра изображения в соответствии со способом формировании цветного изображения отображаемой точки просмотра, полученного посредством выполнения процесса деформирования, использующего указанное цветное изображение и указанное глубинное изображение, и передают битовый поток и информацию о формировании точек просмотра.

Устройство обработки изображений согласно второму варианту настоящей технологии является устройством обработки изображений, содержащим приемный блок для приема битового потока, полученного в результате кодирования цветного изображения точки просмотра и глубинного изображения точки просмотра, и информации о формировании точки просмотра, используемых для формирования цветного изображения отображаемой точки просмотра, которое формируется в соответствии со способом формировании цветного изображения отображаемой точки просмотра изображения, получаемого посредством выполнения процесса деформирования с использованием указанного цветного изображения и глубинного изображения; блок декодирования для формирования цветного изображения и глубинного изображения посредством декодирования битового потока, принимаемого приемным блоком, и блок формирования для формирования цветного изображения отображаемой точки просмотра путем выполнения процесса деформирования с использованием указанного цветного изображения и указанного глубинного изображения, формируемых блоком декодирования, и информации о формировании точек просмотра, принимаемой приемным блоком.

Способ обработки изображений согласно второму варианту настоящей технологии соответствует устройству обработки изображений, соответствующему второму варианту настоящей технологии.

Во втором варианте настоящей технологии битовый поток, полученный в результате кодирования цветного изображения точки просмотра и информации глубинного изображения, точки просмотра и информации о формировании точки просмотра, используемой для формирования цветного изображения отображаемой точки просмотра изображения, которое формируется в соответствии со способом формирования цветного изображения отображаемой точки просмотра, получаемого посредством процесса деформирования с использованием принятых цветного изображения и глубинного изображения, и цветное изображение и глубинное изображение формируются путем декодирования принятого битового потока при обработке этапа приема, и цветное изображение отображаемой точки просмотра формируется путем выполнения процесса деформирования с использованием цветного изображения и глубинного изображения и информации о формировании точек просмотра.

Устройство обработки изображений, соответствующее первому и второму вариантам, может быть получено при обеспечении выполнения компьютером программы.

Чтобы получить устройство обработки изображений, соответствующее первому и второму вариантам, программа, исполняемая компьютером, может быть обеспечена посредством среды передачи или записи программы на носителе записи данных.

Результаты изобретения

Согласно первому варианту настоящей технологии, может быть передана необходимая информация для формирования цветного изображения отображаемой точки просмотра с использованием цветного изображения заданной точки просмотра и глубинного изображения.

Согласно второму варианту настоящей технологии, цветное изображение отображаемой точки просмотра может быть сформировано путем использования цветного изображения заданной точки просмотра и глубинного изображения.

Краткое описание чертежей

Фиг.1 - синтаксис информации SEI при сборе данных Multiview.

Фиг.2 - блок-схема примера конфигурации первого варианта осуществления устройства кодирования, служащего в качестве устройства обработки изображений, к которому применяется настоящая технология.

Фиг.3 - пример конфигурации блока доступа для кодированного битового потока.

Фиг.4 - пример описания участка SEI.

Фиг.5 - блок-схема последовательности выполнения операций процесса кодирования устройством кодирования, показанным на фиг.2.

Фиг.6 - блок-схема последовательности выполнения операций, объясняющая подробности процесса мультипроекционного кодирования, показанного на фиг.5.

Фиг.7 - блок-схема примера конфигурации первого варианта осуществления устройства декодирования, служащего в качестве устройства обработки изображений, к которому применяется настоящий способ.

Фиг.8 - процесс деформации глубинного изображения.

Фиг.9 - блок-схема последовательности выполнения операций процесса декодирования устройством декодирования, показанным на фиг.7.

Фиг.10 - блок-схема последовательности выполнения операций, объясняющая подробности процесса мультипроекционного декодирования, показанного на фиг.9.

Фиг.11 - блок-схема примера конфигурации второго варианта осуществления устройства кодирования, служащего устройством обработки изображений, к которому применяется настоящая технология.

Фиг.12 - максимальное значение, связанное с параллаксом, и минимальное значение, связанное с параллаксом, в информации о формировании точек просмотра.

Фиг.13 - параметр точности параллакса в информации о формировании точек просмотра.

Фиг.14 - межкамерное расстояние в информации о формировании точек просмотра.

Фиг.15 - блок-схема примера конфигурации блока кодирования мультипроекционного изображения, показанного на фиг.11.

Фиг.16 - пример конфигурации кодированного битового потока.

Фиг.17 - пример синтаксиса PPS, показанного на фиг.16.

Фиг.18 - пример синтаксиса заголовка слоя.

Фиг.19 - пример синтаксиса заголовка слоя.

Фиг.20 - блок-схема последовательности выполнения операций процесса кодирования устройством кодирования, показанным на фиг.11.

Фиг.21 - блок-схема последовательности выполнения операций процесса мультипроекционного кодирования, показанного на фиг.20.

Фиг.22 - блок-схема примера конфигурации второго варианта осуществления устройства декодирования, служащего устройством обработки изображений, к которому применяется настоящий способ.

Фиг.23 - блок-схема примера конфигурации блока мультипроекционного декодирования изображений, показанного на фиг.22.

Фиг.24 - блок-схема последовательности выполнения операций процесса декодирования блока мультипроекционного декодирования изображений, показанного на фиг.22.

Фиг.25 - объяснение параллакса и глубины.

Фиг.26 - блок-схема примера конфигурации варианта осуществления компьютера.

Фиг.27 - пример конфигурации схемы телевизионного устройства, к которому применяется настоящий способ.

Фиг.28 - пример конфигурации схемы мобильного телефона, к которому применяется настоящий способ.

Фиг.29 - пример конфигурации схемы устройства записи/воспроизведения, к которому применяется настоящий способ.

Фиг.30 - пример конфигурации схемы устройства получения изображений, к которому применяется настоящий способ.

СПОСОБ ВЫПОЛНЕНИЯ ИЗОБРЕТЕНИЯ

Объяснение глубинного изображения (изображения, связанного с параллаксом) в настоящем описании

Фиг.25 служит для объяснения параллакса и глубины.

Как показано на фиг.25, когда цветное изображение объекта M получают с помощью камеры c1, расположенной в положении C1, и камеры c2, расположенной в положении C2, глубина Z объекта M, которая является расстоянием в направлении глубины от камеры c1 (камеры c2), определяется следующим выражением (a).

Следует заметить, что L обозначает расстояние между положением C1 и положением C2 в горизонтальном направлении (здесь далее упоминаемое как ″межкамерное расстояние″). Переменная d обозначает значение, полученное вычитанием расстояния u2 положения объекта M на цветном изображении, полученном камерой c2 в горизонтальном направлении от центра цветного изображения, из расстояния u1 положения объекта M на цветном изображении, полученном камерой c1 в горизонтальном направлении от центра цветного изображения. Более конкретно, d обозначает параллакс. Дополнительно, f обозначает фокусное расстояние камеры c1. В выражении (a) фокусные расстояния камеры c1 и камеры c2 являются одинаковыми.

Как показано в выражении (a), параллакс d и глубина Z могут быть однозначно преобразованы. Поэтому в настоящем описании параллаксное изображение, представляющее параллакс d цветных изображений двух точек просмотра, полученных камерой c1 и камерой c2, и глубинное изображение, представляющее глубину Z, в совокупности упоминаются как глубинное изображение (изображение, связанное с параллаксом).

Следует заметить, что глубинное изображение (изображение, связанное с параллаксом) может быть изображением, представляющим параллакс d или глубину Z, и пиксельное значение глубинного изображения (изображения, связанного с параллаксом) не может быть собственно параллаксом d или глубиной Z. Например, может использоваться значение, полученное посредством нормализации параллакса d, или значение, полученное посредством нормализации обратного значения 1/Z глубины Z.

Значение I, полученное посредством нормализации параллакса d с помощью 8 бит (от 0 до 255), может быть получено из следующего выражения (b). Количество битов нормализации параллакса d не ограничивается восемью битами. Могут быть и другие количества битов, такие как 10 битов и 12 битов.

[Математическая формула 4]

В выражении (b) D_max - максимальное значение параллакса d, D_min - минимальное значение параллакса d. Максимальное значение D_max и минимальное значение D_min могут быть установлены в единицах измерений экрана или могут быть установлены в еденицах ихмерений многочисленных экранов.

Значение y, полученное посредством нормализации обратного значения 1/Z глубины Z с помощью 8 битов (от 0 до 255), может быть получено из следующего выражения (c). Количество битов нормализации обратной величины 1/Z глубины Z не ограничивается 8 битами. Могут быть и другие количества битов, такие как 10 битов и 12 битов.

[Математическая формула 5]

В выражении (c) Z_far обозначает максимальное значение глубины Z, и Z_near обозначает минимальное значение глубины Z. Максимальное значение Z_far и минимальное значение Z_near могут быть установлены в единицах измерений экрана или могут быть установлены в единицах измерений многочисленных экранов.

Как описано выше в настоящем описании, поскольку параллакс d и глубина Z могут быть однозначно преобразованы, параллаксное изображение, в котором значение I, полученное посредством нормализации параллакса d, является пиксельным значением, и глубинное изображение, в котором значение y, полученное посредством нормализации обратного значения 1/Z глубины Z, является пиксельным значением, в совокупности упоминаются как глубинное изображение (изображение, связанное с параллаксом). В этом случае, цветовым форматом глубинного изображения (изображения, связанного с параллаксом) является YUV420 или YUV400, но возможны и другие цветовые форматы.

Когда значение I или значение y не используется в качестве пиксельного значения глубинного изображения (изображения, связанного с параллаксом), и внимание уделяется информации о собственно величине I или величине y, значение I или значение y принимаются в качестве информации о глубине. Дополнительно, то, что получено посредством отображения значения I или значения y, будет упоминаться как карта глубин.

Первый вариант осуществления

Пример конфигурации первого варианта осуществления устройства кодирования

На фиг.2 представлена блок-схема примера конфигурации первого варианта осуществления устройства кодирования, служащего в качестве устройства обработки изображений, к которому применяется настоящая технология.

Устройство 10 кодирования, показанное на фиг.2, содержит блок 11 получения изображений для получения мультипроекционный цветных изображений, блок 12 коррекции мультипроекционных цветных изображений, блок 13 формирования мультипроекционных изображений, связанных с параллаксом, блок 14 формирования информации о формировании точек просмотра и блок 15 кодирования мультипроекционных изображений.

Устройство 10 кодирования кодирует цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, и использует цветное изображение заданной точки просмотра и изображение, связанное с параллаксом, чтобы добавить и передать информацию о формировании точек просмотра, которая является информацией для формирования цветного изображения точки просмотра, отличной от заданной точки просмотра.

Блок 11 получения изображений для получения мультипроекционных цветных изображений, содержащийся в устройстве 10 кодирования, получает цветные изображения мультиточек просмотра и передает их в качестве мультипроекционных цветных изображений блоку 12 коррекции мультипроекционных цветных изображений. Блок 11 получения изображений для получения мультипроекционных изображений формирует в качестве информации о получении изображений информацию о получении изображений, такую как количество точек просмотра цветных изображений, внешние параметры и информация о дальности, и предоставляет информацию блоку 14 формирования информации о формировании точек просмотра.

Следует заметить, что внешним параметром является параметр для определения положения блока 11 получения изображений для получения мультипроекционных изображений в горизонтальном направлении.

Когда изображение, связанное с параллаксом, формируемое блоком 13 формирования мультипроекционных изображений, связанных с параллаксом, является глубинным изображением, информация о дальности содержит минимальное значение (минимальное значение Z_near) и максимальное значение (максимальное значение Z_far) значений в реальных координатах в положениях в направлении глубины, которые могут появляться в мультипроекционном изображении, связанном с параллаксом (мультипроекционном глубинном изображении). Минимальное значение и максимальное значение здесь далее будут упоминаться как минимальное значение глубины и максимальное значение глубины, соответственно. С другой стороны, когда изображение, связанное с параллаксом, сформированное блоком 13 формирования мультипроекционных изображений, связанных с параллаксом, является параллаксным изображением, информация о дальности содержит минимальное значение (минимальное значение D_min) и максимальное значение (максимальное значение D_max) параллакса в реальных координатах, которые могут появиться в мультипроекционном изображении, связанном с параллаксом, а также информация идентификации цветного изображения точки просмотра, принятой в качестве базисной точки, когда получено значение параллакса. Минимальное значение и максимальное значение здесь далее будут упоминаться как минимальное значение параллакса и максимальное значение параллакса, соответственно.

Блок 12 коррекции мультипроекционных цветных изображений выполняет коррекцию цвета, коррекцию яркости, коррекцию искажений и т.п.для мультипроекционных цветных изображений, подаваемых от блока 11 получения изображений для получения мультипроекционных изображений. Соответственно, фокусное расстояние блока получения изображений для получения мультипроекционных изображений в скорректированном мультипроекционном цветном изображении в горизонтальном направлении (направлении X) является одним и тем же во всех проекциях. Блок 12 коррекции мультипроекционных цветных изображений подает скорректированное мультипроекционное цветное изображение на блок 13 формирования мультипроекционных изображений, связанных с параллаксом, и на блок 15 кодирования мультипроекционных изображений в качестве мультипроекционных скорректированных цветных изображений. Блок 12 коррекции мультипроекционных цветных изображений формирует информацию о скорректированном мультипроекционном цветном изображении, такую как внутренние параметры, в качестве информации о цветном изображении, и предоставляет информацию на блок 14 формирования информации о формировании точек просмотра.

Внутренние параметры содержат фокусное расстояние в горизонтальном направлении для блока 11 получения изображения для мультипроекционных цветных изображений, который является одним и тем же для всех точек просмотра в скорректированных мультипроекционных цветных изображениях, и главную точку, являющуюся центром изображения, то есть, положением оптического центра линзы в горизонтальном направлении. Положение главной точки в горизонтальном направлении может быть различным для каждой точки просмотра.

Блок 13 формирования мультипроекционных изображений, связанных с параллаксом, формирует изображения, связанные с параллаксом, для мультиточек просмотра из мультипроекционных скорректированных цветных изображений, обеспечиваемых блоком 12 коррекции мультипроекционных цветных изображений. Затем блок 13 формирования мультипроекционных изображений, связанных с параллаксом, подает сформированные изображения мультиточек просмотра, связанные с параллаксом, на блок 15 кодирования мультипроекционных изображений в качестве мультипроекционных изображений, связанных с параллаксом.

Блок 13 формирования мультипроекционных изображений, связанных с параллаксом, формирует в качестве информации об изображении, связанном с параллаксом, (информации об глубинном изображении) информацию о мультипроекционных изображениях, связанных с параллаксом, такую как количество точек просмотра мультипроекционных изображений, связанных с параллаксом, информацию о типе изображения, указывающую, является ли мультипроекционное изображение, связанное с параллаксом, глубинным изображением или параллаксным изображением (информация идентификации глубинного изображения). Затем блок 13 формирования мультипроекционных изображений, связанных с параллаксом, предоставляет информацию об изображении, связанном с параллаксом, на блок 14 формирования информации о формировании точек просмотра.

Блок 14 формировании информации о формировании точек просмотра функционирует как блок формировании и использует мультипроекционное скорректированное цветное изображение и мультипроекционное изображение, связанное с параллаксом, чтобы сформировать информацию о формировании точек просмотра в соответствии с заданным способом для формирования цветного изображения другой точки просмотра. Более конкретно, блок 14 формировании информации о формировании точек просмотра формирует информацию идентификации цветного изображения и информацию идентификации изображения, связанного с параллаксом, (информацию идентификации глубинного изображения) на основе количества точек просмотра изображений, подаваемых от блока 11 получения изображений мультипроекционных цветных изображений и количества точек просмотра изображений, связанных с параллаксом, подаваемых от блока 13 формирования мультипроекционных изображений, связанных с параллаксом. Следует заметить, что информация идентификации цветного изображения является информацией идентификации цветного изображения и информация идентификации изображения, связанного с параллаксом, является информацией идентификации изображения, связанного с параллаксом.

Блок 14 формировании информации о формировании точек просмотра формирует флаг внешнего параметра, указывающий присутствие/отсутствие внешнего параметра в каждой точки просмотра, соответствующией мультипроекционному изображению, связанному с параллаксом, на основе внешнего параметра, содержащегося в информации о получении информация, предоставленной блоком 11 получения изображений для получения мультипроекционных цветных изображений. Дополнительно, блок 14 формирования информации о формировании точек просмотра формирует флаг внутреннего параметра, указывающий присутствие/отсутствие внутреннего параметра в каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом, на основе внутреннего параметра, содержащегося в информации о цветном изображении, предоставляемой блоком 12 коррекции мультипроекционных цветных изображений. Затем, блок 14 формировании информации о формировании точек просмотра формирует информацию о формировании точек просмотра из информации идентификации цветного изображения, информации идентификации изображения, связанного с параллаксом, флага внешнего параметра, флаг внутреннего параметра, информации о получении изображения, информации о цветном изображении и информации об изображении, связанном с параллаксом. Информация о формировании точек просмотра образуется информацией идентификации цветного изображения, информацией идентификации изображения, связанного с параллаксом, информацией о внешнем параметре, информацией о внутреннем параметре, количеством точек просмотра цветных изображений, информацией о дальности, количеством точек просмотра изображений, связанных с параллаксом, и информацией о типе изображения. Следует заметить, что информация о внешнем параметре образуется флагом внешнего параметра и внешним параметром точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом, и информация о внутреннем параметре образуется флагом внутренного параметра и внутренним параметром точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом. Блок 14 формирования информации о формировании точек просмотра предоставляет сформированную информацию о формировании точек просмотра на блок 15 кодирования мультипроекционного изображения.

Блок 15 кодирования мультипроекционных изображений функционирует как блок кодирования и кодирует мультипроекционное скорректированное цветное изображение, предоставленное блоком 12 коррекции мультипроекционных цветных изображений, и мультипроекционное изображение, связанное с параллаксом, предоставленное блоком 13 формирования мультипроекционных изображений, связанных с параллаксом, в соответствии с таким же способом, что и способ MVC (Multiview Video Coding, мультипроекционное видеокодирование), и добавляет информацию о формировании точек просмотра, предоставленную блоком 14 формировании информации о формировании точек просмотра. Блок 15 кодирования мультипроекционных изображений функционирует как передающий блок и передает в качестве кодированного битового потока битовый поток, полученный в результате.

Пример конфигурации кодированного битового потока

На фиг.3 представлен пример конфигурации блока доступа кодированного битового потока, сформированного устройством 10 кодирования, показанным на фиг.2.

Как показано на фиг.3, блок доступа кодированного битового потока состоит из набора параметра последовательности SPS (Sequence Parameter Set), поднабора SPS (Subset SPS), набора параметров изображения PPS (Picture Parameter Set), SEI и слоя.

В примере, показанном на фиг.3, количество точек просмотра скорректированных мультипроекционных цветных изображений и мультипроекционных изображений, связанных с параллаксом, равно двум. Скорректированное цветное изображение A, являющееся одной из двух точек просмотра мультипроекционных скорректированных цветных изображений точек просмотра, кодируется как основная проекция. Скорректированное цветное изображение B другой из точек просмотра, изображение A, связанное с параллаксом, соответствующее цветному изображению A, и изображение B, связанное с параллаксом, соответствующее цветному изображению B, кодируются как неосновные точки просмотра.

В результате, слои располагаются, например, в следующем порядке: слой для цветного изображения A, кодированного как основная проекция, слой изображения A, связанного с параллаксом, кодированного как неосновная проекция, и слой для цветного изображения B, и затем слой для изображения B, связанного с параллаксом. На участке заголовка каждого слоя описывается информация для идентификации PPS.

SPS является заголовком, содержащим информацию о кодировании основной точки просмотра. Поднабор Subset SPS является заголовком расширения, содержащим информацию о кодировании основной точки просмотра и неосновной точки просмотра. PPS является заголовком, содержащим информацию, указывающую режим кодирования всего изображения, и информацию для идентификации SPS и поднабора Subset SPS. SEI является дополнительной информацией, которая не является необходимой для декодирования и содержит информацию о формировании точек просмотра и т.п.

Во время декодирования цветного изображения А, которое кодируется как основная проекция, PPS ищется на основе информации для идентификации PPS, описанной на участке заголовка цветного изображения A, и SPS ищется на основе информации для идентификации SPS, описанной в PPS.

С другой стороны, во время декодирования изображения, связанного с параллаксом, кодированного как неосновная проекция, PPS ищется на основе информации идентификации PPS, описанной в заголовке изображения A, связанного с параллаксом. Поднабор Sub SPS ищется на основе информации идентификации Sub SPS, описанной в PPS. Во время декодирования цветного изображения В и изображения В, связанного с параллаксом, кодированного как неосновная проекция, также ищется PPS и Sub SPS ищется точно также, как во время декодирования изображения A, связанного с параллаксом.

Пример участка описания SEI

На фиг.4 показан пример описания участка SEI.

На второй строке сверху в левой стороне SEI на фиг.4 описывается количество точек просмотра (num_color_view_minus_1) цветного изображения. На третьей строке описывается количество точек просмотра (num_depth_view_minus_1) изображения, связанного с параллаксом.

На пятой строке сверху в левой стороне фиг.4 идентификатор ID точки просмотра (color_view_id) цветного изображения описывается как информация идентификации цветного изображения для цветного изображения каждой точки просмотра. На седьмой строке идентификатор ID точки просмотра (depth_view_id) изображения, связанного с параллаксом, описывается как информация идентификации изображения, связанного с параллаксом, для изображения, связанного с параллаксом, для каждой точки просмотра. На восьмой строке сверху в левой стороне фиг.4 флаг внутреннего параметра в информации о внутренних параметрах описывается для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом. На девятой строке флаг внешнего параметра в информации о внешних параметрах описывается для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом.

На строках 11 и 13-15 сверху в левой стороне фиг.4 во внутреннем параметре описывается фокусное расстояние в горизонтальном направлении.

В SEI на фиг.4 вещественное число x описывается как число с плавающей запятой, используя значение точности, значение знака, значение показателя степени и значение мантиссы, определенные следующим выражением (1).

Когда удерживается e=0,

v=Мах(0, prec-30)

x=(-1)^S·2^-(30+v)·n

Когда удерживается 0<e≤62,

v=Мах(0, e+prec-31)

В выражении (1) prec обозначает значение точности, s обозначает значение знака, e обозначает значение показателя степени и n обозначает значение мантиссы. Соответственно, значение знака, значение показателя степени, значение мантиссы представляют знак, показатель степени, мантиссу вещественного числа x, соответственно.

Как описано выше, вещественное число х описывается как число с плавающей запятой и поэтому в строках 11 и 13-15 сверху в левой стороне фиг.4 соответственно описываются значение точности (prec_focal_length), значение знака (sign_focal_length_x), значение показателя степени (exponent_focal_length_x), значение мантиссы (mantissa_focal_length_x) фокусного расстояния в горизонтальном расстоянии.

В строке 12 сверху в левой стороне фиг.4 значение, общее для любой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом, описывается как значение точности (prec_principal_point) в положении главной точки в горизонтальном направлении. В строках 17-19 сверху в левой стороне фиг.4, значение знака (sign_principal_point_x), значение показателя степени (exponent_principal_point_x), значение мантиссы (mantissa_principal_point_x) в положении главной точки в горизонтальном направлении описывается для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом.

Во 2-ой строке сверху в правой стороне фиг.4, значение, общее для всех точек просмотра, соответствующих мультипроекционному изображению, связанному с параллаксом, описывается как значение точности (prec_translation_param) внешнего параметра. В строках 4-6 сверху в правой стороне фиг.4, внешние параметры значения знака (sign_translation_x), значения показателя степени (exponent_translation_x), значения мантиссы (mantissa_translation_x) описываются для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом.

В строке 9 сверху в правой стороне на фиг.4 описывается информация о типе изображения (depth_map_flag). В строках 11-12 сверху на фиг.4, когда информация о типе изображения указывает глубинное изображение, в информации о дальности описываются минимальное значение глубины (depth_nearest) и максимальное значение глубины (depth_farthest), являющиеся общими для всех точек просмотра, соответствующих мультипроекционному изображению, связанному с параллаксом.

Дополнительно, в строках 16-18 сверху в правой стороне на фиг.4 описывается информация о дальности, где информация о типе изображения указывает параллаксное изображение. Более конкретно, в строках 16-17 соответственно описываются минимальное значение параллакса (disparity_minimum) и максимальное значение параллакса (disparity_maximum). Минимальное значение параллакса и максимальное значение параллакса различаются согласно точки просмотра и поэтому они формируются и описываются для каждой точки просмотра.

В строке 18 идентификатор ID точки просмотра (reference_depth_view) цветного изображения описывается для каждой точки просмотра, соответствующей мультипроекционному изображению, связанному с параллаксом, как информация для идентификации цветного изображения точки просмотра, принятой в качестве базисной точки, когда определяется значение параллакса.

Процесс, выполняемый устройством кодирования

На фиг.5 представлена блок-схема последовательности выполнения операций процесса кодирования, выполняемого устройством 10 кодирования, показанным на фиг.2.

На этапе S10 на фиг.5 блок 11 получения изображений для получения мультипроекционных изображений получает от устройства 10 кодирования цветные изображения многочисленных точек просмотра и подает их в качестве мультипроекционных цветных изображений на блок 12 коррекции мультипроекционн