Способ и устройство для кодирования видео и способ и устройство для декодирования видео с учетом порядка пропуска и разбиения

Способ и устройство для кодирования видео и способ и устройство для декодирования видео с учетом порядка пропуска и разбиения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

[001] Устройства и способы в соответствии с примерными вариантами осуществления относятся к кодированию и декодированию видео.

Уровень техники

[002] По мере того как разрабатываются и предоставляются аппаратные средства для воспроизведения и сохранения высококачественного видеосодержимого высокого разрешения, растет потребность в видеокодеке для эффективного кодирования или декодирования высококачественного видеосодержимого высокого разрешения. В видеокодеке предшествующего уровня техники видео кодируется согласно ограниченному способу кодирования на основе макроблока, имеющего предварительно определенный размер.

Сущность изобретения

Техническая задача

[003] Примерные варианты осуществления предоставляют кодирование и декодирование видео с учетом порядка пропуска и разбиения единицы кодирования согласно характеристикам единицы данных.

Решение задачи

[004] Согласно аспекту примерного варианта осуществления, предусмотрен способ кодирования видео с учетом порядка пропуска и разбиения, причем способ включает в себя: разбиение изображения на максимальные единицы кодирования, включающие в себя единицы кодирования, являющиеся единицами данных, в которых кодируется изображение; для максимальной единицы кодирования определение единиц кодирования, имеющих древовидную структуру, включающих в себя единицы кодирования кодированных глубин, и определение режимов кодирования для единиц кодирования кодированных глубин посредством выполнения кодирования на основе единиц кодирования согласно глубинам, причем единицы кодирования согласно глубинам получаются посредством иерархического разбиения максимальной единицы кодирования по мере того, как глубина увеличивается, и глубины являются пропорциональными числу раз, на которое разбивается максимальная единица кодирования; и вывод информации относительно размера максимальной единицы кодирования и для максимальной единицы кодирования информации, указывающей порядок информации разбиения и информации режима пропуска, который избирательно определяется для единиц кодирования согласно глубинам, информации относительно режимов кодирования для единиц кодирования кодированных глубин, включающей в себя информацию разбиения и информацию режима пропуска, которые размещаются согласно порядку, и кодированным видеоданным.

Преимущества изобретения

[005] Единицы кодирования, имеющие древовидную структуру, формируются посредством определения единиц кодирования, имеющих оптимальную форму и оптимальный размер для каждой максимальной единицы кодирования, на основе размера максимальной единицы кодирования и максимальной глубины, определенной с учетом характеристик текущего изображения. Кроме того, поскольку кодирование может выполняться для каждой максимальной единицы кодирования посредством использования любого из различных режимов прогнозирования и преобразований, оптимальный режим кодирования может быть определен с учетом характеристик единицы кодирования различных размеров изображения.

[006] Порядок информации режима пропуска и информации разбиения определяется с учетом единицы данных, режима кодирования и т.п. Кроме того, порядок информации режима пропуска и информации разбиения может быть определен с учетом общего числа битов информации режима пропуска и информации разбиения и частоты возникновения режима пропуска при кодировании и декодировании видеоданных. Поскольку может задаваться порядок информации режима пропуска и информации разбиения единиц кодирования согласно глубинам, может быть дополнительно повышена эффективность передачи кодированных данных.

Краткое описание чертежей

[007] Фиг.1 является блок-схемой устройства для кодирования видео, согласно примерному варианту осуществления.

[008] Фиг.2 является блок-схемой устройства для декодирования видео, согласно примерному варианту осуществления.

[009] Фиг.3 является схемой для описания принципа единиц кодирования согласно примерному варианту осуществления.

[0010] Фиг.4 является блок-схемой кодера изображений на основе единиц кодирования согласно примерному варианту осуществления.

[0011] Фиг.5 является блок-схемой декодера изображений на основе единицы кодирования согласно примерному варианту осуществления.

[0012] Фиг.6 является схемой, иллюстрирующей более глубокие единицы кодирования согласно глубинам и единице прогнозирования согласно примерному варианту осуществления.

[0013] Фиг.7 является схемой для описания взаимосвязи между единицей кодирования и единицами преобразования, согласно примерному варианту осуществления.

[0014] Фиг.8 является схемой для описания информации кодирования единиц кодирования, соответствующих кодированной глубине, согласно примерному варианту осуществления.

[0015] Фиг.9 является схемой более глубоких единиц кодирования согласно глубинам, согласно примерному варианту осуществления.

[0016] Фиг.10-12 являются схемами для описания взаимосвязи между единицами кодирования, единицами прогнозирования и единицами преобразования, согласно примерному варианту осуществления.

[0017] Фиг.13 является схемой для описания взаимосвязи между единицей кодирования, единицей прогнозирования или сегментом и единицей преобразования, согласно информации режима кодирования по таблице 1.

[0018] Фиг.14 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео согласно примерному варианту осуществления.

[0019] Фиг.15 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео согласно примерному варианту осуществления.

[0020] Фиг.16 является блок-схемой, иллюстрирующей устройство для кодирования видео с учетом порядка пропуска и разбиения, согласно примерному варианту осуществления.

[0021] Фиг.17 является блок-схемой, иллюстрирующей устройство для декодирования видео с учетом порядка пропуска и разбиения, согласно примерному варианту осуществления.

[0022] Фиг.18 иллюстрирует единицы кодирования согласно кодированным глубинам в максимальной единице кодирования, согласно примерному варианту осуществления.

[0023] Фиг.19-21 являются блок-схемами последовательности операций способа, иллюстрирующими способы кодирования и декодирования информации пропуска и информации разбиения, согласно различным примерным вариантам осуществления.

[0024] Фиг.22 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео с учетом порядка пропуска и разбиения, согласно примерному варианту осуществления.

[0025] Фиг.23 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео с учетом порядка пропуска и разбиения, согласно примерному варианту осуществления.

Оптимальный режим осуществления изобретения

[0026] Согласно аспекту примерного варианта осуществления, предусмотрен способ кодирования видео с учетом порядка пропуска и разбиения, причем способ включает в себя: разбиение изображения на максимальные единицы кодирования, включающие в себя единицы кодирования, являющиеся единицами данных, в которых кодируется изображение; для максимальной единицы кодирования определение единиц кодирования, имеющих древовидную структуру, включающих в себя единицы кодирования кодированных глубин, и определение режимов кодирования для единиц кодирования кодированных глубин посредством выполнения кодирования на основе единиц кодирования согласно глубинам, причем единицы кодирования согласно глубинам получаются посредством иерархического разбиения максимальной единицы кодирования по мере того, как глубина увеличивается, и глубины являются пропорциональными числу раз, на которое разбивается максимальная единица кодирования; и вывод информации относительно размера максимальной единицы кодирования и для максимальной единицы кодирования информации, указывающей порядок информации разбиения и информации режима пропуска, который избирательно определяется для единиц кодирования согласно глубинам, информации относительно режимов кодирования для единиц кодирования кодированных глубин, включающей в себя информацию разбиения и информацию режима пропуска, которые размещаются согласно порядку, и кодированным видеоданным.

[0027] Единица кодирования может отличаться посредством максимального размера и глубины. Глубина обозначает число раз, на которое единица кодирования иерархически разбивается, и по мере того, как глубина увеличивается, более глубокие единицы кодирования согласно глубинам могут разбиваться от максимальной единицы кодирования до минимальной единицы кодирования. Глубина максимальной единицы кодирования может быть самой верхней глубиной, а глубина минимальной единицы кодирования может быть самой нижней глубиной. Поскольку размеры единиц кодирования согласно глубинам снижаются по мере того, как глубина максимальной единицы кодирования увеличивается, единица кодирования верхней глубины может включать в себя множество единиц кодирования нижних глубин.

[0028] Согласно максимальному размеру единицы кодирования, данные изображений текущего изображения могут разбиваться на максимальные единицы кодирования, и каждая из максимальных единиц кодирования может включать в себя единицы кодирования, разбиваемые согласно глубинам. Поскольку максимальная единица кодирования разбивается согласно глубинам, данные изображений пространственной области, включенные в максимальную единицу кодирования, могут быть иерархически классифицированы согласно глубинам.

[0029] Может быть предварительно определена максимальная глубина и максимальный размер единицы кодирования, которые ограничивают общее число раз, сколько высота и ширина максимальной единицы кодирования иерархически разбиваются.

[0030] Порядок информации разбиения и информации режима пропуска, который избирательно определяется для единиц кодирования согласно глубинам, может быть определен посредством, по меньшей мере, одного из последовательности изображений, которой принадлежат единицы кодирования согласно глубинам, серии последовательных макроблоков, типа серии последовательных макроблоков согласно направлению прогнозирования и параметра квантования единицы данных.

[0031] Порядок информации разбиения и информации режима пропуска, который избирательно определяется для единиц кодирования согласно глубинам, может быть определен посредством глубин единиц кодирования в максимальной единице кодирования.

[0032] Порядок информации разбиения и информации режима пропуска единиц кодирования согласно глубинам может быть определен таким образом, что если единица кодирования является максимальной единицей кодирования, информация режима пропуска предшествует информации разбиения, а если единица кодирования не является максимальной единицей кодирования, информация разбиения предшествует информации режима пропуска.

[0033] Согласно аспекту другого примерного варианта осуществления, предусмотрен способ декодирования видео с учетом порядка пропуска и разбиения, причем способ включает в себя: прием и синтаксический анализ потока битов кодированных видеоданных; извлечение, из потока битов, информации относительно максимального размера единицы кодирования, являющейся единицей данных, в которой декодируется изображение, информации относительно порядка информации разбиения и информации режима пропуска относительно единиц кодирования согласно глубинам и, согласно порядку информации разбиения и информации режима пропуска, информации относительно кодированной глубины и режима кодирования и кодированных видеоданных согласно максимальной единице кодирования изображения; и на основе извлеченной информации относительно максимального размера единицы кодирования и информации относительно кодированной глубины и режима кодирования, декодирование кодированных видеоданных изображения согласно единицам кодирования, имеющим древовидную структуру, включающим в себя единицы кодирования кодированных глубин.

[0034] Извлечение может включать в себя: если единица кодирования является максимальной единицей кодирования, согласно порядку информации разбиения и информации режима пропуска, определение того, прогнозируется или нет максимальная единица кодирования в режиме пропуска согласно информации режима пропуска, до определения того, разбивается или нет максимальная единица кодирования, согласно информации разбиения; если единица кодирования не является максимальной единицей кодирования, определение того, разбивается или нет единица кодирования согласно информации разбиения, до определения того, прогнозируется или нет единица кодирования в режиме пропуска согласно информации режима пропуска; и извлечение информации относительно кодированной глубины и режима кодирования кодированной глубины и кодированных видеоданных согласно единицам кодирования кодированной глубины.

[0035] При извлечении, если извлекается один фрагмент информации разбиения и пропуска, полученной посредством комбинирования информации разбиения и информации режима пропуска для единицы кодирования согласно глубинам единицы кодирования согласно глубинам могут прогнозироваться в режиме пропуска без разбиения, а если извлекается информация разбиения или информация режима пропуска для единиц кодирования согласно глубинам, единицы кодирования согласно глубинам могут не разбиваться или могут не прогнозироваться в режиме пропуска.

[0036] Согласно аспекту другого примерного варианта осуществления, предусмотрено устройство для кодирования видео с учетом порядка пропуска и разбиения, причем это устройство включает в себя: модуль разделения на максимальные единицы кодирования, который разбивает изображение на максимальные единицы кодирования, включающие в себя единицы кодирования, являющиеся единицами данных, в которых кодируется изображение; модуль определения единиц кодирования и режимов кодирования, который для максимальной единицы кодирования определяет единицы кодирования, имеющие древовидную структуру, включающие в себя единицы кодирования кодированных глубин, и определяет режимы кодирования для единиц кодирования кодированных глубин посредством выполнения кодирования на основе единиц кодирования согласно глубинам, причем единицы кодирования согласно глубинам получаются посредством иерархического разбиения максимальной единицы кодирования по мере того, как глубина увеличивается; и модуль вывода, который выводит информацию относительно размера максимальной единицы кодирования и для максимальной единицы кодирования информацию, указывающую порядок информации разбиения и информации режима пропуска, который избирательно определяется для единиц кодирования согласно глубинам, информацию относительно режимов кодирования единиц кодирования кодированных глубин, включающую в себя информацию разбиения и информацию режима пропуска, которые размещаются согласно порядку, и кодированные видеоданные.

[0037] Согласно аспекту другого примерного варианта осуществления, предусмотрено устройство для декодирования видео с учетом порядка пропуска и разбиения, причем это устройство включает в себя: приемное устройство, которое принимает и синтаксически анализирует поток битов кодированных видеоданных; модуль извлечения данных, который извлекает, из потока битов, информацию относительно максимального размера единицы кодирования, являющейся единицей данных, в которой декодируется изображение, информацию относительно порядка информации разбиения и информации режима пропуска единиц кодирования согласно глубинам и, согласно порядку информации разбиения и информации режима пропуска, информацию относительно кодированной глубины и режима кодирования согласно максимальной единице кодирования изображения; и декодер, который, на основе информации относительно максимального размера единицы кодирования и информации относительно кодированной глубины и режима кодирования, декодирует кодированные видеоданные изображения согласно единицам кодирования, имеющим древовидную структуру, включающим в себя единицы кодирования кодированных глубин.

[0038] Согласно аспекту другого примерного варианта осуществления, предусмотрен компьютерно-читаемый носитель записи, имеющий реализованную программу для осуществления способа кодирования. Кроме того, согласно аспекту другого примерного варианта осуществления, предусмотрен машиночитаемый носитель записи, имеющий реализованную программу для осуществления способа декодирования.

Оптимальный режим осуществления изобретения

[0039] Устройство для кодирования видео, устройство для декодирования видео, способ кодирования видео и способ декодирования видео согласно примерным вариантам осуществления поясняются со ссылкой на фиг.1-23. Кодирование и декодирование видео на основе пространственно иерархической единицы данных согласно одному или более примерных вариантов осуществления поясняется со ссылкой на фиг.1-15, и кодирование и декодирование видео с учетом порядка пропуска и разбиения согласно одному или более примерных вариантов осуществления поясняется со ссылкой на фиг.16-23.

[0040] Далее подробнее описываются примерные варианты осуществления со ссылкой на прилагаемые чертежи.

[0041] В дальнейшем в этом документе "единица кодирования" является единицей данных для кодирования, в которой данные изображений кодируются на стороне кодера, например в устройстве кодирования, включающем в себя процессор и кодер, и единицей кодированных данных, в которой кодированные данные изображений декодируются на стороне декодера, например в устройстве декодирования, включающем в себя процессор и декодер, согласно примерным вариантам осуществления.

[0042] В дальнейшем в этом документе "изображение" может обозначать неподвижное изображение для видео или движущееся изображение, т.е. само видео.

[0043] Устройство для кодирования видео, устройство для декодирования видео, способ кодирования видео и способ декодирования видео согласно примерным вариантам осуществления поясняются со ссылкой на фиг.1-15.

[0044] Фиг.1 является блок-схемой устройства 100 для кодирования видео, согласно примерному варианту осуществления;

[0045] Устройство 100 включает в себя модуль 110 разделения на максимальные единицы кодирования, модуль 120 определения единиц кодирования и модуль 130 вывода.

[0046] Модуль 110 разделения на максимальные единицы кодирования может разбивать текущее изображение на основе максимальной единицы кодирования для текущей картины изображения. Если текущее изображение превышает максимальную единицу кодирования, данные изображений текущего изображения могут разбиваться, по меньшей мере, на одну максимальную единицу кодирования. Максимальная единица кодирования согласно примерному варианту осуществления может быть единицей данных, имеющей размер 32×32, 64×64, 128×128, 256×256 и т.д., при этом форма единицы данных является квадратом, имеющим ширину и длину в квадратах 2. Данные изображений могут выводиться в модуль 120 определения единиц кодирования согласно, по меньшей мере, одной максимальной единице кодирования.

[0047] Единица кодирования согласно примерному варианту осуществления может отличаться посредством максимального размера и глубины. Глубина обозначает число раз, на которое единица кодирования пространственно разбивается от максимальной единицы кодирования, и по мере того, как глубина увеличивается или возрастает, более глубокие единицы кодирования согласно глубинам могут разбиваться от максимальной единицы кодирования до минимальной единицы кодирования. Глубина максимальной единицы кодирования является самой верхней глубиной, а глубина минимальной единицы кодирования является самой нижней глубиной. Поскольку размер единицы кодирования, соответствующей каждой глубине, снижается по мере того, как глубина максимальной единицы кодирования увеличивается, единица кодирования, соответствующая верхней глубине, может включать в себя множество единиц кодирования, соответствующих нижним глубинам.

[0048] Как описано выше, данные изображений текущего изображения разбиваются на максимальные единицы кодирования согласно максимальному размеру единицы кодирования, и каждая из максимальных единиц кодирования может включать в себя более глубокие единицы кодирования, которые разбиваются согласно глубинам. Поскольку максимальная единица кодирования согласно примерному варианту осуществления разбивается согласно глубинам, данные изображений пространственной области, включенные в максимальную единицу кодирования, могут быть иерархически классифицированы согласно глубинам.

[0049] Может быть предварительно определена максимальная глубина и максимальный размер единицы кодирования, которые ограничивают общее число раз, сколько высота и ширина максимальной единицы кодирования иерархически разбиваются.

[0050] Модуль 120 определения единиц кодирования кодирует, по меньшей мере, одну разделенную область, полученную посредством разбиения области максимальной единицы кодирования согласно глубинам, и определяет глубину, чтобы в завершение выводить кодированные данные изображений согласно, по меньшей мере, одной разделенной области. Другими словами, модуль 120 определения единиц кодирования определяет кодированную глубину посредством кодирования данных изображений в более глубоких единицах кодирования согласно глубинам, согласно максимальной единице кодирования текущего изображения и выбора глубины, имеющей наименьшую ошибку кодирования. Таким образом, кодированные данные изображений единицы кодирования, соответствующей определенной кодированной глубине, в завершение выводятся. Кроме того, единицы кодирования, соответствующие кодированной глубине, могут рассматриваться в качестве кодированных единиц кодирования.

[0051] Определенная кодированная глубина и кодированные данные изображений согласно определенной кодированной глубине выводятся в модуль 130 вывода.

[0052] Данные изображений в максимальной единице кодирования кодируются на основе более глубоких единиц кодирования, соответствующих, по меньшей мере, одной глубине, равной или ниже максимальной глубины, и результаты кодирования данных изображений сравниваются на основе каждой из более глубоких единиц кодирования. Глубина, имеющая наименьшую ошибку кодирования, может быть выбрана после сравнения ошибок кодирования более глубоких единиц кодирования. По меньшей мере, одна кодированная глубина может быть выбрана для каждой максимальной единицы кодирования.

[0053] Размер максимальной единицы кодирования разбивается по мере того, как единица кодирования иерархически разбивается согласно глубинам, и по мере того, как число единиц кодирования увеличивается. Кроме того, даже если единицы кодирования соответствуют идентичной глубине в одной максимальной единице кодирования, каждая из единиц кодирования, соответствующих идентичной глубине, может разбиваться до нижней глубины посредством измерения ошибки кодирования данных изображений каждой единицы кодирования отдельно. Соответственно даже когда данные изображений включаются в одну максимальную единицу кодирования, данные изображений разбиваются на области согласно глубинам, ошибки кодирования могут отличаться согласно областям в одной максимальной единице кодирования, и тем самым кодированные глубины могут отличаться согласно областям в данных изображений. Таким образом, одна или более кодированных глубин могут быть определены в одной максимальной единице кодирования, и данные изображений максимальной единицы кодирования могут быть разделены согласно единицам кодирования, по меньшей мере, одной кодированной глубины.

[0054] Соответственно модуль 120 определения единиц кодирования может определять единицы кодирования, имеющие в себя древовидную структуру, включенные в максимальную единицу кодирования. "Единицы кодирования, имеющие древовидную структуру" согласно примерному варианту осуществления включают в себя единицы кодирования, соответствующие глубине, определенной как кодированная глубина, из всех более глубоких единиц кодирования, включенных в максимальную единицу кодирования. Единица кодирования кодированной глубины может быть иерархически определена согласно глубинам в идентичной области максимальной единицы кодирования и может быть независимо определена в различных областях. Аналогично кодированная глубина в текущей области может быть независимо определена из кодированной глубины в другой области.

[0055] Максимальная глубина согласно примерному варианту осуществления является индексом, связанным с числом разбиений от максимальной единицы кодирования до минимальной единицы кодирования. Первая максимальная глубина согласно примерному варианту осуществления может обозначать общее число разбиений от максимальной единицы кодирования до минимальной единицы кодирования. Вторая максимальная глубина согласно примерному варианту осуществления может обозначать общее число уровней глубины от максимальной единицы кодирования до минимальной единицы кодирования. Например, когда глубина максимальной единицы кодирования равна 0, глубина единицы кодирования, на которую максимальная единица кодирования разбивается один раз, может задаваться равной 1, а глубина единицы кодирования, на которую максимальная единица кодирования разбивается два раза, может задаваться равной 2. Здесь, если минимальная единица кодирования является единицей кодирования, на которую максимальная единица кодирования разбивается четыре раза, имеется 5 уровней глубины глубин 0, 1, 2, 3 и 4, и тем самым первая максимальная глубина может задаваться равной 4, а вторая максимальная глубина может задаваться равной 5.

[0056] Прогнозирующее кодирование и преобразование может выполняться согласно максимальной единице кодирования. Прогнозирующее кодирование и преобразование также выполняются на основе более глубоких единиц кодирования согласно глубине, равной, или глубинам, меньшим максимальной глубины, согласно максимальной единице кодирования. Преобразование может выполняться согласно способу ортогонального преобразования или целочисленного преобразования.

[0057] Поскольку число более глубоких единиц кодирования увеличивается каждый раз, когда максимальная единица кодирования разбивается согласно глубинам, кодирование, включающее в себя прогнозирующее кодирование и преобразование, выполняется для всех более глубоких единиц кодирования, формируемых по мере того, как глубина увеличивается. Для удобства описания прогнозирующее кодирование и преобразование далее описываются на основе единицы кодирования текущей глубины в максимальной единице кодирования.

[0058] Устройство 100 может переменно выбирать размер или форму единицы данных для кодирования данных изображений. Чтобы кодировать данные изображений, выполняются такие операции, как прогнозирующее кодирование, преобразование и энтропийное кодирование, и в это время идентичная единица данных может использоваться для всех операций, или различные единицы данных могут использоваться для каждой операции.

[0059] Например, устройство 100 может выбирать не только единицу кодирования для кодирования данных изображений, но также и единицу данных, отличающуюся от единицы кодирования, с тем чтобы выполнять прогнозирующее кодирование для данных изображений в единице кодирования.

[0060] Чтобы выполнять прогнозирующее кодирование в максимальной единице кодирования, прогнозирующее кодирование может выполняться на основе единицы кодирования, соответствующей кодированной глубине, т.е. на основе единицы кодирования, которая больше не разбивается на единицы кодирования, соответствующие нижней глубине. В дальнейшем в этом документе единица кодирования, которая больше не разбивается и становится базисной единицей для прогнозирующего кодирования, далее упоминается как "единица прогнозирования". Сегмент, полученный посредством разбиения единицы прогнозирования, может включать в себя единицу данных, полученную посредством разбиения, по меньшей мере, одной из высоты и ширины единицы прогнозирования.

[0061] Например, когда единица кодирования в 2N×2N (где N является положительным целым числом) больше не разбивается и становится единицей прогнозирования в 2N×2N, размер сегмента может составлять 2N×2N, 2N×N, N×2N или N×N. Примеры типа сегмента включают в себя симметричные сегменты, которые получаются посредством симметричного разбиения высоты или ширины единицы прогнозирования, сегменты, полученные посредством асимметричного разбиения высоты или ширины единицы прогнозирования, к примеру, 1:n или n:1, сегменты, которые получаются посредством геометрического разбиения единицы прогнозирования, и сегменты, имеющие произвольные формы.

[0062] Режим прогнозирования единицы прогнозирования может быть, по меньшей мере, одним из внутреннего режима, взаимного режима и режима пропуска. Например, внутренний режим или взаимный режим могут выполняться для сегмента в 2N×2N, 2N×N, N×2N или N×N. Кроме того, режим пропуска может выполняться только для сегмента в 2N×2N. Кодирование независимо выполняется для одной единицы прогнозирования в единице кодирования, тем самым выбирая режим прогнозирования, имеющий наименьшую ошибку кодирования.

[0063] Устройство 100 также может выполнять преобразование для данных изображений в единице кодирования на основе не только для единицы кодирования для кодирования данных изображений, но также и на основе единицы данных, которая отличается от единицы кодирования.

[0064] Чтобы выполнять преобразование в единице кодирования, преобразование может выполняться на основе единицы данных, имеющей размер, меньший или равный единице кодирования. Например, единица данных для преобразования может включать в себя единицу данных для внутреннего режима и единицу данных для взаимного режима.

[0065] Единица данных, используемая в качестве базиса преобразования, далее упоминается как "единица преобразования". Глубина преобразования, указывающая число разбиений, чтобы достигать единицы преобразования посредством разбиения высоты и ширины единицы кодирования, также может задаваться в единице преобразования. Например, в текущей единице кодирования в 2N×2N глубина преобразования может составлять 0, когда размер единицы преобразования также составляет 2N×2N, может составлять 1, когда каждая из высоты и ширины текущей единицы кодирования разбивается на две равные части, полностью разбивается на 4¹ единицу преобразования, и размер единицы преобразования тем самым составляет N×N, и может составлять 2, когда каждая из высоты и ширины текущей единицы кодирования разбивается на четыре равные части, полностью разбивается на 4² единицы преобразования, и размер единицы преобразования тем самым составляет N/2×N/2. Например, единица преобразования может задаваться согласно иерархической древовидной структуре, в которой единица преобразования верхней глубины преобразования разбивается на четыре единицы преобразования с более низкой глубиной преобразования согласно иерархическим характеристикам глубины преобразования.

[0066] Аналогично единице кодирования единица преобразования в единице кодирования может рекурсивно разбиваться на области меньших размеров, так что единица преобразования может быть определена независимо в единицах областей. Таким образом, остаточные данные в единице кодирования могут быть разделены согласно преобразованию, имеющему древовидную структуру согласно глубинам преобразования.

[0067] Информация кодирования согласно единицам кодирования, соответствующим кодированной глубине, требует не только информацию относительно кодированной глубины, но также и информацию, связанную с прогнозирующим кодированием и преобразованием. Соответственно модуль 120 определения единиц кодирования не только определяет кодированную глубину, имеющую наименьшую ошибку кодирования, но также и определяет тип сегмента в единице прогнозирования, режим прогнозирования согласно единицам прогнозирования и размер единицы преобразования для преобразования.

[0068] Ниже подробно описываются единицы кодирования согласно древовидной структуре в максимальной единице кодирования и способ определения сегмента согласно примерным вариантам осуществления со ссылкой на фиг.3-12.

[0069] Модуль 120 определения единиц кодирования может измерять ошибку кодирования более глубоких единиц кодирования согласно глубинам посредством использования оптимизации искажения в зависимости от скорости передачи на основе множителей Лагранжа.

[0070] Модуль 130 вывода выводит данные изображений максимальной единицы кодирования, которая кодируется на основе, по меньшей мере, одной кодированной глубины, определенной посредством модуля 120 определения единиц кодирования, и информации относительно режима кодирования согласно кодированной глубине в потоках битов.

[0071] Кодированные данные изображений могут быть получены посредством кодирования остаточных данных изображения.

[0072] Информация относительно режима кодирования согласно кодированной глубине может включать в себя информацию относительно кодированной глубины, относительно типа сегмента в единице прогнозирования, режима прогнозирования и размера единицы преобразования.

[0073] Информация относительно кодированной глубины может быть задана посредством использования информации разбиения согласно глубинам, которая указывает, выполняется или нет кодирование для единиц кодирования нижней глубины вместо текущей глубины. Если текущая глубина текущей единицы кодирования является кодированной глубиной, данные изображений в текущей единице кодирования кодируются и выводятся, и тем самым информация разбиения может быть задана так, чтобы не разбивать текущую единицу кодирования до нижней глубины. Альтернативно если текущая глубина текущей единицы кодирования не является кодированной глубиной, кодирование выполняется для единицы кодирования нижней глубины, и тем самым информация разбиения может быть задана так, чтобы разбивать текущую единицу кодирования, чтобы получать единицы кодирования нижней глубины.

[0074] Если текущая глубина не является кодированной глубиной, кодирование выполняется для единицы кодирования, которая разбивается на единицу кодирования нижней глубины. Поскольку, по меньшей мере, одна единица кодирования нижней глубины существует в одной единице кодирования текущей глубины, кодирование многократно выполняется для каждой единицы кодирования нижней глубины, и тем самым кодирование может быть рекурсивно выполнено для единиц кодирования, имеющих идентичную глубину.

[0075] Поскольку единицы кодирования, имеющие древовидную структуру, определяются для одной максимальной единицы кодирования, и информация, по меньшей мере, относительно одного режима кодирования определяется для единицы кодирования кодированной глубины, информация, по меньшей мере, относительно одного режима кодирования может быть определена для одной максимальной единицы кодирования. Кроме того, кодированная глубина данных изображений максимальной единицы кодирования может отличаться согласно местоположениям, поскольку данные изображений иерархически разбиваются согласно глубинам, и тем самым информация относительно кодированной глубины и режима кодирования может задаваться для данных изображений.

[0076] Соответственно модуль 130 вывода может назначать информацию кодирования относительно соответствующей кодированной глубины и режима кодирования, по меньшей мере, одной из единицы кодирования, единицы прогнозирования и минимальной единицы, включенной в максимальную единицу кодирования.

[0077] Минимальная единица согласно примерному варианту осуществления является прямоугольной единицей данных, полученной посредством разбиения минимальной единицы кодирования, составляющей самую нижнюю глубину, на 4. Альтернативно минимальная единица может быть максимальной прямоугольной е