Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений

Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений и устройство кодирования и декодирования изображений

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

[0001] Изобретение относится к способам кодирования изображений для кодирования изображения в расчете на блок и к способам декодирования изображений для декодирования изображения в расчете на блок.

УРОВЕНЬ ТЕХНИКИ

[0002] Непатентный документ (NPL) 1 раскрывает технологию, связанную со способом кодирования изображений для кодирования изображения (включающего в себя движущееся изображение) в расчете на блок и со способом декодирования изображений для декодирования изображения в расчете на блок.

СПИСОК ССЫЛОК

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] NPL 1. ISO/IEC 14496-10 "MPEG-4 Part 10 Advanced Video Coding"

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0004] Тем не менее, некоторые традиционные способы кодирования изображений и способы декодирования изображений включают в себя неэффективные процессы.

[0005] Таким образом, настоящее изобретение предоставляет способ кодирования изображений для эффективного кодирования изображения и способ декодирования изображений для эффективного декодирования изображения.

РЕШЕНИЕ ЗАДАЧИ

[0006] Способ кодирования изображений для кодирования изображения в расчете на единицу кодирования согласно одному варианту осуществления настоящего изобретения включает в себя: применение преобразования частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и кодирование данных яркости и данных цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0007] Эти общие и конкретные аспекты могут быть реализованы с использованием системы, устройства, интегральной схемы, компьютерной программы или невременного считываемого компьютером носителя записи, такого как CD-ROM, либо любой комбинации систем, устройств, способов, интегральных схем, компьютерных программ или считываемых компьютером носителей записи.

ПРЕИМУЩЕСТВА ИЗОБРЕТЕНИЯ

[0008] Способ кодирования изображений и способ декодирования изображений согласно настоящему изобретению предоставляют способ для эффективного кодирования или декодирования изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг. 1 иллюстрирует традиционный поток битов.

Фиг. 2 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования изображений согласно первому варианту осуществления.

Фиг. 3 иллюстрирует поток битов согласно первому варианту осуществления.

Фиг. 4 является блок-схемой последовательности операций способа, иллюстрирующей операцию кодирования согласно первому варианту осуществления.

Фиг. 5 иллюстрирует поток битов согласно модификации первого варианта осуществления.

Фиг. 6 является блок-схемой последовательности операций способа, иллюстрирующей операцию кодирования согласно модификации первого варианта осуществления.

Фиг. 7 является блок-схемой, иллюстрирующей конфигурацию устройства кодирования изображений согласно второму варианту осуществления.

Фиг. 8 иллюстрирует поток битов согласно второму варианту осуществления.

Фиг. 9 является блок-схемой последовательности операций способа, иллюстрирующей операцию кодирования согласно второму варианту осуществления.

Фиг. 10 иллюстрирует разделение и выделение обработки для нескольких единиц вычисления согласно второму варианту осуществления.

Фиг. 11 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования изображений согласно третьему варианту осуществления.

Фиг. 12 является блок-схемой последовательности операций способа, иллюстрирующей операцию декодирования согласно третьему варианту осуществления.

Фиг. 13 является блок-схемой, иллюстрирующей конфигурацию устройства декодирования изображений согласно четвертому варианту осуществления.

Фиг. 14 является блок-схемой последовательности операций способа, иллюстрирующей операцию декодирования согласно четвертому варианту осуществления.

Фиг. 15A является блок-схемой, иллюстрирующей конфигурацию устройства кодирования изображений согласно пятому варианту осуществления.

Фиг. 15B является блок-схемой последовательности операций способа, иллюстрирующей операцию кодирования согласно пятому варианту осуществления.

Фиг. 16A является блок-схемой, иллюстрирующей конфигурацию устройства декодирования изображений согласно пятому варианту осуществления.

Фиг. 16B является блок-схемой последовательности операций способа, иллюстрирующей операцию декодирования согласно пятому варианту осуществления.

Фиг. 17 показывает общую конфигурацию системы предоставления контента для реализации услуг распространения контента.

Фиг. 18 показывает общую конфигурацию цифровой широковещательной системы.

Фиг. 19 является блок-схемой, иллюстрирующей пример конфигурации телевизионного приемника.

Фиг. 20 показывает блок-схему, иллюстрирующую пример конфигурации модуля воспроизведения/записи информации, который считывает и записывает информацию с и на носитель записи, который является оптическим диском.

Фиг. 21 показывает пример конфигурации носителя записи, который является оптическим диском.

Фиг. 22A показывает пример сотового телефона.

Фиг. 22B является блок-схемой, показывающей пример конфигурации сотового телефона.

Фиг. 23 показывает структуру мультиплексированных данных.

Фиг. 24 показывает то, как мультиплексировать каждый поток в мультиплексированных данных.

Фиг. 25 подробнее показывает то, как сохранять видеопоток в потоке PES-пакетов.

Фиг. 26 показывает структуру TS-пакетов и исходных пакетов в мультиплексированных данных.

Фиг. 27 показывает структуру данных PMT.

Фиг. 28 показывает внутреннюю структуру информации мультиплексированных данных.

Фиг. 29 показывает внутреннюю структуру информации атрибутов потока.

Фиг. 30 показывает этапы для идентификации видеоданных.

Фиг. 31 показывает пример конфигурации интегральной схемы для реализации способа кодирования движущихся изображений и способа декодирования движущихся изображений согласно каждому из вариантов осуществления.

Фиг. 32 показывает конфигурацию для переключения между частотами возбуждения.

Фиг. 33 показывает этапы для идентификации видеоданных и переключения между частотами возбуждения.

Фиг. 34 показывает пример таблицы поиска, в которой стандарты видеоданных ассоциированы с частотами возбуждения.

Фиг. 35A является схемой, показывающей пример конфигурации для совместного использования модуля процессора сигналов.

Фиг. 35B является схемой, показывающей другой пример конфигурации для совместного использования модуля процессора сигналов.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0010] ЛЕЖАЩИЕ В ОСНОВЕ ЗНАНИЯ, ФОРМИРУЮЩИЕ БАЗИС НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Относительно технологии, связанной с устройством кодирования изображений для кодирования изображения в расчете на блок и устройством декодирования изображений для декодирования изображения в расчете на блок, раскрытой в разделе "Уровень техники", авторы изобретения выявили следующую проблему.

[0011] В последние годы наблюдается быстрое развитие технологий на основе цифрового видеооборудования. Способность сжимать видеосигнал (множество изображений, размещаемых во временных рядах), вводимый из видеокамеры или тюнера телевизионного приемника, и сохранять сжатый сигнал на записываемом носителе, таком как DVD или жесткий диск, стала общепринятой.

[0012] Когда кодируется видеосигнал, данные изображений, в общем, демультиплексируются в информацию яркости (Y), первую информацию цветности (U) и вторую информацию цветности (V). Преобразование частоты применяется к каждой из них, и полученное в качестве результата значение коэффициента кодируется с использованием технологии кодирования, такой как кодирование с переменной длиной слова или арифметическое кодирование.

[0013] Если конкретнее, одно изображение сегментируется на единицы кодирования (в дальнейшем называемые CU), CU дополнительно сегментируется на единицы преобразования (в дальнейшем называемые TU), после чего преобразование частоты применяется к каждой из Y, U и V в TU. Поток битов затем формируется посредством комбинирования результатов кодирования Y, U и V. Кроме того, при декодировании значение коэффициента каждой из Y, U и V декодируется из потока битов, и информация изображений для каждой из Y, U и V получается из значений коэффициентов посредством обратного преобразования.

[0014] Следует отметить, что CU является единицей данных для кодирования изображения, которая соответствует макроблоку согласно стандартам кодирования видео H.264/AVC и MPEG-4 AVC (см. NPL 1). CU включается в изображение или в срез в изображении. Наибольшая единица кодирования (в дальнейшем называемая LCU) является квадратом предварительно определенного фиксированного размера. CU является квадратом, меньшим предварительно определенного фиксированного размера. Две CU в идентичном изображении или в идентичном срезе могут быть квадратами различных размеров.

[0015] Например, каждый из четырех блоков, заданных посредством сегментирования квадрата предварительно определенного фиксированного размера в изображении или срезе на четыре части, может обозначаться как CU. Кроме того, из множества иерархических блоков, заданных посредством сегментирования квадрата предварительно определенного фиксированного размера на четыре части на нескольких стадиях, наименьший иерархический блок может обозначаться как CU. Когда квадрат предварительно определенного фиксированного размера не сегментируется на четыре части, LCU может обозначаться как CU. Изображение кодируется в расчете на CU, и поток битов формируется в соответствии с вышеописанными обозначениями.

[0016] В традиционном примере, показанном на фиг. 1, для каждой CU каждая из Y, U и V размещаются в последовательности, и формируется поток битов. На фиг. 1, Yn является Y-информацией для TUn, Un является U-информацией для TUn, и Vn является V-информацией для TUn. Кроме того, фиг. 1 является примером формата 4:2:0, что означает то, что число пикселей в U и V составляет одну четверть от числа пикселей Y.

[0017] Тем не менее, в традиционной структуре потока битов, поскольку потоки битов U и V не могут быть выведены до тех пор, пока каждый Y в CU не будет кодирован и выведен в потоке битов, даже если ситуация обеспечивает возможность вывода потока битов U или V перед частью Y в CU, это невозможно выполнять. Другими словами, требуется буферизация. Используя (C) на фиг. 1 для пояснения, поток битов для U0 не может быть выведен до тех пор, пока поток битов для Y9 не будет выведен, требуя размещение информации в отношении U0 в буферном запоминающем устройстве или регистре. По этой причине возникает проблема в том, что требуется большее буферное запоминающее устройство или регистр.

[0018] Кроме того, при декодировании также, в то время как видео не может быть выведено до тех пор, пока Y, U и V не будут декодированы, U и V не могут быть декодированы до тех пор, пока каждая Y в CU не будет декодирована. Это означает то, что необходима буферизация результата декодирования Y. С использованием (C) на фиг. 1 для пояснения, блок T0 не может быть выведен в видео до тех пор, пока V0 не будет декодирован, требуя размещения Y0-Y9 и U0-U9 в буферном запоминающем устройстве или регистре.

[0019] Чтобы разрешать вышеописанную проблему, способ кодирования изображений для кодирования изображения в расчете на единицу кодирования согласно одному варианту осуществления настоящего изобретения включает в себя: применение преобразования частоты к данным яркости и данным цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования; и кодирование данных яркости и данных цветности, к которым применено преобразование частоты, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0020] Вследствие этого потоки битов U и V могут быть выведены даже до того, как выведены потоки битов для каждой из Y в CU, в силу этого исключая необходимость буферизовать U и V и предоставляя возможность использования буферного запоминающего устройства или регистра меньшего объема.

[0021] Например, каждый из предварительно определенных блоков может соответствовать единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру, и при кодировании, данные яркости и данные цветности могут быть кодированы, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0022] Вследствие этого Y, U и V размещаются в потоке битов в расчете на надлежащую единицу данных, приводя к повышенной эффективности обработки.

[0023] Кроме того, например, при применении: преобразование частоты может применяться к данным яркости в расчете на единицу преобразования; когда общее число пикселей данных цветности и общее число пикселей данных яркости равны, преобразование частоты может применяться к данным цветности в расчете на единицу преобразования; и когда общее число пикселей данных цветности меньше общего числа пикселей данных яркости, преобразование частоты может применяться к данным цветности в расчете на предварительно определенный блок.

[0024] Вследствие этого преобразование частоты применяется в расчете на единицу данных к Y, U и V, причем единица данных является единицей данных, подходящей для числа пикселей. Как результат, повышается эффективность обработки.

[0025] Кроме того, например, при применении, из числа данных цветности единиц преобразования в единице кодирования, могут быть комбинированы данные цветности единиц преобразования в блоке размера, который меньше или равен предварительно определенному размеру, и преобразование частоты может применяться к комбинированным данным цветности в одном преобразовании частоты.

[0026] Вследствие этого можно не допускать становления слишком небольшой единицы данных для преобразования. Как результат, необязательно предоставлять небольшую схему преобразования. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V была меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0027] Кроме того, например, при применении, когда размер одной из единиц преобразования составляет предварительно определенный наименьший размер, и в единице преобразования общее число пикселей данных цветности меньше общего числа пикселей данных яркости, из числа данных цветности единиц преобразования в единице кодирования, могут быть комбинированы данные цветности единиц преобразования в блоке, включающем в себя единицу преобразования, и преобразование частоты может применяться к комбинированным данным цветности в одном преобразовании частоты.

[0028] Вследствие этого, даже когда TU-размер является наименьшим TU-размером, и число пикселей в U или V меньше числа пикселей в Y, как и в случае формата 4:2:0 или 4:2:2, ни U, ни V не меньше наименьшего TU-размера. Как результат, необязательно предоставлять схему преобразования, которая меньше наименьшей TU. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V была меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0029] Кроме того, например, при кодировании, данные яркости и данные цветности единиц преобразования в одном из предварительно определенных блоков могут быть кодированы, чтобы формировать поток битов, в котором в предварительно определенном блоке, данные цветности всех единиц преобразования идут после данных яркости всех единиц преобразования.

[0030] Вследствие этого U и V идут после Y, и эта последовательность сохраняется. Как результат, необязательно учитывать переключение этой последовательности. Следовательно, можно уменьшать сложность обработки изображений.

[0031] Кроме того, например, каждый из предварительно определенных блоков может соответствовать единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру при применении, преобразование частоты может применяться к данным яркости и данным цветности в расчете на единицу преобразования, и при кодировании, данные яркости и данные цветности могут быть кодированы, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок.

[0032] Вследствие этого можно комбинировать и обрабатывать Y, U и V в соответствующие несколько блоков и вводить входные изображения практически в одном пакете для каждой из Y, U и V, за счет этого повышая эффективность передачи данных. Кроме того, изменение числа пикселей в YUV-наборе может подавляться, и скорость работы единиц вычисления может повышаться при параллельной обработке единиц YUV-данных с несколькими единицами вычисления.

[0033] Кроме того, например, каждый из предварительно определенных блоков может соответствовать различной из единиц преобразования при применении, преобразование частоты может применяться к данным яркости и данным цветности в расчете на единицу преобразования, и при кодировании, данные яркости и данные цветности могут быть кодированы, чтобы формировать поток битов, в котором данные яркости и данные цветности группируются в расчете на единицу преобразования.

[0034] Вследствие этого Y, U и V размещаются в потоке битов в простых и надлежащих единицах данных. Как результат, повышается эффективность обработки.

[0035] Кроме того, способ декодирования изображений для декодирования изображения в расчете на единицу кодирования согласно одному варианту осуществления настоящего изобретения может включать в себя: декодирование данных яркости и данных цветности единиц преобразования в единице кодирования, включающей в себя предварительно определенные блоки, каждый соответствует одной или более из единиц преобразования, причем декодирование включает в себя получение потока битов, и данные яркости и данные цветности представляют собой данные, к которым применено преобразование частоты, и которые кодированы и группированы в потоке битов в расчете на предварительно определенный блок; и применение обратного преобразования частоты к декодированным данным яркости и декодированным данным цветности.

[0036] Вследствие этого U и V могут быть декодированы даже до того, как декодирована каждая Y в CU, в силу этого исключая необходимость буферизовать результат декодирования U и V и предоставляя возможность использования буферного запоминающего устройства или регистра меньшего объема.

[0037] Например, каждый из предварительно определенных блоков может соответствовать единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру, и при декодировании может быть получен поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок, и данные яркости и данные цветности декодируются.

[0038] Вследствие этого используется поток битов, в котором Y, U и V размещаются в надлежащих единицах данных. Как результат, повышается эффективность обработки.

[0039] Кроме того, например, при применении: обратное преобразование частоты может применяться к данным яркости в расчете на единицу преобразования; когда общее число пикселей данных цветности и общее число пикселей данных яркости равны, обратное преобразование частоты может применяться к данным цветности в расчете на единицу преобразования; и когда общее число пикселей данных цветности меньше общего числа пикселей данных яркости, обратное преобразование частоты может применяться к данным цветности в расчете на предварительно определенный блок.

[0040] Вследствие этого обратное преобразование частоты применяется в расчете на единицу данных в Y, U и V, причем единица данных является единицей данных, подходящей для числа пикселей. Как результат, повышается эффективность обработки.

[0041] Кроме того, например, при применении, обратное преобразование частоты может быть применено, из числа данных цветности единиц преобразования в единице кодирования, к данным цветности единиц преобразования в блоке размера, который меньше или равен предварительно определенному размеру в одном обратном преобразовании частоты.

[0042] Вследствие этого может исключаться сильное уменьшение единицы данных для преобразования. Как результат, необязательно предоставлять небольшую схему обратного преобразования. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V был меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0043] Кроме того, например, при применении, когда размер одной из единиц преобразования составляет предварительно определенный наименьший размер, и в единице преобразования общее число пикселей данных цветности меньше общего числа пикселей данных яркости, обратное преобразование частоты может применяться, из числа данных цветности единиц преобразования в единице кодирования, к данным цветности единиц преобразования в блоке, включающем в себя единицу преобразования, в одном обратном преобразовании частоты.

[0044] Вследствие этого, даже когда TU-размер является наименьшим TU-размером, и число пикселей в U или V меньше числа пикселей в Y, как и в случае формата 4:2:0 или 4:2:2, ни U, ни V не меньше наименьшего TU-размера. Как результат, необязательно предоставлять схему обратного преобразования, которая меньше наименьшей TU. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V была меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0045] Кроме того, например, при декодировании, может быть получен поток битов, в котором в одном из предварительно определенных блоков, данные цветности всех единиц преобразования идут после данных яркости всех единиц преобразования, и данные яркости и данные цветности единиц преобразования в предварительно определенном блоке могут быть декодированы.

[0046] Вследствие этого U и V идут после Y, и эта последовательность сохраняется. Как результат, необязательно учитывать переключение этой последовательности. Следовательно, можно уменьшать сложность обработки изображений.

[0047] Например, каждый из предварительно определенных блоков может соответствовать единицам преобразования в блоке предварительно определенного размера или единице преобразования размера, превышающего или равного предварительно определенному размеру, при декодировании может быть получен поток битов, в котором данные яркости и данные цветности группируются в расчете на предварительно определенный блок, и данные яркости и данные цветности декодируются, и при применении, обратное преобразование частоты может применяться к данным яркости и данным цветности в расчете на единицу преобразования.

[0048] Вследствие этого можно комбинировать и обрабатывать Y, U и V в соответствующие несколько блоков и выводить выходные изображения практически в одном пакете для каждой из Y, U и V, за счет этого повышая эффективность передачи данных. Кроме того, изменение числа пикселей в YUV-наборе может подавляться, и скорость работы единиц вычисления может повышаться при параллельной обработке единиц YUV-данных с несколькими единицами вычисления.

[0049] Кроме того, например, каждый из предварительно определенных блоков может соответствовать различной из единиц преобразования, при декодировании может быть получен поток битов, в котором данные яркости и данные цветности группируются в расчете на единицу преобразования, и данные яркости и данные цветности могут быть декодированы, и при применении, обратное преобразование частоты может применяться к данным яркости и данным цветности в расчете на единицу преобразования.

[0050] Вследствие этого используется поток битов, в котором Y, U и V размещаются в простых и надлежащих единицах данных. Как результат, повышается эффективность обработки.

[0051] Следует отметить, что эти общие и конкретные аспекты могут быть реализованы с использованием системы, устройства, интегральной схемы, компьютерной программы или энергонезависимого считываемого компьютером носителя записи, такого как CD-ROM, либо любой комбинации систем, устройств, интегральных схем способов, компьютерных программ или носителей записи.

[0052] В дальнейшем в этом документе, определенные примерные варианты осуществления подробнее описываются со ссылкой на прилагаемые чертежи. Каждый из примерных вариантов осуществления, описанных ниже, показывает общий или конкретный пример. Числовые значения, формы, материалы, структурные элементы, компоновка и соединение структурных элементов, этапы, порядок обработки этапов и т.д., показанные в следующих примерных вариантах осуществления, являются просто примерами, и, следовательно, не ограничивают настоящее изобретение. Следовательно, из структурных элементов в следующих примерных вариантах осуществления структурные элементы, не изложенные в любом из независимых пунктов формулы изобретения, описываются как произвольные структурные элементы.

[0053] ВАРИАНТ 1 ОСУЩЕСТВЛЕНИЯ

КОНФИГУРАЦИЯ

Фиг. 2 иллюстрирует конфигурацию устройства кодирования изображений согласно первому варианту осуществления. Устройство кодирования изображений сегментирует входные изображения на CU и TU, выполняет процесс преобразования и кодирует Y, U и V, затем выводит поток битов для них. Устройство кодирования изображений включает в себя модуль 101 сегментирования на CU, модуль 102 сегментирования на TU, модуль 103 YUV-демультиплексирования, модуль 104 комбинирования смежных блоков, модуль 105 Y-преобразования, модуль 106 U-преобразования, модуль 107 V-преобразования, кодер 108 и модуль 109 YUV-переключения.

[0054] Модуль 101 сегментирования на CU вводит изображение и сегментирует изображение согласно указанному CU-размеру. Модуль 102 сегментирования на TU сегментирует CU согласно указанному TU-размеру. Модуль 103 YUV-демультиплексирования демультиплексирует TU в Y-, U- и V-компоненты. В этом варианте осуществления формат изображений представляет собой 4:2:0. В этом формате размер U-компоненты и V-компоненты составляет одну четверть от размера Y-компоненты.

[0055] Модуль 104 комбинирования смежных блоков комбинирует смежные U-блоки и комбинирует смежные V-блоки согласно TU-размеру и наименьшему TU-размеру. Модуль 105 Y-преобразования, модуль 106 U-преобразования и модуль 107 V-преобразования выполняют процесс преобразования в отношении Y, U и V, соответственно. Кодер 108 кодирует преобразованные данные и выводит поток битов преобразованных данных. Модуль 109 YUV-переключения переключает ввод в кодер 108 согласно TU-размеру.

[0056] Фиг. 3 показывает пример потока битов. Когда CU-размер и TU-размер являются идентичными, как показано в (A), это является идентичным традиционному примеру, показанному на фиг. 1, но когда TU-размер меньше CU, как показано в (B), это отличается от традиционного примера. В этом случае, Y1, U1 и V1 в TU1 кодируются после Y0, U0 и V0 в TU0. Кроме того, когда TU-размер является наименьшим TU-размером, как TU0 в (C), формат представляет собой 4:2:0. В связи с этим, U-блоки и V-блоки меньше наименьшего TU-размера. В этом случае, соответствующие U-блоки и V-блоки в TU0, TU1, TU2 и TU3 комбинируются, и выполняется преобразование и кодирование в отношении комбинированных блоков, посредством чего формируется поток битов.

[0057] РАБОТА

Далее описывается последовательность операций кодирования со ссылкой на фиг. 4. Во-первых, модуль 101 сегментирования на CU сегментирует входное изображение согласно указанному CU-размеру, формирует CU и выводит CU в модуль 102 сегментирования на TU (этап S101). Модуль 102 сегментирования на TU сегментирует CU согласно указанному TU-размеру и выводит результат в модуль 103 YUV-демультиплексирования (этап S102). Следует отметить, что устройство кодирования изображений повторяет процессы CU (этап S102-S116) такое число раз, сколько присутствует CU в одном изображении, поскольку процессы выполняются в отношении всех CU в одном изображении.

[0058] Затем модуль 103 YUV-демультиплексирования демультиплексирует TU в Y-, U- и V-компонентах (этап S103). В этом варианте осуществления формат изображений представляет собой 4:2:0. В этом формате размер U-компоненты и V-компоненты составляет одну четверть от размера Y-компоненты. Демультиплексированные Y-компоненты выводятся в модуль 105 Y-преобразования, а U-компоненты и V-компоненты выводятся в модуль 104 комбинирования смежных блоков. Следует отметить, что устройство кодирования изображений повторяет TU-процессы (этап S103-S116) такое число раз, сколько присутствует TU в одной CU, поскольку процессы выполняются в отношении всех TU в одной CU.

[0059] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 105 Y-преобразования (этап S104). Модуль 105 Y-преобразования выполняет процесс преобразования в отношении Y и выводит преобразованный результат в кодер 108 (этап S105). Кодер 108 кодирует преобразованную Y и выводит поток битов кодированной Y (этап S106).

[0060] После этого модуль 104 комбинирования смежных блоков определяет то, комбинирован ли уже текущий U-блок, который должен быть преобразован и кодирован, с другим U-блоком (этап S107). Если U-блок уже комбинирован с другим U-блоком ("Да" на этапе S107), процессы для U-блока и V-блока (этап S108-S116) пропускаются. Если U-блок еще не комбинирован с другим U-блоком ("Нет" на этапе S107), выполняется следующий процесс (этап S108).

[0061] В частности, когда U-блок еще не комбинирован с другим U-блоком ("Нет" на этапе S107), модуль 104 комбинирования смежных блоков определяет то, меньше ли размер U в TU наименьшего TU-размера (этап S108). Если размер U меньше наименьшего TU-размера ("Да" на этапе S108), выполняется процесс комбинирования U-блоков (этап S109). Если размер U не меньше наименьшего TU-размера ("Нет" на этапе S108), модуль 104 комбинирования смежных блоков выводит текущий U-блок и текущий V-блок, которые должны быть преобразованы и кодированы, в модуль 106 U-преобразования и модуль 107 V-преобразования, соответственно. Затем выполняется процесс YUV-переключения (этап S111).

[0062] Если размер U меньше наименьшего TU-размера ("Да" на этапе S108), модуль 104 комбинирования смежных блоков комбинирует текущий U-блок, который должен быть преобразован и кодирован, с тремя U-блоками, которые располагаются справа, снизу и снизу справа от него, и формирует и выводит четырехблочный комбинированный U-блок в модуль 106 U-преобразования (этап S109). Модуль 104 комбинирования смежных блоков затем комбинирует текущий V-блок, который должен быть преобразован и кодирован, с тремя V-блоками, которые располагаются справа, снизу и снизу справа от него, и формирует и выводит четырехблочный комбинированный V-блок в модуль 107 V-преобразования (этап S110).

[0063] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 106 U-преобразования (этап S111). Модуль 106 U-преобразования выполняет процесс преобразования в отношении U и выводит преобразованный результат в кодер 108 (этап S112). Кодер 108 кодирует преобразованную U и выводит поток битов кодированной U (этап S113).

[0064] Затем модуль 109 YUV-переключения переключает ввод в кодер 108 на вывод модуля 107 V-преобразования (этап S114). Модуль 107 V-преобразования выполняет процесс преобразования в отношении V и выводит преобразованный результат в кодер 108 (этап S115). Кодер 108 кодирует преобразованную V и выводит поток битов кодированной V (этап S116).

[0065] РЕЗУЛЬТАТ

Согласно первому варианту осуществления, потоки битов U и V могут быть выведены даже до того, как выведены потоки битов для каждой из Y в CU, в силу этого исключая необходимость буферизовать U и V и предоставляя возможность использования буферного запоминающего устройства или регистра меньшего объема.

[0066] Кроме того, даже когда TU-размер является наименьшим TU-размером, и число пикселей в U или V меньше числа пикселей в Y, как и в случае формата 4:2:0 или 4:2:2, ни U, ни V не меньше наименьшего TU-размера. Как результат, необязательно предоставлять схему преобразования, которая меньше наименьшей TU. Кроме того, в отличие от случая, в котором Y должна быть задана больше наименьшего TU-размера в попытке не допускать, чтобы U или V был меньше наименьшей TU, при этой конфигурации, Y может быть задана как наименьший TU-размер, приводя к повышенной эффективности кодирования.

[0067] Следует отметить, что в первом варианте осуществления используется формат 4:2:0, но может быть использован 4:2:2, 4:4:4 или другой формат.

[0068] Кроме того, в первом варианте осуществления CU-размер и TU-размер вводятся извне. Тем не менее, может быть использован оптимальный размер, который вычисляется посредством вычисления эффективности кодирования размера нескольких или всех шаблонов внутри в устройстве.

[0069] Кроме того, в первом варианте осуществления комбинированные U- и комбинированные V-блоки размещаются непосредственно после потока битов для Y TU сверху слева в комбинированной TU, как показано на фиг. 3. Тем не менее, комбинированные U-блоки и комбинированные V-блоки могут быть размещены непосредственно после потока битов для Y TU снизу справа в комбинированной TU, как показано на фиг. 5. В этом случае, операция, показанная на фиг. 4, модифицируется, например, на операцию, показанную на фиг. 6.

[0070] В частности, как показано на фиг. 6, когда размер U в TU превышает или равен наименьшему TU-размеру ("Нет" на этапе S108), U- и V-блоки обрабатываются как есть (этап S111-S116).

[0071] Когда размер U в TU меньше наименьшего TU-размера ("Да" на этапе S108), и TU, которая должна быть обработана, является четвертой TU ("Да" на этапе S120), выполняются процесс комбинирования U-блоков (этап S109) и процесс комбинирования V-блоков (этап S110). Здесь четвертая TU соответствует четвертой TU, которая должна быть обработана, из четырех наименьших TU, к примеру, TU3 или TU9 на фиг. 5.

[0072] В процессе комбинирования U-блоков (этап S109) модуль 104 комбинирования смежных блоков комбинирует U-блок, который должен быть обработан, с тремя U-блоками, которые располагаются слева, сверху и сверху слева от него, и формирует четырехблочный комбинированный U-блок. Кроме того, в процессе комбинирования U-блоков (этап S110), модуль 104 комбинирования смежных блоков комбинирует V-блок, который должен быть обработан, с тремя V-блоками, которые располагаются слева, сверху и сверху слева от него, и формирует четырехблочный комбинированный V-блок. U- и V-блоки затем обрабатываются (этап S111-S116).

[0073] Когда размер U в TU меньше наименьшего TU-размера ("Да" на этапе S108), и TU, которая должна быть обработана, не является четвертой TU ("Нет" на этапе S120), обработка U- и V-блоков (этап S111-S116) пропускается. Другие операции являются идентичными операциям, показанным на фиг. 4. Таким образом, поток битов, показанный на фиг. 5, выводится в качестве результата модифицированной операции.

[0074] На фиг. 5, U и V идут после Y, и эта последовательность сохраняется. Как результат, необязательно учитывать переключение последовательности Y, U и V. Следовательно, можно уменьшать сложность обработки изображений. На фиг. 6, определяется то, является ли TU, которая должна быть обработана, четвертой TU, но может быть определено то, является ли TU, которая должна быть обработана, последней TU, которая должна быть комбинирована. Когда TU, которая должна быть обработана, является последней TU, которая должна быть комбинирована, могут быть выполнены процессы комбинирования (этап S109 и S110).

[0075] Кроме того, в первом варианте осуществления комбинируются четыре блока, но допустимо, если два блока комбинируются в формат 4:2:2. Например, могут быть комбинированы два блок