Устройство обработки изображений и способ обработки изображений

Устройство обработки изображений и способ обработки изображений

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображений и способу обработки изображений.

Уровень техники

H.264/AVC, один из стандартов схемы кодирования изображений, применяет фильтр удаления блочности к границе блока в объединениях блоков, каждый из которых содержит, например, 4×4 пикселей, что нужно для предотвращения ухудшения качества изображения из-за блочности изображения при его кодировании. Фильтр удаления блочности требует большого объема обработки и может требовать, например, до 50% всего объема обработки при декодировании изображений.

Стандартная работа для высокоэффективного видеокодирования (HEVC), системы кодирования изображений следующего поколения, предлагает применение фильтра удаления блочности в объединениях блоков, каждый из которых содержит 8×8 пикселей или более в соответствии с JCTVC-A119 (см. документ 1, который не относится к патентной литературе 1). Технология, предложенная в JCTVC-A119, увеличивает размер блока как минимального элемента для применения фильтра удаления блочности с целью параллельного осуществления обработок фильтрации для границ блока в том же направлении в одном макроблоке.

Список цитируемой литературы Непатентная литература

Непатентная литература: К Угур (Nokia), К.Р. Андерссон (LM Ericsson), A. Фалдсет (Tandberg Telecom), "JCTVC-A119: предложение по технологии видеокодирования, Tandberg, Nokia и Ericsson", документы первого собрания Объединенной команды по видеокодированию (JCT-VC), Дрезден, Германия, 15-23 апреля, 2010. K. Ugur (Nokia), K.R. Andersson (LM Ericsson), A. Fuldseth (Tandberg Telecom), "JCTVC-A119: Video coding technology proposal by Tandberg, Nokia, and Ericsson". Documents of the first meeting of the Joint Collaborative Team on Video Coding (JCT-VC), Dresden, Germany, 15-23 April, 2010.

Раскрытие изобретения

Техническая задача

Тем не менее, технология, предложенная в JCTVC-A119, не разрешает проблему зависимости между обработкой вертикальных границ блока и обработкой горизонтальных границ блока. До сих пор трудно параллельно осуществить обработку границ блока в различных направлениях в одном макроблоке (или одном кодируемом элементе) и осуществить параллельную обработку между макроблоками. Соответственно, описанная выше технология не может успешно решить проблемы задержки и уменьшить скорости обработки данных из-за большого объема обработки при применении фильтра удаления блочности.

Технология, соответствующая этому изобретению, направлена на то, чтобы предоставить устройство обработки изображений и способ обработки изображений, которые способны обеспечить параллельную обработку при применении фильтра удаления блочности.

Решение задачи

В соответствии с вариантом осуществления настоящего изобретения предложено устройство обработки изображений, содержащее: секцию декодирования для декодирования изображения из закодированного потока, секцию определения для осуществления обработок определения, направленных на определение, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границе блока, в изображении, декодируемом секцией декодирования, секцию фильтрации для фильтрации удаления блочности к соседним блокам, для которых в секции определения определена необходимость фильтрации удаления блочности, и секцию управления для обеспечения выполнения секцией определения обработки обработок для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей.

Как правило, устройство обработки изображений может быть реализовано в виде устройства декодирования изображений для декодирования изображения.

Далее в соответствии с вариантом осуществления настоящего изобретения предложен способ обработки изображений, включающий в себя этапы, на которых: декодируют изображение из закодированного потока, выполняют обработку определения для определения, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границе блока, в декодируемом изображении, применяют фильтр удаления блочности к соседним блокам, для которых при обработке определения была определена необходимость применения фильтра удаления блочности, и управляют обработкой определения, для выполнения обработки определения для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей.

Далее в соответствии с вариантом осуществления настоящего изобретения предложено устройство обработки изображений, содержащее: секцию определения для выполнения обработки определения для определения, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границе блока, в изображении, декодируемом локально, при кодировании изображения, подлежащего кодированию; секцию фильтрации для фильтрации удаления блочности соседних блоков, для которых в секции определения определена необходимость фильтрации удаления блочности, секцию управления для обеспечения выполнения секцией определения обработки для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей, и секцию кодирования для кодирования изображения, подлежащего кодированию, с использованием изображения, прошедшего фильтрацию с помощью секции фильтрации.

Как правило, устройство обработки изображений может быть реализовано в виде устройства кодирования изображений для кодирования изображения.

В соответствии с некоторым вариантом осуществления настоящего изобретения предложен способ обработки изображений, включающий в себя этапы, на которых: выполняют обработку определения, направленную на определение, применять ли фильтр удаления блочности к соседним блокам, примыкающим к границе блока, в изображении, которое локально декодируют, когда кодируют изображение, подлежащее кодированию, применяют фильтр удаления блочности к соседним блокам, для которых, при обработке определения, была определена необходимость применения фильтрации удаления блочности, управляют процессами определения так, что выполняют обработку определения для вертикальной границы блока и горизонтальной границы блока с использованием пикселей соседних блоков восстанавливаемого изображения в качестве опорных пикселей, и кодируют изображение, подлежащее кодированию, с использованием изображения, прошедшего фильтрацию с помощью фильтра удаления блочности.

Полезные эффекты изобретения

Как описано выше, устройство обработки изображений и способ обработки изображений, соответствующие варианту осуществления настоящего изобретения, дополнительно улучшают параллельную обработку при использовании фильтра удаления блочности.

Краткое описание чертежей

Фиг.1 - вид, показывающий структурную схему одного примера структуры устройства кодирования изображений в соответствии с вариантом осуществления изобретения;

фиг.2 - вид, показывающий структурную схему одного примера структуры устройства декодирования изображений в соответствии с вариантом осуществления изобретения;

фиг.3 - пояснительный вид, показывающий один пример соседних пикселей вокруг границы;

фиг.4 - пояснительный вид, иллюстрирующий опорные пиксели при обработке определения необходимости фильтрации в соответствии с существующей технологией;

фиг.5 - пояснительный вид, показывающий пиксели, обновленные посредством обработки фильтрации;

фиг.6 - пояснительный вид, показывающий определение краев для описания варианта осуществления изобретения;

фиг.7 - пояснительный вид, иллюстрирующий параллельную обработку в соответствии с существующей технологией.

фиг.8 - первый пояснительный вид, иллюстрирующий зависимость между обработками, соответствующими существующей технологии;

фиг.9 - второй пояснительный вид, иллюстрирующий зависимость между обработками, соответствующими существующей технологии;

фиг.10 - пояснительный вид, иллюстрирующий последовательность обработок в соответствии с существующей технологией;

фиг.11 - первый пояснительный вид, иллюстрирующий опорные пиксели при обработке определения необходимости фильтрации в соответствии с первым демонстрационным примером;

фиг.12 - второй пояснительный вид, иллюстрирующий опорные пиксели при обработке определения необходимости фильтрации в соответствии с первым демонстрационным примером;

фиг.13 - пояснительный вид, показывающий первый пример последовательности операций обработки;

фиг.14 - пояснительный вид, показывающий второй пример последовательности операций обработки;

фиг.15 - структурная схема, иллюстрирующая подробную структуру фильтра удаления блочности в соответствии с первым демонстрационным примером;

фиг.16 - структурная схема, показывающая подробную структуру секции определения;

фиг.17 - пояснительный вид, показывающий соседние блоки вокруг границы среза;

фиг.18 - пояснительный вид, показывающий первый пример последовательности обработок, для каждого среза;

фиг.19 - пояснительный вид, показывающий второй пример последовательности обработок, для каждого среза;

фиг.20 - вид, показывающий блок-схему, иллюстрирующую первый пример последовательности операций обработки для фильтра удаления блочности в соответствии с вариантом осуществления изобретения;

фиг.21 - вид, показывающий блок-схему, иллюстрирующую второй пример последовательности операций обработки для фильтра удаления блочности в соответствии с вариантом осуществления изобретения;

фиг.22 - вид, показывающий блок-схему, иллюстрирующую последовательность операций обработок определения необходимости фильтрации в соответствии с существующей технологией;

фиг.23 - вид, показывающий структурную схему, иллюстрирующую подробную структуру фильтра удаления блочности, который соответствует второму демонстрационному примеру;

фиг.24 - пояснительный вид, иллюстрирующий первый и второй примеры технологии определения, предложенной во втором демонстрационном примере;

фиг.25 - пояснительный вид, иллюстрирующий третий и четвертый примеры технологии определения, предложенной во втором демонстрационном примере;

фиг.26 - пояснительный вид, иллюстрирующий пятый и шестой примеры технологии определения, предложенной во втором демонстрационном примере;

фиг.27 - пояснительный вид, показывающий последовательность обработки для каждого LCU;

фиг.28 - вид, показывающий блок-схему, иллюстрирующую последовательность обработки для каждого LCU;

фиг.29 - пояснительный вид, иллюстрирующий обзор третьего демонстрационного примера;

фиг.30 - вид, показывающий структурную схему, иллюстрирующую подробную структуру фильтра удаления блочности в соответствии с третьим демонстрационным примером;

фиг.31 - пояснительный вид, иллюстрирующий определение веса для взвешенного среднего;

фиг.32 - пояснительный вид, иллюстрирующий пример веса для взвешенного среднего;

фиг.33 - пояснительный вид, иллюстрирующий выходное значение пикселя из секции вычисления в соответствии с третьим демонстрационным примером;

фиг.34 - пояснительный вид, показывающий первый пример последовательности обработки для сравнения;

фиг.35 - пояснительный вид, показывающий первый пример последовательности обработки, предусмотренный в третьем демонстрационном примере;

фиг.36 - пояснительный вид, показывающий второй пример последовательности обработки для сравнения;

фиг.37 - пояснительный вид, показывающий второй пример последовательности обработки, предусмотренный в третьем демонстрационном примере;

фиг.38 - вид, показывающий блок-схему, иллюстрирующую первый пример последовательности обработки для фильтра удаления блочности в соответствии с третьим демонстрационным примером;

фиг.39 - вид, показывающий блок-схему, иллюстрирующую последовательность процесса вычисления значений пикселей, который показан на фиг.38;

фиг.40 - пояснительный вид, показывающий многопроекционный кодек;

фиг.41 - пояснительный вид, показывающий процесс кодирования изображений, соответствующий варианту осуществления изобретения, примененному в многопроекционном кодекс;

фиг.42 - пояснительный вид, показывающий процесс декодирования изображений, соответствующий варианту осуществления изобретения, примененному в многопроекционном ко деке;

фиг.43 - пояснительный вид, показывающий масштабируемый кодек;

фиг.44 - пояснительный вид, показывающий процесс кодирования изображений, соответствующий варианту осуществления изобретения, примененному в масштабируемом кодеке;

фиг.45 - пояснительный вид, показывающий процесс декодирования изображений, соответствующий варианту осуществления изобретения, примененному в масштабируемом кодеке;

фиг.46 - вид, показывающий схематическую структуру телевизионного устройства;

фиг.47 - вид, показывающий схематическую структуру устройства мобильного телефона;

фиг.48 - вид, показывающий схематическую структуру устройства записи/воспроизведения;

фиг.49 - вид, показывающий схематическую структуру устройства формирования изображений.

Осуществление изобретения

Далее со ссылками на приложенные чертежи будут подробно описаны предпочтительные варианты осуществления настоящего изобретения. Заметим, что в этом описании и на чертежах элементы, выполняющие по существу одинаковые функции и имеющие аналогичную структуру, обозначены одинаковыми ссылочными позициями и их повторное описание опущено.

Описание вариантов осуществления изобретения будет описано в следующем порядке.

1. Обзор устройства

1-1. Устройство кодирования изображений

1-2. Устройство декодирования изображений

2. Существующая технология

2-1. Базовая структура фильтра удаления блочности

2-2. Зависимость между процессами в соответствии с существующей технологией

3. Первый демонстрационный пример

3-1. Пример структуры фильтра удаления блочности

3-2. Последовательность обработки

4. Второй демонстрационный пример

4-1. Пример структуры фильтра удаления блочности 4-2. Последовательность обработки

4-3. Пример процесса для каждого LCU

5. Третий демонстрационный пример

5-1. Обзор

5-2. Пример структуры фильтра удаления блочности

5-3. Пример последовательности обработки

5-4. Последовательность обработки

6. Применение для различных кодеков

6-1. Многопроекционный кодек

6-2. Масштабируемый кодек

7. Примеры применений

8. Подведение итогов

1. Обзор устройства

Далее со ссылками на фиг.1 и 2 приведено общее описание устройства, в котором применима технология, предложенная в этом описании. Технология, предложенная в этом описании, применима, например, к устройству кодирования изображений и устройству декодирования изображений.

1-1. Устройство кодирования изображений

На фиг.1 показана структурная схема одного примера структуры устройства 10 кодирования изображений в соответствии с вариантом осуществления изобретения. Как показано на фиг.1, устройство 10 кодирования изображений содержит секцию 11 А/Ц (аналого-цифрового) преобразования, буфер 12 переупорядочивания, секцию 13 вычитания, секцию 14 ортогонального преобразования, секцию 15 квантования, секцию 16 кодирования без потерь, буфер 17 накопления, секцию 18 управления скоростью, секцию 21 обратного квантования, секцию 22 обратного ортогонального преобразования, секцию 23 сложения, фильтр 24а удаления блочности, память 25 кадра, переключатель 26, секцию 30 предсказания без компенсации движения, секцию 40 оценки движения и секцию 50 выбора режима.

В секции 11 А/Ц преобразования преобразуют входной сигнал изображения аналогового формата в данные изображения цифрового формата и подают набор данных цифрового изображения в буфер 12 переупорядочивания.

В буфере 12 переупорядочивания изменяют порядок изображений, содержащихся в наборе данных изображения, который поступил из секции 11 А/Ц преобразования. После переупорядочивания изображений в соответствии с группой изображений (GOP) структурой согласно процессу кодирования, в буфере 12 переупорядочивания выводят данные изображения, которые были переупорядочены, на секцию 13 вычитания, секцию 30 предсказания без компенсации движения и секцию 40 оценки движения.

Данные изображения, полученные из буфера 12 переупорядочивания, и предсказанные данные изображения, выбранные в секции 50 выбора режима, подают на секцию 13 вычитания. В секции 13 вычитания вычисляют данные предсказанной ошибки, которые являются разностью между данными изображения, полученными из буфера 12 переупорядочивания, и предсказанными данными изображения, полученными из секции 50 выбора режима, и выводят вычисленные данные предсказанной ошибки на секцию 14 ортогонального преобразования.

В секции 14 ортогонального преобразования осуществляют ортогональное преобразование для данных предсказанной ошибки, полученных от секции 13 вычитания. Ортогональное преобразование, которое осуществляют в секции 14 ортогонального преобразования, может быть, например, дискретным косинусным преобразованием (DCT) или преобразованием Карунена-Лоэва. В секции 14 ортогонального преобразования выводят данные коэффициентов преобразования, полученные в процессе ортогонального преобразования, в секцию 15 квантования.

Данные коэффициентов преобразования, полученные от секции 14 ортогонального преобразования, и сигнал управления скоростью от секции 18 управления скоростью, описанной ниже, подают на секцию 15 квантования. В секции 15 квантования осуществляют квантование данных коэффициентов преобразования и выводят данные коэффициентов преобразования, которые прошли квантование (здесь и далее называются квантованными данными), на секцию 16 кодирования без потерь и секцию 21 обратного квантования. Также в секции 15 квантования переключают параметр квантования (шкала квантования) на основе сигнала управления скоростью от секции 18 управления скоростью, чтобы таким образом изменять скорость передачи квантованных данных, передаваемых на секцию 16 кодирования без потерь.

Квантованные данные, полученные от секции 15 квантования, информацию, описанную ниже и касающуюся предсказания без компенсации движения или предсказания с компенсацией движения и сгенерированную секцией 30 предсказания без компенсации движения или секцией 40 оценки движения и выбранную секцией 50 выбора режима, подают на секцию 16 кодирования без потерь. Информация о предсказании без компенсации движения может содержать информацию о режиме предсказания, которая показывает, например, оптимальный режим предсказания без компенсации движения для каждого блока. Также информация о предсказании с компенсацией движения может содержать, например, информацию о режиме предсказания для предсказания вектора движения для каждого блока, информацию о разности векторов движения, информацию об опорном изображении и подобную информацию.

В секции 16 кодирования без потерь генерируют закодированный поток, что делают путем осуществления процесса кодирования без потерь для квантованных данных. Кодирование без потерь, осуществляемое секцией 16 кодирования без потерь, может быть, например, кодированием с переменной длиной слова или арифметическим кодированием. Более того, в секции 16 кодирования без потерь объединяют информацию о предсказании без компенсации движения или информацию о предсказании с компенсацией движения, которые упомянуты выше, в заголовок закодированного потока (например, заголовок блока, заголовок среза или что-то подобное). Далее в секции 16 кодирования без потерь выводят сгенерированный закодированный поток на буфер 17 накопления.

В буфере 17 накопления временно сохраняют закодированный поток, полученный от секции 16 кодирования без потерь, с использованием носителя информации, такого как полупроводниковая память. Далее в буфере 17 накопления подают на выход накопленный закодированный поток со скоростью, соответствующей полосе частот линии передачи (или линии вывода из устройства 10 кодирования изображений).

В секции 18 управления скоростью отслеживают свободное пространство буфера 17 накопления. Далее в секции 18 управления скоростью генерируют сигнал управления скоростью, соответствующий свободному пространству в буфере 17 накопления, и выводят сгенерированный сигнал управления скоростью на секцию 15 квантования. Например, когда нет большого количества свободного пространства в буфере 17 накопления, в секции 18 управления скоростью генерируют сигнал управления скоростью, предназначенный для снижения скорости передачи квантованных данных. Также, например, когда свободного пространства в буфере 17 накопления достаточно много, в секции 18 управления скоростью генерируют сигнал управления скоростью, предназначенный для повышения скорости передачи квантованных данных.

В секции 21 обратного квантования осуществляют процесс, обратный квантованию, для квантованных данных, полученных от секции 15 квантования. Далее в секции 21 обратного квантования выводят данные коэффициентов преобразования, полученные при обратном квантовании, в секцию 22 обратного ортогонального преобразования.

В секции 22 обратного ортогонального преобразования осуществляют обработку, обратную ортогональному преобразованию, для данных коэффициентов преобразования, полученных из секции 21 обратного квантования, что делают с целью восстановления данных предсказанной ошибки. Далее в секции 22 обратного ортогонального преобразования выводят восстановленные данные предсказанной ошибки на секцию 23 сложения.

В секции 23 сложения складывают восстановленные данные предсказанной ошибки, полученные от секции 22 обратного ортогонального преобразования, и предсказанные данные изображения, полученные от секции 50 выбора режима, что делают для генерирования данных декодированного изображения. Далее в секции 23 сложения выводят сгенерированные данные декодированного изображения на фильтр 24a удаления блочности и память 25 кадра.

В фильтре 24a удаления блочности осуществляют обработки фильтрации, направленные на уменьшение блочности изображения, которая возникает при кодировании изображений. Например, в фильтре 24a удаления блочности определяют необходимость фильтрации каждой границы блока для данных декодированного изображения, поданных от секции 23 сложения, и применяют фильтр удаления блочности к границе, для которой определена необходимость фильтрации. Также от секции 23 сложения на фильтр 24a удаления блочности подают информацию, используемую для определения необходимости фильтрации (например, информацию о режиме, информацию о коэффициентах преобразования и информацию о векторе движения), а также данные декодированного изображения. После фильтрации из данных декодированного изображения исключают блочность и с помощью фильтра 24a удаления блочности подают данные декодированного изображения в память 25 кадра. Обработка фильтром 24a удаления блочности будет подробнее описана ниже.

В памяти 25 кадра сохраняют с использованием носителя информации данные декодированного изображения, полученные от секции 23 сложения, и данные декодированного изображения после фильтрации, полученные от фильтра 24 удаления блочности.

В переключателе 26 считывают из памяти 25 кадра данные декодированного изображения до фильтрации, то есть данные, которые используют для предсказания без компенсации движения, и подают считанные данные декодированного изображения на секцию 30 предсказания без компенсации движения в качестве данных опорного изображения. Также в переключателе 26 считывают из памяти 25 кадра данные декодированного изображения после фильтрации, которые используют для предсказания с компенсацией движения, и подают считанные данные декодированного изображения на секцию 40 оценки движения в качестве данных опорного изображения.

В секции 30 предсказания без компенсации движения осуществляют процесс предсказания без компенсации движения в каждом режиме предсказания без компенсации движения на основе кодируемых данных изображения, которые получены из буфера 12 переупорядочивания, и данных декодированного изображения, полученных через переключатель 26. Например, в секции 30 предсказания без компенсации движения оценивают результат предсказания для каждого режима предсказания без компенсации движения с использованием заданной целевой функции. Далее в секции 30 предсказания без компенсации движения выбирают в качестве оптимального режима предсказания без компенсации движения режим предсказания без компенсации движения, для которого значение целевой функции принимает наименьшее значение, то есть режим предсказания без компенсации движения с наибольшей степенью сжатия. Более того, в секции 30 предсказания без компенсации движения выводят в секцию 50 выбора режима информацию о режиме предсказания, показывающую оптимальный режим предсказания без компенсации движения, предсказанные данные изображения и информацию о предсказании без компенсации движения, такую как значение целевой функции.

В секции 40 оценки движения осуществляют процесс предсказания с компенсацией движения (процесс предсказания между кадрами) на основе данных изображения для кодирования, поданных от буфера 12 переупорядочивания, и данных декодированного изображения, проданных через переключатель 26. Например, в секции 40 оценки движения оценивают результат предсказания для каждого режима предсказания без компенсации движения с использованием заданной целевой функции. Далее в секции 40 оценки движения выбирают оптимальный режим предсказания, а именно режим предсказания, который минимизирует значение целевой функции или максимизирует степень сжатия. В секции 40 оценки движения генерируют предсказанные данные изображения в соответствии с оптимальным режимом предсказания. Секция 40 оценки движения подает на секцию 50 выбора режима информацию о предсказании с компенсацией движения, такую как информация о режиме предсказания, указывающая оптимальный режим предсказания без компенсации движения, предсказанные данные изображения и значение целевой функции.

В секции 50 выбора режима сравнивают значение целевой функции, связанное с предсказанием без компенсации движения, полученным от секции 30 предсказания без компенсации движения, и значение целевой функции, связанное с предсказанием с компенсацией движения, полученным от секции 40 оценки движения. Далее в секции 50 выбора режима выбирают способ предсказания с наименьшим значением целевой функции из предсказания без компенсации движения и предсказания с компенсацией движения. В случае выбора предсказания без компенсации движения с помощью секции 50 выбора режима выдают информацию о предсказании без компенсации движения на секцию 16 кодирования без потерь и также подают предсказанные данные изображения на секцию 13 вычитания и секцию 23 сложения. Также в случае выбора предсказания с компенсацией движения с помощью секции 50 выбора режима подают описанную выше информацию о предсказании с компенсацией движения на секцию 16 кодирования без потерь и также подают предсказанные данные изображения на секцию 13 вычитания и секцию 23 сложения.

1-2. Устройство декодирования изображений

На фиг.2 показана структурная схема одного примера структуры устройства 60 декодирования изображений в соответствии с вариантом осуществления изобретения. Как показано на фиг.2, устройство 60 декодирования изображений содержит буфер 61 накопления, секцию 62 декодирования без потерь, секцию 63 обратного квантования, секцию 64 обратного ортогонального преобразования, секцию 65 сложения, фильтр 66 удаления блочности, буфер 67 сортировки, секцию 68 Ц/А (цифро-аналогового) преобразования, память 69 кадра, переключатели 70 и 71, секцию 80 предсказания без компенсации движения и секцию 90 компенсации движения.

В буфере 61 накопления с использованием носителя информации временно хранят закодированный поток, полученный через линию передачи.

В секции 62 декодирования без потерь декодируют закодированный поток, полученный из буфера 61 накопления, что делают в соответствии со способом кодирования, использованным во время кодирования. Также в секции 62 декодирования без потерь декодируют информацию, объединенную в области заголовка закодированного потока. Информация, которая объединена в области заголовка закодированного потока, может содержать, например, информацию о предсказании без компенсации движения и информацию о предсказании с компенсацией движения в заголовке блока. В секции 62 декодирования без потерь выводят на секцию 80 предсказания без компенсации движения информацию о предсказании без компенсации движения. Также в секции 62 декодирования без потерь выводят на секцию 90 компенсации движения информацию о предсказании с компенсацией движения.

В секции 63 обратного квантования осуществляют преобразование, обратное квантованию, для квантованных данных, которые были декодированы в секции 62 декодирования без потерь. В секции 64 обратного ортогонального преобразования генерируют данные предсказанной ошибки путем осуществления преобразования, обратного ортогональному преобразованию, для данных коэффициентов преобразования, полученных от секции 63 обратного квантования, что делают в соответствии со способом ортогонального преобразования, используемого во время кодирования. Далее секция 64 обратного ортогонального преобразования выводит на секцию 65 сложения сгенерированные данные предсказанной ошибки.

В секции 65 сложения складывают данные предсказанной ошибки, полученные от секции 64 обратного ортогонального преобразования, и предсказанные данные изображения, полученные от переключателя 71, что делают для генерирования данных декодированного изображения. Далее секция 65 сложения выводит сгенерированные данные декодированного изображения на фильтр 24b удаления блочности и память 69 кадра.

В фильтре 24b удаления блочности осуществляют обработки фильтрации, направленные на уменьшение блочности изображения, которая видна в декодированном изображении. В фильтре 24b удаления блочности определяют необходимость фильтрации каждой границы, например, блока для данных декодированного изображения, поданных от секции 65 сложения, и применяют фильтр удаления блочности к границе, для которой определена необходимость фильтрации. Также от секции 65 сложения на фильтр 24b удаления блочности подают информацию, используемую для определения необходимости фильтрации, а также данные декодированного изображения. После фильтрации из данных декодированного изображения исключают блочность изображения и с помощью фильтра 24b удаления блочности подают данные декодированного изображения в буфер 67 переупорядочивания и память 69 кадра. Обработка фильтра 24b удаления блочности будет подробнее описана ниже.

В буфере 67 переупорядочивания генерируют набор данных изображения во временной последовательности, что делают путем переупорядочивания изображений, полученных от фильтра 24b удаления блочности. Далее в буфере 67 переупорядочивания выводят на секцию 68 Ц/А преобразования сгенерированные данные изображения.

В секции 68 Ц/А преобразования преобразуют находящиеся в цифровом формате данные изображения, полученные от буфера 67 переупорядочивания, в сигнал изображения аналогового формата. Далее работа секции 68 Ц/А преобразования приводит к отображению изображения путем вывода аналогового сигнала с изображением на дисплей (не показан), который, например, соединен с устройством 60 декодирования изображений.

В памяти 69 кадра используют носитель данных для хранения данных декодированного изображения до фильтрации, полученных от секции 65 сложения, и данных декодированного изображения после фильтрации, полученных от фильтра 24 удаления блочности.

Переключатель 70 переключает место назначения вывода данных изображения из памяти 69 кадра между секцией 80 предсказания без компенсации движения и секцией 90 компенсации движения для каждого блока в изображении, что делают в соответствии с информацией о режиме, полученной секцией 62 декодирования без потерь. Например, в случае установки режима предсказания без компенсации движения, переключатель 70 в качестве данных опорного изображения выводит на секцию 80 предсказания без компенсации движения данные декодированного изображения до фильтрации, которые были поданы из памяти 69 кадра. Также в случае установки режима предсказания с компенсацией движения, переключатель 70 в качестве данных опорного изображения выводит на секцию 90 компенсации движения данные декодированного изображения после фильтрации, которые были поданы из памяти 69 кадра.

Переключатель 71 переключает источник вывода для предсказанных данных изображения, которые необходимо подать на секцию 65 сложения, между секцией 80 предсказания без компенсации движения и секцией 90 компенсации движения для каждого блока в изображении, что делают в соответствии с информацией о режиме, полученной в секции 62 декодирования без потерь. Например, в случае установки режима предсказания без компенсации движения, переключатель 71 подает на секцию 65 сложения предсказанные данные изображения, поданные на выход секцией 80 предсказания без компенсации движения. В случае установки режима предсказания с компенсацией движения, переключатель 71 подает на секцию 65 сложения предсказанные данные изображения, поданные на выход от секции 90 компенсации движения.

В секции 80 предсказания без компенсации движения осуществляют предсказание «в экране» значения пикселя на основе информации о предсказании без компенсации движения, полученной от секции 62 декодирования без потерь, и данных опорного изображения из памяти 69 кадра и генерируют предсказанные данные изображения. Далее в секции 80 предсказания без компенсации движения выводят на переключатель 71 сгенерированные предсказанные данные изображения.

В секции 90 компенсации движения осуществляют процесс предсказания движения на основе информации о предсказании с компенсацией движения, полученной от секции 62 декодирования без потерь, и данных опорного изображения из памяти 69 кадра и генерируют предсказанные данные изображения. Далее в секции 90 компенсации движения выводят сгенерированные предсказанные данные изображения на переключатель 71.

2. Существующая технология

2-1. Базовая структура фильтра удаления блочности

В общем, обработка с использованием фильтра удаления блочности в существующей системе кодирования изображений, такой как H.264/AVC или HEVC, содержит два типа обработок, а именно: обработка определения необходимости фильтрации и обработка фильтрации. Далее описаны эти две обработки, например, в HEVC.

(1) Обработка определения необходимости фильтрации

При обработке определения необходимости фильтрации определяют, нужно ли применять фильтр удаления блочности к каждой границе блоков во входном изображении. Границы блока содержат вертикальную границу между блоками, которые примыкают друг к другу по горизонтали, и горизонтальную границу между блоками, которые примыкают друг к другу по вертикали. JCTVC-A119 использует размер блока, равный 8×8 пикселей, в качестве минимального обрабатываемого элемента. Например, макроблок из 16×16 пикселей содержит четыре блока из 8×8 пикселей. Процесс применяют к одной (левой) вертикальной границе и одной (верхней) горизонтальной границе для каждого блока, а именно четыре границы плюс четыре границы, итого в целом восемь границ. Описание предполагает то, что макроблок, как технический термин, содержит кодируемый элемент (CU) в контексте HEVC.

Фиг.3 является типовым видом, показывающим пример пикселей в двух блоках (соседних блоках) Ba и Bb, примыкающих друг к другу по некоторой границе. Далее в качестве примера описана вертикальная граница, но очевидно, что описание применимо к горизонтальной границе. В примере с фиг.3 для представления пикселя в блоке Ba используется символ p_ij. В этом символе i обозначает индекс столбца и j обозначает индекс строки. Индексы i столбца являются числами, такими как 0, 1, 2 и 3, которые расположены в порядке (справа налево) от столбца, ближайше