Внутреннее предсказание с низкой сложностью для кодирования видеосигнала

Внутреннее предсказание с низкой сложностью для кодирования видеосигнала

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Область техники

[0001] Настоящее изобретение относится к кодированию видеосигнала и, в частности, к внутрикадровому предсказанию, в котором блок выборки предсказывается с использованием ранее кодированных и реконструированных пикселов из того же видеокадра.

Сведения из уровня техники

[0002] Цифровой видеосигнал требует большого количества данных для всех без исключения кадров цифровой видеопоследовательности (например, ряда кадров) в несжатом виде. Для большинства приложений передача несжатого цифрового видеосигнала через компьютерные сети невыполнима по причине ограничений полосы пропускания. Кроме того, несжатый цифровой видеосигнал требует большого объема памяти в запоминающем устройстве. Обычно цифровой видеосигнал некоторым образом кодируется с целью снижения потребности в памяти и снижения требований к полосе пропускания.

[0003] Одним из способов кодирования цифрового видеосигнала является межкадровое, или внешнее, предсказание. Внешнее предсказание эксплуатирует временные избыточности между разными кадрами. Смежные по времени кадры видеосигнала, как правило, включают блоки пикселов, которые остаются, в значительной мере, неизменными. В ходе процесса кодирования вектор движения связывает движение блока пикселов в одном кадре с блоком сходных пикселов в другом кадре. Соответственно, система не требует кодирования блока пикселов дважды, но вместо этого кодирует блок пикселов один раз и создает вектор движения, предназначенный для предсказания другого блока пикселов.

[0004] Другим способом кодирования цифрового видеосигнала является внутрикадровое, или внутреннее, предсказание. Внутреннее предсказание кодирует кадр, или его часть, без привязки к пикселам в других кадрах. Внутреннее предсказание эксплуатирует пространственные избыточности между блоками пикселов в пределах кадра. Поскольку смежные в пространстве блоки пикселов, в общем, имеют сходные признаки, эффективность процесса кодирования увеличивается путем привязки к пространственной корреляции между смежными блоками. Эта корреляция может эксплуатироваться путем предсказания целевого блока на основе видов предсказания, использованных в смежных блоках.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0005] Настоящее изобретение предусматривает оригинальный процесс внутреннего предсказания, который увеличивает эффективность кодирования видеосигнала. H.264/AVC использует опорные пикселы на горизонтальной границе, расположенные непосредственно над целевым блоком, который требуется предсказать, и опорные пикселы на вертикальной границе, расположенные непосредственно слева от целевого блока. В настоящем изобретении отыскиваются и выбираются, по меньшей мере, некоторые пикселы или из массива горизонтальных граничных пикселов, или из массива вертикальных граничных пикселов. Затем отысканные и выбранные пикселы добавляются к другим граничным пикселам с целью расширения их массива. Внутреннее предсказание выполняется единственно на основе расширенного массива граничных пикселов. В одном из вариантов осуществления настоящего изобретения, по меньшей мере, некоторые из вертикальных граничных пикселов отыскиваются, выбираются и добавляются к горизонтальным граничным пикселам с целью расширения их массива.

[0006] Настоящее изобретение исключает процесс принятия решения при выборе или горизонтальной границы, или вертикальной границы, на которой отыскиваются и выбираются опорные пикселы. Настоящее изобретение также исключает повторяющийся процесс вычисления положения пересечения вертикальной границы с направлением предсказания, где повторяющийся процесс вычисления, как правило, включает в себя операцию деления. Исключение этих процессов позволяет реализовывать процесс внутреннего предсказания на архитектурах с одним потоком команд и несколькими потоками данных (SIMD), что, таким образом, повышает вычислительную эффективность кодирования видеосигнала.

[0007] В одном из вариантов осуществления настоящего изобретения, по меньшей мере, некоторые из пикселов среди вертикальных граничных пикселов отыскиваются и выбираются с использованием идентификатора вертикальных пикселов, который выражается как

где size представляет размер целевого блока, который требуется предсказать, angle представляет направление предсказания, и col - счетчик, который уменьшается на 1 от -1 до angle. Отысканные и выбранные пикселы добавляются к горизонтальным пикселам в положение, которое идентифицируется идентификатором горизонтальных пикселов [col].

[0008] В другом варианте осуществления изобретения при отыскании и выборке, по меньшей мере, некоторых из вертикальных граничных пикселов InvAngle вычисляется из

где N - целочисленная степень числа 2. Затем, по меньшей мере, некоторые из пикселов среди вертикальных граничных пикселов выбираются с использованием идентификатора вертикальных пикселов, который выражается как Выбранные пикселы добавляются к горизонтальным пикселам в положение, которое идентифицируется идентификатором горизонтальных пикселов [col].

[0009] В другом варианте осуществления изобретения InvAngle получается из справочной таблицы, где перечислены значения InvAngle в зависимости от значений angle.

[0010] В другом варианте осуществления изобретения пиксел идентифицируется среди вертикальных граничных пикселов с использованием идентификатора вертикальных пикселов [row], где row - счетчик, который увеличивается на 1 от 0 до size. Выбранный пиксел добавляется к горизонтальным граничным пикселам в положение, которое идентифицируется идентификатором горизонтальных пикселов [int +1], где int - целочисленное представление положения пиксела, пересекающегося с направлением предсказания.

[0011] Настоящее изобретение также предусматривает кодер и декодер, которые реализуют операцию внутреннего предсказания, в которой выбираются, по меньшей мере, некоторые пикселы или из массива горизонтальных граничных пикселов, или из массива вертикальных граничных пикселов. Затем выбранные пикселы добавляются к другим граничным пикселам с целью расширения их массива. Внутреннее предсказание выполняется исключительно на основе расширенного массива граничных пикселов.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[0012] ФИГ.1 - блок-схема, показывающая пример архитектуры аппаратного обеспечения, в которой может быть реализовано настоящее изобретение.

[0013] ФИГ.2 - блок-схема, показывающая общий вид видеокодера, к которому может быть применено настоящее изобретение.

[0014] ФИГ.3 - блок-схема, показывающая общий вид видеодекодера, к которому может быть применено настоящее изобретение.

[0015] ФИГ.4 - блок-схема, показывающая функциональные модули кодера согласно одному из вариантов осуществления настоящего изобретения.

[0016] ФИГ.5 - схема последовательности операций, показывающая процесс внутреннего предсказания, выполняемый модулем внутреннего предсказания согласно варианту осуществления настоящего изобретения.

[0017] ФИГ.6 - блок-схема, показывающая функциональные модули декодера согласно одному из вариантов осуществления настоящего изобретения.

[0018] ФИГ.7 - диаграмма, показывающая направления предсказания, иллюстрирующие виды предсказания Intra_4×4, поддерживаемые H.264/AVC.

[0019] ФИГ.8 - диаграмма, показывающая направления предсказания, предложенные в Документе №JCT-VC A119.

[0020] ФИГ.9 - схема последовательности операций, показывающая процесс, предложенный в JCT-VC A119 для генерирования предсказываемого блока по одному из направлений предсказания, показанных на ФИГ.7.

[0021] ФИГ.10 - схема последовательности операций, показывающая процесс внутреннего предсказания с низкой сложностью, выполняемый в соответствии с одним из вариантов осуществления настоящего изобретения.

[0022] ФИГ.11А - схематический вид, показывающий блок предсказания и массивы горизонтальных и вертикальных граничных пикселов.

[0023] ФИГ.11В - схематический вид, показывающий массив горизонтальных граничных пикселов, расширенный вертикальными граничными пикселами.

[0024] ФИГ.12 - схема последовательности операций, показывающая процесс расширения массива горизонтальных граничных пикселов, выполняемый в соответствии с одним из вариантов осуществления настоящего изобретения.

[0025] ФИГ.13 - схема последовательности операций, показывающая другой вариант осуществления расширения массива горизонтальных граничных пикселов.

[0026] ФИГ.14 - схема последовательности операций, показывающая процесс внутреннего предсказания с низкой сложностью, выполняемый согласно еще одному из вариантов осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ И ПРЕДПОЧТИТЕЛЬНЫХ В НАСТОЯЩЕЕ ВРЕМЯ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0027] ФИГ.1 показывает пример архитектуры аппаратного обеспечения компьютера 100, на котором может быть реализовано настоящее изобретение. Следует отметить, что архитектура аппаратного обеспечения, показанная на ФИГ.1, может быть общей и для видеокодера, и для видеодекодера, которые реализуют варианты осуществления настоящего изобретения. Компьютер 100 включает в себя процессор 101, память 102, устройство 105 хранения данных и одно или несколько устройств 106 (или периферийных устройств) ввода и/или вывода (I/O), которые коммуникативно связаны через локальный интерфейс 107. Локальный интерфейс 105 может, в качестве не ограничивающих примеров, представлять собой одну или несколько шин или других проводных или беспроводных соединений, известных в данной области техники.

[0028] Процессор 101 представляет собой аппаратное устройство, предназначенное для исполнения программного обеспечения, в частности, хранящегося в памяти 102. Процессор 101 может представлять собой любой изготовленный на заказ или выпускаемый серийно процессор, центральный процессор (CPU), вспомогательный процессор среди нескольких процессоров, связанных с компьютером 100, микропроцессор на полупроводниковой основе (в форме микросхемы или набора микросхем), или, в общем, любое устройство, предназначенное для исполнения команд программного обеспечения.

[0029] Память 102 включает в себя компьютерно-читаемый носитель данных, который может включать любой из элементов энергозависимой памяти (например, памяти с произвольным доступом (RAM, как, например, DRAM, SRAM, SDRAM и т.д.)) и элементов энергонезависимой памяти (например, ROM, накопитель на жестких дисках, ленту, CDROM и т.д.) или их комбинацию. Кроме того, память 102 может включать электронные, магнитные, оптические и/или другие типы носителей данных. Компьютерно-читаемый носитель данных может представлять собой любые средства, которые могут хранить, сообщать, распространять или передавать программу для использования системой, блоком или устройством исполнения команд или в связи с ними. Следует отметить, что память 102 имеет распределенную архитектуру, где различные компоненты располагаются удаленно один от другого, но могут быть доступны для процессора 101.

[0030] Программное обеспечение 103 в памяти 102 может включать одну или несколько отдельных программ, каждая из которых содержит упорядоченный список исполняемых команд, предназначенных для реализации логических функций компьютера 100, как описывается ниже. В примере по ФИГ.1 программное обеспечение 103 в памяти 102 определяет функциональную возможность компьютера 100 кодировать видеосигнал или декодировать видеосигнал согласно настоящему изобретению. Кроме того, хотя это и не требуется, память 102 может содержать операционную систему (O/S) 104. Операционная система 104, по существу, управляет исполнением компьютерных программ и обеспечивает диспетчеризацию, управление вводом-выводом, управление файлами и данными, управление памятью, управление передачей данных и связанные службы.

[0031] Устройство 105 хранения данных компьютера 100 может представлять собой одно из множества различных типов устройств хранения данных, в том числе стационарное устройство хранения данных или переносное устройство хранения данных. Например, устройство 105 хранения данных может представлять собой магнитную ленту, диск, флэш-память, энергозависимую память или другое устройство хранения данных. Кроме того, устройство 105 хранения данных может представлять собой SD-карту памяти или любое другое съемное устройство 105 хранения данных.

[0032] Устройства 106 ввода/вывода могут включать в качестве не ограничивающих примеров следующие устройств ввода: сенсорный экран, клавиатура, мышь, сканер, микрофон или другое устройство ввода. Кроме того, устройства 106 ввода/вывода также могут включать в качестве не ограничивающих примеров следующие устройства вывода: дисплей или другие устройства вывода. Устройства 106 ввода/вывода также могут включать в качестве не ограничивающих примеров устройства, которые передают данные и через входы, и через выходы: модулятор/демодулятор (модем, предназначенный для доступа к другому устройству, системе или сети), высокочастотный (RF), беспроводной или другой трансивер, телефонный интерфейс, мост, маршрутизатор или другие устройства, которые функционируют и как устройства ввода, и как устройства вывода.

[0033] Как хорошо известно средним специалистам в данной области, сжатие видеосигнала достигается путем исключения избыточной информации из видеопоследовательности. Существует множество стандартов кодирования видеосигнала, примеры которых включают MPEG-1, MPEG-2, MPEG-4, H.261, H.263 и H.264/AVC. Следует отметить, что настоящее изобретение не предназначено для ограничения применением в каком-либо конкретном стандарте кодирования видеосигнала. Однако нижеследующее описание настоящего изобретения представлено с использованием примера стандарта H.264/AVC, который ссылкой включается в настоящее описание. H.264/AVC представляет собой новейший стандарт кодирования видеосигнала, и он достигает значительного увеличения производительности по сравнению с предыдущими стандартами кодирования, такими как MPEG-1, MPEG-2, H.261 и H.263

[0034] В стандарте H.264/AVC каждый кадр, или картинка, видеосигнала может быть разбит на несколько полей. Поля затем разделяются на блоки размера 16×16 пикселов, называемые макроблоками, которые затем могут дальше разделяться на блоки из 8×16, 16×8, 8×8, 4×8, 8×4 вплоть до 4×4 пикселов. Существует пять типов полей, поддерживаемых стандартом H.264/AVC. В I-полях все макроблоки кодируются с использованием внутреннего предсказания. В Р-полях макроблоки могут кодироваться с использованием внутреннего или внешнего предсказания. Р-поля позволяют использовать только один сигнал предсказания с компенсацией движения (MCP) на макроблок. В В-полях макроблоки могут кодироваться с использованием внутреннего и внешнего предсказаний. Для каждого предсказания могут использоваться два сигнала МСР. SP-поля позволяют эффективно переключать Р-поля между разными видеопотоками. SI-поле представляет собой точное соответствие SP-полю для произвольного доступа или восстановления при ошибках, несмотря на использование только внутреннего предсказания.

[0035] ФИГ.2 показывает общий вид видеокодера, в котором может применяться настоящее изобретение. Блоки, показанные на фигуре, представляют функциональные модули, реализованные процессором 101, исполняющим программное обеспечение 103 в памяти 102. Картинка, или видеокадр 200, подается в видеокодер 201. Видеокодер обрабатывает картинку 200 в единицах макроблоков 200А. Каждый макроблок содержит несколько пикселов картинки 200. На каждом макроблоке выполняется преобразование в коэффициенты преобразования с последующим квантованием в уровни коэффициентов преобразования. Кроме того, используется внутреннее предсказание или внешнее предсказание с тем, чтобы выполнять этапы кодирования не непосредственно на пиксельных данных, но на разностях между ними и предсказанными значениями пикселов, и, таким образом, добиваться небольших значений, которые легче подвергаются сжатию.

[0036] Для каждого поля кодер 201 генерирует некоторое количество синтаксических элементов, которые образуют кодированную версию макроблоков соответствующего поля. Все остаточные элементы данных в синтаксических элементах, которые относятся к кодированию коэффициентов преобразования, такие как уровни коэффициентов преобразования или карта значимости, указывающая пропущенные уровни коэффициентов преобразования, называются остаточными синтаксическими элементами данных. Помимо этих остаточных синтаксических элементов данных, синтаксические элементы, генерируемые кодером 201, содержат синтаксические элементы управляющей информации, содержащие управляющую информацию о том, как кодировался каждый макроблок и, соответственно, как он должен декодироваться. Иными словами, синтаксические элементы делятся на две категории. Первая категория, синтаксические элементы управляющей информации, содержит элементы, относящиеся к типу макроблока, типу субмакроблока, и информацию о видах предсказания как пространственного, так и временного типа, а также, например, управляющую информацию на основе поля и на основе макроблока. Во второй категории объединяются и становятся остаточными синтаксическими элементами данных все остаточные элементы данных, такие как карта значимости, указывающая положения все значимых коэффициентов внутри блока квантованных коэффициентов преобразования, и значения значимых коэффициентов, которые указываются в единицах уровней, соответствующих шагам квантования.

[0037] Кодер 201 включает в себя энтропийный кодер, который кодирует синтаксические элементы и генерирует для каждого поля арифметические кодовые слова. При генерировании арифметических кодовых слов для поля энтропийный кодер эксплуатирует статистические зависимости между значениями данных синтаксических элементов в битовом потоке видеосигнала. Кодер 201 выводит кодированный видеосигнал для поля картинки 200 в видеодекодер 301, показанный на ФИГ.3.

[0038] ФИГ.3 показывает общий вид видеодекодера, в котором может применяться настоящее изобретение. Аналогично, блоки, показанные на фигуре, представляют функциональные модули, реализуемые процессором 101, исполняющим программное обеспечение 103 в памяти 102. Видеодекодер 301 принимает кодированный видеосигнал и, в первую очередь, энтропийно декодирует сигнал обратно в синтаксические элементы. Декодер 301 использует синтаксические элементы с целью реконструкции, макроблок за макроблоком, а затем поле за полем, выборочных значений картинки 300А, состоящей из пикселов, в картинку 300.

[0039] ФИГ.4 показывает функциональные модули видеокодера 201. Эти функциональные модули реализуются процессором 101, исполняющим программное обеспечение 103 в памяти 102. Входная видеокартинка представляет собой кадр, или поле, натурального (несжатого) видеоизображения, определяемого выборочными точками, которые представляют компоненты оригинальных цветов, такие как цветность («chroma») и яркость («luma») (возможны и другие компоненты, например, тон, насыщенность и номер). Входная видеокартинка разделяется на макроблоки 400 так, чтобы каждый из них представлял квадратную область картинки, состоящую из 16×16 пикселов luma-компоненты цвета изображения. Входная видеокартинка также разделяется на макроблоки так, чтобы каждый из них представлял 8×8 пикселов каждой из двух chroma-компонент цвета изображения. В общем действии кодера введенные макроблоки могут предсказываться во времени или пространственно с использованием внешнего или внутреннего предсказания. Однако для целей обсуждения предполагается, что все макроблоки 400 относятся к типу макроблоков I-поля и подвергаются только внутреннему предсказанию.

[0040] Внутреннее предсказание выполняется в модуле 401 внутреннего предсказания, действие которого будет более подробно обсуждаться ниже. Модуль 401 внутреннего предсказания генерирует блок 402 предсказания из горизонтальных и вертикальных граничных пикселов соседних блоков, которые ранее были закодированы, реконструированы и сохранены в памяти 403 кадров. Остаток 404 блока 402 предсказания, который представляет собой разность между целевым блоком 400 и блоком 402 предсказания, преобразовывается, масштабируется и квантуется в модуле 405 преобразования/квантования с использованием способов и технологий, известных специалистам в области кодирования видеосигналов. Квантованные коэффициенты 406 преобразования затем энтропийно кодируются в модуле 407 энтропийного кодирования и передаются (вместе с другой информацией, относящейся к внутреннему предсказанию) в виде кодированного видеосигнала 408.

[0041] Видеокодер 201 содержит функциональную возможность декодирования, предназначенную для выполнения внутреннего предсказания на целевых блоках. Функциональная возможность декодирования включает в себя модуль 409 обратного квантования/преобразования, который выполняет обратное квантование и обратное преобразование квантованных коэффициентов 406 преобразования с целью получения декодированного остатка 410 предсказания, который добавляется к блоку 402 предсказания. Сумма декодированного остатка 410 предсказания и блока 402 предсказания представляет собой реконструированный блок 411, который сохраняется в памяти 403 кадров и будет считываться из нее и использоваться модулем 401 внутреннего предсказания для генерирования блока 402 предсказания с целью декодирования следующего целевого блока 400.

[0042] ФИГ.5 представляет собой схему последовательности операций, показывающую процессы, выполняемые модулем 401 внутреннего предсказания. Согласно [стандарту] H.264/AVC, внутреннее предсказание включает в себя предсказание каждого пиксела целевого блока 400 в соответствии с рядом видов предсказания с использованием интерполяций граничных пикселов («опорных пикселов») соседних блоков, которые предварительно кодируются и реконструируются. Виды предсказания идентифицируются положительными целыми числами 0, 1, 2..., каждое из которых связано с отличающейся командой или алгоритмом предсказания определенных пикселов в целевом блоке 400. Модуль 401 внутреннего предсказания запускает внутреннее предсказание в соответствии с соответствующим видом предсказания и генерирует различные блоки предсказания. В соответствии с алгоритмом полного поиска («FS») каждый из генерируемых блоков предсказания сравнивается с целевым блоком 400 с целью нахождения оптимального вида предсказания, который минимизирует остаток 404 предсказания или генерирует наименьший остаток 404 предсказания среди видов предсказания. Идентификатор оптимального вида предсказания сжимается и отправляется в декодер 301 с другими синтаксическими элементами управляющей информации.

[0043] Каждый вид предсказания может быть описан общим направлением предсказания, описываемым на словах (т.е. «горизонтально вверх», «вертикально» и «по диагонали вниз и влево»). Направление предсказания может быть описано графически как угловое направление, которое выражается при помощи диаграммы со стрелками, как показано на ФИГ.7. В диаграмме такого типа каждая стрелка может рассматриваться как представляющая направление предсказания, или вид предсказания. Угол, соответствующий виду предсказания, имеет общую взаимосвязь с направлением из средневзвешенного положения опорных пикселов, используемых для предсказания целевого пиксела, к положению целевого пиксела. Следует отметить, что виды предсказания включают вид предсказания DC, который не связан с каким-либо направлением предсказания и поэтому, в отличие от других видов предсказания, не может быть описан графически на диаграмме. В виде предсказания DC блок 402 предсказания генерируется так, чтобы каждый пиксел в блоке 402 предсказания задавался единообразно со средним значением опорных пикселов.

[0044] Возвращаясь к ФИГ.5, вид предсказания инициализируется на Этапе 501. Затем на Этапе 502 определяется, указывает ли вид предсказания на предсказание DC. Если указывает, то последовательность операций продвигается на Этап 503, где на Этапе 503 блок 402 предсказания генерируется вместе со средним значением опорных пикселов. Если вид предсказания обусловливает иное, блок 402 предсказания генерируется на Этапе 504 согласно связанной с видом предсказания команде или алгоритму, процесс которого будет подробно описываться ниже. После Этапа 503 или 504 последовательность операций продвигается на Этап 505, где определяется, сгенерированы ли блоки предсказания для всех видов предсказания. Если внутреннее предсказание запущено в соответствии со всеми видами предсказания, последовательность операций продвигается на Этап 506. Иначе на Этапе 507 вид предсказания увеличивается, и последовательность операций возвращается на Этап 502. На Этапе 506 каждый из генерируемых блоков предсказания сравнивается с целевым блоком 400 с целью определения оптимального вида предсказания, который минимизирует остаток 404 предсказания.

[0045] ФИГ.6 показывает функциональные модули видеодекодера 301. Эти функциональные модули реализуются процессором 101, исполняющим программное обеспечение 103 в памяти 102. Кодированный видеосигнал из кодера 201, в первую очередь, принимается энтропийным декодером 600 и подвергается энтропийному декодированию обратно в квантованные коэффициенты 601 преобразования. Квантованные коэффициенты 601 преобразования обратно квантуются и преобразовываются модулем 602 обратного квантования/преобразования, генерирующим остаток 603 предсказания. Модуль 604 внутреннего предсказания извещается о виде предсказания, который был выбран кодером 201. Согласно выбранному виду предсказания, модуль 604 внутреннего предсказания выполняет процесс внутреннего предсказания, сходный с процессом, выполняемым на этапах 502, 503 и 504 по ФИГ.5, с целью генерирования блока 605 предсказания с использованием граничных пикселов соседних блоков, ранее реконструированных и хранящихся в памяти 606 кадров. Блок 605 предсказания добавляется к остатку 603 предсказания для реконструкции блока 607 декодированного видеосигнала. Реконструированный блок 607 хранится в памяти 606 кадров с целью использования при предсказании следующего блока.

[0046] Ниже будет дано подробное описание процесса на Этапе 504, выполняемом модулями 401 и 604 внутреннего предсказания для генерирования блока предсказания в соответствии с одним из видов предсказания за исключением вида предсказания DC. H.264/AVC поддерживает предсказание Intra_4×4, предсказание Intra_8×8 и предсказание Intra_16×16. Предсказание Intra_4×4 обычно используется тогда, когда на картинке присутствуют существенные детали. Предсказание Intra_4×4 предсказывает по отдельности шестнадцать блоков luma размера 4×4 в пределах одного макроблока. Предсказание Intra_4×4 выполняется в соответствии с девятью видами предсказания, в том числе с одним видом предсказания DC. Направления пространственного предсказания, в соответствии с которыми выполняется предсказание Intra_4×4, показаны на ФИГ.7. Предсказание Intra_8×8 выполняется в соответствии с девятью видами предсказания, в том числе, с одним видом предсказания DC. Предсказание Intra_16×16 выполняется в соответствии с четырьмя видами предсказания, в том числе, с одним видом предсказания DC.

[0047] Недавние исследования показали, что увеличение количества направлений предсказания, или увеличение количества видов предсказания, в общем, вносит вклад в эффективность сжатия при кодировании видеосигнала. См., например, поданные в Joint Collaborative Team on Video Coding (JCT-VC) Документы №№JCT-VC A119 («Angular Intra Prediction») и JCT-VC A124 («Arbitrary Direction Intra»), которые ссылкой включаются в настоящее описание. Увеличение количества направлений предсказания ведет к увеличению количества угловых интервалов доступных направлений предсказания и, таким образом, к увеличению количества кандидатов для блоков предсказания. Увеличение количества кандидатов для блоков предсказания просто увеличивает шансы получить блок предсказания, почти аналогичный целевому блоку, который требуется кодировать. ФИГ.8 представляет собой диаграмму, показывающую направления предсказания, предложенные в Документе №JCT-VC A119. На ФИГ.8 опорные пикселы состоят из семнадцати (17) горизонтальных пикселов и семнадцати (17) вертикальных пикселов, где верхний левый пиксел является общим и для горизонтальной, и для вертикальной границ. Поэтому для генерирования пикселов предсказания в блоке размера 8×8 доступны 33 различных направления предсказания. JCT-VC A124 предлагает произвольное направленное внутреннее предсказание, в котором количество направлений предсказания корректируется в соответствии с размером блока, который требуется предсказать.

[0048] ФИГ.9 представляет собой схему последовательности операций, показывающую предложенный в JCT-VC A119 процесс генерирования блока предсказания по одному из направлений предсказания, показанных на ФИГ.8. В нижеследующем описании процесса некоторые алгоритмы упрощены для легкости разъяснения. Также описываемый процесс ограничен внутренним предсказанием по направлению предсказания, которое, главным образом, вертикально. Как показано в программном обеспечении, предусматриваемом в JCT-VC A119, внутреннее предсказание по направлению предсказания, которое, главным образом, горизонтально, может быть реализовано симметрично относительно процесса, показанного на ФИГ.9. Несмотря на то что ФИГ.8 показывает блок размера 8×8, который требуется предсказать, процесс, показанный на ФИГ.9, может быть распространен на применение к различным количествам пикселов в различных конфигурациях. Например, блок, который требуется предсказать, может включать массив пикселов размера 4×4. Блок предсказания также может включать массив пикселов размера 8×8, массив пикселов размера 16×16 или массивы пикселов большего размера. Блок предсказания также могут составлять и другие конфигурации пикселов, в том числе, как квадратные, так и прямоугольные массивы.

[0049] На Этапе 900 по ФИГ.9 опорные пикселы на горизонтальной и вертикальной границах, которые, соответственно, лежат непосредственно слева и непосредственно над целевым блоком, считываются из соседних блоков, которые ранее уже были декодированы, реконструированы и сохранены в памяти кадров, такой как память 403 кадров, показанная на ФИГ.4. Пикселы с горизонтальной границы хранятся в области памяти, называемой «refH». Пикселы с вертикальной границы хранятся в другой области памяти, называемой «refV». Возвращаясь к ФИГ.8, опорные пикселы идентифицируются по их координатам в координатной системе, имеющей начало в положении верхнего левого пиксела в блоке размера 8×8. Таким образом, горизонтальные опорные пикселы имеют координаты, которые выражаются как p[x, y], где x=0, 1, …, 16, и у=0. Вертикальные опорные пикселы имеют координаты, выражаемые как p[x, y], где х=0, у=0, -1, -2, …, -16.

[0050] Предполагается, что горизонтальные граничные пикселы, хранящиеся в области памяти refH, идентифицируются по логическому адресу (x), где x=0, 1, …, 16, и вертикальные граничные пикселы идентифицируются по логическому адресу (у), где у=0, -1, -2, …, -16, где каждый пиксел хранится по адресу, имеющему номер координаты, из которой он считывается. По тому, как горизонтальные и вертикальные пикселы графически представлены на ФИГ.8, области памяти refH и refV могут рассматриваться как проходящие линейно и ортогонально друг к другу, и каждая из них имеет длину 2×size+1, где «size» - параметр, представляющий размер целевого блока. Предполагается, что size имеет значение, равное целочисленной степени числа 2, такое как 4, 8, 16... К пикселам в refH и refV может, необязательно, применяться фильтр прохождения нижних частот, в том виде, как он описывается в Разделе 8.3.2.2.1 H.264/AVC.

[0051] На Этапе 901 счетчик, называемый «row», приравнивается нулю («0»). Счетчик row принимает значения от 0 до size и указывает позицию пиксела предсказания в строке в блоке предсказания. На Этапе 902 параметр, называемый «pos», вычисляется как angle×(row+1). angle представляет собой параметр, содержащий дробное число в представлении с фиксированной запятой. По существу, angle формируется с целочисленной частью и дробной частью, и дробная часть состоит из фиксированного количества двоичных разрядов, и angle представляет одно из направлений предсказания, показанных на ФИГ.8. Например, «angle =-size» идентифицирует направление предсказания, которое на ФИГ.8 проходит через координаты [x=0, y=0]. angle, имеющий положительное значение, идентифицирует направление предсказания, которое пересекается только с горизонтальной границей, в то время как параметр angle, имеющий отрицательное значение, идентифицирует направление предсказания, которое пересекается и с горизонтальной, и с вертикальной границами, и параметр angle варьируется в границах интервала, определяемого количеством направлений предсказания, которые требуется использовать. Как предложено в JCT-VC A124, количество направлений предсказания, которое требуется использовать, может определяться в соответствии с размером блока, который требуется предсказать. В нижеследующем описании предполагается, что angle принимает дробное значение, которое варьируется в интервале от «-size» до «size». Следует отметить, что границы интервала для angle могут определяться и другими значениями.

[0052] Как и angle, pos состоит из целочисленной части и дробной части, и его дробная часть состоит из фиксированного количества двоичных разрядов, которое равно логарифму по основанию 2 границы интервала angle, что можно выразить как log2_size согласно сделанному выше допущению о том, что граница интервала angle приравнена size, и pos идентифицирует положение пересечения между горизонтальной границей и направлением предсказания, которое представлено angle. Возвращаясь к Этапу 902, операция “pos>>log2_size” идентифицирует целое число в pos, которое сохраняется в параметр «int», и операция “pos&(size-1)” идентифицирует дробное число в pos, которое сохраняется в параметр «frac». Оператор «>>» вызывает арифметический сдвиг вправо двоичных разрядов. Оператор «&» вызывает поразрядную операцию «and».

[0053] На Этапе 903 определяется, имеет ли angle значение, больше или равное нулю («0»). Если angle имеет значение, большее или равное нулю, последовательность операций продолжается на Этапе 904. Иначе последовательность операций продолжается на Этапе 913. angle, больший или равный нулю, означает, что для получения пикселов предсказания в блоке предсказания можно основываться только на пикселах, расположенных на горизонтальной границе или хранящихся в refH. С другой стороны, angle меньше нуля означает, что для получения опорных пикселов в блоке предсказания необходимы опорные пикселы, находящиеся на вертикальной границе, или в refV.

[0054] На Этапе 904 определяется, является ли ненулевым frac. Если frac является ненулевым, последовательность операций продолжается на Этапе 905. Если frac равен нулю, то последовательность операций продолжается на Этапе 906. Равенство нулю frac означает, что пиксел предсказания в блоке предсказания может копироваться непосредственно из опорного пиксела на горизонтальной границе. Ненулевой frac означает, что направление предсказания пересекается с горизонтальной границей в нецелочисленном положении, и что для получения пиксела предсказания в блоке предсказания необходима интерполяция более чем одного опорного пиксела.

[0055] На этапе 905 счетчик, называемый «col», приравнивается нулю («0»). Счетчик col используется для адресации опорного пиксела в refH. На Этапе 907 в refH выбираются два опорных пиксела, идентифицируемые как «int+col+1» и «int+col+2». Эти два опорных пиксела подвергаются взвешенному усреднению, или интерполируются, по frac, давая пиксел предсказания ν. Конкретнее, опорный пиксел в refH, идентифицированный как «int+col+1», умножается на «size-frac» и сохраняется в параметр а. Опорный пиксел в refH, идентифицированный как «int+col+2», умножается на «frac» и сохраняется в параметр b. Параметры а и b затем складываются и делятся на size, т.е. (size-frac)+frac. Деление на size можно заменить сдвигом вправо на log2_size. Полученный пиксел предсказания ν хранится в массиве областей памяти, называемом «pred», который представляет блок предсказания для целевого блока в соответствии с конкретным направлением предсказания. Каждая область памяти в pred определяется параметрами row и col. Затем на Этапе 908 col увеличивается на 1 и на Этапе 909 сравнивается с size. Этапы 907 и 908 повторяются до тех пор