Кодирование и декодирование изображений

Кодирование и декодирование изображений

Реферат

 

Изобретение относится к средствам кодирования и декодирования изображений. Техническим результатом является сокращение объема данных при передаче изображений по каналам связи. Способ и устройство получения масштабируемости видеообъекта, чье положение и/или размер изменяются во времени, преобразуются путем их соответствующего кодирования. Положение изображения верхнего уровня и положение изображения нижнего уровня в абсолютной системе координат определяются таким образом, чтобы соответствующие пиксели в увеличенном изображении и в изображении верхнего уровня могли быть размещены в те же самые положения в абсолютной системе координат. 4 с.п.ф-лы, 52 ил.

Область техники Изобретение относится к способу кодирования и декодирования изображений, способу обработки изображений, способу записи и носителю записи и, в частности, к подобным способам и носителю записи для использования при записи данных движущихся изображений на носитель записи, такой как магнитооптический диск или магнитная лента, воспроизведении записанных данных с целью отображения в системе отображения или передаче данных движущихся изображений по каналу передачи от передатчика к приемнику и приеме и отображении передаваемых данных приемником или редактировании принимаемых данных для записи в системе для проведения телеконференций, видеотелефонной системе, трансляционном оборудовании или в мультимедийной системе поиска в базах данных.

Предшествующий уровень техники В системе для передачи данных движущихся изображений в удаленный пункт, например в системе для телеконференций или видеотелефонной системе, видеоданные могут кодироваться (сжиматься) с использованием строчной корреляции и межкадровой корреляции. Группой экспертов по движущимся изображениям (MPEG) была предложена высокоэффективная система кодирования для движущихся изображений. Эта система, предложенная в качестве проекта стандарта после обсуждений в рамках ISO-1EC/JTC1/SC2/WG11, является гибридной системой, сочетающей кодирование с предсказанием с компенсацией движения и дискретное косинусное преобразование (ДКП).

В MPEG определены несколько профилей и уровней с учетом различных типов прикладных задач и функций. Главный базовый уровень - это главный уровень главного профиля (MOVING PICTURE (движущееся изображение) ML (главный уровень)) (Main Profile @ at main Level).

На фиг. 1 показан блок кодирования MP@ML в системе MPEG. В таком блоке кодирования видеоданные, подлежащие кодированию, подаются в кадровую память 31 для промежуточного хранения. Обнаружитель вектора движения 32 считывает видеоданные, хранящиеся в кадровой памяти 31, в виде макроблоков из 1616 пикселей, для обнаружения вектора движения. Обнаружитель вектора движения 32 обрабатывает видеоданные каждого кадра как I-изображение, Р-изображение или как В-изображение. Каждое из этих изображений, состоящих из последовательно вводимых кадров, обрабатывается как одно изображение предварительно установленного I-, Р- или В-типа в виде последовательности, например, I, В, Р, В, Р..., В, Р. То есть, обнаружитель вектора движения 32 обращается к предварительно установленному опорному кадру в последовательности изображений, хранящихся в кадровой памяти 31, и определяет вектор движения макроблока, то есть небольшого блока из 16 пикселей на 16 строк кадра, подлежащего кодированию, посредством сопоставления (поблочного сопоставления) макроблока с опорным кадром для обнаружения вектора движения макроблока.

В MPEG имеется четыре режима предсказания изображений, а именно внутреннее кодирование (внутрикадровое кодирование), прямое предиктивное кодирование, обратное предиктивное кодирование и двунаправленное предиктивное кодирование. I-изображение является изображением, получаемым путем внутреннего кодирования, Р-изображение - это изображение, получаемое путем внутреннего кодирования либо прямого предиктивного кодирования, либо обратного предиктивного кодирования, а В-изображение - это изображение, получаемое путем внутреннего кодирования, прямого предиктивного кодирования или двунаправленного предиктивного кодирования.

Согласно фиг. 1, обнаружитель вектора движения 32 выполняет прямое предсказание по Р-изображению для определения его вектора движения. Обнаружитель вектора движения 32 сравнивает ошибку предсказания, полученную путем выполнения прямого предсказания, например, с дисперсией кодируемого макроблока (макроблока Р-изображения). Если дисперсия макроблока меньше, чем ошибка предсказания, то в качестве режима предсказания устанавливается режим внутреннего кодирования, который выдается в блок кодирования переменной длины 36 и компенсатор движения 42. С другой стороны, если ошибка предсказания, формируемая в процессе прямого предиктивного кодирования, меньше, то обнаружитель вектора движения 32 в качестве режима предсказания устанавливает режим прямого предиктивного кодирования и выдает установленный режим в блок кодирования переменной длины (КПД) 36 и компенсатор движения 42 вместе с обнаруженным вектором движения. Кроме того, обнаружитель вектора движения выполняет прямое предсказание, обратное предсказание и двунаправленное предсказание для В-изображения, чтобы определить соответствующие векторы движения. Обнаружитель вектора движения 32 определяет наименьшую ошибку предсказания для прямого предсказания, обратного предсказания и двунаправленного предсказания (которая называется минимальной ошибкой предсказания) и сравнивает минимальную ошибку предсказания, например, с дисперсией кодируемого макроблока (макроблока В-изображения). Если в результате такого сравнения дисперсия макроблока оказывается меньше, чем минимальная ошибка предсказания, то детектор вектора движения 32 устанавливает в качестве режима предсказания режим внутреннего кодирования и выводит установленный режим в блок КПД 36 и компенсатор движения 42. С другой стороны, если минимальная ошибка предсказания меньше, то обнаружитель вектора движения 32 устанавливает режим предсказания, для которого была получена минимальная ошибка предсказания, и выдает установленный режим предсказания в блок КПД 36 и компенсатор движения 42 вместе с соответствующим вектором движения.

Получив режим предсказания и вектор движения от обнаружителя вектора движения 32, компенсатор движения 42 может считывать закодированные и уже частично декодированные видеоданные, хранящиеся в кадровой памяти 41, в соответствии с режимом предсказания и вектором движения и может подавать считываемые данные в виде предсказываемого изображения в арифметические блоки 33 и 40. Арифметический блок 33 получает, кроме того, тот же самый макроблок в виде видеоданных, считываемых обнаружителем вектора движения 32 из кадровой памяти 31, и вычисляет разность между макроблоком и предсказанным изображением от компенсатора движения 42. Значение этой разности подается в блок дискретного косинусного преобразования (ДКП) 34.

Если от обнаружителя вектора движения 32 принимается только режим предсказания, то есть, если режим предсказания является режимом внутреннего кодирования, то компенсатор движения 42 может не выводить предсказываемое изображение. В таком случае арифметический блок 33 не сможет выполнить вышеописанную обработку, но вместо этого может непосредственно выдавать макроблок, считываемый из кадровой памяти 31, в блок ДКП 34. В этом случае арифметический блок 40 может работать таким же образом.

Блок ДКП 34 выполняет ДКП-преобразование над выходным сигналом из арифметического блока 33 для получения коэффициентов ДКП, которые подаются в квантователь 35. Квантователь 35 устанавливает шаг квантования (масштаб квантования) в соответствии с величиной памяти данных в буфере 37 (объемом данных, хранящимся в буфере 37), получаемой в качестве буферной обратной связи, и квантует коэффициенты ДКП от блока ДКП 34, используя данный шаг квантования. Квантованные коэффициенты ДКП (которые иногда здесь называются коэффициентами квантования) подаются в блок КПД 36 вместе с установленным шагом квантования.

Блок КПД 36 преобразует коэффициенты квантования, подаваемые от квантователя 35, в код с переменной длиной слова, например код Хаффмена, в соответствии с шагом квантования, подаваемым от квантователя 35. Результирующие преобразованные коэффициенты квантования выводятся в буфер 37. Блок КПД 36 осуществляет также кодирование с переменной длиной слова шага квантования, поступающего от квантователя 35, режима предсказания, поступающего от обнаружителя вектора движения 32, и вектора движения, поступающего от обнаружителя вектора движения 32, и выводит закодированные данные в буфер 37. Следует отметить, что режим предсказания является режимом, определяющим, какой из видов кодирования - внутреннее кодирование, прямое предиктивное кодирование, обратное предиктивное кодирование или двунаправленное предиктивное кодирование - был установлен.

Буфер 37 осуществляет промежуточное запоминание данных, поступающих от блока КПД 36, и сглаживает объем данных, так чтобы иметь возможность вывода из него сглаженных данных и подачи их в канал передачи либо записи на некоторый носитель записи или т.п. Буфер 37 может также подавать этот объем запоминаемых данных в квантователь 35, который устанавливает соответствующий шаг квантования. В случае неминуемого переполнения буфера 37 квантователь 35 увеличивает размер шага квантования для уменьшения объема данных коэффициентов квантования. Наоборот, в случае неминуемой потери значимости буфера 37 квантователь 35 уменьшает размер шага квантования для увеличения объема данных коэффициентов квантования. Следует отметить, что данная процедура позволяет предотвратить переполнение и потерю значимости буфера 37.

Коэффициенты квантования и шаг квантования, выводимые из квантователя 35, подаются не только в блок КПД 36, но также и в деквантователь 38, который осуществляет деквантование коэффициентов квантования в соответствии с шагом квантования, с тем чтобы преобразовать их в коэффициенты ДКП. Эти коэффициенты ДКП подаются в блок обратного ДКП 39, который выполняет обратное ДКП с использованием коэффициентов ДКП. Полученные после обратного ДКП коэффициенты подаются в арифметический блок 40.

Арифметический блок 40 получает коэффициенты обратного ДКП из блока обратного ДКП (ОДКП) 39 и данные от компенсатора движения 42, которые являются теми же самыми данными, что и предсказываемое изображение, посылаемое в арифметический блок 33. Арифметический блок 40 суммирует сигнал (вычеты предсказания) от блока ОДКП 39 с предсказываемым изображением от компенсатора движения 42, чтобы локально декодировать исходное изображение. Однако, если режим предсказания указывает на внутреннее кодирование, выход блока ОДКП 39 может быть непосредственно подан в кадровую память 41. Получаемое арифметическим блоком 40 декодированное изображение (локально декодированное изображение) подается и запоминается в кадровой памяти 41 для дальнейшего использования в качестве опорного изображения для изображения, получаемого с помощью внутреннего кодирования; изображения, получаемого с помощью прямого предиктивного кодирования; изображения, получаемого с помощью обратного предиктивного кодирования, или изображения, получаемого с помощью двунаправленного предиктивного кодирования.

Получаемое из арифметического блока 40 декодированное изображение является таким же, как изображение, которое можно получить от приемника или блока декодирования (на фиг.1 не показаны).

На фиг.2 показан декодер MP@ML в системе MPEG для декодирования закодированных данных, например таких, которые выводятся кодером по фиг.1. В таком декодере закодированные данные, передаваемые по каналу передачи, могут приниматься приемником (не показан), либо закодированные данные, записанные на носитель записи, могут воспроизводиться устройством воспроизведения (не показано) и подаваться в буфер 101 для запоминания. Блок обратного КПД 102 считывает закодированные данные, хранящиеся в буфере 101, и осуществляет их декодирование с переменной длиной слова, с тем чтобы разделить декодированные данные на данные вектора движения, режима предсказания, шага квантования и коэффициентов квантования. Выделенные данные вектора движения и режима предсказания подаются в компенсатор движения 107, в то время как данные шага квантования и коэффициентов квантования подаются в деквантователь 103. Деквантователь 103 выполняет деквантование коэффициентов квантования в соответствии с шагом квантования для получения коэффициентов ДКП, которые подаются в блок ОДКП 104. Блок ОДКП 104 выполняет операцию обратного ДКП над полученными коэффициентами ДКП и подает результирующий сигнал в арифметический блок 105. Помимо выходного сигнала блока ОДКП 104 арифметический блок 105 получает также выходной сигнал от компенсатора движения 107. То есть, компенсатор движения 107 считывает предварительно декодированное изображение, хранящееся в кадровой памяти 106, в соответствии с режимом предсказания и вектором движения от блока ОКПД 102 таким же образом, что и компенсатор движения 42 по фиг.1, и подает считанное декодированное изображение в качестве предсказываемого изображения в арифметический блок 105. Арифметический блок 105 суммирует сигнал от блока ОДКП 104 (вычеты предсказания) с предсказываемым изображением от компенсатора движения 107 для декодирования исходного изображения. Если выход блока ОДКП 104 получен путем внутреннего кодирования, то такой выходной сигнал может быть непосредственно подан в кадровую память 106 для запоминания. Декодированное изображение, хранящееся в кадровой памяти 106, может быть использовано в качестве опорного изображения для последовательно декодируемых изображений, а также может быть считано и подано на дисплей (не показан) для отображения на нем. Однако, если декодированное изображение является В-изображением, то такое В-изображение не запоминается в кадровых памятях 41 (фиг.1) или 106 (фиг.2) в блоке кодирования или декодере, поскольку В-изображение не используется в качестве опорного изображения в MPEGL и MPEG2.

В MPEG вдобавок к вышеописанному MP@ML определяется множество различных профилей и уровней, также как и множество различных инструментальных средств. Примером инструментального средства MPEG является масштабируемость. В частности, MPEG предлагает систему масштабируемого кодирования, охватывающую различные размеры изображений или различные размеры кадров. При пространственной масштабируемости, если, например, декодируется только поток бит нижнего уровня, то получается только изображение с маленькими размерами, тогда как, если декодируются потоки как нижнего, так и верхнего уровней, то получается изображение с большими размерами.

На фиг. 3 показан блок кодирования для обеспечения пространственной масштабируемости. При пространственной масштабируемости нижний и верхний уровни ассоциируются соответственно с сигналами изображения малого размера и сигналами изображения большого размера. Блок кодирования верхнего уровня 201 может принять для кодирования изображение верхнего уровня, в то время как блок кодирования нижнего уровня 202 может принять изображение, являющееся результатом процедуры прореживания для уменьшения количества пикселей (то есть изображение с пониженной разрешающей способностью для уменьшения его размера). Блок кодирования нижнего уровня 202 осуществляет предиктивное кодирование изображения нижнего уровня подобно тому, как показано на фиг.1, для формирования и выдачи потока битов нижнего уровня. Блок кодирования нижнего уровня 202 генерирует также изображение, соответствующее локально декодированному изображению нижнего уровня, увеличенному до того же размера, что и изображение верхнего уровня (иногда называемое здесь увеличенным изображением). Это увеличенное изображение подается в блок кодирования верхнего уровня 201. Блок кодирования верхнего уровня 201 осуществляет предиктивное кодирование изображения верхнего уровня подобно тому, как показано на фиг. 1, для формирования и выдачи потока битов верхнего уровня. Блок кодирования верхнего уровня 201 использует также увеличенное изображение, поступающее от блока кодирования нижнего уровня 202, в качестве опорного изображения для выполнения предиктивного кодирования. Поток битов верхнего уровня и поток битов нижнего уровня мультиплексируются, образуя кодированные данные, которые выдаются на выход.

На фиг.4 показан пример реализации блока кодирования верхнего уровня 202 по фиг. 3. Такой блок кодирования верхнего уровня 202 имеет структуру, сходную с кодером по фиг.1, за исключением блока дискретизации с увеличением 211. На фиг. 4 части или элементы, соответствующие аналогичным частям и элементам на фиг.1, обозначены теми же самыми цифровыми ссылочными позициями. Блок дискретизации 211 дискретизирует с увеличением (интерполирует) локально декодированное изображение нижнего уровня, выдаваемое арифметическим блоком 40, с тем чтобы увеличить изображение до того же самого размера, что и у изображения верхнего уровня, и подает результирующее увеличенное изображение в блок кодирования верхнего уровня 201.

На фиг.5 показан пример реализации блока кодирования верхнего уровня 201 по фиг.3. Этот блок кодирования верхнего уровня 201 по своей структуре подобен кодеру по фиг.1, за исключением блоков суммирования с взвешиванием 221, 222 и арифметического блока 223. На фиг.5 части и элементы, соответствующие элементам по фиг.1, обозначены одними и теми же цифровыми ссылочными позициями. Блок суммирования с взвешиванием 221 умножает предсказываемое изображение, получаемое из компенсатора движения 42, на вес W и выдает результирующий сигнал в арифметический блок 223. Блок суммирования с взвешиванием 222 умножает увеличенное изображение, подаваемое от блока кодирования верхнего уровня 202, на вес (1-W) и выдает результирующее произведение в арифметический блок 223. Арифметический блок 223 суммирует получаемые выходные сигналы из схем суммирования со взвешиванием 221, 222 и выводит результирующую сумму в арифметические блоки 33, 40 в качестве предсказываемого изображения. Взвешивание с весом W, используемое в блоке суммирования со взвешиванием 221, устанавливается предварительно, как и взвешивание с весом (1-W), используемое в блоке суммирования со взвешиванием 222. Взвешивание с весом W подается в блок КПД 36 для кодирования с переменной длиной слова. Блок кодирования верхнего уровня 201 осуществляет обработку, подобную той, что происходит по фиг.1.

Таким образом, блок кодирования верхнего уровня 201 выполняет предиктивное кодирование с использованием не только изображения верхнего уровня, но также и увеличенного изображения от блока кодирования нижнего уровня 202, то есть изображения нижнего уровня в качестве опорного изображения.

На фиг.6 показан пример декодера для реализации пространственной масштабируемости. Кодированные выходные данные из кодера по фиг.3 разделяются на поток битов верхнего уровня и поток битов нижнего уровня, которые подаются соответственно в блок декодирования верхнего уровня 231 и в блок декодирования нижнего уровня 232. Блок декодирования нижнего уровня 232 декодирует поток битов нижнего уровня, как на фиг.2, и выводит результирующее декодированное изображение нижнего уровня. Кроме того, блок декодирования нижнего уровня 232 увеличивает декодированное изображение нижнего уровня до того же самого размера, что у изображения верхнего уровня, для формирования увеличенного изображения и подает его в блок декодирования верхнего уровня 231. Блок декодирования верхнего уровня 231 подобным же образом декодирует поток битов верхнего уровня, как на фиг.2. Однако блок декодирования верхнего уровня 231 декодирует поток битов с использованием в качестве эталонного изображения увеличенного изображения от блока декодирования нижнего уровня 232.

На фиг. 7 показан пример реализации блока декодирования нижнего уровня 232. Блок декодирования нижнего уровня 232 подобен по структуре декодеру на фиг. 2, за исключением блока дискретизации с увеличением 241. На фиг.7 части или элементы, соответствующие частям или элементам по фиг.2, обозначены теми же самыми цифровыми ссылками. Блок дискретизации с увеличением 241 дискретизирует с увеличением (интерполирует) декодированное изображение нижнего уровня, выдаваемое арифметическим блоком 105, с тем чтобы увеличить изображение нижнего уровня до того же самого размера, что и у изображения верхнего уровня, и выводит увеличенное изображение в декодер верхнего уровня 231.

На фиг. 8 показан пример реализации блока декодирования верхнего уровня 231 по фиг.6. Блок декодирования верхнего уровня 231 подобен по конструкции кодеру по фиг.2, за исключением блоков суммирования с взвешиванием 251, 252 и арифметического блока 253. На фиг.7 элементы, соответствующие элементам по фиг. 2, обозначены теми же самыми цифровыми ссылочными позициями. Вдобавок к выполнению обработки данных, раскрытой со ссылками на фиг.2, блок ОКПД 102 выделяет коэффициент взвешивания W из кодированных данных и выдает выделенный коэффициент взвешивания W в блоки суммирования с взвешиванием 251, 252. Блок суммирования с взвешиванием 251 умножает предсказываемое изображение, выдаваемое компенсатором движения 107, на коэффициент взвешивания W и выводит результирующее произведение в арифметический блок 253. Арифметический блок 253 получает также выходной сигнал из блока суммирования с взвешиванием 252. Такой выходной сигнал получается путем умножения увеличенного изображения, подаваемого от блока декодирования нижнего уровня 232, на коэффициент взвешивания (1-W). Арифметический блок 253 суммирует выходные сигналы блоков суммирования со взвешиванием 251, 252 и подает суммарный выходной сигнал в качестве предсказываемого изображения на арифметический блок 105. Следовательно, арифметический блок 253 использует изображение верхнего уровня и увеличенное изображение от блока кодирования нижнего уровня 232, то есть изображение нижнего уровня, в качестве опорных изображений для декодирования. Такая обработка данных выполняется как с сигналами яркости, так и сигналами цветности. Вектор движения для сигналов цветности может составлять половину от вектора движения для сигналов яркости.

Вдобавок к вышеописанной системе MPEG были стандартизированы ряд различных высокоэффективных систем кодирования для движущихся изображений. Например, в ITU-T такие системы, как Н.261 или Н.263, рекомендуются в основном системы кодирования для средств связи. Подобно системе MPEG системы Н.261 и Н.263 сочетают в себе предиктивное кодирование с компенсацией движения и ДКП кодирование. В частности, системы Н.261 и Н.263 по своей структуре в основном подобны кодеру или декодеру системы MPEG, хотя могут существовать и некоторые различия в их структуре или отдельных деталях.

В системе синтеза изображений для построения изображения посредством синтеза множества изображений может быть использован способ, основанный на применении так называемого "ключа цветности". Согласно этому способу объект фотографируется на фоне определенного однородного цвета, например синего, затем выделяется область, отличная от синего, и выделенная область синтезируется с другим изображением. Сигнал, определяющий выделенную область, называется сигналом ключа.

Фиг. 9 иллюстрирует способ синтеза изображения, где F1 - изображение фона, a F2 - изображение переднего плана. Изображение F2 получается путем фотографирования объекта, в данном случае человека, и выделения области, отличной от данного цвета. Сигнал цветности К1 определяет выделенную область. В системе синтеза изображений изображение фона F1 и изображение переднего плана F2 синтезируются в соответствии с сигналом ключа К1, с тем чтобы создать синтезированное изображение F3. Это синтезированное изображение кодируется, например, способом МРЕG и передается.

Если синтезированное изображение F3 кодируется и передается, как описано выше, то передаются только кодированные данные по синтезированному изображению F3, так что такая информация, как сигнал ключа К1, может быть потеряна. Из-за этого затрудняется выполнение на приемной стороне повторного редактирования или повторного синтеза для поддержания неискаженного переднего плана F2 и изменения только фона F1.

Рассмотрим способ, при котором изображения F1, F2 и сигналы ключа К1 кодируются по отдельности и соответствующие результирующие потоки бит мультиплексируются, как показано в качестве примера на фиг.10. В этом случае приемная сторона демультиплексирует мультиплексированные данные, чтобы декодировать соответствующие потоки бит и получить изображения F1, F2 или сигнал ключа К1. Декодированные результирующие изображения F1, F2 либо сигнал ключа К1 могут быть синтезированы, с тем чтобы создать синтезированное изображение F3. В таком случае приемная сторона может выполнять повторное редактирование или синтез, так что передний план F2 сохраняется неискаженным, а изменяется только фон F1.

Следовательно, синтезированное изображение F3 компонуется из изображений F1 и F2. Подобным же образом любое изображение может быть представлено как скомпонованное из множества изображений или объектов. Если элементы, из которых составляется изображение, рассматривать, согласно принятой терминологии, как видеообъекты (ВО), то процедура стандартизации системы кодирования на основе ВО соответствует принятой ISO-IEC/ JTC1/SC29/WG11 процедуре MPEG4. Однако в настоящее время способ эффективного кодирования ВО или кодирования сигналов ключей еще не утвержден и находится в стадии проработки. В любом случае, хотя MPEG4 предписывает использовать функцию масштабируемости, конкретный способ для реализации масштабируемости для ВО, в котором его положение и размер изменяются во времени, не предложен. Например, если ВО - это человек, приближающийся от удаленного места, то его положение и размер изменяются во времени. Следовательно, если в качестве опорного изображения при предиктивном кодировании изображения верхнего уровня используется изображение нижнего уровня, то может оказаться необходимым выяснить относительное положение между изображением верхнего уровня и изображением нижнего уровня, используемым в качестве опорного изображения. С другой стороны, при использовании масштабируемости на основе ВО условие для пропускаемого макроблока нижнего уровня не обязательно должно быть применимым для пропускаемого макроблока нижнего уровня.

Следовательно, задачей настоящего изобретения является создание способа, который позволит без труда осуществлять кодирование на основе ВО.

Сущность изобретения Согласно одному аспекту настоящего изобретения предлагается устройство кодирования изображений, которое включает в себя средство увеличения/сжатия для увеличения или сжатия второго изображения на основе различия в разрешающей способности первого и второго изображений (такое как преобразователь разрешающей способности 24, показанный на фиг.15), первое средство кодирования изображений для предиктивного кодирования первого изображения с использованием выходного сигнала средства увеличения/сжатия в качестве опорного изображения (такое как блок кодирования верхнего уровня 23, показанный на фиг.15), второе средство кодирования изображений для кодирования второго изображения (такое как блок кодирования нижнего уровня 25), средство установки положения для установки положений первого изображения и второго изображения в предварительно установленной абсолютной системе координат и вывода первой или второй информации положения о положении первого или второго изображения соответственно (такое как блок расслоения изображений 21, показанный на фиг. 15) и средство мультиплексирования для мультиплексирования выходных сигналов первого средства кодирования изображений, второго средства кодирования изображений и средства установки положения (такое как мультиплексор 26, показанный на фиг. 15). Первое средство кодирования изображений определяет положение первого изображения на основе первой информации положения и преобразует вторую информацию положения в соответствии со степенью увеличения или степенью сжатия, используя которую указанное средство увеличения/сжатия увеличило или сжало второе изображение. Первое средство кодирования изображений также определяет положение, соответствующее результатам преобразования, в качестве положения опорного изображения, для того чтобы выполнить предиктивное кодирование.

Согласно другому аспекту настоящего изобретения предлагается устройство кодирования изображений для кодирования, которое включает в себя средство увеличения/сжатия для увеличения или сжатия второго изображения на основе различия в разрешающей способности первого и второго изображений (такое как преобразователь разрешающей способности 24, показанный на фиг.15), первое средство кодирования изображений для предиктивного кодирования первого изображения с использованием выходного сигнала средства увеличения/сжатия в качестве опорного изображения (такое как блок кодирования верхнего уровня 23, показанный на фиг.15), второе средство кодирования изображений для кодирования второго изображения (такое как блок кодирования нижнего уровня 25), средство установки положения для установки положений первого изображения и второго изображения в предварительно установленной абсолютной системе координат и вывода первой или второй информации положения о положении первого или второго изображения соответственно (такое как блок расслоения изображений 21, показанный на фиг.15) и средство мультиплексирования для мультиплексирования выходных сигналов первого средства кодирования изображений, второго средства кодирования изображений и средства установки положения (такое как мультиплексор 26, показанный на фиг.15). Первое средство кодирования изображений обеспечивает определение положения первого изображения на основе первой информации положения и преобразование второй информации положения в соответствии со степенью увеличения или степенью сжатия, с использованием которой средство увеличения/сжатия увеличило или сжало второе изображение. Первое средство кодирования изображений определяет положение, соответствующее результатам преобразования, в качестве положения опорного изображения, для того чтобы выполнить предиктивное кодирование.

Согласно вышеописанному устройству кодирования изображений и способу кодирования изображений средство увеличения/сжатия увеличивает или сжимает второе изображение на основе различия в разрешающей способности первого и второго изображений, в то время как первое средство кодирования изображений предиктивно кодирует первое изображение, используя в качестве опорного изображения выходной сигнал средства увеличения/сжатия. Средство установки положения устанавливает положения первого изображения и второго изображения в предварительно установленной абсолютной системе координат и выводит первую информацию положения или вторую информацию положения о положении соответственно первого или второго изображения. Первое средство кодирования изображений определяет положение первого изображения на основе первой информации положения и преобразует вторую информацию положения в соответствии со степенью увеличения или степенью сжатия, с использованием которой средство увеличения/ сжатия увеличило или сжало второе изображение. Первое средство кодирования изображений определяет положение, соответствующее результатам преобразования, в качестве положения опорного изображения, для того чтобы выполнить предиктивное кодирование.

Согласно еще одному аспекту настоящего изобретения предлагается устройство декодирования изображений, которое включает в себя второе средство декодирования изображений для декодирования второго изображения (такое как блок декодирования нижнего уровня 95), средство увеличения/сжатия для увеличения/сжатия второго изображения, декодируемого вторым средством декодирования изображений на основе различия в разрешающей способности первого и второго изображений (такое как преобразователь разрешающей способности 94, показанный на фиг.29) и первое средство декодирования изображений для декодирования первого изображения путем использования выходного сигнала средства увеличения/сжатия в качестве опорного изображения (такое как блок декодирования верхнего уровня 93, показанный на фиг.29). Кодированные данные включают в себя первую или вторую информацию положения о положении соответственно первого или второго изображения в предварительно установленной абсолютной системе координат. Первое средство декодирования изображений определяет положение первого изображения на основе первой информации положения и преобразует вторую информацию положения в соответствии со степенью увеличения или степенью сжатия, с использованием которой средство увеличения/сжатия увеличило или сжало второе изображение. Первое средство декодирования изображений также определяет положение, соответствующее результатам преобразования, в качестве положения опорного изображения, для того чтобы декодировать первое изображение.

Вышеописанное устройство декодирования изображений может включать в себя дисплей для отображения результатов декодирования первого средства декодирования изображений (такой как монитор 74, показанный на фиг.27).

Согласно еще одному аспекту настоящего изобретения предлагается устройство декодирования изображений, которое включает в себя второе средство декодирования изображений для декодирования второго изображения (такое как блок декодирования нижнего уровня 95, показанный на фиг.29), средство увеличения/сжатия для увеличения/сжатия второго изображения, декодируемого вторым средством декодирования изображений на основе различия в разрешающей способности первого и второго изображений (такое как преобразователь разрешающей способности 94, показанный на фиг.29) и первое средство декодирования изображений для декодирования первого изображения путем использования выходного сигнала средства увеличения/сжатия в качестве опорного изображения (такое как блок декодирования верхнего уровня 93, показанный на фиг.29). Кодированные данные включают в себя первую и вторую информацию положения о положении соответственно первого и второго изображения в предварительно установленной абсолютной системе координат. Первое средство декодирования изображений предназначено для определения положения первого изображения на основе первой информации положения и преобразования второй информации положения в соответствии со степенью увеличения или степенью сжатия, с использованием которой средство увеличения/сжатия увеличило или сжало второе изображение. Первое средство кодирования изображений определяет положение, соответствующее результатам преобразования, в качестве положения опорного изображения, для того чтобы декодировать первое изображение.

Согласно вышеописанному устройству декодирования изображений и способу декодирования изображений средство увеличения/сжатия увеличивает или сжимает второе изображение, декодируемое вторым средством декодирования изображений, на основе различия в разрешающей способности первого и второго изображений. Первое средство декодирования изображений декодирует первое изображение, используя выходной сигнал средства увеличения/сжатия в качестве опорного изображения. Если кодированные данные включают в себя первую информацию положения или вторую информацию положения о положении соответственно первого изображения и о положении второго изображения в предварительно установленной абсолютной системе координат, первое средство декодирования изображений определяет положение первого изображения на основе первой информации положения и преобразует вторую информацию положения в соответствии со степенью увеличения или степенью сжатия, с использованием которой средство увеличения/сжатия увеличило или сжало второе изображение. Первое средство декодирования изображений определяет положение, соответствующее результатам преобразования, в качестве положения опорного изображения, для того чтобы декодировать первое изображение.

Согл