Способ кодирования движущегося изображения, устройство кодирования движущегося изображения, способ записи движущегося изображения, носитель записи, способ воспроизведения движущегося изображения, устройство воспроизведения движущегося изображения и система воспроизведения движущегося изображения

Способ кодирования движущегося изображения, устройство кодирования движущегося изображения, способ записи движущегося изображения, носитель записи, способ воспроизведения движущегося изображения, устройство воспроизведения движущегося изображения и система воспроизведения движущегося изображения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к способу кодирования движущегося изображения для кодирования, когда генерирование кодированного потока, включающего в себя движущееся изображение, передний план которого и фон являются отделимыми согласно порогу уровня яркости, движущегося изображения, в то же время изменяя порог уровня яркости. Настоящее изобретение также относится к способу записи движущегося изображения, способу воспроизведения движущегося изображения, носителю записи, на котором записан кодированный поток, и т.п.

Уровень техники

[0002] Ниже описан DVD-видеодиск (далее просто названный "DVD") согласно обычной методике.

[0003] Фиг.1 показывает структуру DVD. Как показано в нижней части Фиг.1, логическое пространство адресов обеспечивается между начальной дорожкой и оконечной зоной на диске DVD. Информация об объеме файловой системы хранится в начале логического пространства адресов с последующими данными приложений, такими как видео и аудио.

[0004] Файловая система определяется ISO 9660 (Международной организации по стандартизации) или Универсальным Дисковым Форматом (UDF) и является механизмом для представления данных на диске в блоках (единицах), называемых каталогом и файлом. Персональный компьютер (РС) для ежедневного использования также может представлять данные, сохраненные на жестком диске в форме каталогов и файлов, через файловую систему, такую как FAT или NTFS. Это увеличивает удобство и простоту использования.

[0005] DVD используют и UDF, и ISO 9660 (комбинация которых известна как "UDF Bridge" (Мост UDF)) так, чтобы данные могли быть считаны драйвером файловой системы любого из UDF и ISO 9660. В случае DVD-RAM/R/RW, которые являются перезаписываемыми дисками DVD, данные могут быть физически считаны, записаны и удалены посредством этих файловых систем.

[0006] Данные, записанные на DVD, могут быть просмотрены посредством UDF Bridge как каталоги и файлы, как показано в верхней левой части Фиг.1. Каталог под названием "VIDEO_TS" помещается непосредственно ниже корневого каталога ("ROOT" на Фиг.1). Прикладные данные DVD сохраняются в этом каталоге VIDEO_TS. Прикладные данные сохраняются как множество файлов. Множество файлов главным образом включает в себя следующее:

[0007] VIDEO_TS.IFO - файл информации управления воспроизведением диска;

VTS_01_0.IFO - файл информации управления воспроизведением заголовка set#1 (набор №1) видео;

VTS_01_0.VOB - файл потока заголовка set#1 видео.

[0008] Определены два типа расширений. "IFO" указывает файл, хранящий информацию управления воспроизведением, и "VOB" указывает файл, хранящий поток MPEG, который является AV данными. Информация управления воспроизведением включает в себя информацию для реализации интерактивности (способа динамического изменения воспроизведения в соответствии с пользовательской операцией), используемой для DVD, информацию, такую как метаданные, которая присоединена к заголовку или потоку AV, и т.п. В DVD информация управления воспроизведением также называется как навигационная информация.

[0009] Файл информации управления воспроизведением включает в себя "VIDEO_TS.IFO" для управления всем диском, и "VTS_01_0.IFO", которая является информацией управления воспроизведением для индивидуального набора видеозаголовков (в DVD множество заголовков, например, различных кинофильмов или различных версий кинофильмов, может быть записано на одном диске). "01" в теле имени файла "VTS_01_0.IFO" указывает номер набора видеозаголовков. Например, файл информации управления воспроизведением для заголовка set#2 видео есть "VTS_02_0.IFO".

[0010] Верхняя правая часть Фиг.1 показывает пространство навигации DVD в прикладном уровне DVD. Это есть пространство логической структуры, где развертывается вышеупомянутая информация управления воспроизведением. В пространстве навигации DVD информация, хранящаяся в "VIDEO_TS.IFO", развертывается как информация администратора видео (VMGI), и информация управления воспроизведением, которая существует для каждого индивидуального набора заголовков видео, такого как "VTS_01_0.IFO", развертывается как информация набора заголовков видео (VTSI).

[0011] VTSI включает в себя информацию цепочки программ (PGCI). PGCI есть информация о последовательности воспроизведения, названной цепочкой программ (PGC). PGCI главным образом состоит из группы фрагментов и своего рода информации программирования, называемой командами. Сам фрагмент соответствует всему или части видеообъекта (который является потоком MPEG и указывается аббревиатурой VOB). Воспроизведение фрагмента является эквивалентом воспроизведения секции, в VOB, которая обозначается фрагментом.

[0012] Команды обрабатываются виртуальной машиной DVD и являются аналогичными, например, Java (зарегистрированный товарный знак) Script, выполняемым на браузере. Однако команды DVD отличаются от Java (зарегистрированный товарный знак) Script следующим. Java (зарегистрированный товарный знак) Script управляют окнами и браузерами (например, открывают окно нового браузера), в дополнение к выполнению логических операций. С другой стороны, команды DVD только управляют воспроизведением AV заголовков, например, посредством обозначения части, подлежащей воспроизведению, в дополнение к выполнению логических операций.

[0013] Фрагмент включает в себя начальный и конечный адреса соответствующей секции в VOB, записанном на диске (логические адреса памяти на диске), в качестве ее внутренней информации. Устройство воспроизведения считывает данные, используя начальный и конечный адреса, записанные в фрагменте относительно VOB, и воспроизводит считанные данные.

[0014] Фиг.2 есть схематическое представление для пояснения навигационной информации, которая внедрена в поток AV. Интерактивность, которая обеспечивается DVD, реализуется не только посредством навигационной информации, хранящейся в вышеупомянутых "VIDEO_TS.IFO" и "VTS_01_0.IFO". Другая важная навигационная информация является мультиплексированной в VOB вместе с видео и аудиоданными, посредством использования выделенной несущей, названной навигационным пакетом (далее называемой нави-пакетом или NV_PCK).

[0015] Меню поясняется ниже в качестве простого примера интерактивности. Экран меню имеет несколько кнопок. Для каждой из кнопок определен процесс, который должен быть выполнен, когда кнопка выбирается и выполняется. Одна кнопка находится в выбранном состоянии в меню (нажатая кнопка подсвечивается, будучи перекрытой полупрозрачным цветом, чтобы указать выбранное состояние кнопки пользователю). Пользователь может переместить подсвечивание (выделение) в любую из кнопок, расположенных выше, ниже, вправо и влево от в настоящее время выбранной кнопки, посредством использования клавиш Up/Down/Right/Left на пульте дистанционного управления. То, когда пользователь перемещает выделение на кнопку, которую пользователь хочет выбрать для выполнения, используя клавиши Up/Down/Right/Left на пульте дистанционного управления, и определяет выбор (например, посредством нажатия клавиши ENTER), программа команды, соответствующей нажатой кнопке, выполняется. Как правило, воспроизведение заголовка или раздела, соответствующего нажатой кнопке, выполняется посредством команды.

[0016] Верхняя левая часть Фиг.2 в качестве примера показывает информацию управления, хранящуюся в NV_PCK.

[0017] NV_PCK включает в себя информацию цвета выделения, информацию кнопки для каждой индивидуальной кнопки, и т.п. Информация цвета выделения включает в себя информацию цветовой палитры, которая задает полупрозрачный цвет выделения, который должен быть отображен посредством наложения. Информация кнопки для каждой отдельной кнопки включает в себя информацию прямоугольной области, показывающую позицию кнопки, информацию перемещения подсвечивания о перемещениях от этой кнопки к другим кнопкам (обозначающую кнопки-адресаты перемещения, соответствующие операциям пользователя с клавишами Up/Down/Right/Left), и информацию команды кнопки (команда, которая должна быть выполнена, когда выбор кнопки определен).

[0018] Выделение (подсвечивание) на меню генерируется как наложенное изображение, как показано в верхней средней правой части Фиг.2. Это наложенное изображение получается посредством задания цвета, определенного информацией цветовой палитры, для области, показанной информацией прямоугольной области в информации кнопки. Наложенное изображение накладывается на фоновое изображение, показанное в правой части Фиг.2, и получающееся изображение отображается на экране.

[0019] Таким образом реализуются меню в DVD. Основная причина, почему часть навигационных данных внедряется в поток, используя NV_PCK, состоит в том, чтобы позволить динамически обновлять информацию меню в синхронизации с потоком (например, отображение меню только в течение пяти - десяти минут во время воспроизведения кино), так что даже прикладная программа, которая имеет трудное согласование синхронизации, может быть соответственно реализована. Другая основная причина состоит в том, чтобы улучшить удобство использования для пользователя, например, посредством сохранения информации для поддержания специального воспроизведения в NV_PCK, чтобы разрешить «гладкое» декодирование и воспроизведение AV данных, даже когда DVD воспроизводят в специальном режиме, таком как ускоренная перемотка вперед или перемотка назад.

[0020] Фиг.3 есть концептуальное представление, показывающее VOB, который является потоком, на DVD. Как показано на Фиг.3, данные, такие как видео, аудио и субтитры (показанные в уровне А на Фиг.3), пакетизированы и упакованы (показаны в уровне B на Фиг.3) и мультиплексированы друг с другом, чтобы сформировать один MPEG поток программы (показанный в уровне C на Фиг.3), на основании стандарта системы MPEG (Международная организация по Стандартизации/Международная Электротехническая Комиссия (ISO/IEC) 13818-1). NV_PCK, который несет команду кнопки для реализации интерактивности, является мультиплексированным в потоке программы MPEG также, как описано выше.

[0021] В системе MPEG мультиплексирование имеет следующую особенность. В то время как отдельные данные, подлежащие мультиплексированию, то есть видеоданные, аудиоданные или данные субтитра, размещаются в строке битов, на основании порядка декодирования, эти различные типы данных в целом, то есть видеоданные, аудиоданные и данные субтитра в целом, не обязательно размещаются в строке битов, на основании порядка воспроизведения. Это имеет место потому, что модель декодера для мультиплексированного потока системы MPEG (обычно называемого Системным Целевым Декодером или STD (показанный в уровне D на Фиг.3)) имеет буферы декодера, соответствующие отдельным элементарным потокам, полученным посредством демультиплексирования, и временно сохраняет демультиплексированные данные в соответствующих буферах декодера до декодирования. Например, буферы декодера, определенные посредством DVD-видео, имеют различные размеры в зависимости от отдельных элементарных потоков, таким образом, что размер буфера составляет 232 Кбайта для видео, 4 Кбайта для аудио и 52 Кбайта для субтитров.

[0022] Другими словами, данные субтитра, мультиплексированные рядом с видеоданными, не обязательно декодируются и воспроизводятся в те же самые моменты времени, что и видеоданные.

[0023] Есть также стандарт DVD следующего поколения, названный диском blu-ray (BD).

[0024] В то время как DVD предназначаются для пакетного распределения видео (формат DVD-Video) стандартного качества изображения (качество Standard Definition) и записи аналогового радиовещания (формат DVD-Video Recording), диски blu-ray способны записывать цифровые передачи вещания с качеством изображения высокой четкости (качество High Definition), как есть (формат Blu-ray Disk Rewritable, ниже называемый BD-RE).

[0025] Однако так как BD-RE широко предназначается для записи программ цифрового вещания, информация, поддерживающая специальное воспроизведение и т.п., не была оптимизирована. Для будущего пакетного распределения видео высокого разрешения с более высокой частотой следования, чем цифровое радиовещание (формат BD-ROM), необходим механизм, который не вызывает стресса у пользователя даже во время специального воспроизведения.

[0026] Усовершенствованное кодирование видео (AVC) MPEG4 использовалось в качестве одного из способов кодирования движущегося изображения в BD. AVC MPEG4 - стандарт кодирования следующего поколения с высокой степенью сжатия, который был совместно разработан ISO/IEC JTCl/SC29/WG11 и Международным Союзом по телекоммуникациям - Сектором стандартизации телекоммуникаций (International Telecommunication Union- Telecommunication Standartization Sector) (ITU-T).

[0027] Обычно при кодировании движущегося изображения информация сжимается посредством сокращении избыточности во временном направлении и пространственном направлении. При кодировании с межкадровым (между изображениями) предсказанием, которое стремится уменьшить временную избыточность, обнаружение движения и генерирование прогнозирующего изображения выполняются в единицах блоков в отношении изображения, которое предшествует и/или следует за целевым изображением кодирования, и разность между целевым изображением кодирования и сгенерированным прогнозирующим изображением кодируется. Термин "изображение", используемое здесь, обозначает изображение одного экрана (кадра). Более подробно, изображение обозначает кадр в прогрессивном формате, и кадр или поле в формате с (чересстрочным) чередованием. В чересстрочном формате один кадр состоит из двух полей различных времен. Чересстрочное изображение может быть кодировано и декодировано посредством обработки одного кадра в качестве самого кадра, посредством обработки одного кадра как двух полей или посредством обработки каждого блока кадра как структуры кадра или полевой структуры.

[0028] I-изображение есть кодированное изображение с предсказанием внутри изображения, которое не имеет опорного изображения. P-изображение - есть кодированное изображение с предсказанием между изображениями, которое ссылается только на одно изображение. B-изображение - кодированное изображение с предсказанием между изображениями, которое ссылается на два изображения одновременно. B-изображение может ссылаться на любую комбинацию из двух изображений, которые предшествуют и/или следуют за B-изображением в терминах времени отображения. Опорное изображение (опорная картинка) может быть назначено для каждого блока, который является основной единицей кодирования/декодирования. Здесь, опорное изображение, которое записано сначала в кодированном потоке битов, и опорное изображение, которое записано позже в кодированном потоке битов, различаются друг от друга как первое опорное изображение и второе опорное изображение соответственно. Следует заметить, что, чтобы закодировать/декодировать Р-изображение или B-изображение, его опорное изображение должно быть уже закодировано/декодировано.

[0029] Остаточный сигнал, который обеспечивается посредством вычитания прогнозирующего сигнала, сгенерированного посредством предсказания внутри изображения или предсказания между изображениями из кодирования целевого изображения, преобразовывается по частоте и квантуется, и затем кодируется с переменной длиной (кода), и выдается как кодированный поток. AVC MPEG4 имеет два способа кодирования с переменной длиной (кода), а именно, адаптивное к контексту кодирование с переменной длиной (CAVLC) и адаптивное к контексту двоичное арифметическое кодирование (CABAC), которые могут переключаться в блоках изображений. Адаптивность к контексту, упомянутая здесь, обозначает режим адаптивного выбора эффективного способа кодирования в соответствии с обстоятельствами.

[0030] Ниже описан поток, в котором могут существовать различные способы кодирования (или движущееся изображение с различными атрибутами), и процесс декодирования устройством декодирования, которое принимает такой поток. Два примера используются в этом описании. Первый пример есть случай, когда могут существовать различные способы кодирования с переменной длиной (CAVLC/CABAC). Второй пример есть случай, когда порог уровня яркости, который используется при выполнении обработки прозрачности посредством ключа яркости в отношении «картинка-в-картинке», может принимать различные значения.

[0031] Сначала описывается ниже первый пример потока, в котором могут существовать различные способы кодирования (или движущееся изображение с различными атрибутами), то есть, пример, где могут существовать различные способы кодирования с переменной длиной (CAVLC/CABAC). Фиг.4 показывает пример кодирования с переменной длиной (кода), которое применяется к изображениям, которые составляют блок со случайным доступом в потоке AVC MPEG4. В AVC MPEG4 нет понятия, соответствующего группе изображений (GOP) MPEG2 Video. Однако посредством деления данных на специальный блок изображений, который может быть декодирован независимо от других изображений, может быть получен блок со случайным доступом, соответствующий GOP. Такой блок со случайным доступом далее называют блоком произвольного доступа (RAU). Как показано на Фиг.4, используется ли CABAC или CAVLC для кодирования с переменной длиной, определяется на основе изображения.

[0032] Процесс декодирования с переменной длиной является различным для CABAC и CAVLC. Процесс декодирования с переменной длиной (кода) для каждого из CABAC и CAVLC описывается ниже со ссылками на Фиг.5A и 5C. Фиг.5A является блок-схемой устройства декодирования изображения, которое выполняет адаптивное к контексту двоичное арифметическое декодирование (CABAD) в качестве процесса декодирования данных, которые являются кодированными с переменной длиной (кода), согласно CABAC, и адаптивное к контексту декодирование с переменной длиной (CAVLD) - в качестве процесса декодирования данных, которые являются кодированными с переменной длиной (кода) согласно CAVLC.

[0033] Процесс декодирования изображения согласно CABAD выполняется следующим образом. Сначала кодированные данные Vin, сгенерированные согласно CABAC, вводятся на буфер 5001 потока. Модуль 5002 арифметического декодирования считывает кодированные данные из буфера 5001 потока, выполняет арифметическое декодирование кодированных данных Vr и вводит двоичные данные Bin1 в буфер 5003 двоичных данных. Модуль 5004 декодирования двоичных данных получает двоичные данные Bin2 из буфера 5003 двоичных данных, декодирует двоичные данные Bin2 и вводит двоичные данные Din1, полученные в результате декодирования, в модуль 5005 восстановления пикселей. Модуль 5005 восстановления пикселей выполняет процессы, такие как обратное квантование, обратное преобразование, и компенсация движения в отношении набора из двоичных декодированных данных Din1, чтобы восстановить пиксели, и выдает декодированные данные Vout. Фиг.5B есть последовательность операций, показывающая операцию от начала декодирования кодированных данных CABAC до процесса восстановления пикселей. Сначала на этапе S5001 кодированные данные CABAC Vin арифметически декодируются, чтобы сгенерировать двоичные данные. Затем, на этапе S5002 выполняется суждение (принятие решения) относительно того, был ли получен заранее определенный блок двоичных данных, такой как одно или более изображений. Когда заранее определенный блок двоичных данных был получен, операция переходит к этапу S5003. Когда заранее определенный блок двоичных данных не был получен, этап S5001 повторяется. Эта буферизация двоичных данных выполняется по следующей причине. В CABAC объем кода двоичных данных в изображении или в макроблоке может значительно увеличиться, что может вызвать существенное увеличение нагрузки обработки для арифметического декодирования. Поэтому чтобы реализовать гладкое воспроизведение даже в наихудшем случае, необходимо провести некоторый объем арифметического декодирования заранее. На этапе S5003 декодируются двоичные данные. На этапе S5004 процесс восстановления пикселей выполняется над декодированными двоичными данными. Таким образом, в CABAD процесс восстановления пикселей не может быть начат, пока заранее определенный блок двоичных данных не получен на этапах S5001 и S5002. Это вызывает задержку начала декодирования.

[0034] Процесс декодирования изображения согласно CAVLD выполняется следующим образом. Сначала кодированные данные Vin, сгенерированные согласно CAVLC, вводятся на буфер 5001 потока. Затем модуль CAVLD 5006 выполняет декодирование с переменной длиной в отношении кодированных данных Vr и выводит VLD-декодированные данные Din2 на модуль 5005 восстановления пикселей. Модуль 5005 восстановления пикселей выполняет процессы, такие как обратное квантование, обратное преобразование, и компенсация движения в отношении VLD декодированных данных Din2, чтобы восстановить пиксели, и выводит декодированные данные Vout. Фиг.5C изображает последовательность операций, иллюстрирующую работу от начала декодирования кодированных данных CAVLC до процесса восстановления пикселей. Сначала на этапе S5005 выполняется CAVLD. Затем на этапе S5004 выполняется процесс восстановления пикселей. Таким образом, CAVLD отличается от CABAD, в котором нет необходимости ждать, пока заранее определенный блок данных не будет получен прежде, чем начать процесс восстановления пикселей, и нет необходимости иметь промежуточный буфер в процессе декодирования с переменной длиной, такой как буфер двоичных данных 5003.

[0035] Фиг.6 изображает последовательность операций, иллюстрирующую работу обычного устройства декодирования, которое декодирует поток, в котором способ кодирования с переменной длиной переключается, как в примере на Фиг.4. Нужно отметить, что в этом описании устройство декодирования и способ декодирования являются примерами устройства воспроизведения движущегося изображения и способа воспроизведения движущегося изображения соответственно.

[0036] Сначала на этапе S5101 устройство декодирования получает информацию, показывающую, что способ кодирования с переменной длиной применен к изображению, и переходит к этапу S5102. На этапе S5102 устройство декодирования принимает решение, отличается ли способ кодирования с переменной длиной текущего изображения от способа кодирования с переменной длиной изображения, непосредственно предшествующего текущему изображению в порядке декодирования. Так как CABAD и CAVLD используют различные способы организации буферизации данных при декодировании с переменной длиной, когда способ кодирования с переменной длиной является отличным, устройство декодирования переходит к этапу S5103, чтобы переключить организацию буферизации данных. Когда способ кодирования с переменной длиной не является отличным, устройство декодирования переходит к этапу S5104. На этапе S5104 устройство декодирования принимает решение, является ли способ кодирования с переменной длиной текущего изображения способом CAVLC. Когда способ кодирования с переменной длиной текущего изображения есть способ CAVLC, устройство декодирования переходит к этапу S5105, чтобы выполнить CAVLD. Когда способ кодирования с переменной длиной текущего изображения есть CABAC, устройство декодирования переходит к этапу S5106. На этапе S5106 устройство декодирования принимает решение, отличается ли способ кодирования с переменной длиной текущего изображения от способа кодирования с переменной длиной непосредственно предыдущего изображения в порядке декодирования. Когда способ кодирования с переменной длиной текущего изображения является отличным, устройство декодирования переходит к этапу S5107. На этапе S5107 устройство декодирования выполняет арифметическое декодирование, пока заранее определенный блок двоичных данных не будет получен, как показано на этапах S5001 и S5002 на Фиг.5, и затем декодирует двоичные данные. Когда способ кодирования с переменной длиной текущего изображения не является отличным на этапе S5106, устройство декодирования переходит к этапу S5108, чтобы выполнить обычный процесс CABAD. Обычный процесс CABAD, упомянутый здесь, является процессом CABAD, который пропускает буферизацию двоичных данных, которая необходима, когда CAVLC переключается к CABAC или когда начинается декодирование кодированного потока CABAC. Наконец, на этапе S5109 устройство декодирования выполняет процесс восстановления пикселей.

[0037] Второй пример потока, в котором различные способы кодирования (или движущееся изображение с различными атрибутами) могут существовать, то есть, пример, где порог уровня яркости (то есть атрибут движущегося изображения), который используется при выполнении обработки прозрачности посредством ключа яркости в отношении картинки-в-картинке, может принимать различные значения, описывается ниже. Носители пакетов, такие как BD-ROM, обеспечивают приложение для отображения видео, отличного от основного видео, например, видео комментарий директора, посредством наложения его на основное видео. Такое приложение называется как «картинка-в-картинке». Фиг.7 является диаграммой для пояснения картинки в картинке. Фиг.7(a) показывает плоскости отображения изображения, где плоскость 2 должна быть наложена на плоскость 1. Фиг.7(b) и 7(c) показывают изображения, отображенные на плоскости 1 и плоскости 2 соответственно. Изображение отображения плоскости 2 отображается наложенным на изображение отображения плоскости 1 (Фиг.7(d)). В такой картинке в картинке изображение, отображенное на плоскости 1, является основным видео, и изображение, отображенное на плоскости 2, является видео, отличным от основного видео. Простое наложение видеоотображения плоскости 2 на плоскость 1 приводит к тому, что изображение плоскости 1 будет полностью скрытым. Чтобы предотвратить это, обработка прозрачности посредством ключа яркости применяется к изображению плоскости 2. Ниже описана обработка прозрачности посредством ключа яркости. В обработке прозрачности каждый пиксель в изображении отображается прозрачным или непрозрачным в зависимости от уровня яркости этого пикселя. Более подробно, обработка прозрачности является следующей.

[0038] (1) Когда уровень яркости находится в диапазоне от 0 до заранее определенного порога YL включительно, пиксель отображается полностью прозрачным (с коэффициентом прозрачности 1).

[0039] (2) Когда уровень яркости превышает заранее определенный порог YL, пиксель отображается непрозрачным с уровнем яркости (с коэффициентом прозрачности 0).

[0040] На Фиг.7(c), предположим, что уровень яркости равен или меньше чем заранее определенный порог YL в заштрихованной по диагонали области и превышает заранее определенный порог YL в другой области. В таком случае при наложении изображения плоскости 2 на плоскость 1 заштрихованная по диагонали область отображается прозрачной, в то время как другая область отображается непрозрачной, как показано на Фиг.7(d). Необходимо отметить, что в изображении плоскости 2 только область (пиксель), уровень яркости которого превышает порог YL, отображается наложенным на изображение плоскости 1. Таким образом, плоскость 2 разделяется на передний план и фон согласно порогу уровня яркости, и только передний план отображается наложенным на плоскость 1, таким образом реализуя картинку в картинке.

Патентная Ссылка 1: Публикация японской еще не прошедшей экспертизу заявки №2000-228656

Непатентная Ссылка 1: Предложенный Стандарт SMPTE для Телевидения: VC-1 Compressed Video Bitstream Format and Decoding Process, Final Committee Graft 1 Revision 6, 2005.7.13.

Раскрытие изобретения

Проблемы, которые должно решить изобретение

[0041] Однако устройство декодирования, которое принимает поток, в котором могут существовать различные способы кодирования (или движущееся изображение с различными атрибутами), как описано выше, имеет следующую проблему: нагрузка обработки увеличивается из-за необходимости в процессе переключения во время декодирования. Фиг.8 есть диаграмма для пояснения проблемы, которая может возникнуть, когда обработка прозрачности посредством ключа яркости применяется к обычному носителю записи, сгенерированному обычным устройством мультиплексирования. Фиг.8 показывает секции, во время которых видео, которое подвергается процессу прозрачности посредством ключа яркости, непрерывно воспроизводится. Более подробно, секцию 1, секцию 2 и секцию 3 нужно непрерывно воспроизвести в этом порядке. Порог уровня яркости для пикселя, который отображается прозрачным с коэффициентом прозрачности 1, равен 20 в секции 1, 40 в секции 2, и 30 в секции 3. Это делает необходимым изменить порог уровня яркости для прозрачного пикселя, когда одна секция заканчивается и другая начинается. Когда порог уровня яркости изменяется, операция для наложения плоскости также требует изменения. Задержка происходит из-за этого изменения операции. Это вызывает прерывистость воспроизведения между секциями, которые должны быть воспроизведены гладко.

[0042] Таким образом, при воспроизведении обычного носителя записи, на котором записан мультиплексированный поток, сгенерированный обычным способом кодирования изображений, порог ключа яркости изменяется в единицах секций воспроизведения, что вызывает проблему задержки в обработке порога уровня яркости во время воспроизведения.

[0043] Настоящее изобретение стремится обеспечивать носитель записи, способ кодирования движущегося изображения, устройство кодирования движущегося изображения, способ записи движущегося изображения, способ воспроизведения движущегося изображения, устройство воспроизведения движущегося изображения и систему воспроизведения движущегося изображения, которые могут подавить неоднородность воспроизведения без увеличения нагрузки обработки во время воспроизведения.

Средство для решения проблемы

[0044] Настоящее изобретение было задумано, чтобы решить вышеупомянутую проблему.

[0045] Способ кодирования движущегося изображения согласно настоящему изобретению характеризуется кодированием, в секции, которая подлежит непрерывному воспроизведению (секция непрерывного воспроизведения), движущегося изображения без переключения способа кодирования (или атрибута движущегося изображения), и генерированием информации управления, которая включает в себя информацию флага, указывающую, что способ кодирования является фиксированным в секции.

[0046] Более подробно, для решения случая картинки в картинке, способ кодирования движущегося изображения согласно настоящему изобретению является способом кодирования движущегося изображения для кодирования видеопотока, который включает в себя первое движущееся изображение и второе движущееся изображение, которое должно быть наложено на первое движущееся изображение, причем наложение выполняется посредством наложения только области изображения, уровень яркости которой превышает порог во втором движущемся изображении, на первое движущееся изображение, причем способ кодирования движущегося изображения включает в себя: определение секции непрерывного воспроизведения, которая является группой частичных секций и подлежит непрерывному воспроизведению, в видеопотоке; кодирование первого движущегося изображения и второго движущегося изображения в частичных секциях, которые составляют секцию непрерывного воспроизведения, определенную на этапе определения, при ограничении, которое препятствует тому, чтобы порог был изменен в секции непрерывного воспроизведения; генерирование информации управления, включающей в себя информацию флага, которая указывает, что порог является фиксированным в секции непрерывного воспроизведения; и объединение первого движущегося изображения и второго движущегося изображения, кодированного на этапе кодирования, с информацией управления, сгенерированной на этапе генерирования, и вывод этой комбинации.

[0047] Кроме того, устройство кодирования движущегося изображения согласно настоящему изобретению является устройством кодирования движущегося изображения для кодирования видеопотока, который включает в себя первое движущееся изображение и второе движущееся изображение, которое должен быть наложено на первое движущееся изображения, причем наложение выполняется посредством наложения только области изображения, уровень яркости которой превышает порог во втором движущемся изображении, на первое движущееся изображение, устройство кодирования движущегося изображения включает в себя: модуль определения секции непрерывного воспроизведения, который определяет секцию непрерывного воспроизведения, которая является группой частичных секций и подлежит непрерывному воспроизведению, в видеопотоке; модуль кодирования, который кодирует первое движущееся изображение и второе движущееся изображение в частичных секциях, которые составляют секцию непрерывного воспроизведения, определенную модулем определения секции непрерывного воспроизведения, при ограничении, которое препятствует тому, чтобы порог был изменен в секции непрерывного воспроизведения; модуль генерирования информации управления, который генерирует информацию управления, включающую в себя информацию флага, которая указывает, что порог является фиксированным в секции непрерывного воспроизведения; и модуль комбинирования, который комбинирует первое движущееся изображение и второе движущееся изображение, кодированное модулем кодирования, с информацией управления, сгенерированной модулем генерирования информации управления, и выводит эту комбинацию.

[0048] Кроме того, способ записи движущегося изображения согласно настоящему изобретению является способом записи движущегося изображения для кодирования видеопотока и записи кодированного видеопотока на носитель записи, причем видеопоток включает в себя первое движущееся изображение и второе движущееся изображение, которое должно быть наложено на первое движущееся изображение, при этом наложение выполняется посредством наложения только области изображения, уровень яркости которой превышает порог во втором движущемся изображении, на первое движущееся изображение, причем способ записи движущегося изображения включает в себя: определение секции непрерывного воспроизведения, которая является группой частичных секций и подлежит непрерывному воспроизведению, в видеопотоке; кодирование первого движущегося изображения и второго движущегося изображения в частичных секциях, которые составляют секцию непрерывного воспроизведения, определенную на этапе определения, при ограничении, которое препятствует тому, чтобы порог был изменен в секции непрерывного воспроизведения; генерирование информации управления, включающей в себя информацию флага, которая указывает, что порог является фиксированным в секции непрерывного воспроизведения; и объединение первого движущегося изображения и второго движущегося изображения, кодированного на этапе кодирования, с информацией управления, сгенерированной на этапе генерирования, и запись комбинации на носитель записи.

[0049] Кроме того, носитель записи согласно настоящему изобретению является носителем записи, на котором записаны считываемые компьютером данные, причем считываемые компьютером данные включают в себя: видеопоток, включающий в себя первое движущееся изображение и второе движущееся изображение, которое должно быть наложено на первое движущееся изображение, причем наложение выполняется посредством наложения только области изображения, уровень яркости которой превышает порог во втором движущемся изображении, на первое движущееся изображение; и информацию управления, используемую для управления видеопотоком, при ограничении, которое препятствует тому, чтобы порог был изменен в секции непрерывного воспроизведения, которая является группой частичных секций и подлежит непрерывному воспроизведению в видеопотоке, причем первое движущееся изображение и второе движущееся изображение в частичных секциях, которые составляют секцию непрерывного воспроизведения, были закодированы, и информация управления включает в себя информацию флага, которая указывает, что порог является фиксированным в секции непрерывного воспроизведения.

[0050] Кроме того, способ воспроизведения движущегося изображения согласно настоящему изобретению является способом воспроизведения движущегося изображения для декодирования кодированного видеопотока, включающего в себя первое движущееся изображение и второе движущееся изображение, и отображения наложения второго движущегося изображения на первое движущееся изображение, причем способ воспроизведени