Устройство и способ для кодирования/декодирования сигнала

Устройство и способ для кодирования/декодирования сигнала

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится к способу кодирования/декодирования и устройству кодирования/декодирования, более конкретно, к устройству кодирования/декодирования, которое может обрабатывать аудиосигнал так, чтобы можно было создавать трехмерные (3D) звуковые эффекты, и способу кодирования/декодирования, использующему устройство кодирования/декодирования.

Предшествующий уровень техники

Устройство кодирования выполняет понижающее микширование многоканального сигнала в сигнал с меньшим количеством каналов и передает сигнал понижающего микширования на устройство декодирования. Затем устройство декодирования восстанавливает многоканальный сигнал из сигнала понижающего микширования и генерирует восстановленный многоканальный сигнал с использованием трех или больше динамиков, например, 5.1-канальных динамиков.

Многоканальные сигналы могут быть воспроизведены двухканальными динамиками, такими как наушники. В этом случае, чтобы создать у пользователя ощущение, как будто звуки, выведенные из двухканальных динамиков, были воспроизведены из трех или более источников звука, необходимо разработать трехмерные (3D) способы обработки, способные кодировать или декодировать многоканальные сигналы так, чтобы могли создаваться трехмерные эффекты.

Раскрытие изобретения

Техническая проблема

Настоящее изобретение обеспечивает устройство кодирования/декодирования и способ кодирования/декодирования, которые могут генерировать многоканальные сигналы в различных средах воспроизведения, эффективно обрабатывая сигналы с 3D эффектами.

Техническое решение

Согласно аспекту настоящего изобретения предложен способ декодирования для восстановления многоканального сигнала, причем способ декодирования включает в себя извлечение трехмерного (3D) сигнала понижающего микширования и пространственной информации из входного потока битов, удаление 3D эффектов из 3D сигнала понижающего микширования путем выполнения операции 3D воспроизведения над 3D сигналом понижающего микширования, и генерацию многоканального сигнала, используя пространственную информацию и сигнал понижающего микширования, полученный посредством удаления.

Согласно другому аспекту настоящего изобретения предложен способ декодирования для восстановления многоканального сигнала, причем способ декодирования включает в себя извлечение 3D сигнала понижающего микширования и пространственной информации из входного потока битов, генерацию многоканального сигнала, используя 3D сигнал понижающего микширования и пространственную информацию, и удаление 3D эффектов из многоканального сигнала путем выполнения операции 3D воспроизведения над многоканальным сигналом.

Согласно другому аспекту настоящего изобретения предложен способ кодирования для кодирования многоканального сигнала с множеством каналов, причем способ кодирования включает в себя кодирование многоканального сигнала в сигнал понижающего микширования с меньшим количеством каналов, генерацию пространственной информации относительно множества каналов, генерацию 3D сигнала понижающего микширования путем выполнения операции 3D воспроизведения над сигналом понижающего микширования, и генерацию потока битов, включающего в себя 3D сигнал понижающего микширования и пространственную информацию.

Согласно другому аспекту настоящего изобретения предложен способ кодирования для кодирования многоканального сигнала с множеством каналов, причем способ кодирования включает в себя выполнение операции 3D воспроизведения над многоканальным сигналом, кодирование многоканального сигнала, полученного операцией 3D воспроизведения, в 3D сигнал понижающего микширования с меньшим количеством каналов, генерацию пространственной информации относительно множества каналов и генерацию потока битов, включающего в себя 3D сигнал понижающего микширования и пространственную информацию.

Согласно другому аспекту настоящего изобретения предложено устройство декодирования для восстановления многоканального сигнала, причем устройство декодирования включает в себя блок распаковки битов, который извлекает кодированный 3D сигнал понижающего микширования и пространственную информацию из входного потока битов, декодер понижающего микширования, который декодирует кодированный 3D сигнал понижающего микширования, блок 3D воспроизведения, который удаляет 3D эффекты из декодированного 3D сигнала понижающего микширования, полученного декодированием, выполненным декодером понижающего микширования, посредством выполнения операции 3D воспроизведения над декодированным 3D сигналом понижающего микширования, и многоканальный декодер, который генерирует многоканальный сигнал, используя пространственную информацию и сигнал понижающего микширования, полученный удалением, выполненным блоком 3D воспроизведения.

Согласно другому аспекту настоящего изобретения предложено устройство декодирования для восстановления многоканального сигнала, причем устройство декодирования включает в себя блок распаковки битов, который извлекает кодированный 3D сигнал понижающего микширования и пространственную информацию из входного потока битов, декодер понижающего микширования, который декодирует кодированный 3D сигнал понижающего микширования, многоканальный декодер, который генерирует многоканальный сигнал, используя пространственную информацию и 3D сигнал понижающего микширования, полученный декодированием, выполненным декодером понижающего микширования, и блок 3D воспроизведения, который удаляет 3D эффекты из многоканального сигнала, выполняя операцию 3D воспроизведения над многоканальным сигналом.

Согласно другому аспекту настоящего изобретения предложено устройство кодирования для кодирования многоканального сигнала с множеством каналов, причем устройство кодирования включает в себя многоканальный кодер, который кодирует многоканальный сигнал в сигнал понижающего микширования с меньшим количеством каналов и генерирует пространственную информацию относительно множества каналов, блок 3D воспроизведения, который генерирует 3D сигнал понижающего микширования, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, кодер понижающего микширования, который кодирует 3D сигнал понижающего микширования, и блок компоновки битов, который генерирует поток битов, включающий в себя кодированный 3D сигнал понижающего микширования и пространственную информацию.

Согласно другому аспекту настоящего изобретения предложено устройство кодирования для кодирования многоканального сигнала с множеством каналов, причем устройство кодирования включает в себя блок 3D воспроизведения, который выполняет операцию 3D воспроизведения над многоканальным сигналом, многоканальный кодер, который кодирует многоканальный сигнал, полученный операцией 3D воспроизведения, в трехмерный сигнал понижающего микширования с меньшим количеством каналов, и генерирует пространственную информацию относительно множества каналов, кодер понижающего микширования, который кодирует 3D сигнал понижающего микширования, и блок компоновки битов, который генерирует поток битов, включающий в себя кодированный 3D сигнал понижающего микширования и пространственную информацию.

Согласно другому аспекту настоящего изобретения предложен поток битов, включающий в себя поле данных, которое включает в себя информацию относительно 3D сигнала понижающего микширования, поле информации фильтра, которое включает в себя информацию фильтра, идентифицирующую фильтр, используемый для генерации 3D сигнала понижающего микширования, первое поле заголовка, которое включает в себя информацию, указывающую, содержит ли поле информации фильтра информацию фильтра, второе поле заголовка, которое включает в себя информацию, указывающую, содержит ли поле информации фильтра коэффициенты фильтра или коэффициенты инверсного фильтра для фильтра, и поле пространственной информации, которое включает в себя пространственную информацию относительно множества каналов.

Согласно другому аспекту настоящего изобретения предложен машиночитаемый носитель записи, имеющий компьютерную программу для выполнения любого из вышеописанных способов декодирования и вышеописанных способов кодирования.

Полезные эффекты

Согласно настоящему изобретению возможно эффективно кодировать многоканальные сигналы с 3D эффектами и адаптивно восстанавливать и воспроизводить аудиосигналы с оптимальным качеством звучания согласно особенностям среды воспроизведения.

Краткое описание чертежей

Фиг. 1 - блок-схема устройства кодирования/декодирования согласно варианту осуществления настоящего изобретения;

Фиг. 2 - блок-схема устройства кодирования согласно варианту осуществления настоящего изобретения;

Фиг. 3 - блок-схема устройства декодирования согласно варианту осуществления настоящего изобретения;

Фиг. 4 - блок-схема устройства кодирования согласно другому варианту осуществления настоящего изобретения;

Фиг. 5 - блок-схема устройства декодирования согласно другому варианту осуществления настоящего изобретения;

Фиг. 6 - блок-схема устройства декодирования согласно другому варианту осуществления настоящего изобретения;

Фиг. 7 - блок-схема трехмерного (3D) устройства воспроизведения согласно варианту осуществления настоящего изобретения;

Фиг. 8-11 иллюстрируют потоки битов согласно вариантам осуществления настоящего изобретения;

Фиг. 12 - блок-схема устройства кодирования/декодирования для обработки произвольного сигнала понижающего микширования согласно варианту осуществления настоящего изобретения;

Фиг. 13 - блок-схема произвольного блока 3D воспроизведения/компенсации сигнала понижающего микширования согласно варианту осуществления настоящего изобретения;

Фиг. 14 - блок-схема устройства декодирования для обработки совместимого сигнала понижающего микширования согласно варианту осуществления настоящего изобретения;

Фиг. 15 - блок-схема блока 3D воспроизведения/обработки совместимости понижающего микширования согласно варианту осуществления настоящего изобретения; и

Фиг. 16 - блок-схема устройства декодирования для компенсации перекрестной связи согласно варианту осуществления настоящего изобретения.

Лучший режим выполнения изобретения

Настоящее изобретение будет в дальнейшем описано более полно со ссылками на иллюстрирующие чертежи, на которых представлены приведенные для примера варианты осуществления изобретения.

На фиг. 1 показана блок-схема устройства кодирования/декодирования согласно варианту осуществления настоящего изобретения. Согласно фиг. 1 блок 100 кодирования 100 включает в себя многоканальный кодер 110, блок 120 3D воспроизведения, кодер 130 понижающего микширования и блок 140 компоновки битов 140.

Многоканальный кодер 110 выполняет понижающее микширование многоканального сигнала с множеством каналов в сигнал понижающего микширования, такой как стереосигнал или моносигнал, и генерирует пространственную информацию относительно каналов многоканального сигнала. Пространственная информация необходима, чтобы восстановить многоканальный сигнал из сигнала понижающего микширования.

Примеры пространственной информации включают разность уровней каналов (CLD), которая указывает различие между уровнями энергии пары каналов, коэффициент предсказания канала (CRC), который является коэффициентом предсказания, используемым для генерации 3-канального сигнала, основанного на 2-канальном сигнале, межканальную корреляцию (ICC), которая указывает корреляцию между парой каналов, и разность времени каналов (CTD), которая является временным интервалом между парой каналов.

Блок 120 3D воспроизведения генерирует 3D сигнал понижающего микширования, основанный на сигнале понижающего микширования. 3D сигнал понижающего микширования может быть 2-канальным сигналом с тремя или более направленностями и может, таким образом, воспроизводиться 2-канальными динамиками, такими как наушники с 3D эффектами. Другими словами, 3D сигнал понижающего микширования может быть воспроизведен 2-канальными динамиками так, чтобы пользователь мог воспринимать, как будто 3D сигнал понижающего микширования был воспроизведен из источника звука с тремя или более каналами. Направление источника звука может быть определено, основываясь, по меньшей мере, на одном из разности между интенсивностями двух звуков соответственно приходящих на оба уха, временного интервала между двумя звуками и разности фаз двух звуков. Поэтому блок 120 3D воспроизведения может преобразовать сигнал понижающего микширования в 3D сигнал понижающего микширования, основываясь на том, как люди могут определить 3D местоположение источника звука своими органами слуха.

Блок 120 3D воспроизведения может генерировать 3D сигнал понижающего микширования путем фильтрации сигнала понижающего микширования, используя фильтр. В этом случае, связанная с фильтром информация, например коэффициент фильтра, может быть введена в блок 120 3D воспроизведения внешним источником. Блок 120 3D воспроизведения может использовать пространственную информацию, предоставленную многоканальным кодером 110, чтобы генерировать 3D сигнал понижающего микширования, основанный на сигнале понижающего микширования. Более конкретно, блок 120 3D воспроизведения может преобразовать сигнал понижающего микширования в 3D сигнал понижающего микширования путем преобразования сигнала понижающего микширования в воображаемый многоканальный сигнал, используя пространственную информацию и фильтруя воображаемый многоканальный сигнал.

Блок 120 3D воспроизведения может генерировать 3D сигнал понижающего микширования путем фильтрации сигнала понижающего микширования, используя фильтр со связанной с головой передаточной функцией (HRTF).

HRTF - передаточная функция, которая описывает передачу звуковых волн между источником звука в произвольном местоположении и барабанной перепонкой, и возвращает значение, которое изменяется согласно направлению и высоте источника звука. Если сигнал без направленности фильтруется с использованием HRTF, то сигнал может прослушиваться так, как будто он был воспроизведен из определенного направления.

Блок 120 3D воспроизведения может выполнить операцию 3D воспроизведения в частотной области, например, области дискретного преобразования Фурье (ДПФ), области быстрого преобразования Фурье (БПФ). В этом случае, блок 3D воспроизведения 120 может выполнить ДПФ или БПФ перед операцией 3D воспроизведения или может выполнить обратное ДПФ (ОДПФ) или обратное БПФ (ОБПФ) после операции 3D воспроизведения.

Блок 120 3D воспроизведения может выполнить операцию 3D воспроизведения в области квадратурного зеркального фильтра (QMF)/гибридной области. В этом случае, блок 120 3D воспроизведения 120 может выполнить операции QMF/гибридного анализа и синтеза до или после операции 3D воспроизведения.

Блок 120 3D воспроизведения может выполнить операцию 3D воспроизведения во временной области. Блок 120 3D воспроизведения может определить, в какой области должна быть выполнена операция 3D воспроизведения согласно необходимому качеству звучания и операционным возможностям устройства кодирования/декодирования.

Кодер 130 понижающего микширования кодирует сигнал понижающего микширования, выведенный многоканальным кодером 110, или сигнал 3D понижающего микширования, выведенный блоком 120 3D воспроизведения. Кодер 130 понижающего микширования может кодировать сигнал понижающего микширования, выведенный многоканальным кодером 110, или 3D сигнал понижающего микширования, выведенный блоком 120 3D воспроизведения, использующим способ аудиокодирования, способ усовершенствованного аудио кодирования (AAC), способ MPEG уровня 3 (MP3) или способ кодирования с использованием разрядной арифметики (BSAC).

Кодер 130 понижающего микширования может кодировать не-3D сигнал понижающего микширования или 3D сигнал понижающего микширования. В этом случае, кодированный не-3D сигнал понижающего микширования и кодированный 3D сигнал понижающего микширования могут оба быть включены в поток битов, который должен передаваться.

Блок 140 компоновки битов генерирует поток битов на основе пространственной информации и либо кодированного не-3D сигнала понижающего микширования, либо кодированного 3D сигнала понижающего микширования.

Поток битов, сгенерированный блоком 140 компоновки битов, может включать в себя пространственную информацию, информацию идентификации понижающего микширования, указывающую, является ли сигнал понижающего микширования, включенный в поток битов, не-3D сигналом понижающего микширования или 3D сигналом понижающего микширования, и информацию, идентифицирующую фильтр, используемый блоком 120 3D воспроизведения (например, информацию коэффициентов HRTF).

Другими словами, поток битов, сгенерированный блоком 140 компоновки битов, может включать в себя, по меньшей мере, один из не-3D сигнала понижающего микширования, который еще не прошел 3D обработку, и 3D сигнала понижающего микширования кодера, который получен операцией 3D-обработки, выполненной устройством кодирования, и информацию идентификации понижающего микширования, идентифицирующую тип сигнала понижающего микширования, включенного в поток битов.

Может быть определено, какой из не-3D сигнала понижающего микширования и 3D сигнала понижающего микширования кодера должен быть включен в поток битов, сгенерированный блоком 140 компоновки битов, по выбору пользователя или согласно функциональным возможностям устройства кодирования/декодирования, проиллюстрированного на фиг. 1, и характеристикам среды воспроизведения.

Информация коэффициентов HRTF может включать в себя коэффициенты обратной функции HRTF, используемой блоком 120 3D воспроизведения. Информация коэффициентов HRTF может только включать краткую информацию коэффициентов HRTF, используемую блоком 120 3D воспроизведения, например, информацию огибающей коэффициентов HRTF. Если поток битов, включающий в себя коэффициенты обратной функции HRTF, передается на устройство декодирования, то устройству декодирования не требуется выполнять операцию преобразования коэффициентов HRTF, и таким образом, объем вычислений устройства декодирования может быть уменьшен.

Поток битов, сгенерированный блоком 140 компоновки битов, может также включать в себя информацию относительно изменения энергии в сигнале, обусловленного фильтрацией на основе HRTF, то есть информацию относительно различия между энергией сигнала, подлежащего фильтрации, и энергией сигнала, который был отфильтрован, или отношения энергии сигнала, подлежащего фильтрации, и энергии сигнала, который был отфильтрован.

Поток битов, сгенерированный блоком 140 компоновки битов, может также включать в себя информацию, указывающую, включает ли он коэффициенты функции HRTF. Если коэффициенты функции HRTF включены в поток битов, сгенерированный блоком 140 компоновки битов, поток битов также может включать в себя информацию, указывающую, включает ли он коэффициенты функции HRTF, используемой блоком 120 3D воспроизведения, или коэффициенты обратной функции HRTF.

Согласно фиг. 1 первый блок 200 декодирования включает в себя блок 210 распаковки битов, декодер 220 понижающего микширования, блок 230 3D воспроизведения и многоканальный декодер 240.

Блок 210 распаковки битов принимает входной поток битов из блока 100 кодирования и извлекает кодированный сигнал понижающего микширования и пространственную информацию из входного потока битов. Декодер 220 понижающего микширования декодирует кодированный сигнал понижающего микширования. Декодер 220 понижающего микширования может декодировать кодированный сигнал понижающего микширования, используя способ декодирования аудиосигнала, такой как способ AAC, способ MP3 или способ BSAC.

Как описано выше, кодированный сигнал понижающего микширования, извлеченный из входного потока битов, может быть кодированным не-3D сигналом понижающего микширования или кодированным 3D сигналом понижающего микширования кодера. Информация, указывающая, является ли кодированный сигнал понижающего микширования, извлеченный из входного потока битов, кодированным не-3D сигналом понижающего микширования или кодированным 3D сигналом понижающего микширования кодера, может быть включена во входной поток битов.

Если кодированный сигнал понижающего микширования, извлеченный из входного потока битов, является 3D сигналом понижающего микширования кодера, то кодированный сигнал понижающего микширования может быть просто воспроизведен, будучи декодированным декодером 220 понижающего микширования.

С другой стороны, если кодированный сигнал понижающего микширования, извлеченный из входного потока битов, является не-3D сигналом понижающего микширования, то кодированный сигнал понижающего микширования может быть декодирован декодером 220 понижающего микширования, и сигнал понижающего микширования, полученный декодированием, может быть преобразован в 3D сигнал понижающего микширования декодера посредством операции 3D воспроизведения, выполняемой третьим блоком 233 воспроизведения. 3D сигнал понижающего микширования декодера может быть просто воспроизведен.

Блок 230 3D воспроизведения содержит первый блок 231 воспроизведения, второй блок 232 воспроизведения и третий блок 233 воспроизведения. Первый блок 231 воспроизведения генерирует сигнал понижающего микширования, выполняя операцию 3D воспроизведения над 3D сигналом понижающего микширования кодера, предоставленным декодером 220 понижающего микширования. Например, первый блок 231 воспроизведения может генерировать не-3D сигнал понижающего микширования, удаляя 3D эффекты из 3D сигнала понижающего микширования кодера. 3D эффекты 3D сигнала понижающего микширования кодера не могут быть полностью удалены первым блоком 231 воспроизведения. В этом случае, сигнал понижающего микширования, выведенный первым блоком 231 воспроизведения, может иметь некоторые 3D эффекты.

Первый блок 231 воспроизведения может преобразовать 3D сигнал понижающего микширования, предоставленный декодером 220 понижающего микширования, в сигнал понижающего микширования с удаленными из него 3D эффектами, используя фильтр, инверсный фильтру, используемому блоком 120 3D воспроизведения блока 100 кодирования. Информация относительно фильтра, используемого блоком 120 3D воспроизведения, или фильтра, инверсного фильтру, используемому блоком 120 3D воспроизведения, может быть включена во входной поток битов.

Фильтр, используемый блоком 120 3D воспроизведения, может быть фильтром HRTF. В этом случае, коэффициенты HRTF, используемой блоком 100 кодирования 100, или коэффициенты инверсной функции HRTF, могут также быть включены во входной поток битов. Если коэффициенты HRTF, используемой блоком 100 кодирования, включены во входной поток битов, коэффициенты HRTF могут быть обратно преобразованы, и результаты обратного преобразования могут использоваться во время операции 3D воспроизведения, выполняемой первым блоком 231 воспроизведения. Если коэффициенты инверсной функции HRTF, используемой блоком 100 кодирования, включены во входной поток битов, они могут просто использоваться во время операции 3D воспроизведения, выполняемой первым блоком 231 воспроизведения, не подвергаясь никакой операции инверсного преобразования. В этом случае, объем вычислительных операций первого устройства 100 декодирования может быть уменьшен.

Входной поток битов может также включать информацию фильтра (например, информацию, указывающую, включены ли коэффициенты HRTF, используемой блоком 100 кодирования, во входной поток битов) и информацию, указывающую, была ли информация фильтра подвергнута инверсному преобразованию.

Многоканальный декодер 240 генерирует 3D многоканальный сигнал с тремя или более каналами на основе сигнала понижающего микширования с удаленными 3D эффектами и пространственной информации, извлеченной из входного потока битов.

Второй блок 232 воспроизведения может генерировать 3D сигнал понижающего микширования с 3D эффектами, выполняя операцию 3D воспроизведения над сигналом понижающего микширования с удаленными 3D эффектами. Другими словами, первый блок 231 воспроизведения удаляет 3D эффекты из 3D сигнала понижающего микширования кодера, предоставленного декодером 220 понижающего микширования. После этого, второй блок 232 воспроизведения может генерировать объединенный 3D сигнал понижающего микширования с 3D эффектами, желательными для первого устройства 200 декодирования 200, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, полученным удалением, выполненным первым блоком 231 воспроизведения с использованием фильтра первого устройства 200 декодирования.

Первое устройство 200 декодирования может включать в себя блок воспроизведения, в который встроены два или более первых, вторых и третьих блоков 231, 232 и 233 воспроизведения, которые выполняют те же самые операции.

Поток битов, генерированный блоком 100 кодирования, может быть введен во второе устройство 300 декодирования, которое имеет структуру, отличающуюся от структуры первого устройства 200 декодирования. Второе устройство 300 декодирования может генерировать 3D сигнал понижающего микширования, основанный на сигнале понижающего микширования, включенном в подаваемый на него входной поток битов.

Более определенно, второе устройство 300 декодирования включает в себя блок 310 распаковки, декодер понижающего микширования 320 и блок 330 3D воспроизведения 330. Блок 310 распаковки битов принимает входной поток битов от блока 100 кодирования и извлекает кодированный сигнал понижающего микширования и пространственную информацию из входного потока битов. Декодер 320 понижающего микширования декодирует кодированный сигнал понижающего микширования. Блок 330 3D воспроизведения выполняет операцию 3D воспроизведения над декодированным сигналом понижающего микширования так, чтобы декодированный сигнал понижающего микширования мог быть преобразован в 3D сигнал понижающего микширования.

Фиг. 2 - блок-схема устройства кодирования согласно варианту осуществления настоящего изобретения. Согласно фиг. 2 устройство кодирования включает в себя блоки 400 и 420 воспроизведения и многоканальный кодер 410. Детальные описания тех же самых процессов кодирования, что и для варианта осуществления по фиг. 1, будут опущены.

Согласно фиг. 2 блоки 400 и 420 3D воспроизведения могут быть соответственно расположены перед и после многоканального кодера 410. Таким образом, многоканальный сигнал может трехмерно воспроизводиться блоком 400 3D воспроизведения и затем трехмерно воспроизведенный многоканальный сигнал может кодироваться многоканальным кодером 410, таким образом, генерируя предварительно обработанный 3D сигнал понижающего микширования кодера. Альтернативно, многоканальный сигнал может быть подвергнут понижающему микшированию многоканальным кодером 410, и затем сигнал понижающего микширования может быть трехмерно воспроизведен блоком 420 3D воспроизведения, таким образом генерируя прошедший постобработку сигнал понижающего микширования кодера.

Информация, указывающая, был ли многоканальный сигнал трехмерно воспроизведен до или после понижающего микширования, может быть включена в поток битов, подлежащий передаче.

Блоки 400 и 420 могут оба быть расположены перед или позади многоканального кодирующего устройства 410.

Фиг. 3 - блок-схема устройства декодирования согласно варианту осуществления настоящего изобретения. Согласно фиг. 3 устройство декодирования включает в себя блоки 430 и 450 3D воспроизведения и многоканальный декодер 440. Детальные описания тех же самых процессов декодирования, что и в варианте осуществления по фиг. 1, будут опущены.

Согласно фиг. 3 блоки 430 и 450 3D воспроизведения могут быть соответственно расположены перед и после многоканального декодера 440. Блок 430 3D воспроизведения может удалить 3D эффекты из 3D сигнала понижающего микширования кодера и ввести сигнал понижающего микширования, полученный удалением, в многоканальный декодер 430. Затем многоканальный декодер 430 может декодировать поданный на него входной сигнал понижающего микширования, таким образом генерируя предварительно обработанный 3D многоканальный сигнал. Альтернативно, многоканальный декодер 430 может восстановить многоканальный сигнал из кодированного 3D сигнала понижающего микширования, и блок 450 3D воспроизведения может удалить 3D эффекты из восстановленного многоканального сигнала, таким образом, формируя прошедший постобработку 3D многоканальный сигнал.

Если 3D сигнал понижающего микширования кодера, предоставленный устройством кодирования, был генерирован выполнением операции 3D воспроизведения и затем операции понижающего микширования, то 3D сигнал понижающего микширования кодера может быть декодирован путем выполнения многоканальной операции декодирования и затем операции 3D воспроизведения. С другой стороны, если 3D сигнал понижающего микширования кодера был генерирован путем выполнения операции понижающего микширования и затем операции 3D воспроизведения, то 3D сигнал понижающего микширования может быть декодирован путем выполнения операции 3D воспроизведения и затем операции многоканального декодирования.

Информация, указывающая, был ли кодированный 3D сигнал понижающего микширования получен путем выполнения операции 3D воспроизведения до или после операции понижающего микширования, может быть извлечена из потока битов, переданного устройством кодирования.

Блоки 430 и 450 3D воспроизведения могут оба быть расположены перед или после многоканального декодера 440.

Фиг. 4 - блок-схема устройства кодирования согласно другому варианту осуществления настоящего изобретения. Согласно фиг. 4 устройство кодирования включает в себя многоканальный кодер 500, блок 510 3D воспроизведения, кодер 520 понижающего микширования и блок 530 компоновки битов. Детальные описания тех же самых процессов кодирования, что и в варианте осуществления по фиг.1, будут опущены.

Согласно фиг. 4 многоканальный кодер 500 генерирует сигнал понижающего микширования и пространственную информацию, основанную на входном многоканальном сигнале. Блок 510 3D воспроизведения генерирует 3D сигнал понижающего микширования, выполняя операцию 3D воспроизведения над сигналом понижающего микширования.

Может быть определено, следует ли выполнять операцию 3D воспроизведения над сигналом понижающего микширования по выбору пользователя или согласно функциональным возможностям устройства кодирования, характеристикам среды воспроизведения или требуемого качества звучания.

Кодер 520 понижающего микширования кодирует сигнал понижающего микширования, генерированный многоканальным кодером 500 или 3D сигнал понижающего микширования, генерированный блоком 510 3D воспроизведения.

Блок 530 компоновки битов генерирует поток битов, основываясь на пространственной информации или кодированном сигнале понижающего микширования, или кодированном 3D сигнале понижающего микширования кодера. Поток битов, сгенерированный блоком 530 компоновки битов, может включать в себя информацию идентификации понижающего микширования, указывающую, является ли кодированный сигнал понижающего микширования, включенный в поток битов, не-3D сигналом понижающего микширования без 3D эффектов или 3D сигналом понижающего микширования кодера с 3D эффектами. Более определенно, информация идентификации понижающего микширования может указывать, включает ли поток битов, генерированный блоком 530 компоновки битов, не-3D сигнал понижающего микширования, 3D сигнал понижающего микширования кодера или оба эти сигнала.

Фиг. 5 - блок-схема устройства декодирования согласно другому варианту осуществления настоящего изобретения. Согласно фиг. 5 устройство декодирования включает в себя блок 540 распаковки, декодер 550 понижающего микширования и блок 560 3D воспроизведения. Детальные описания тех же самых процессов декодирования, что и варианте осуществления по фиг. 1, будут опущены.

Согласно фиг. 5 блок 540 распаковки битов извлекает кодированный сигнал понижающего микширования, пространственную информацию и информацию идентификации понижающего микширования из входного потока битов. Информация идентификации понижающего микширования указывает, является ли кодированный сигнал понижающего микширования кодированным не-3D сигналом понижающего микширования без 3D эффектов или кодированным 3D сигналом понижающего микширования с 3D эффектами.

Если входной поток битов включает в себя как не-3D сигнал понижающего микширования, так и 3D сигнал понижающего микширования, только один из не-3D сигнала понижающего микширования и 3D сигнала понижающего микширования может быть извлечен из входного потока битов по выбору пользователя или согласно функциональным возможностям устройства декодирования, характеристикам среды воспроизведения или требуемого качества звучания.

Декодер 550 понижающего микширования 550 декодирует кодированный сигнал понижающего микширования. Если сигнал понижающего микширования, полученный декодированием, выполненным декодером 550 понижающего микширования, является 3D сигналом понижающего микширования кодера, полученным выполнением операции 3D воспроизведения, сигнал понижающего микширования может быть просто воспроизведен.

С другой стороны, если сигнал понижающего микширования, полученный декодированием, выполненным декодером 550 понижающего микширования, является сигналом понижающего микширования без 3D эффектов, блок 560 3D воспроизведения может генерировать 3D сигнал понижающего микширования декодера, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, полученным декодированием, выполненным декодером 550 понижающего микширования.

Фиг. 6 - блок-схема устройства декодирования согласно другому варианту осуществления настоящего изобретения. Согласно фиг. 6 устройство декодирования включает блок 600 распаковки, декодер 610 понижающего микширования, первый блок 620 3D воспроизведения, второй блок 630 3D воспроизведения и блок 640 хранения информации фильтра. Детальные описания тех же самых процессов декодирования, что и в варианте осуществления по фиг. 1, будут опущены.

Блок 600 распаковки битов извлекает кодированный трехмерный сигнал понижающего микширования кодера и пространственную информацию из входного потока битов. Декодер 610 понижающего микширования декодирует кодированный 3D сигнал понижающего микширования кодера.

Первый блок 620 3D воспроизведения удаляет 3D эффекты из 3D сигнала понижающего микширования кодера, полученного декодированием, выполненным декодером 610 понижающего микширования, используя фильтр, инверсный фильтру устройства кодирования, для выполнения операции 3D воспроизведения. Второй блок 630 воспроизведения генерирует объединенный 3D сигнал понижающего микширования с 3D эффектами, выполняя операцию 3D воспроизведения над сигналом понижающего микширования, полученным удалением, выполненным первым блоком 620 3D воспроизведения, с использованием фильтра, сохраненного в устройстве декодирования.

Второй блок 630 3D воспроизведения может выполнить операцию 3D воспроизведения, используя фильтр, имеющий характеристики, отличные от характеристик фильтра блока кодирования, используемого для выполнения операции 3D воспроизведения. Например, второй блок 630 3D воспроизведения может выполнить операцию 3D воспроизведения, используя HRTF, имеющую коэффициенты, отличные от коэффициентов для HRTF, используемой устройством кодирования.

Блок 640 хранения информации фильтра хранит информацию фильтра, касающуюся фильтра, используемого для выполнения 3D воспроизведения, например, информацию коэффициентов HRTF. Второй блок 630 3D воспроизведения может генерировать объединенное 3D понижающее микширование, используя информацию фильтра, сохраненную в блоке 640 хранения информации фильтра 640.

Блок 640 хранения информации фильтра 640 может хранить множество частей информации фильтра, соответственно множеству фильтров. В