Способ и устройство для воспроизведения трехмерного звукового сопровождения

Способ и устройство для воспроизведения трехмерного звукового сопровождения

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее устройство относится к способу и устройству для воспроизведения стереофонического звукового сопровождения и, в частности, к способу и устройству для воспроизведения стереофонического звукового сопровождения, которое обеспечивает перспективу для звукового объекта.

УРОВЕНЬ ТЕХНИКИ

В результате развития технологии визуализации пользователь может наблюдать 3-мерное стереоскопическое изображение. 3-мерное стереоскопическое изображение показывает данные леворакурсного изображения левому глазу и данные праворакурсного изображения правому глазу с учетом бинокулярной диспаратности. Пользователь может распознавать объект, который представляется реально выступающим из экрана или проникающим вглубь экрана благодаря применению технологии 3-мерных изображений.

С развитием технологии визуализации усилился также интерес пользователя к звуковому сопровождению, и, в частности, заметное развитие получило стереофоническое звуковое сопровождение. В технологии стереофонического звукового сопровождения, вокруг пользователя размещают множество акустических систем таким образом, что пользователь может ощущать местонахождение в разных местах и перспективу. Однако, в технологии стереофонического звукового сопровождения, невозможно эффективно представлять объект изображения, который приближается к пользователю или отдаляется от пользователя, и, поэтому, невозможно обеспечить звуковой эффект, соответствующий 3-мерному изображению.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема устройства для воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 2 - блок-схема блока получения информации о глубине звука, показанного на фиг. 1, в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 3 - блок-схема блока получения информации о глубине звука, показанного на фиг. 1, в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг. 4 - график, иллюстрирующий предварительно заданную функцию, используемую для определения значения глубины звука в блоках определения в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 5 - блок-схема блока обеспечения перспективы, который обеспечивает стереофоническое звуковое сопровождение с использованием стереозвукового сигнала в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 6A-6D иллюстрируют обеспечение стереофонического звукового сопровождения в устройстве для воспроизведения стереофонического звукового сопровождения, показанном на фиг. 1, в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 7 - блок-схема последовательности операций иллюстрирующая способ определения местоположения звукового объекта по звуковому сигналу в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 8A-8D иллюстрируют определение местоположения звукового объекта по звуковому сигналу в соответствии с вариантом осуществления настоящего изобретения; и

Фиг. 9 - блок-схема последовательности операций, иллюстрирующая способ воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение предлагает способ и устройство для эффективного воспроизведения стереофонического звукового сопровождения и, в частности, способ и устройство для воспроизведения стереофонического звукового сопровождения, которое эффективно представляет звук, который приближается к пользователю или удаляется от пользователя, посредством обеспечения перспективы для звукового объекта.

В соответствии с аспектом настоящего изобретения предлагается способ воспроизведения стереофонического звукового сопровождения, при этом способ содержит этап получения информации о глубине изображения, указывающей расстояние между, по меньшей мере, одним объектом в сигнале изображения и опорным местоположением; этап получения информации о глубине звука, указывающей расстояние между, по меньшей мере, одним звуковым объектом в звуковом сигнале и опорным местоположением, на основании информации о глубине изображения; и этап обеспечения звуковой перспективы для, по меньшей мере, одного звукового объекта на основании информации о глубине звука.

Этап получения информации о глубине звука содержит получение максимального значения глубины для каждой секции изображения, которая составляет сигнал изображения; и получение значения глубины звука для, по меньшей мере, одного звукового объекта на основании максимального значения глубины.

Получение значения глубины звука содержит определение значения глубины звука как минимального значения, когда максимальное значение глубины меньше, чем первое пороговое значение, и определение значения глубины звука как максимального значения, когда максимальное значение глубины равно или больше, чем второе пороговое значение.

Получение значения глубины звука дополнительно содержит определение значения глубины звука в прямой пропорции от максимального значения глубины, когда максимальное значение глубины равно или больше, чем первое пороговое значение и меньше, чем второе пороговое значение.

Этап получения информации о глубине звука содержит получение информации о местоположении, по меньшей мере, одного объекта изображения в сигнале изображения и информации о местоположении, по меньшей мере, одного звукового объекта в звуковом сигнале; определение, согласуется ли местоположение, по меньшей мере, одного объекта изображения с местоположением, по меньшей мере, одного звукового объекта; и получение информации о глубине звука на основании результата определения.

Этап получения информации о глубине звука содержит получение среднего значения глубины для каждой секции изображения, которая составляет сигнал изображения; и получение значения глубины звука для, по меньшей мере, одного звукового объекта на основании среднего значения глубины.

Получение значения глубины звука содержит определение значения глубины звука как минимального значения, когда среднее значение глубины меньше, чем третье пороговое значение.

Получение значения глубины звука содержит определение значения глубины звука как минимального значения, когда разность между средним значением глубины в предыдущей секции и средним значением глубины в текущей секции меньше, чем четвертое пороговое значение.

Этап обеспечения звуковой перспективы содержит управление мощностью звукового объекта на основании информации о глубине звука.

Этап обеспечения звуковой перспективы содержит управление коэффициентом усиления и временем задержки отраженного сигнала, сформированного таким образом, что звуковой объект отражается на основании информации о глубине звука.

Этап обеспечения звуковой перспективы содержит управление интенсивностью составляющей диапазона низких частот звукового объекта на основании информации о глубине звука.

Этап обеспечения звуковой перспективы содержит управление разностью между фазой звукового объекта, подлежащего выводу первой акустической системой, и фазой звукового объекта, подлежащего выводу второй акустической системой.

Способ дополнительно содержит этап вывода звукового объекта, для которого обеспечивается звуковая перспектива, по меньшей мере, одной из левой боковой акустической системы и правой боковой акустической системы, и левой передней акустической системы и правой передней акустической системы.

Способ дополнительно содержит этап ориентирования фазы наружу от акустических систем путем использования звукового сигнала.

Этап получения информации о глубине звука содержит определение значения глубины звука для, по меньшей мере, одного звукового объекта на основании размера каждого из, по меньшей мере, одного объекта изображения.

Этап получения информации о глубине звука содержит определение значения глубины звука для, по меньшей мере, одного звукового объекта на основании распределения, по меньшей мере, одного объекта изображения.

В соответствии с другим аспектом настоящего изобретения предлагается устройство для воспроизведения стереофонического звукового сопровождения, при этом, устройство содержит блок получения информации о глубине изображения для получения информации о глубине изображения, указывающей расстояние между, по меньшей мере, одним объектом в сигнале изображения и опорным местоположением; блок получения информации о глубине звука для получения информации о глубине звука, указывающей расстояние между, по меньшей мере, одним звуковым объектом в звуковом сигнале и опорным местоположением, на основании информации о глубине изображения; и блок обеспечения перспективы для обеспечения звуковой перспективы для, по меньшей мере, одного звукового объекта на основании информации о глубине звука.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В дальнейшем, по меньшей мере, один вариант осуществления настоящего изобретения поясняется более полно, со ссылкой на прилагаемые чертежи.

Во-первых, для удобства описания, ниже кратко поясняются термины, применяемые в настоящей заявке.

Объект изображения означает объект, содержащийся в сигнале изображения, или такой субъект, как человек, животное, растение и т.п.

Звуковой объект означает звуковую составляющую, содержащуюся в звуковом сигнале. В одном звуковом сигнале могут содержаться различные звуковые объекты. Например, в звуковом сигнале, сформированном записью оркестрового исполнения, содержатся различные звуковые объекты, сформированные различными музыкальными инструментами, например гитарой, скрипкой, гобоем и т.п.

Источник звука является объектом (например, музыкальным инструментом или вокальной группой), который формирует звуковой объект. В настоящем описании, как объект, который фактически формирует звуковой объект, так и объект, который распознает, что пользователь формирует звуковой объект, означает звуковой источник. Например, когда в направлении пользователя бросают бейсбольный мяч от экрана в то время, когда пользователь смотрит кинофильм, в звуковом сигнале может содержаться звук (звуковой объект), формируемый, когда бейсбольный мяч движется. Звуковой объект может быть получен записью звука, фактически формируемого, когда бросают бейсбольный мяч, или может быть ранее записанным звуковым объектом, который просто воспроизводят. Однако, в обоих случаях, пользователь распознает, что бейсбольный мяч формирует звуковой объект и, следовательно, бейсбольный мяч может быть источником звука в соответствии с определением в настоящем описании.

Информация о глубине изображения указывает расстояние между фоном и опорным местоположением и расстояние между объектом и опорным местоположением. Опорное местоположение может быть поверхностью устройства отображения, которое выводит изображение.

Информация о глубине звука указывает расстояние между звуковым объектом и опорным местоположением. В частности, информация о глубине звука указывает расстояние между местоположением (местоположением источника звука), в котором формируется звуковой объект, и опорным местоположением.

Как поясняется выше, когда бейсбольный мяч движется к пользователю от экрана в то время, когда пользователь смотрит кинофильм, расстояние между источником звука и пользователем становится меньше. Чтобы эффективно представить, что бейсбольный мяч приближается, можно представить, что местоположение формирования звукового объекта, который соответствует объекту изображения, постепенно приближается к пользователю, и информация об этом содержится в информации о глубине звука. Опорное местоположение может изменяться соответственно местоположению источника звука, местоположению акустической системы, местоположению пользователя и т.п.

Звуковая перспектива является одним из ощущений, которые испытывает пользователь в отношении звукового объекта. Пользователь наблюдает звуковой объект, и, поэтому, пользователь может распознавать местоположение, в котором формируется звуковой объект, то есть, местоположение источника звука, который формирует звуковой объект. В данном случае, ощущение расстояния между пользователем и источником звука, который распознается пользователем, означает звуковую перспективу.

На фиг. 1 представлена блок-схема устройства 100 для воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения.

Устройство 100 для воспроизведения стереофонического звукового сопровождения в соответствии с данным вариантом осуществления настоящего изобретения содержит блок 110 получения информации о глубине изображения, блок 120 получения информации о глубине звука и блок 130 обеспечения перспективы.

Блок 110 получения информации о глубине изображения получает информацию о глубине изображения, которая указывает расстояние между, по меньшей мере, одним объектом изображения в сигнале изображения и опорным местоположением. Информация о глубине изображения может быть картой глубин, указывающей значения глубины пикселей, которые составляют объект или фон изображения.

Блок 120 получения информации о глубине звука получает информацию о глубине звука, которая указывает расстояние между звуковым объектом и опорным местоположением, на основании информации о глубине изображения. Возможны различные способы формирования информации о глубине звука, с использованием информации о глубине изображения, и, в дальнейшем, приведено описание двух способов формирования информации о глубине звука. Однако настоящее изобретение не ограничено данными способами.

Например, блок 120 получения информации о глубине звука может получать значения глубины звука для каждого звукового объекта. Блок 120 получения информации о глубине звука получает информацию о местоположении объектов изображения и информацию о местоположении звукового объекта и согласует объекты изображения со звуковыми объектами на основании информации о местоположении. Затем, на основании информации о глубине изображения и информации о согласовании может формироваться информация о глубине звука. Приведенный пример подробно поясняется ниже со ссылкой на фиг. 2.

В другом примере, блок 120 получения информации о глубине звука может получать значения глубины звука в соответствии со звуковыми секциями, которые составляют звуковой сигнал. Звуковой сигнал содержит, по меньшей мере, одну звуковую секцию. В данном случае, звуковой сигнал в одной секции может иметь одно и то же значение глубины звука. То есть, к каждому отличающемуся звуковому объекту можно применить одно и то же значение глубины звука. Блок 120 получения информации о глубине звука получает значения глубины изображения для каждой секции изображения, которая составляет сигнал изображения. Секцию изображения можно получить разбиением сигнала изображения на элементы кадра или элементы сцены. Блок 120 получения информации о глубине звука получает репрезентативное значение глубины (например, максимальное значение глубины, минимальное значение глубины или среднее значение глубины) в каждой секции изображения и определяет значение глубины звука в звуковой секции, которая соответствует секции изображения, посредством использования репрезентативного значения глубины. Приведенный пример подробно поясняется ниже со ссылкой на фиг. 3.

Блок 130 обеспечения перспективы обрабатывает звуковой сигнал так, что пользователь может ощущать звуковую перспективу на основании информации о глубине звука. Блок 130 обеспечения перспективы может обеспечивать звуковую перспективу соответственно каждому звуковому объекту после того, как звуковые объекты соответствующие объектам изображения выделены, обеспечивать звуковую перспективу соответственно каждому каналу, содержащемуся в звуковом сигнале, или обеспечивать звуковую перспективу для всех звуковых сигналов.

Блок 130 обеспечения перспективы выполняет, по меньшей мере, одну из следующих четырех задач i), ii), iii) и iv), чтобы пользователь эффективно ощущал звуковую перспективу. Однако четыре задачи, выполняемые в блоке 130 обеспечения перспективы, являются всего лишь примерами задач, и настоящее изобретение не ограничено данными задачами.

i) Блок 130 обеспечения перспективы регулирует мощность звукового объекта на основании информации о глубине звука. Чем ближе к пользователю сформирован звуковой объект, тем больше мощность звукового объекта.

ii) Блок 130 обеспечения перспективы регулирует коэффициент усиления и время задержки отраженного сигнала на основании информации о глубине звука. Пользователь слышит как прямой звуковой сигнал, который не отражается препятствием, так и отраженный звуковой сигнал, сформированный вследствие отражения препятствием. Отраженный звуковой сигнал имеет интенсивность ниже, чем интенсивность прямого звукового сигнала, и, обычно, приходит к пользователю с задержкой на предварительно заданное время, в сравнении с прямым звуковым сигналом. В частности, когда звуковой объект сформирован вблизи пользователя, отраженный звуковой сигнал приходит поздно в сравнении с прямым звуковым сигналом, и его интенсивность заметно ослаблена.

iii) Блок 130 обеспечения перспективы регулирует составляющую диапазона низких частот звукового объекта на основании информации о глубине звука. Когда звуковой объект сформирован вблизи пользователя, пользователь может отчетливо распознавать составляющую диапазона низких частот.

iv) Блок 130 обеспечения перспективы регулирует фазу звукового объекта на основании информации о глубине звука. По мере того как разность между фазой звукового объекта, подлежащего выводу первой акустической системой, и фазой звукового объекта, подлежащего выводу второй акустической системой, увеличивается, пользователь распознает, что звуковой объект приближается.

Операции блока 130 обеспечения перспективы подробно описаны ниже со ссылкой на фиг. 5.

На фиг. 2 представлена блок-схема блока 120 получения информации о глубине звука, показанного на фиг. 1, в соответствии с вариантом осуществления настоящего изобретения.

Блок 120 получения информации о глубине звука содержит первый блок 210 получения местоположения, второй блок 220 получения местоположения, блок 230 согласования и блок 240 определения.

Первый блок 210 получения местоположения получает информацию о местоположении объекта изображения на основании информации о глубине изображения. Первый блок 210 получения местоположения может получать информацию о местоположении только такого объекта изображения, в котором ощущается перемещение вправо и влево или вперед и назад в сигнале изображения.

Первый блок 210 получения местоположения сравнивает карты глубины последовательных кадров изображения на основании нижеприведенного уравнения 1 и идентифицирует координаты, в которых увеличивается изменение значений глубины.

[Уравнение 1]

.

В уравнении 1 i означает число кадров, и x,y означают координаты. Соответственно, Iⁱ _x,у означает значение глубины i-го кадра в координатах (x,y).

Первый блок 210 получения местоположения производит поиск координат, в которых Diffⁱ _x,y превышает пороговое значение, после того, как Diffⁱ _x,y вычислено для всех координат. Первый блок 210 получения местоположения определяет объект изображения, который соответствует координатам, в которых Diffⁱ _x,y превышает пороговое значение, в качестве объекта изображения, перемещение которого ощущается, и соответствующие координаты определяются как местоположение объекта изображения.

Второй блок 220 получения местоположения получает информацию о местоположении звукового объекта на основании звукового сигнала. Возможны различные способы получения информации о местоположении звукового объекта вторым блоком 220 получения местоположения.

Например, второй блок 220 получения местоположения выделяет основную составляющую и составляющую окружающей среды из звукового сигнала, сравнивает основную составляющую с составляющей окружающей среды и, тем самым, получает информацию о местоположении звукового объекта. Второй блок 220 получения местоположения также сравнивает мощности каждого канала звукового сигнала и, тем самым, получает информацию о местоположении звукового объекта. Данным способом можно идентифицировать левое и правое местоположения звукового объекта.

В другом примере, второй блок 220 получения местоположения разбивает звуковой сигнал на множество секций, вычисляет мощность каждого частотного диапазона в каждой секции и определяет общий частотный диапазон на основании мощности по каждому частотному диапазону. В настоящем описании, термин «общий частотный диапазон» означает общий частотный диапазон, в котором мощность выше предварительно заданного порогового значения в смежных секциях. Например, частотные диапазоны, имеющие мощность выше «A», выбирают в текущей секции, и частотные диапазоны, имеющие мощность выше «A», выбирают в предыдущей секции (или частотные диапазоны, имеющие мощность в пределах высокого пятого ранга в текущей секции, выбирают в текущей секции, и частотные диапазоны, имеющие мощность в пределах высокого пятого ранга в предыдущей секции, выбирают в предыдущей секции). Тогда частотный диапазон, который совместно выбирают в предыдущей секции и текущей секции, определяется как общий частотный диапазон.

Чтобы получить местоположение звукового объекта, имеющего большую интенсивность сигнала, выполняют ограничение частотных диапазонов выше порогового значения. Соответственно, влияние звукового объекта, имеющего небольшую интенсивность сигнала, сводится к минимуму, и влияние основного звукового объекта можно максимально увеличить. После того как найден общий частотный диапазон, можно определить, сформирован ли в текущей секции новый звуковой объект, который не существует в предыдущей секции, или изменяется ли характеристика (например, местоположение формирования) звукового объекта, который существует в предыдущей секции.

Когда местоположение объекта изображения изменяется в направлении глубины устройства отображения, мощность звукового объекта, который соответствует объекту изображения, изменяется. При этом, мощность частотного диапазона, который соответствует звуковому объекту, изменяется и, тем самым, местоположение звукового объекта в направлении глубины можно идентифицировать исследованием изменения мощности в каждом частотном диапазоне.

Блок 230 согласования определяет взаимосвязь между объектом изображения и звуковым объектом на основании информации о местоположении объекта изображения и информации о местоположении звукового объекта. Блок 230 согласования определяет, что объект изображения согласуется со звуковым объектом, когда разность между координатами объекта изображения и координатами звукового объекта находится в пределах порогового значения. С другой стороны, блок 230 согласования определяет, что объект изображения не согласуется со звуковым объектом, когда разность между координатами объекта изображения и координатами звукового объекта превышает пороговое значение.

Блок 240 определения определяет значение глубины звука для звукового объекта на основании определения, выполненного блоком 230 согласования. Например, в звуковом объекте, для которого установлено согласование с объектом изображения, значение глубины звука определяют в соответствии со значением глубины объекта изображения. В звуковом объекте, для которого установлено отсутствие согласования с объектом изображения, значение глубины звука определяют как минимальное значение. Когда значение глубины звука определяют как минимальное значение, блок 130 обеспечения перспективы не обеспечивает звуковой перспективы для звукового объекта.

Когда местоположения объекта изображения и звукового объекта не согласуются между собой, блок 240 определения не может обеспечить звуковую перспективу для звукового объекта в предварительно заданных исключительных обстоятельствах.

Например, когда размер объекта изображения меньше порогового значения, блок 240 определения не может обеспечить звуковую перспективу для звукового объекта, который соответствует объекту изображения. Так как объект изображения, имеющий очень малый размер, незначительно влияет на восприятие пользователем 3-мерного эффекта, то блок 240 определения не может обеспечить звуковую перспективу для соответствующего звукового объекта.

На фиг. 3 представлена блок-схема блока 120 получения информации о глубине звука, показанного на фиг. 1, в соответствии с другим вариантом осуществления настоящего изобретения.

Блок 120 получения информации о глубине звука в соответствии с данным вариантом осуществления настоящего изобретения содержит блок 310 получения информации о глубине секции и блок 320 определения.

Блок 310 получения информации о глубине секции получает информацию о глубине для каждой секции изображения на основании информации о глубине изображения. Сигнал изображения можно разбить на множество секций. Например, сигнал изображения можно разбить на элементы сцены, по которым преобразуется сцена, на элементы кадров изображения или элементы GOP (групп изображений).

Блок 310 получения информации о глубине секции получает значения глубины изображения, соответствующие каждой секции. Блок 310 получения информации о глубине секции может получать значения глубины изображения, соответствующие каждой секции, на основании нижеприведенного уравнения 2.

[Уравнение 2]

.

В уравнении 2, Iⁱ _x,у означает значение глубины i-го кадра в координатах (x,y), Depthⁱ означает значение глубины изображения, соответствующее i-му кадру, и определяется усреднением значений глубины всех пикселей в i-том кадре.

Уравнение 2 является только примером, и в качестве репрезентативного значения глубины секции можно определять максимальное значение глубины, минимальное значение глубины или значение глубины пикселя, в котором изменение относительно предыдущей секции является очень большим.

Блок 320 определения определяет значение глубины звука для звуковой секции, которая соответствует секции изображения, по репрезентативному значению глубины каждой секции. Блок 320 определения определяет значение глубины звука в соответствии с предварительно заданной функцией, для которой входным значением является репрезентативное значение глубины каждой секции. В качестве предварительно заданной функции, блок 320 определения может использовать функцию, в которой входное значение и выходное значение постоянно являются пропорциональными одно другому, и функцию, в которой выходное значение экспоненциально возрастает в зависимости от входного значения. В другом варианте осуществления настоящего изобретения, в качестве предварительно заданной функции можно применить функции, которые различаются между собой в соответствии с диапазоном входных значений. Примеры предварительно заданной функции, применяемой блоком 320 определения для определения значения глубины звука, поясняются в дальнейшем со ссылкой на фиг. 4.

Когда блок 320 определения определяет, что для звуковой секции не обязательно обеспечивать звуковую перспективу, значение глубины звука в соответствующей звуковой секции можно определять как минимальное значение.

Блок 320 определения может получать разность значений глубины между i-тым кадром изображения и i+1-ым кадром изображения, которые соседствуют между собой, в соответствии с нижеприведенным уравнением 3.

[Уравнение 3]

Diff_Depth ⁱ =Depth ⁱ -Depth ⁱ⁺¹.

Diff_Depthⁱ означает разность между средним значением глубины изображения в i-том кадре и средним значением глубины изображения в i+1-ом кадре.

Блок 320 определения определяет, следует ли обеспечивать звуковую перспективу для звуковой секции, которая соответствует i-му кадру, из нижеприведенного уравнения 4.

[Уравнение 4]

.

R_Flagⁱ является флагом, указывающим, следует ли обеспечивать звуковую перспективу для звуковой секции, которая соответствует i-му кадру. Когда R_Flagⁱ имеет значение 0, для соответствующей звуковой секции обеспечивают звуковую перспективу, и когда R_Flagⁱ имеет значение 1, для соответствующей звуковой секции не обеспечивают звуковую перспективу.

Когда разность между средним значением глубины изображения в предыдущем кадре и средним значением глубины изображения в следующем кадре является значительной, то можно определить, что существует высокая вероятность того, что объект изображения, который выступает из экрана, существует в следующем кадре. Соответственно, блок 320 определения может определить, что звуковая перспектива обеспечивается для звуковой секции, которая соответствует кадру изображения только в том случае, когда Diff_Depthⁱ превышает пороговое значение.

Блок 320 определения определяет, следует ли обеспечивать звуковую перспективу для звуковой секции, которая соответствует i-му кадру, из нижеприведенного уравнения 5.

[Уравнение 5]

R _ F l a g i = { 0, i f   D e p t h i ≥ t h 1, e l s e .

R_Flagⁱ является флагом, указывающим, следует ли обеспечивать звуковую перспективу для звуковой секции, которая соответствует i-му кадру. Когда R_Flagⁱ имеет значение 0, для соответствующей звуковой секции обеспечивают звуковую перспективу, и когда R_Flagⁱ имеет значение 1, для соответствующей звуковой секции не обеспечивают звуковую перспективу.

Даже если разность между средним значением глубины изображения в предыдущем кадре и средним значением глубины изображения в следующем кадре является значительной, когда среднее значение глубины изображения в следующем кадре меньше порогового значения, существует высокая вероятность того, что объект изображения, который представляется выступающим из экрана, не существует в следующем кадре. Соответственно, блок 320 определения может определить, что звуковая перспектива обеспечивается для звуковой секции, которая соответствует кадру изображения только в том случае, когда Depthⁱ превышает пороговое значение (например, 28 на фиг. 4).

На фиг. 4 приведен график, иллюстрирующий предварительно заданную функцию, используемую для определения значения глубины звука в блоках 240 и 320 определения в соответствии с вариантом осуществления настоящего изобретения.

На графике предварительно заданной функции на фиг. 4 горизонтальная ось показывает значение глубины изображения, и вертикальная ось показывает значения глубины звука. Значение глубины изображения может иметь значения в диапазоне 0-255.

Когда значение глубины изображения больше или равно 0 и меньше чем 28, значение глубины звука определяют как минимальное значение. Когда значение глубины звука установлено равным минимальному значению, то для звукового объекта или звуковой секции не обеспечивается звуковая перспектива.

Когда значение глубины изображения больше или равно 28 и меньше чем 124, то величина изменения значения глубины звука в зависимости от величины изменения значения глубины изображения является постоянной (то есть, наклон является постоянным). В соответствии с вариантами осуществления, изменение значения глубины звука в зависимости от значения глубины изображения может быть нелинейным, и, вместо этого, может быть экспоненциальным или логарифмическим.

В другом варианте осуществления, когда значение глубины изображения больше или равно 28 и меньше чем 56, то в качестве значения глубины звука можно определить фиксированное значение глубины звука (например, 58), на котором пользователь может слышать естественный стереофонический звук.

Когда значение глубины изображения больше или равно 124, значение глубины звука определяют как максимальное значение. В соответствии с вариантом осуществления, для удобства вычисления можно регулировать и применять максимальное значение значения глубины звука.

На фиг. 5 представлена блок-схема блока 500 обеспечения перспективы, соответствующего блоку 130 обеспечения перспективы, который обеспечивает стереофоническое звуковое сопровождение с использованием стереозвукового сигнала в соответствии с вариантом осуществления настоящего изобретения.

Когда входной сигнал является многоканальным звуковым сигналом, настоящее изобретение можно применять после понижающего микширования входного сигнала в стереосигнал.

Блок 510 быстрого преобразования Фурье (FFT) выполняет быстрое преобразование Фурье входного сигнала.

Блок 520 обратного быстрого преобразования Фурье (IFFT) выполняет обратное преобразование Фурье сигнала после преобразования Фурье.

Блок 530 выделения центрального сигнала выделяет центральный сигнал, который является сигналом, соответствующим центральному каналу, из стереосигнала. Блок 530 выделения центрального сигнала выделяет сигнал, имеющий сильную корреляционную связь в стереосигнале, в качестве сигнала центрального канала. На фиг. 5 предполагается, что звуковая перспектива обеспечивается для сигнала центрального канала. Однако, звуковая перспектива может обеспечиваться для сигналов других каналов, которые не являются сигналами центрального канала, например, по меньшей мере, одного из сигналов левого и правого передних каналов и сигналов левого и правого боковых каналов, специального звукового объекта или всего звукового сигнала.

Блок 550 расширения звуковой сцены расширяет звуковую сцену. Блок 550 расширения звуковой сцены ориентирует звуковую сцену наружу от акустической системы посредством искусственного введения разности времен или разности фаз в стереосигнал.

Блок 560 получения информации о глубине звука получает информацию о глубине звука на основании информации о глубине изображения.

Блок 570 вычисления параметров определяет значение параметра управления, необходимое для обеспечения звуковой перспективы для звукового объекта на основании информации о глубине звука.

Контроллер 571 уровня управляет интенсивностью входного сигнала.

Контроллер 572 фазы управляет фазой входного сигнала.

Блок 573 обеспечения эффекта отражения моделирует отраженный сигнал, формируемый таким образом, чтобы входной сигнал отражался световой поверхностью на стене.

Блок 574 обеспечения эффекта ближнего поля моделирует звуковой сигнал, генерируемый вблизи пользователя.

Микшер 580 микширует, по меньшей мере, один сигнал и выдает микшированный сигнал в акустическую систему.

Работа блока 500 обеспечения перспективы для воспроизведения стереофонического звукового сопровождения поясняется в дальнейшем в соответствии с временным упорядочением.

Во-первых, когда вводится многоканальный звуковой сигнал, многоканальный звуковой сигнал преобразуется в стереосигнал посредством понижающим микшером (не показан).

Блок 510 FFT выполняет быстрое преобразование Фурье стереосигналов и затем выдает преобразованные сигналы в блок 530 выделения центрального сигнала.

Блок 530 выделения центрального сигнала сравнивает преобразованные стереосигналы между собой и выдает сигнал, имеющий сильную корреляцию в качестве сигнала центрального канала.

Блок 560 получения информации о глубине звука получает информацию о глубине звука на основании информации о глубине изображения. Получение информации о глубине звука блоком 560 сбора информации о глубине звука описано выше со