Адаптивное воспроизведение телевизионного содержимого, основанное на дополнительных кадрах содержимого

Адаптивное воспроизведение телевизионного содержимого, основанное на дополнительных кадрах содержимого

Иллюстрации

Показать все

Реферат

Настоящая система относится к устройствам визуального отображения, имеющим эффект окружающего освещения, в которых характеристики окружающего освещения настраиваются на основании множества кадров изображения.

Известны системы, которые регулируют представление содержимого, изменяя формат изображения с формата изображения предоставленного содержимого на формат изображения устройства воспроизведения. Формат содержимого обычно относится к очертанию изображения, а именно к отношению ширины к высоте изображения на экране.

Например, для высококлассных телевизионных приемников в качестве стандартной формы экрана широко применяется формат изображения, равный 16:9, однако большинство телепередач передаются в формате изображения 4:3. В то же самое время, предоставлен большой объем визуального материала с другими форматами изображения (например, 16:9, 14:9 и так далее), несмотря на то, что данный материал, в конце концов, воспроизводится на устройствах воспроизведения с форматом изображения 4:3. В связи с этим несоответствием обычно предоставляется некий вид преобразования формата изображения.

В одной системе для предоставления преобразования из 4:3 в 16:9 по бокам воспроизводимого содержимого добавляются черные полосы, обеспечивая то, что называется "letterbox" представлением. Данный способ не обеспечивает подлинного результата 16:9, тем не менее обычно предоставляется для устранения искажения изображения, привносимого другими способами. В альтернативной системе, изображения (например, кадры кинофильма) можно увеличить путем растягивания содержимого по горизонтали и вертикали, однако такая система приводит к потере информации сверху и снизу содержимого. По еще одному варианту осуществления, содержимое можно растянуть только в горизонтальном направлении, однако данная система приводит к искажению воспроизведенных объектов содержимого, приводящему к изменению формы объектов (например, круглые объекты становятся овальной формы). Подобным образом, воспроизводимое содержимое можно горизонтально растянуть с неравномерным коэффициентом масштабирования таким образом, что объекты по бокам показанного изображения будут более вытянутыми по сравнению с объектами в центре показанного изображения. Данная система обеспечивает для объектов, расположенных в центре, небольшое или нулевое искажение, однако, при перемещении этих объектов из одной части устройства воспроизведения (например, центра устройства воспроизведения) в другую часть устройства воспроизведения (например, к краю устройства воспроизведения), данный объект, по мере пересечения устройства воспроизведения, будет подвергаться различным коэффициентам масштабирования, что может быть довольно отвлекающим. Данная проблема обостряется содержимым, созданным как содержимое 16:9, например, содержимым кинофильма, отредактированным для телевизионного воспроизведения. Часто, данное содержимое предоставляется с использованием способа "pan-and-scan", в котором содержимое кинофильма сканируется от одной стороны содержимого кинофильма до другой стороны содержимого кинофильма для создания содержимого с форматом изображения 4:3, которое после этого транслируется. В данном "pan-and-scan" воспроизведении, объекты постоянно двигаются от одной стороны устройства воспроизведения к другой.

Публикация патентной заявки США №2003/0035482 Кломпенхауэра (Klompenhouwer) ("патент Кломпенхауэра"), включенная в настоящий документ посредством ссылки, как если бы она была полностью включена в настоящий документ, описывает систему для удлинения данного изображения путем использования элементов изображения из предыдущего и/или последующего изображения. Например, для предоставления изображения движущегося объекта, имеющего общее движение, движущееся направо, предыдущие изображения можно использовать для заполнения элементов изображения слева от данного изображения без искажения объектов, показанных на данном изображении. Похожим образом, для сохраненного содержимого, или содержимого, доступного в течение некоторого времени до воспроизведения и с общим движением направо, для заполнения элементов изображения справа от данного изображения, можно использовать последующие изображения. Хотя данная система обеспечивает более натуральное представление содержимого, чем предшествующие решения, она не усиливает представление содержимого вне устройства воспроизведения.

Концерн Koninklijke Philips Electronics N.V. (Филипс) и другие компании имеют раскрытые средства для изменения окружающего или периферийного освещения для усиления телевизионного содержимого для обычных домашних или деловых приложений. Окружающее освещение, добавленное к устройству воспроизведения или телевизионному приемнику, демонстрируется для снижения усталости зрителя и улучшения реализма и глубины восприятия. В настоящее время, Филипс имеет линию телевизионных приемников, включающую в себя телевизионные приемники с плоским экраном с окружающей подсветкой, в которых корпус по бокам телевизионного приемника включает в себя источники окружающего освещения, испускающие окружающий свет на заднюю стенку, поддерживающую данный телевизионный приемник или находящуюся рядом. Дополнительно, для создания окружающего света, простирающегося за пределы телевизионного экрана, можно использовать источники света, отдельные от телевизионного приемника.

Публикация заявки PCT WO 2004/006570, включенная в настоящий документ посредством ссылки, как если бы она была полностью включена в настоящий документ, раскрывает систему и устройство для управления эффектами окружающего освещения на основе цветовых характеристик воспроизводимого содержимого, таких как цветовой тон, насыщенность, яркость, цвета, скорость изменения сцены, распознанных образов, обнаруженных настроений и так далее. При работе, данная система анализирует принятое содержимое и может использовать данное распределение содержимого, например средний цвет по всему устройству воспроизведения, или использовать часть воспроизводимого содержимого, расположенного рядом с границей устройства воспроизведения, для управления элементами окружающего освещения. Свойство окружающего освещения обычно использует телевизионное содержимое самого устройства воспроизведения для создания эффектов окружающего освещения на покадровой основе совместно с временным усреднением для сглаживания скоротечных переходов элементов окружающего освещения. В других системах, для создания эффектов окружающего освещения по согласованию с изображениями, показываемыми в данный момент, можно использовать сценарий освещения. Хотя данная система эффективно расширяет воспринимаемый размер изображения, фактически предшествующие системы окружающего освещения обычно попросту расширяют объекты и сцены, предоставленные в данном кадре содержимого.

Задачей настоящей системы является преодоление недостатков предшествующего уровня техники и улучшение эффекта окружающего освещения для предоставления восприятия от просмотра, полнее обеспечивающего эффект полного присутствия.

Настоящая система предоставляет устройство и способ для воспроизведения содержимого. Данные устройство и способ включают в себя анализ предыдущей и/или последующей по времени частей сигнала содержимого для определения элементов, позиционно связанных с элементами текущей части сигнала содержимого. Текущая часть сигнала содержимого воспроизводится на первичном устройстве воспроизведения, таком как телевизионный приемник, в то время как элементы, позиционно связанные с элементами текущей части сигнала содержимого параллельно воспроизводятся на вторичном устройстве воспроизведения. По одному варианту осуществления, элементы, воспроизводимые на вторичном устройстве воспроизведения можно воспроизвести с более низким разрешением, чем воспроизводимая текущая часть сигнала содержимого. По одному варианту осуществления, по меньшей мере, одну из предыдущей и последующей по времени частей сигнала содержимого можно анализировать с более низким разрешением, чем сигнал содержимого. Элементы, воспроизводимые на вторичном устройстве воспроизведения, можно воспроизводить с изменяющимся разрешением, причем изменение определяется на основании положения воспроизводимого элемента относительно сигнала содержимого, воспроизводимого на первичном устройстве воспроизведения. По другому варианту осуществления, элементы, воспроизводимые на вторичном устройстве воспроизведения, можно воспроизводить с разрешением, определяемым на основании положения воспроизводимого элемента относительно сигнала содержимого, воспроизведенного на первичном устройстве воспроизведения. Элементы, воспроизводимые на вторичном устройстве воспроизведения можно воспроизводить с разрешением, определяемым на основании временного положения воспроизведенного элемента относительно сигнала содержимого, воспроизведенного на первичном устройстве воспроизведения.

Элементы, воспроизводимые на вторичном устройстве воспроизведения, можно воспроизводить, используя вспомогательные данные, такие как данные восприятия окружающей среды (AMBX) и информация дополнительного улучшения (SEI), относящиеся к определенным элементам. Вспомогательные данные можно связать с сигналом содержимого, например, транслировать вместе с сигналом содержимого или хранить вместе с сигналом содержимого. Таким образом, можно сократить требования к обработке на стороне первичного устройства воспроизведения и/или можно предоставить более точную информацию относительно воспроизводимых элементов. Вспомогательные данные также могут предоставлять информацию для помощи в определении позиционирования элементов и/или объектов на вторичных устройствах воспроизведения.

По одному варианту осуществления, вторичное устройство воспроизведения может являться устройством воспроизведения окружающего освещения и данные элементы можно отобразить как элементы окружающего освещения. По тому же самому или по другому варианту осуществления, вторичное устройство воспроизведения может являться одним или несколькими периферийными устройствами воспроизведения (например, дисплеями) и данные элементы можно отобразить как элементы периферийного изображения. Как использовано в настоящем документе, периферийное устройство воспроизведения/дисплей предназначено для описания устройства воспроизведения/дисплея, находящегося поблизости от первичного устройства воспроизведения. Определенные элементы можно определить на основании положения вторичного устройства воспроизведения по отношению к первичному устройству воспроизведения. Вторичное устройство воспроизведения может включать в себя множество вторичных дисплеев. Эти определенные элементы можно определить на основании положения каждого из вторичных устройств воспроизведения по отношению к первичному устройству воспроизведения. Эти определенные элементы можно определить на основании вспомогательных данных, таких как данные восприятия окружающей среды (AMBX) и информация дополнительного улучшения (SEI), связанные с содержимым.

Вторичное устройство воспроизведения может включать в себя два или более вторичных устройств воспроизведения, причем одно из данных вторичных устройств воспроизведения расположено на одной стороне (например, сверху, снизу, слева, справа) первичного устройства воспроизведения, а другое из данных вторичных устройств воспроизведения расположено на другой стороне первичного устройства воспроизведения. По одному варианту осуществления, каждую из предыдущей или последующей по времени частей сигнала содержимого можно анализировать для определения элементов, например, для вторичных устройств воспроизведения, расположенных слева и справа от первичного устройства воспроизведения. По одному варианту осуществления, данные элементы, воспроизводимые на вторичном устройстве воспроизведения, можно воспроизводить с меньшей частотой смены кадров, чем сигнал содержимого, воспроизводимый на первичном устройстве воспроизведения.

Нижеследующее является описанием пояснительных вариантов осуществления, которые, будучи рассмотрены в сочетании с нижеследующими чертежами, продемонстрируют упомянутые выше признаки и преимущества, наряду с некоторыми дополнительными. В нижеследующем описании, характерные детали, такие как конкретные архитектуры, интерфейсы, технические приемы и так далее, изложены для иллюстрации с целью пояснения, а не ограничения. Однако среднему специалисту будет очевидно, что другие варианты осуществления, отклоняющиеся от данных характерных деталей, тем не менее, подразумеваются как входящие в объем прилагаемой формулы изобретения. Более того, с целью ясности, подробное описание хорошо известных устройств, схем и способов опущено так, чтобы не мешать описанию настоящей системы.

Следует явно понимать, что данные чертежи включены в данный документ с целью иллюстрации и не представляют объем настоящей системы. В прилагающихся чертежах, одинаковые номера ссылок на разных чертежах могут обозначать похожие элементы.

на Фиг.1 показан вариант осуществления настоящей системы, выполненный с возможностью улучшать зрительное восприятие устройства воспроизведения, выполненного по варианту осуществления настоящей системы;

на Фиг.2 показан вид спереди системы, выполненной по варианту осуществления настоящей системы;

на Фиг.3 показан вид сверху, демонстрирующий подробности системы окружающего освещения, использующей источники окружающего освещения, выполненные в соответствии настоящей системой;

на Фиг.4. показана наглядная периферийная осветительная система, обеспечивающая эффект полного присутствия, выполненная по варианту осуществления настоящей системы; и

на Фиг.5 показана система, выполненная по варианту осуществления настоящей системы.

На Фиг.1 показан вариант 100 осуществления настоящей системы, выполненный с возможностью улучшать зрительное восприятие устройства 110 воспроизведения путем создания световых изображений 120A, 120B за пределами стандартной полезной площади экрана, например полезная площадь экрана формата изображения 4:3. В этом варианте осуществления, содержимое этого добавления не просто получается из текущего телевизионного содержимого, показываемого на данном экране или его части, например, как могло быть применено в свойствах окружающей подсветки предшествующего уровня техники, путем вычисления расширения текущего видеокадра на область за пределами текущего видеоизображения. В данном показанном варианте осуществления, текущее отображение телевизионного содержимого (например, воспроизводимый кадр телевизионного содержимого), предоставленное в формате изображения 4:3, расширено посредством расширяющих изображений (например, одного или нескольких световых изображений 120A, 120B), полученных из предшествующих и/или последующих кадров (предшествующих или последующих текущему кадру) телевизионного содержимого. Предшествующие и/или последующие кадры телевизионного содержимого могут включать в себя один или несколько предшествующих и/или последующих видеокадров. По одному варианту осуществления, можно анализировать только часть (например, такую как свойство, объект и/или элемент в целом) предшествующего и/или последующего видеокадра. Например, можно анализировать свойство фона предшествующего кадра без исследования всего предшествующего кадра. По одному варианту осуществления, можно анализировать две или более частей кадра. Например, в соответствии с настоящей системой, можно использовать две последовательные части предшествующего кадра, или одну часть предшествующего и часть текущего кадра. В другом варианте осуществления, когда для определения светового изображения (например, светового изображения 120A) анализируются две части кадра (например, включающие в себя, по меньшей мере, одну часть из предшествующего или последующего кадра), то хотя по варианту осуществления части кадра могут быть последовательны во времени, данные части кадра не обязаны быть последовательными во времени. В свойстве окружающего освещения, выполненном в соответствии с настоящей системой, можно предусмотреть одну или несколько областей 130A, 130B расширения, например, предоставленные путем отображения (например, проецирования) одного или нескольких изображений окружающего освещения на стену, находящуюся позади данного устройства 110 воспроизведения с позиции зрителя устройства 110 воспроизведения. Разумеется, одно или несколько световых изображений 120A, 120B можно предоставить посредством оного или нескольких устройств отображения, прикрепленных к устройству 110 воспроизведения и/или посредством одного или нескольких устройств отображения (например, проекторов), или других устройств, отделенных от устройства 110 воспроизведения и имеющих возможность отображать (воспроизводить и/или проецировать) один или несколько из данных световых изображений 120A, 120B. По одному варианту осуществления, одно или несколько световых изображений 120A, 120B можно предоставить посредством одного или нескольких устройств воспроизведения. Для примера, световое изображение 120A можно предоставить двумя или более устройствами воспроизведения, выполняющими функцию элементов окружающего освещения. Подобным же образом, световое изображение 120B можно предоставить двумя или более устройствами воспроизведения, выполняющими функцию элементов окружающего освещения.

По одному варианту осуществления в соответствии с настоящей системой, одно или несколько световых изображений 120A, 120B представлены с разрешением более низким, чем представленные на устройстве 110 воспроизведения кадры. Для примера, одну или более областей 130A, 130B расширения можно предоставить с разрешением в 20×40 элементов изображения на каждую область расширения. Разумеется, в других вариантах осуществления, можно предоставить большее или меньшее разрешение с пониманием того, что более высокое разрешение обычно требует большей обработки для выделения светового изображения, чем требуется для обеспечения светового изображения более низкого разрешения.

К примеру, в соответствии с настоящей системой, для использования в соответствии с настоящей системой можно определять общие и/или местные векторы движения кадров и/или объектов, изображенных в кадрах (например, предшествующих и/или продолжающихся кадров), и/или можно определять как побочный продукт других частей данной системы, например обработки изображения в формате Группы экспертов по вопросам кинотехники (MPEG). Для видеоизображения, имеющего общий вектор движения (например, фона/приоритета элементов изображения) изображения, представленного на устройстве 110 воспроизведения (например, гол 140), или местный вектор движения объекта, перемещающегося направо, при движении во времени, как представлено на видеокадрах, показанных на устройстве 110 воспроизведения, световое изображение 120A можно выделить из одного или нескольких кадров, предшествующих кадру, показываемому в данный момент на устройстве 110 воспроизведения. Размер векторов движения данного кадра (общих) и/или объекта (местные), а также ширину светового изображения 120A, предоставленного в области 130A расширения, можно использовать в определении того, сколько предшествующих кадров рассмотрено для определения светового изображения 120А как легко различимого. По одному варианту осуществления в соответствии с настоящей системой, для выделения светового изображения 120A, для больших векторов движения можно использовать меньшее количество предшествующих кадров (например, один или несколько предшествующих кадров), хотя по другому варианту осуществления, можно рассматривать одно и то же число предшествующих кадров независимо от размера векторов движения. Для примера, по оному варианту осуществления, можно обеспечить более высокое разрешение в области 130A расширения, когда векторы движения больше.

Подобным образом, в видеоизображении, имеющем общий вектор движения изображения, показанного на устройстве 110 воспроизведения, или местный вектор движения объекта, такого как изображенный игрок 150, перемещающийся направо при движении во времени, как представлено на видеокадрах, показанных на устройстве 110 воспроизведения, световое изображение 120B можно выделить из одного или нескольких кадров телевизионного содержимого, предшествующих кадру, показываемому в настоящий момент на устройстве 110 воспроизведения. Эта обработка облегчается, когда кадры данного телевизионного содержимого доступны за некоторое время для представления на устройстве 110 воспроизведения, например, когда данное содержимое хранится локально и/или буферизировано на некоторое время до представления на устройстве 110 воспроизведения. Размер векторов движения данного кадра (общих) и/или объекта (местные), а также ширину разрешения предоставленного в области 130B расширения можно использовать в определении того, сколько последующих кадров рассмотрено для определения светового изображения 120B как легко различимого. По одному варианту осуществления в соответствии с настоящей системой, для выделения светового изображения 120B, для больших векторов движения можно использовать меньшее количество предшествующих кадров (например, один или несколько последующих кадров), хотя по другому варианту осуществления, можно рассматривать одно и то же число последующих кадров независимо от размера векторов движения. Для примера, по оному варианту осуществления, можно обеспечить более высокое разрешение в области 130B расширения, когда векторы движения больше.

Естественно, если бы общие и/или местные векторы движения были бы направлены налево, то для выделения светового изображения 120B, показанного в области 130B расширения, можно использовать один или несколько предшествующих кадров. Подобным образом, для общих и/или местных векторов движения, направленных налево, для выделения светового изображения 120A, показанного в области 130A расширения, можно использовать один или несколько последующих кадров.

В этом виде варианта осуществления, разрешение, предусмотренное в одной или нескольких областях 130, 130B расширения можно динамически определить на основании размера определенных векторов движения. Как легко оценить, точность изображений, показанных в областях 130A, 130B, расширения можно уменьшить по мере того как кадры, использованные для извлечения световых изображений 120A, 120B, становятся более удаленными во времени от кадра данных, воспроизводимых на устройстве 110 воспроизведения. Дополнительно, точность частей изображения, показанных в областях 130A, 130B расширения можно уменьшить по мере того, как части изображения из кадров, использованных для извлечения световых изображений 120A, 120B, становятся физически более удаленными от текущей части изображения показанной в кадре данных, воспроизводимых на устройстве 110 воспроизведения. Другими словами, при дальнейшем расширении световых изображений 120A, 120B, расширяющих таким образом "законченное изображение", составленное из кадра, воспроизводимого в настоящий момент на устройстве 110 воспроизведения, и световых изображений 120A, 120B, воспроизводимых в областях 130A, 130B расширения, в областях 130A, 130B расширения, можно уменьшить точность удаленных областей. Соответственно, термин "физически и позиционно удален" предназначен для включения в себя объектов, которые расположены дальше от кадра, воспроизводимого в настоящий момент на устройстве 110 воспроизведения, в отношении законченного изображения и/или световых изображений 120A, 120B, производимых дальше от устройства 110 воспроизведения, поскольку одну или обе близости в законченном изображении и близость к устройству 110 воспроизведения, можно использовать для определения содержимого, отображенного в областях 130A, 130B расширения. Для компенсации этого события в некоторых случаях, разрешение областей, удаленных физически и/или во времени, принадлежащих областям 130A, 130B расширения, можно уменьшить по мере того, как области 130A, 130B расширения становятся более удаленными физически и/или во времени от изображений, отображенных на устройстве 110 воспроизведения.

По одному варианту осуществления в соответствии с настоящей системой, для временного предсказания того, что видно за пределами видеокадра, отображенного на устройстве 110 воспроизведения, можно использовать прием естественного движения, например такой, как примененный в патенте Кломпенхауэра. Прием естественно движения отслеживает объекты в сцене и, таким образом, может экстраполировать перемещение объектов за пределами кадра, когда они перемещаются за пределы экрана (например, за пределы устройства 110 воспроизведения). Таким образом, определение содержимого, предоставляемого областям 130A, 130B расширения, можно сделать, используя вычисления, уже предусмотренные для обеспечения возможности сглаживания естественного движения изображения.

Поскольку, по одному варианту осуществления, изображения, предоставленные в областях расширения, могут быть с более низким разрешением и, таким образом, могут быть несколько расплывчатыми, то для баланса количества деталей, предусмотренных с желанием скрыть возможные артефакты экстраполяции, можно предусмотреть более низкое разрешение в удаленных областях. По одному варианту осуществления, достаточно выполнения отслеживания изображения/объекта с низким разрешением, отслеживая, таким образом, размытые версии больших объектов, или так называемые пятна объектов. Отслеживание пятен объектов можно выполнять при низкой вычислительной сложности, поскольку их можно выполнить на низкокачественных версиях телевизионного содержимого. Например, красный автомобиль в телевизионном содержимом, воспроизводимом на устройстве 110 воспроизведения (когда он уезжает за пределы экрана), продолжается как красное пятно на области(ях) расширения. Таким образом, данные на дополнительных устройствах воспроизведения не обязаны быть точной версией с низким разрешением проекции текущего окружения изображений для первичного устройства воспроизведения, а могут быть просты, как пятна, схожие по форме с общей формой данного объекта (например, эллиптической формы), для объекта и в целом структурированный профиль цвета для фона (в данном примере футбольного поля, которое должно быть скошенным травянисто-зеленым в нижней половине, и монотонным, возможно со статистически текстурированной сероватой областью для верхней зрительской половины, после чего с низким разрешением можно наложить цветовой градиент, если это на самом деле приблизительно присутствует в изображенном зрительском фоне). Следует отметить, что для периферийных устройств воспроизведения, как более подробно описано ниже, (зрительное) искажение допустимо, поскольку зрение не остро и можно требовать только ощущение полного присутствия. Соответственно, определение зрительных искажений можно применить к световым изображениям (например, свойствам, объектам, фону и так далее), обычно рассматриваемыми как, как можно легче ощутимыми элементами, в областях расширения и/или изображениях, предоставленных на периферийных устройствах воспроизведения. По одному варианту осуществления, элементы фона можно представить без зрительного искажения, в то время как элементы переднего плана (например, автомобиль, игрок и так далее) искажаются после определения данных элементов для обеспечения перспективы (например, растягивание элементов вокруг угла, начинающегося из устройства 110 воспроизведения и исходящего оттуда наружу).

По варианту осуществления, в котором подход естественного движения объединен с низким разрешением световых изображений 120A, 120B, некто может наблюдать, что объект, покинувший границы экрана, был/будет присутствовать в прошедших/будущих видеокадрах, так что показ подобных, не входящих в кадр объектов, аналогичен показу прошлого/будущего телевизионного содержимого, или, по одному варианту осуществления, по меньшей мере, упрощенному приближению/модели подобного изолированного содержимого/элемента(ов). Таким образом, возможно очень дешевое воплощение, в котором модель общего движения оценивает общие движения (и, таким образом, воплощает отслеживание), что определяет насколько далеко в прошлом (или будущем) нужно взять изображения, на которых основаны изображения, предоставленные в области(ях) 130A, 130B расширения. В этом случае, определение расширяющего изображения эквивалентно задержке (или опережению) расширяющих изображений (цветов в случае очень низкого разрешения), которую можно вычислить посредством систем окружающего освещения предшествующего уровня техники, где размер задержки/опережения можно определить посредством отслеживания, выполненного оценщиком общего движения. Из-за буферизации расширяющих изображений вместо исходного видео, требуется маленькая буферизация, и данное свойство можно осуществить без значительного увеличения стоимости систем предшествующего уровня техники.

В соответствии с вариантом осуществления настоящей системы, можно выгодно произвести различие между объектами переднего плана (например, объектом 252 переднего плана) и фона (например, объектом фона 254), сценами, или признаками в целом (например, с алгоритмом обнаружения переднего плана/фона, к примеру, основанного на движении и преграждении, хотя легко можно применить другие подходящие системы), для раздельного их отслеживания и, например, вычисления расширений, основываясь исключительно на признаках фона или переднего плана. По еще одному варианту осуществления, присутствие трехмерной (3D) информации (например, в виде карты глубин, передаваемой в виде дополнительных слоев по 3 части стандарта MPEG-C) может помочь в идентификации признаков и того, какие из признаков относятся к переднему плану, а какие к фону, так чтобы эти признаки было можно более легко отслеживать и правильно позиционировать в области(ях) расширения.

В соответствии с одним вариантом осуществления, обработку для области(ей) расширения можно выполнить аппаратным обеспечением основного устройства воспроизведения, где получающееся в результате световое изображение(я) расширения передается любой вторичной области(ям) воспроизведения (например, воспроизводящим поверхностям, устройствам воспроизведения, и так далее) используемой для воспроизведения светового изображения(й) расширения. По другому варианту осуществления, один или несколько процессоров можно загрузить тем же потоком видеоданных, что и первичное устройство воспроизведения, причем процессор, или каждый из нескольких процессоров, выполняет анализ (или необходимую его часть) и, таким образом, определяет свою часть для воспроизведения. По одному варианту осуществления, подробное разбиение данной системы позволяет держать часть, отвечающую за отслеживание и предсказание отдельно от устройств(а) воспроизведения в целом (например, на стороне создания содержимого), в результате чего, световое изображение(я) расширения (например, параметризованные для обеспечения различных размеров и форм расширяющей визуализации) передается вместе с телевизионным содержимым, например, в виде данных восприятия окружающей среды (AMBX) (например, сценариев, ядер программного обеспечения, архитектуры, и так далее) и/или в виде информации дополнительного улучшения (SEI) в рамках стандарта улучшенного кодирования видеосигнала (AVC).

Для проецирования/предоставления области(ей) расширения изображения на окружение основного устройства воспроизведения, можно использовать несколько систем и/или способов. Несмотря на то, что в настоящем документе описаны конкретные варианты осуществления, средний специалист в данной области техники может легко понять, что можно представить себе другие варианты осуществления, также входящие в объем настоящей системы.

По одному или нескольким вариантам осуществления в соответствии с настоящей системой, части системы окружающего воспроизведения модно встроить в основное устройство воспроизведения (например, в лицевую панель основного устройства воспроизведения), используя аппаратное устройство окружающего освещения предшествующего уровня техники, или расширить аппаратное обеспечение предшествующего уровня техники по направлению к большему разрешению посредством использования, например, микропроекторов.

По одному варианту осуществления, за счет воспроизведения правильного расширения изображения, предоставленного в настоящий момент на области основного устройства воспроизведения (например, подходящего цвета, совпадающего с текущим цветом на стороне изображения), к телевизионному приемнику с окружающим освещением по предшествующему уровню техники, необходимо добавить только описанную выше обработку. Следует отметить, что настоящая система и решения окружающего освещения предшествующего уровня техники отслеживают объекты довольно разными путями, таким образом, предоставляя разное содержимое в областях окружающего света. В случае, когда красный объект воспроизводится перед зеленым фоном, на телевизионном приемнике с окружающим освещением предшествующего уровня техники, когда красный объект уйдет за пределы экрана, данное окружающее освещение изменится на зеленое, как только красный объект окажется за пределами экрана. По варианту осуществления в соответствии с настоящей системой, соответствующий эффект окружающего света (например, произведенный в одной из областей 130A, 130B расширения) может остаться красным на какое-то время после этого, показывая таким образом красный объект, движущийся за пределами границ основного экрана, например, в зависимости от последнего известного движения объекта, общего движения, оцененного для кадров после того, как он покинул пределы экрана, и/или скорости, которая получена от объектно-ориентированного оценщика движения, который, например, предоставлен в публикации "Real-Time Recursive Motion Segmentation of Video Data on a Programmable Device", написанной R.B. Wittebrood и G. de Haan, и опубликованной в издании IEE Transactions on Consumer Electronics, в августе 2001 года на страницах 559-567, и включенной в настоящий документ посредством ссылки на нее, как если бы она была полностью включена настоящий документ. В соответствии с настоящей системой, время, в течение которого показывается изображение/цвет, находящийся за пределами экрана (например, устройства 110 воспроизведения), может зависеть от скорости, с которой двигался этот объект (например, размера сопутствующего вектора движения, высокая скорость = малой длительности), в то время как в соответствии с одним вариантом осуществления настоящей системы, эти цвета (например, которые могут относиться к данной красной машине) могут затухать к цвету по умолчанию (например, цвету фона) после некоторого времени даже для низких скоростей (например, скоростей, когда движение объекта может еще не передвинуть данный объект за пределы области(ей) расширения). Как легко можно оценить, в некоторых вариантах осуществления, затухание настоящей системы может быть слишком медленным для быстродвижущихся объектов, которые покидают область расширения очень быстро.

Системы окружающего освещения предшествующего уровня техники уже могут собираться с множеством источников света (например, для увеличения светоотдачи и произведения различных цветов на различных сторонах). Посредством индивидуального управления каждым источником света и, например, добавления линзы и/или светорассеивателя (системы), можно проецировать изображение низкого разрешения на окружение вокруг основного устройства воспроизведения (например, слева, справа, сверху и/или снизу устройства 110 воспроизведения). По дополнительным вариантам осуществления, потолок и/или пол вокруг первичного устройства воспроизведения также можно освещать посредством элементов окружающего освещения, предусмотренных на устройстве воспроизведения и/или в соответствии с элементами окружающего освещения, удаленных от первичного устройства воспроизведения, такими как предусматриваемые выделенной башней окружающего освещения или объединенным устройством окружающего освещения/акустической системой.