Система вставки видео в режиме реального времени

Система вставки видео в режиме реального времени

Иллюстрации

Показать все

Реферат

Изобретение относится к области изготовления и использования видеоизображений и статических изображений и, в частности, к способу и устройству, которые позволяют первому пользователю готовить изображения и которые позволяют второму пользователю с легкостью взаимодействовать с этими изображениями.

Описание предшествующего уровня техники

Традиционные пассивные медиа-индустрии, такие как телевидение, музыкальная индустрия, киностудии и телевизионная реклама, уступают в своих возможностях новым интерактивным медиа-индустриям, таким как индустрия видеоигр и Интернет. Хотя некоторые устройства, такие как Цифровые Видеомагнитофоны (Digital Video Recorder, DVR), позволяют потребителям сдвигать по времени контент, они являются пассивными и не дают возможности потребителям создавать их собственный новый контент.

Между тем, доступным становится все большее число инструментов, которые позволяют потребителю стать создателем контента. Цифровые фотокамеры и видеокамеры позволяют захватывать изображения. Эти захваченные изображения с легкостью обрабатываются мощным программным обеспечением на персональных компьютерах. Эти изображения можно объединить и распечатать, отобразить на телевизионных экранах, записать на DVD-диск и даже переслать по электронной почте друзьям и членам семьи. В то же время, мощные цифровые инструменты создания музыки позволяют потребителям создавать новые музыкальные произведения, которые можно объединить с цифровыми изображениями потребителей. В настоящее время любой может стать создателем контента. Даже сотовые телефоны захватывают статические изображения, а также видеоизображения высокого качества. Этот создаваемый контент обычно размещается на Интернет-сайтах, популярность которых непрерывно растет. Таким образом, любой потребитель может быть "звездой", но это не отвергает желания общества взаимодействовать с медиа-знаменитостями и/или получать прибыль от своих собственных медиа-произведений. Одним из путей реализации этой потребности является предоставление креативного контента, который позволяет потребителю "взаимодействовать" со знаменитостями. Настоящее изобретение сочетает тенденции в области персональных медиа-произведений с этой любовью к знаменитостям. Вместе с тем, настоящее изобретение предоставляет средство, с помощью которого создатели и рекламодатели более традиционного контента могут получить прибыль от профессионального и персонального создания медиа-произведений.

Настоящее изобретение предоставляет средство связи, которое позволяет создателям контента и Правообладателям предоставлять исходное изображение пользователю и любому другому лицу, которое пожелает взаимодействовать с исходным изобретением посредством системы шаблона и системы виртуального набора/рирпроекции изображения. Два или более отдельных потоков видеоизображений/статических изображений могут быть объединены в реальном масштабе времени дома или в любом другом месте, где есть доступ к видео контенту. Видео контент может распространяться различными способами, такими как через Интернет, DVD-диски, CD-диски и другие цифровые носители. Система позволяет использовать метаданные в видео контенте, которые описывают, что делала камера во время снятия конкретного кадра. Эта информация определяет то, каким образом видео/изображение переднего плана должно быть комбинировано с кадром, используя систему шаблонов. Получающаяся в результате композиция производит убедительную иллюзию, в которой пользователь/объект вживую взаимодействует с контентом. Например, представим видеозапись рок концерта, доступную в сети Интернет. Пользователь захватывает свое собственное изображение посредством видеокамеры, соединенной с компьютером (который включает в себя широкий спектр вычислительных устройств, таких как персональные компьютеры и игровые консоли). Это изображение пользователя-потребителя комбинируется с видео контентом, используя программное обеспечение реального масштаба времени, чтобы произвести финальное видеоизображение, в котором пользователь выглядит так, как будто он находится на этом рок концерте. В результате производится записываемое взаимодействие видео-в-видео профессионального или любительского цифрового видео контента ("Создателя Контента (или заднего плана)") и цифрового видео потребителя ("Создателя-Потребителя (или переднего плана"). Схожим образом, для рекламных целей с легкостью могут быть подобраны изображения: афиша в фильме или видеоигре может показывать рекламу компании Coke в США и рекламу компании Nike в Европе, девушки и юноши могут получать разную рекламу и т.д. То же самое применимо к очень талантливым любителям, видеозаписи которых просматриваются миллионы раз в сети Интернет. С помощью настоящего изобретения они могут продавать рекламное пространство в их собственных видеозаписях. Реклама может быть незаметно и креативно интегрирована с исходным контентом, будучи ненавязчивой и без нарушения процесса просмотра.

Этот процесс в реальном масштабе времени обеспечивает возможность рекламодателю и потребителю реализовать взаимодействие по схеме видео-в-видео/изображение-в-изображении с прямым эфиром, локально сохраненными видео файлами, компьютерными играми и видеоконференциями. Потребителю или рекламодателю предоставляется возможность взаимодействовать с широким спектром Развлекательного Программирования (вещание, художественные фильмы, коммерческие ролики, музыкальные клипы, телевизионные сериалы, веб-фильмы, онлайн игры и генерируемые потребителем медиа-произведения) или образовательного программирования, такого как уроки танцев, уроки музыки, уроки пения, уроки актерского мастерства, медицинские тренинги и т.п. Хотя нижеописанная реализация является потребительским приложением, настоящее изобретение также может быть использовано как образовательный инструмент, научный инструмент, а также рекламный инструмент и инструмент продакт-плейсмента.

Сущность изобретения

Существует необходимость в приложениях, которые позволяют потребителям некоторым образом взаимодействовать со знаменитостью или звездой. Приложение, которое позволит потребителям многократно взаимодействовать с коммерческим контентом и передавать результат любому другому лицу, удовлетворит потребность, которая до сих пор оставалась совершенно неудовлетворенной. Аналогично, в настоящее время нет какого-либо эффективного способа для простого добавления рекламы в видео контент, сгенерированный потребителем и профессионально. Это, возможно, изменит способ, по которому будет создаваться и распространяться медиа-контент в будущем. Для рекламодателей, а также продюсеров музыкальной индустрии, индустрии видеоигр и киноиндустрии будет создана возможность управлять потоками прибыли для контента, созданного в новых моделях распространения медиа-данных.

Создаются возможности для владельцев фотоизображений и видеоизображений, поскольку потребители ищут задние планы для своих собственных музыкальных клипов или для создания проектов "путешествуя по миру", фактически оставаясь дома. Кроме потребителей, настоящее изобретение полезно в области образования, где оно обеспечивает возможность участия, например, в уроках музыки, уроках танцев и физических тренировках. В области медицины настоящее изобретение позволяет с легкостью вставлять язык жестов в любое видеоизображение, а также реализовать ролевые игры для психиатрического лечения. В тюрьме настоящее изобретение обеспечивает возможность связи с далеко находящимися людьми, что делает их ближе и способствует процессу психического возвращения заключенных в общество. В качестве инструмента рекламы и продакт-плейсмента настоящее изобретение может быть выгодным как рекламодателям, так и создателю контента. Настоящее изобретение также позволяет конечным пользователям загружать свое изображение и применять его к герою компьютерной игры, то есть участвовать в игре в роли самих себя. Это поднимает специальные аватары на новый уровень без необходимости перезаписи программного обеспечения игры.

В настоящем изобретении используется "коммерческий" видеопоток, подготовленный "Создателем Контента", и видеопоток, произведенный потребителем (видео "Потребителя"), который с легкостью комбинируется с видео Создателя Контента. В изобретательском процессе создается составное видео, которое может быть записано (если на то есть разрешение Создателя Контента) в реальном масштабе времени, и талант потребителя (лицо или объект) включается в результирующее видео, то делает контент Создателя Контента уникальным во множестве версий - каждое видео потребителя (видео Создателя Контента плюс видео Потребителя) создает новую персонализированную версию. Эти уникальные новые видео могут быть загружены, например, в сеть Интернет и мобильные устройства для их просмотра другими.

Взаимодействие в масштабе реального времени обеспечивается программным приложением Создателя Контента, которое доступно через компьютер или эквивалентное устройство, такое как игровой движок или приставка. Это программное приложение может быть относительно простой двумерной системой, где объединение реализуется в двумерном пространстве, либо упомянутое программное обеспечение имеет трехмерные возможности, так что составное изображение движется в трехмерном пространстве вместе с перемещением камеры Создателя Контента, в результате чего обеспечивается гораздо более убедительная иллюзия.

Программное приложение Создателя Контента способно объединять в масштабе реального времени локальный видеопоток или файл изображения, например, с веб-камеры или внешнего источника, например, из сети Интернет, с внешним видеоизображением или локально сохраненным видео файлом. Видео файлы комбинируются посредством программного приложения, которое способно в масштабе реального времени обрабатывать два или более слоев видео и/или изображений, двумерных и трехмерных объектов, текст и потоки данных камер, и объединять локальный видеопоток/изображение путем наложения или рирпроекции изображения.

Описание чертежей

Фиг.1 - блок-схема изобретательской системы;

Фиг.2 - схема последовательности операций в процессе согласно настоящему изобретению;

Фиг.3 - ряд схем последовательности операций, иллюстрирующих этапы предоставления метаданных;

Фиг.4 - схема, иллюстрирующая порядок позиционирования изображений относительно шаблонов;

Фиг.5 - разъяснение использования информации высоты;

Фиг.6 - блок-схема настоящего изобретения для целей рекламы;

Фиг.7 - схема последовательности операций (схожая с Фиг.2), иллюстрирующая процесс для целей рекламы;

Фиг.8 - схема, разъясняющая использование соотношения сторон и формата изображения; и

Фиг.9 - дополнительная схема, разъясняющая использование информации высоты вместе с информацией формата/отношения сторон.

Подробное описание изобретения

Следующее описание приведено для того, чтобы специалисты в данной области техники получили возможность использовать настоящее изобретение, и в нем показаны лучшие варианты осуществления, предполагаемые настоящим изобретателем. Тем не менее, специалистам в данной области техники будут очевидны различные модификации, поскольку в настоящем документе определены главные принципы настоящего изобретения, по которым можно реализовать систему для предоставления видео контента, в который с легкостью можно вставить видео контент потребителя, а также инструменты для такой вставки.

Фиг.1 и 6 представляют собой общие виды всего процесса. Фиг.1 иллюстрирует версию системы, где контент потребителя комбинируется с видео Создателя Контента. Фиг.6 иллюстрирует рекламный контент, который вставляется в видео Создателя Контента. Как указано выше, Создатель Контента создает видео контент, в который Создатель-Потребитель (создатель "переднего плана") вставляет свой видео/фото контент, чтобы создать комбинированное видео, в результате чего Создатель-Потребитель/объект выглядит как часть исходного видео Создателя Контента. Фиг.1 разделена на сторону (A) Создателя Контента и сторону (B) Создателя-Потребителя, чтобы упростить описание того, что происходит в каждой части процесса. Во-первых, Создатель Контента использует устройство 20 создания изображения, чтобы захватить основное видеоизображение. На данном чертеже в качестве устройства 20 создания изображения показана камера, однако, может быть использована любая система создания видео, включая компьютерную или обычную (рисованную) анимацию и обычные статические изображения, а также статические изображения с дополнительными эффектами движения и панорамирования (например, эффект Кена Бернса).

Форматы цифрового видео и изображения обычно кодируются по схеме RGB, но иногда используется схема RGBA, где A обозначает альфа-канал. Это означает, что в добавление к Красному, Зеленому и Синему каналам, видео включает в себя альфа-канал. Видео с альфа-каналом важно, когда создатель контента, например, загружает видео, включающее в себя альфа-канал, где человек (или некоторый объект) находится впереди афиши, в которую создатель контента хочет разместить рекламу. Использование альфа-канала обеспечит видимость того, что реклама находится позади этого человека и занимает пространство афиши. Тот же подход применяется для удаления аудитории на переднем плане в записи концерта, чтобы вставленное изображение выглядело как находящееся позади аудитории, на сцене с рок группой. Альфа-канал может быть сформирован несколькими разными способами например путем ротоскопинга. В индустрии визуальных эффектов термин ротоскопинг обозначает способ ручного создания маски для элемента в плоскости действия, так чтобы его можно было перемещать на другой задний план. Также существуют способы создания альфа-каналов/каналов маски в масштабе реального времени, включая рирпроекцию, распознавание образа и т.п.

Устройство создания изображения создает изображение 22 заднего плана, в которое в конечном итоге Создатель-Потребитель будет вставлять изображение, произведенное вторым устройством 32 захвата изображения (как и в случае устройства 20 захвата, здесь также может быть использована любая система создания видео). Видеоизображение 22 заднего плана обрабатывается вычислительным устройством (таким как персональный компьютер или игровая консоль), на котором выполняется программное обеспечение 26 Создателя Контента. Программное обеспечение 26 может находиться на локальном компьютере или к нему может быть выполнен доступ на сервере. В последнем случае часть или вся обработка файла может происходить на удаленном серверном компьютере. Это программное обеспечение 26 позволяет Создателю Контента обрабатывать видео 22 заднего плана, либо включать в их состав метаданные 24 (угол обзора камеры, положение и т.п.), либо получить подобные метаданные из видео 22 заднего плана. Программное обеспечение 26 Создателя Контента также позволяет Создателю Контента внедрять шаблон 28 в видео контент. Шаблон 28 представляет собой справку, указывающую, где и как будет вставлено видеоизображение Создателя-Потребителя в видео 22 Создателя Контента (Фиг.6, 126). Шаблон 28 распознается и интерпретируется как программным обеспечением 26 заднего плана (Создателя), так и программным обеспечением 38 переднего плана (Потребителя), и он определяет контур, тень или трехмерный объект в видео 22 заднего плана. Элементы управления позволяют Создателю Контента перемещать шаблон 28 от сцены к сцене и определять, как, когда и где оно появится, чтобы обеспечить наиболее реалистическое и наилучшее креативное положение для видеоизображения Создателя-Потребителя (переднего плана) в каждой сцене/кадре. Доступны шаблоны разных размеров (все тело, верхняя часть тела крупным планом, прямоугольник, квадрат, круг, трехмерные объекты и т.п.), чтобы позволить Создателю Контента выбрать шаблон, который является наиболее подходящим для этого видео. В данном примере шаблон используется для размещения изображения "переднего плана", однако, шаблон также может управлять размещением изображения или изображений "заднего плана" согласно пожеланиям Создателя Контента. В случае рекламы (Фиг.6) шаблоны 28 часто принимают форму, подходящую для вставки изображений продуктов или сообщений.

Например, если видео 22 заднего плана показывает выступление рок группы на сцене, то подходящим будет шаблон всего тела того же размера, что и исполнители. Далее, этот шаблон позиционируется на сцене рядом с другими исполнителями. Если видео 22, далее, переходит к крупному плану исполнителей, то шаблон перемещается и масштабируется в соответствующее положение, и для данной последовательности он выглядит как крупный план верхней части тела. Программное обеспечение 38 Создателя-Потребителя изменяет вставленный шаблон 28 соответствующим образом, на основании информации метаданных 24, предоставленной Создателем Контента, чтобы создать иллюзию перемещения камеры и переключения на изображение 34 Заднего Плана, которое фактически произведено одним (обычно фиксированным) устройством 32 захвата изображения. Создатель-Потребитель, далее, может просмотреть измененный шаблон и при необходимости выполнить "точную настройку" его положения. Позиционирование включает в себя не только то, где в потоке изображения появляется шаблон, но и когда он появляется. Финальный файл 30 данных создателя контента содержит исходное видео 22 заднего плана вместе с внедренным шаблоном (шаблонами) и соответствующими метаданными. Далее, этот файл распространяется Создателю Потребителю посредством DVD-диска, сети Интернет или любого другого способа распространения.

Создатель-Потребитель также имеет устройство 32 захвата изображения, например, видеокамеру, которая имеет соответствующий интерфейс с персональным компьютером или подходящим вычислительным устройством. Создатель-Потребитель/Конечный Пользователь может воспроизвести финальный файл данных (видео) 30 Создателя Контента на персональном компьютере/вычислительном устройстве, используя программное обеспечение 38 Создателя-Потребителя/Конечного Пользователя. (Как и в предыдущем случае, это программное обеспечение может быть получено с удаленного сервера, и некоторые или все операции обработки могут происходить на удаленном компьютере). Это программное обеспечение позволяет Создателю-Потребителю (Переднего Плана) просматривать изображение 22 заднего плана и видеть позицию шаблона 28 в этом видео. В тех случаях, где финальный файл 30 данных Создателя Контента использует шаблон для продакт-плейсмента или рекламы (см. ниже), конечному пользователю может быть не обеспечена возможность взаимодействия с этими видео файлами. В тех случаях, где файл 30 данных настроен для взаимодействия и есть выбор возможных шаблонов, закодированных в этот файл 30 данных, Создатель-Потребитель может выбрать шаблон, который является наиболее подходящим для его пространства и камеры. Программное обеспечение 38 Создателя-Потребителя (переднего плана) способно принимать изображение/видео 34 переднего плана, захваченное устройством 32 создания изображений, и комбинировать его с финальным видео 30, используя наложение или рирпроекцию, чтобы объединить или вставить изображение переднего плана в позицию "элемента-заполнителя", созданного шаблоном.

Рирпроекция является широко известным процессом, который используется для наложения или объединения двух или более потоков изображений или видео. В графике "наложение" является размещением изображения или видео поверх уже существующего изображения или видео, что обычно выполняется для добавления эффекта изображения, но иногда и для скрытия некоторого объекта (например, использование левой стороны экрана для изображения заднего плана и правой стороны для изображения переднего плана). Рирпроекция представляет собой процесс, в котором часть одного видеоизображения изолируется от своего заднего плана, так чтобы оно могло быть объединено или скомбинировано с другим изображением. Обычно используется хроматическая рирпроекция. Хроматическая рирпроекция представляет собой способ смешения двух изображений, где цвет (или некоторый цветовой диапазон) удаляется из одного изображения (или делается прозрачным), раскрывая другое изображение. Этот способ также называют цветовой рирпроекцией, цветовой электронной рирпроекцией, зеленым-экраном и синим-экраном. Данная технология обычно используется для прогнозов погоды, где диктор находится на переднем плане перед большой картой, тогда как в действительности он стоит перед синим или зеленым задним планом.

Результаты объединения видео схожи со старым процессом "синего-экрана", используемым в фильмах, где актер фотографируется напротив синего экрана, и изображение актера впоследствии вставляется в другую сцену. Этот фотографический процесс является исключительно сложным, и он включает в себя генерацию "фотографических масок", чтобы обеспечить возможность множественной печати на фотопленке.

Система рирпроекции в действительности гораздо более проще, чем фотографическая система, в силу растровой природы видеоизображения. Для каждой линии сканирования, которая образует изображение, электронный переключатель получает видео данные с изображения заднего плана при условии, что сигнал рирпроекции в одном состоянии (например, указывается, что сканирование с изображения переднего плана показывает цвет рирпроекции). Когда сканирование переднего плана останавливает показ цвета рирпроекции, сигнал рирпроекции меняет состояние, и электронный переключатель получает видеоданные с изображения переднего плана. Таким образом, изображения связываются вместе по каждой линии сканирования без необходимости фотографических масок или других сложных технологий. Иллюзия заключается в том, что нижележащее изображение (заднего плана) "раскрыто" в определенных выбранных областях. Одним примером Хроматической Рирпроекции является разбиение каждого пикселя на его красный, зеленый и синий каналы, после чего эти величины преобразуются в пространство тона, насыщенности и цвета. Посредством минимального и максимального значения тона можно определить, должен ли данный пиксель быть прозрачным или нет. Существует множество других способов генерации сигнала рирпроекции. Одним из этих способов является "рирпроекция по яркости", где сигнал рирпроекции основан на характеристиках яркости и темноты изображения переднего плана, например, каждый пиксель может быть преобразован в черно-белый, и результирующая величина используется для дополнительных вычислений, чтобы определить прозрачность. Первый результат сохранит цвет исходного пикселя. Если пользователь специфицировал белый задний план, то любой пиксель, величина которого больше определенного порогового значения, будет прозрачным. Если пользователь специфицировал черный задний план, то любой пиксель, величина которого меньше определенного порогового значения, будет прозрачным. В случае "дифференциальной рирпроекции" изображение переднего плана сначала анализируется без объекта, а после этого анализируется с объектом. Те элементы, которые присутствуют в обоих анализах, определяются как задний план. Процесс дифференциальной рирпроекции требует, чтобы камера не перемещалась со своей исходной позиции в течение всего процесса рирпроекции, поскольку пользователь должен снять "чистый кадр" до начала. Чистый кадр является снимком заднего плана без каких-либо элементов, которые должны остаться непрозрачными. Этот чистый кадр сохраняется в памяти. Для каждого кадра вычислительное устройство захватывает новое изображение посредством устройства захвата изображений, и вычитает цветовые каналы каждого пикселя этого изображения и соответствующих цветовых каналов в изображении чистого кадра. Если сумма абсолютных величин разностей меньше специфицированного диапазона, то этот пиксель делается прозрачным. Проще говоря, если пиксель имеет примерно тот же цвет, который он имел в чистом кадре, то этот пиксель делается прозрачным.

Программное обеспечение 38 Создателя-Потребителя (Переднего Плана) выполняет функцию рирпроекции на изображении 34 переднего плана и, далее, вставляет изображение в позицию шаблона. Следует отметить, что метаданные 24 Создателя позволяют шаблону появляться, перемещаться и трансформироваться согласно углу обзора шаблона и камеры, позиции и т.п. Программное обеспечение 38 Создателя-Потребителя трансформирует наложенное или подвергнутое рирпроекции изображение в его позицию с соответствующим соотношением сторон, и оно перемещается согласно перемещениям камеры и ее углу обзора. Для улучшения этой обработки программному обеспечению 38 Создателя-Потребителя могут потребоваться метаданные 36 Создателя-Потребителя. Эти метаданные могут содержать широкий диапазон информации относительно камеры, линзы и положения камеры, которые использовались Создателем-Потребителем для захвата изображения 34 переднего плана, такие как высота камеры и детализация поля обзора. При масштабировании изображений для программного обеспечения 38 полезно иметь сведения о размере или высоте изображения 34 переднего плана относительно размера шаблона, вставленного в финальное видео 30. Например, в упомянутом выше видео рок группы, средний рост исполнителей может быть равен 6 футам, так что вставленный шаблон позиционируется так, чтобы представлять человека ростом 6 футов. Программное обеспечение 38 Создателя-Потребителя отмасштабирует изображение 34 переднего плана потребителя (обработанное для рирпроекции), чтобы привести его в соответствие с внедренным шаблоном. Это дает хорошие результаты, если человек в изображении 34 переднего плана имеет рост примерно 6 футов. Однако если этот человек имеет рост только 5 футов, то вставленное изображение будет чрезмерно увеличено, и результат не будет реалистичным. Путем вставки информации высоты изображения 34 переднего плана можно избежать этой ошибки и обеспечить реалистичный результат. Следовательно, эта информация является важной и подлежит включению в состав метаданных 36 Создателя-Потребителя.

Программное обеспечение 38 Создателя-Потребителя выполняет рирпроекцию и объединение в реальном масштабе времени, так что Создатель-Потребитель или Конечный Пользователь может просматривать объект (самого себя, продакт-плейсмент или рекламу) на мониторе вычислительного устройства (финальный вывод 40), фактически взаимодействуя с изображением 22 заднего плана на основании дополнительных Метаданных 24. Создатель-Потребитель может не только выполнять совершенные "движения" в ответ видеоизображению, но также (при разрешении Создателя Контента) настраивать метаданные 36 таким образом, чтобы обеспечивались наиболее реалистичные отклики.

Программное обеспечение 38 Создателя-Потребителя также действует как видеомагнитофон, так что выступление может быть сохранено для загрузки в онлайн-службы, отправки электронной почты или даже записи на DVD-диск или другой носитель записи (при наличии разрешения Создателя Контента). Если финальный файл 30 данных создателя контента включает в себя звук 20, то система также может включать звук пользователя в состав финального продукта. В случае рок выступления, финальный файл 30 данных Создателя Контента может включать в себя выступление целиком, за исключением конкретной вокальной дорожки или инструментальной дорожки. Создатель-Потребитель, тогда, поет или играет на инструменте, и программное обеспечение 38 Создателя-Потребителя объединяет это аудио с аудио из финального файла 30 данных создателя контента. В случае пения программное обеспечение 38 Создателя-Потребителя может отображать соответствующие слова (часть метаданных в финальном файле 30 данных) и направлять пение пользователя по принципу караоке.

Важной частью настоящего изобретения является то, каким образом Создатель Контента обрабатывает видеоданные, в которые будет вставлено изображение пользователя. Создатель Контента может включать в состав метаданные и информацию о позициях и углах одного или более объектов, которые перемещаются в изображении 22 заднего плана (а также информацию времени, относящуюся к моментам, когда в видео потоке появляется объект). Кроме того, Создатель Контента может включать в состав метаданные и информацию относительно перспективы камеры и линзы, которая использовалась для съемки контента. Когда Создатель Контента включает в состав информацию камеры или схожие метаданные, это сильно облегчает размещение видео Создателя-Потребителя в видео Создателя Контента с оптимальной перспективой. Тогда исходные перемещения камеры будут учитываться, и видео Создателя-Потребителя будет двигаться синхронно с перемещениями камеры Создателя Контента. Специалистам в данной области техники будет очевидно, что изображение заднего плана может быть изображением, захваченным Создателем-Потребителем, и подвергаемое рирпроекции изображение переднего плана предоставляется Создателем Контента. Это позволяет создавать иллюзию того, что некоторая знаменитость посетила жилище пользователя. Создатель Контента обычно имеет контроль над тем, являются ли изображения, предоставляемые Создателем-Потребителем, изображениями заднего плана или изображениями переднего плана.

Информация метаданных камеры может быть захвачена вживую путем вычисления и отслеживания перемещений камеры в реальном масштабе времени с применением доступных аппаратных и программных систем отслеживания, или эти данные могут быть созданы после производства посредством компьютерного программного обеспечения, которое отслеживает положение камеры и вычисляет корректную перспективу в каждый момент времени. Подобное программное обеспечение может быть включено в состав программного обеспечения 26 Создателя Контента. Все метаданные включаются в состав видео 30 Создателя Контента в формате, который используется/воспринимается программным обеспечением 38 Создателя-Потребителя.

В оптимальном случае существует четыре типа информации, содержащейся в метаданных, которые получает конечный пользователь.

1) Изображение/видео заднего плана (или переднего плана) - Создатель контента специфицирует изображение или видео, которое должно использоваться в процессе композиции. В состав метаданных включается фактическое изображение или ссылка.

2) Рекомендуемый шаблон - Создатель Контента выбирает шаблон, в который Создатель-Потребитель вмещает свой материал (либо переднего плана, либо заднего плана). Эти шаблоны представляют разные типы снимков камеры, такие как дальний план, средний план или крупный план. Шаблон также может представлять человека или другой тип объекта, например, двумерный или трехмерный объект, рисунок, картину, рекламу, иллюстрацию, текст или трехмерную компьютерную модель. В состав метаданных включается фактический шаблон или ссылка.

3) Высота объекта - Это указывает, насколько высоким должен быть объект для рекомендуемого шаблона. Заданная высота не равна высоте видимой части объекта. Это высота всего объекта от точки контакта с полом до верхушки объекта. Эти данные позволяют программному обеспечению 38 Создателя-Потребителя автоматически масштабировать изображение 34 переднего плана, чтобы сохранять должное отношение высоты между изображением 34 переднего плана и изображением 30 заднего плана. Масштабирование изображения 34 переднего плана Создателя-Потребителя выполняется от точки контакта с полом или от верхушки объекта. Информация относительно формата изображения и отношения сторон шаблона 28 также может быть включена в состав, чтобы сохранить корректные пропорции изображения 34 переднего плана, которое замещается или вставляется в Шаблон 28.

4) Место, ориентация и время показа шаблона - Создатель Контента позиционирует выбранный шаблон таким образом, что объект Создателя-Потребителя выглядит так, как будто он вмещается в изображение 22 заднего плана, чтобы произвести реалистичный финальный вывод 40, который соответствует креативному видению Создателя-Потребителя. Существует, по меньшей мере, три способа, по которым может быть специфицировано место и ориентация шаблона. Если доступны метаданные камеры и/или объекта, то для местоположения шаблона в каждом кадре изображения могут быть заданы трехмерные координаты. Также в состав могут быть включены данные ротации и информация масштабирования. Метаданные камеры включают в себя, но не ограничиваются перечисленным, координаты X, Y и Z камеры, углы панорамирования, наклона и поворота камеры, а также поле зрения камеры. Метаданные объекта включают в себя, но не ограничиваются перечисленным, трансляционные и ротационные координаты X, Y и Z объекта, а также координаты масштабирования X, Y и Z. Если изображение заднего плана является движущимся изображением, то данные камеры могут быть заданы для каждого кадра. Если изображение заднего плана имеет движущиеся объекты, то данные объекта могут быть заданы для каждого кадра отслеживаемого объекта. Если данные камеры или объекта недоступны, то для каждого кадра Создатель Контента может вставить в метаданные двумерные координаты для четырех углов полигона шаблона. Эти координаты могут быть достигнуты путем процесса отслеживания пикселей или плоскости, либо путем ручного ввода, и они позволяют программному обеспечению 38 Создателя-Потребителя преобразовывать полигон переднего плана в соответствующую перспективу. Если камера не перемещается в течение снятия кадра (или если это не имеет значения для создателя контента), то масштаб, а также двумерные и трехмерные позиции шаблона могут быть введены вручную и включены в состав метаданных только один раз. Момент, указывающий, когда шаблон появляется и/или исчезает, также контролируется Создателем Контента.

Фиг.2 представляет структуру с Фиг.1 в форме схемы последовательности операций. На левой стороне (A) представлен процесс, выполняемый Создателем Контента. На первом этапе 42 "Создать изображение заднего плана" Создатель Контента создает изображение (видео) заднего плана. Когда это изображение окончательно обрабатывается и публикуется, оно становится одним из задних планов, которые могут быть выбраны для взаимодействия Создателем-Потребителем (конечным пользователем). На втором этапе 44 "Выбрать соответствующий шаблон" Создатель Контента выбирает подходящий шаблон, который наилучшим образом представляет объект внутри кадра шаблона, например, фигуру целиком, среднюю часть, среднюю часть крупным планом. В добавление, доступные шаблоны, которые соответствуют формату изображения (4:3, 16:9 или другие подходящие пропорции видео/изображения, как описано ниже со ссылкой на Фиг.8 и 9). На третьем этапе 46 "Метаданные" Создатель Контента предоставляет и/или выбирает метаданные (при их доступности), описывающие позицию объекта изображения заднего плана и камеры, моменты съемки и/или поле обзора в течение съемки изображения заднего плана. Это может быть выполнено посредством различных доступных способов, таких как отслеживание камеры и объекта в реальном масштабе времени, данные камеры/анимации для программного обеспечения компьютерной графики, программное отслеживание камеры/объекта или визуальный контроль (см. Фиг.3). Следует понимать, что качество окончательных результатов обычно повышается путем предоставления метаданных. На четвертом этапе 48 "Ввести информацию высоты" Создатель Контента может предоставить опциональную информацию о высоте объекта, что позволяет программному обеспечению автоматически регулировать положение и масштаб изображения переднего плана на основании введенной высоты. На пятом этапе 50 "Разместить, отмасштабировать, определить моменты появления/исчезновения и синхронизировать шаблон" Создатель Контента размещает и масштабирует шаблон для каждого кадра камеры в соответствующей позиции, чтобы наилучшим образом обеспечивать соответствие креативному видению создателя контента, например, в части корректной перспективы изображения заднего пл