Стереопросмотр

Стереопросмотр

Иллюстрации

Показать все

Реферат

Предпосылки создания изобретения

Стерео-просмотр цифровых неподвижных и движущиеся изображений стал общепринятым, и оборудование для просмотра 3D (трехмерных) кинофильмов - более широко доступным. В кинотеатрах предлагают трехмерные кинофильмы, для просмотра которых необходимы специальные очки, которые обеспечивают просмотр разных изображений левым и правым глазами для каждого кадра кинофильма. Тот же самый подход применен в бытовых приложениях с использованием 3D-проигрывателей и телевизоров. На практике кинофильм состоит из двух представлений одной и той же сцены: одно для левого глаза и одно для правого глаза. Эти представления создают путем съемки кинофильма специальной стерео-камерой, которая непосредственно создает контент, предназначенный для стерео-просмотра. Когда эти представления подаются в два глаза, система восприятия изображений у человека создает трехмерное представление сцены. Этой технологии присущ недостаток, заключающийся в том, что область просмотра (киноэкран или телевизор) занимает лишь часть поля зрения и, таким образом, 3D-восприятие ограничено.

Для более реалистичного восприятия были созданы устройства, занимающие большую область полного поля зрения. Доступны специальные очки для стерео-просмотра, которые надеваются так, что покрывают глаза и выделяют изображения для левого и правого глаз с помощью системы, состоящей из малого экрана и объективов. Преимущество такой технологии заключается в том, что она может использоваться в небольшом пространстве и даже в движении, по сравнению с довольно большими телевизорами, обычно используемыми для 3D-просмотра. Что касается игр, имеются игры, которые совместимы с такими стерео-очками и в которых можно создавать два изображения, необходимых для стерео-просмотра искусственного мира игры и, таким образом, для создания 3D представления внутренней модели игровой сцены. В режиме реального времени по этой модели создаются различные изображения, и поэтому этот подход требует вычислительной мощности, в особенности если модель игровой сцены сложна, очень детализирована и содержит много объектов.

Поэтому имеется потребность в решениях, которые обеспечат стерео-просмотр, то есть, просмотр трехмерного изображения.

Сущность изобретения

Предлагается усовершенствованный способ и техническое оборудование для осуществления этого способа, посредством которого решаются вышеописанные проблемы. Различные аспекты настоящего изобретения содержат способ, съемочное устройство, сервер, рендерер клиента и считываемый компьютером носитель, содержащий компьютерную программу, которые характеризуются признаками, изложенными в независимых пунктах формулы изобретения. Различные варианты выполнения настоящего изобретения раскрыты в зависимых пунктах формулы изобретения.

Изобретение относится к созданию и просмотру стерео-изображений, например видео-стерео-изображений, также называемых 3D-видео. По меньшей мере три фотокамеры-источника с накладывающимися полями зрения используются для захвата сцены так, чтобы область сцены была охвачена по меньшей мере тремя камерами. Для зрителя из множества камер выбирают пару камер так, чтобы образовать такую пару стерео-камер, которая наилучшим образом соответствует местоположению глаз пользователя, если бы они были расположены в местоположении камер-источников. Таким образом, пару камер выбирают так, чтобы диспарантность, создаваемая камерами-источниками, напоминала диспарантность, которую воспринимали бы глаза пользователя, если бы находились в этом месте. Если пользователь наклоняет голову, или ориентация меняется другим способом, можно сформировать новую пару, например переключаясь на другую камеру. В этом случае зрительское устройство формирует изображения видео-кадров для левого и правого глаз, выбирая наилучшие источники для каждой области каждого изображения для формирования реалистичной стерео-диспарантности.

Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, и рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложен способ, включающий определение ориентаций головы пользователя для формирования стерео-видео-последовательности сцены, выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы, и рендеринг указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видеопоследовательности.

Предложен способ, включающий кодирование множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видео данные из множества камер-источников и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены, передачу указанного множества видеосигналов источников в устройство стерео-просмотра для просмотра, при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.

Предложено устройство для создания данных изображения для стереовидео-просмотра, содержащее по меньшей мере три камеры, расположенные регулярно или нерегулярно друг относительно друга так, что любая пара указанных камер из по меньшей мере трех камер имеет диспарантность для создания стереоизображения, имеющего диспарантность, при этом указанные по меньшей мере три камеры имеют такие перекрывающиеся поля зрения, что определяют область перекрытия, для которой каждая часть захвачена указанными по меньшей мере тремя камерами. Устройство может быть таким, чтобы указанная любая пара камер из указанных по меньшей мере трех камер имела параллакс, соответствующий параллаксу человеческих глаз, для создания стерео-изображения. Устройство может быть таким, что эти по меньшей мере три камеры содержат восемь камер с большим полем зрения, помещенных по существу в углы виртуального куба, при этом каждая имеет направление оптической оси по существу от центральной точки виртуального куба к углу регулярным образом, при этом поле зрения каждой из указанных камер с широким полем зрения составляет по меньшей мере 180 градусов, так чтобы каждая часть целой сферы обзора была покрыта по меньшей мере четырьмя камерами.

Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют устройство выполнять по меньшей мере следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, и рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором, заставляют устройство по меньшей мере выполнять следующее: определение ориентаций головы пользователя для формирования стерео-видео-последовательности сцены; выбор первого источника изображения, второго источника изображения и третьего источника изображения на основе указанных ориентаций головы; и рендеринг указанной стерео-видео-последовательности путем рендеринга последовательности изображений для левого глаза пользователя с использованием указанного первого источника изображения и указанного второго источника изображения и последовательности изображений для правого глаза пользователя с использованием указанного первого источника изображения и указанного третьего источника изображения, при этом указанный первый источник изображения используется для рендеринга различных областей указанной сцены для левого и правого глаз пользователя в каждом стерео-кадре указанной видеопоследовательности.

Предложено устройство, содержащее по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором, заставляют устройство выполнять по меньшей мере следующее: кодирование множества видеосигналов источников для стерео-просмотра, при этом указанные видеосигналы источников содержат видео данные из множества камер-источников и указанные видеосигналы источников содержат сигналы для активной области сцены и сигналы для пассивной области сцены; передачу указанного множества видеосигналов источника в устройство стерео-просмотра для просмотра; при этом выполняют по меньшей мере одно из указанного кодирования и передачи так, чтобы в переданных видеосигналах источников указанные сигналы для активной области сцены кодировались с более высокой точностью, чем указанные сигналы для пассивной области сцены; при этом указанные сигналы для активной и пассивной областей сцены соответствуют такой ориентации головы пользователя, что указанные сигналы для активной области сцены соответствуют областям сцены, которые пользователь рассматривает, а указанные сигналы для пассивной области сцены соответствуют другим областям сцены.

Предложена система, содержащая по меньшей мере один процессор, память, содержащую компьютерный программный код, при этом указанные память и компьютерный программный код при выполнении их по меньшей мере одним процессором заставляют систему выполнять по меньшей мере следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стерео-изображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложен компьютерный программный продукт, реализованный на считываемом компьютером носителе и содержащий компьютерный программный код, который при выполнении его по меньшей мере одним процессором, заставляет устройство или систему выполнять следующее: определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложено устройство, содержащее средство для определения ориентации головы пользователя с получением первой ориентации головы, средство для выбора первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, средство для рендеринга первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, средство для определения ориентации головы указанного пользователя с получением второй ориентации головы, средство для выбора указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, средство для рендеринга второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения.

Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, блендирование временного перемещения от изображения, сформированного с использованием указанного первого источника изображения, и изображения, сформированного с использованием указанного третьего источника изображения. Способ может включать регулировку продолжительности блендирования временного перехода с использованием информации о скорости перемещения головы.

Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, определение информации об ориентации источников для указанных источников изображения, и использование указанной информации об ориентации источников совместно с указанной информацией об ориентации головы для выбора указанных источников изображения.

Предложен способ, включающий определение ориентации головы пользователя с получением первой ориентации головы, выбор первого источника изображения и второго источника изображения на основе указанной первой ориентации головы, при этом указанные первый и второй источники изображения формируют источник стерео-изображения, рендеринг первого стерео-изображения путем рендеринга первого целевого изображение для одного глаза пользователя с использованием указанного первого источника изображения и рендеринга второго целевого изображения для другого глаза пользователя с использованием указанного второго источника изображения, определение ориентации головы указанного пользователя с получением второй ориентации головы, выбор указанного второго источника изображения и третьего источника изображения на основе указанной второй ориентации головы, при этом второй и третий источники изображения формируют источник стерео-изображения, рендеринг второго стереоизображения путем рендеринга третьего целевого изображения для одного глаза пользователя с использованием указанного второго источника изображения и рендеринга четвертого целевого изображения для другого глаза пользователя с использованием указанного третьего источника изображения, и при этом формирование указанных первого, второго и третьего источников изображения как выхода компьютерного устройства с использованием виртуальной камеры для рендеринга синтетического изображения для указанных первого, второго и третьего источников изображения.

Описание чертежей

Ниже различные варианты выполнения настоящего изобретения описаны более подробно со ссылками на сопровождающие чертежи, где:

на фиг. 1а, 1b, 1с и 1d показана установка для формирования стереоизображения для пользователя;

на фиг. 2а показана система и устройства для стерео-просмотра;

на фиг. 2b показано стерео устройство для стерео-просмотра;

на фиг. 2с показан установленный на голове дисплей для стерео-просмотра;

на фиг. 2d показано съемочное устройство;

на фиг. 3а, 3b и 3с иллюстрируется формование стерео-изображения для первого и второго глаз из источников изображения;

на фиг. 4а, 4b, 4с, 4d и 4е иллюстрируется выбор источников изображения для создания стерео-изображений, когда ориентация головы меняется;

на фиг. 6а и 5b показан пример съемочного устройства для использования в качестве источника изображения;

на фиг. 6с показан пример микрофонного устройства для использования в качестве источника звука;

на фиг. 6а, 6b, 6с и 6d иллюстрируется использование источника и целевых систем координат для стерео-просмотра;

на фиг. 7а и 7b иллюстрируется передача данных из источника изображения для стерео-просмотра;

на фиг. 8 иллюстрируется использование источников синтетического изображения в модели виртуальной реальности для создания изображения для стерео-просмотра;

на фиг. 9а показана последовательность операций для формирования изображения для стерео-просмотра; и

на фиг. 9b показана последовательность операций для передачи изображения для стерео-просмотра.

Описание примеров выполнения настоящего изобретения

Ниже несколько вариантов выполнения настоящего изобретения описаны в контексте стерео-просмотра с использованием 3D очков. Следует отметить, однако, что изобретение не ограничено никакой конкретной технологией отображения. Фактически, у различных вариантов выполнения настоящего изобретения имеются приложения для любой обстановки, в которой требуется стерео-просмотр, например в кино и телевидении. Кроме того, хотя в описании в качестве примера источника изображения используется определенная расстановка камер, могут использоваться различные расстановки камер и различные источники изображения.

На фиг. 1а, 1b, 1с и 1d показана ситуация для формирования стереоизображения для пользователя. На фиг. 1а показана ситуация, при которой человек рассматривает две сферы А1 и А2 с использованием обоих глаз Е1 и Е2. Сфера А1 ближе к зрителю, чем сфера А2, соответствующие расстояния до первого глаза Е1, равны L_E1,A1 и L_E1,A2. В пространстве находятся различные объекты с соответствующем координатами (х, у, z), определяемые в системе координат SX, SY и SZ. Расстояние d₁₂ между глазами человека может составлять в среднем приблизительно 62-64 мм и меняться от человека к человеку от 55 до 74 мм. Это расстояние называется параллаксом, и на нем основано стереоскопическое представление для восприятие его человеком. Направления просмотра (оптические оси) DIR1 и DIR2, как правило, по существу параллельны, возможно, имеют небольшое отклонение от параллельности и определяют поле зрения для глаз. Голова пользователя имеет ориентацию (ориентацию головы) относительно окружения, наиболее легко определяемую общим направлением глаз, когда глаза смотрят прямо вперед. Таким образом, ориентация головы определяет «крен», «рыскание» и «тангаж» головы относительно системы координат сцены, где находится пользователь.

В ситуации на фиг. 1а сферы А1 и А2 находятся в поле зрения обоих глаз. Центральная точка O₁₂ между глазами и сферами находится на той же самой линии. Таким образом, если считать от центральной точки, сфера А2 находится позади сферы А1. Однако каждый глаз видит часть сферы А2 позади А1, потому что сферы не находятся на одной линии зрения ни для одного из глаз.

На фиг. 1b показана конфигурация, когда вместо глаз имеются камеры С1 и С2, помещенные в место, где на фиг. 1а находились глаза. В остальном расстояния и направления те же самые. Естественно, цель расположения на фиг. 1b состоит в возможности захвата стерео-изображения сфер А1 и А2. Двумя изображениями, полученными вследствие захвата изображения, являются F_C1 и F_C2. Изображение F_c1 для «левого глаза» показывает изображение S_A2 сферы А2, частично видимой на левой стороне изображения S_A1 сферы А1. Изображение F_c2 для «правого глаза» показывает изображение S_A2 сферы А2, частично видимой на правой стороне изображения S_A1 сферы А1. Эту разницу между правым и левым изображениями называют диспарантностью, и эта диспарантность, являясь основным механизмом, с помощью которого зрительная система человека система определяет информацию о глубине и создает трехмерное представление сцены, может использоваться, чтобы создать иллюзию трехмерного изображения.

На фиг. 1с показано создание этой трехмерной иллюзии. Изображения F_C1 и F_C2, захваченные камерами С1 и С2, подают в глаза Е1 и Е2 использованием дисплеев D1 и D2 соответственно. Диспарантность между изображениями обрабатывается зрительной системой человека так, что создается ощущение глубины. Таким образом, когда левый глаз видит изображение S_A2 сферы А2 на левой стороне изображения S_A1 сферы А1, и соответственно правый глаз видит изображение А2 на правой стороне, - зрительная система человека создает ощущение, что сфера V2 находится позади сферы V1 в трехмерном мире. Здесь следует понимать, что изображения F_C1 и F_C2 могут также быть синтетическими, то есть, созданными компьютером. Если они несут информацию о диспарантности, то синтетические изображения также будут восприниматься зрительной системой человека как трехмерные. Таким образом, пара машинно-генерируемых изображений может быть сформирована так, чтобы они могли использоваться в качестве стерео-изображения.

На фиг. 1d показано, как этот принцип подачи стерео-изображений в глаза может использоваться для создания 3D кинофильмов или сцен виртуальной реальности, имеющих иллюзию трехмерности. Изображения F_X1 и F_X2 или захвачены стерео-камерой, или вычислены по модели так, чтобы у изображений была соответствующая диспарантность. При показе большого количества (например 30) кадров в секунду в оба глаза с использованием дисплеев D1 и D2 так, чтобы у изображений для левого и правого глаз имелась диспарантность, зрительная система человека создает ощущение подвижного трехмерного изображения. Когда камеру поворачивают или меняется направление зрения, для которого вычисляют синтетические изображения, изменения в изображениях создают иллюзию, что меняется направление зрения, то есть, зритель поворачивается. Это направление зрения, то есть ориентация головы, может быть определена как действительная ориентация головы, например детектором ориентации, установленным на голове, или как виртуальная ориентация, определяемая управляющим устройством, таким как джойстик или «мышь», которые могут использоваться для манипуляций направлением зрения без того, чтобы пользователь фактически перемещал свою голову. Таким образом, термин «ориентация головы» может быть использован для описания действительной, физической ориентации головы пользователя и ее изменений, или может использоваться для описания виртуального направления зрения пользователя, которое определяется компьютерной программой или компьютерным устройством ввода.

На фиг. 2а показана система и устройства для стерео-просмотра, то есть, для 3D-видео и 3D-аудио цифрового захвата и воспроизведения. Задача системы состоит в захвате достаточного количества визуальной и слуховой информации из специфического места таким образом, чтобы убедительное воспроизведение ощущения присутствия в этом месте достигалось для одного или большего количества зрителей, физически расположенных в других местах и, как опция, в некоторый будущий момент. Для такого воспроизведения требуется больше информации, чем может быть захвачено одной камерой или микрофоном, поскольку зритель должен быть в состоянии определить расстояние и местоположение объектов на сцене с использованием своих глаз и ушей. Как поясняется при описании фиг. 1а-1d, для создания пары изображений с диспарантностью используются две камеры-источника. Аналогично, в слуховой системы человека, чтобы она могла распознать направление звука, используются по меньшей мере два микрофона (хорошо известный стерео-звук создают, делая запись двух аудио-каналов). Слуховая система человека может распознает иллюзию, например, по временной разности аудио-сигналов обнаружить направление звука.

Система на фиг. 2а может состоять из трех главных частей: источники изображения, сервер и рендерер. Устройство SRC1 для захвата видео-изображения содержит несколько (например 8) камер САМ1, САМ2…, CAMN с таким перекрытием полей зрения, чтобы области зрения вокруг устройства видео-захвата были захвачены по меньшей мере двумя камерами. Устройство SRC1 может содержать множество микрофонов для захвата разницы во времени и фазе аудио-сигналов, идущих с различных направлений. Устройство может содержать датчик ориентации с высокой разрешающей способностью, чтобы ориентацию (направление зрения) множества камер можно было обнаружить и записать. Устройство SRC1 содержит или функционально связано с компьютерным процессором PROC1 и памятью МЕМ1, при этом память содержит компьютерный программный код PROGR1 для управления устройством захвата. Поток изображения, захваченный устройством, может храниться в памяти МЕМ2 для использования в другом устройстве: например у зрителя, и/или быть передан в сервер с использованием интерфейса СОММ1 связи.

Альтернативно или дополнительно к устройству SRC1 видео-захвата, создающему поток изображения или множество таких потоков, в системе может присутствовать один или большее количество источников SRC2 синтетических изображений. Такие источники синтетических изображений могут применять компьютерную модель виртуального мира для вычисления различных потоков изображений, которые они передают. Например, источник SRC2 может вычислять N видео-потоков, соответствующих N виртуальным камерам, расположенным в виртуальном месте зрения. Когда такой синтетический набор видео-потоков используется для просмотра, зритель может видеть трехмерный виртуальный мир, как пояснялось выше на фиг. 1d. Устройство SRC2 содержит или функционально связано с компьютерным процессором PROC2 и памятью МЕМ2, при этом память содержит компьютерный программный код PROGR2 для управления синтетическим устройством-источником SRC2. Поток изображения, захваченный устройством, может храниться в памяти МЕМ5 (например, карте памяти CARD1) для использования в другом устройстве, например у зрителя, или быть переданным в сервер или к зрителю с использованием интерфейса СОММ2 связи.

В дополнение к устройству SRC1 захвата может иметься служебная сеть для хранения, обработки и организации потока данных. Например, может иметься сервер SERV или множество серверов, сохраняющих данные с выхода устройства SRC1 захвата или вычислительного устройства SRC2. Это устройство содержит или функционально связано с компьютерным процессором PROC3 и памятью МЕМ3, при этом память содержит компьютерный программный код PROGR3 для управления сервером. Сервер может быть связан проводной и/или беспроводной связью с источником SRC1 и/или SRC2, а также с устройствами VIEWER1 и VIEWER2 просмотра с использованием интерфейса СОММ3.

Для просмотра захваченного или созданного видео-контента, может использоваться одно или большее количество устройств VI EWER1 и VIEWER2 просмотра. У этих устройств могут иметься модуль рендеринга и модуль отображения, или же обе эти функции могут быть объединены в одном устройстве. Эти устройства могут содержать или быть функционально связаны с компьютерным процессором PROC4 и памятью МЕМ4, при этом память содержит компьютерный программный код PROGR4 для управления устройствами просмотра. Устройства просмотра (воспроизводящие устройства) могут содержать приемник потока данных для приема поток видео-данных из сервера и для дешифровки потока видеоданных. Поток данных может быть принят через сетевое соединение через интерфейс СОММ4 связи или из памяти МЕМ6 в виде карты CARD2 памяти. Устройство просмотра могут содержать графическое обрабатывающее устройство для преобразования данных в соответствующий формат и просмотра, как показано на фиг. 1с и 1d. Устройство VIEWER1 просмотра содержит устанавливаемый на голове стерео-дисплей высокого разрешения, предназначенный для просмотра стерео-видео-последовательности после рендеринга. Устанавливаемое на голове устройство может иметь датчик DET1 ориентации и головные стерео-аудио-телефоны. Устройство VIEWER2 просмотра содержит дисплей с возможностями 3D технологии (для отображения стерео-видео-данных), а рендерер может иметь связанный с ним детектор DET2 ориентации. Любое из устройств (SRC1, SRC2, SERVER, RENDERER, VIEWER1, VIEWER2) может быть компьютером или мобильным вычислительным устройством, или же быть связанным с ним. Такие рендереры могут содержать компьютерный программный код для реализации способов согласно различным примерам, описанным в этом документе.

На фиг. 2b показано устройство для стерео-просмотра. Камера содержит три или большее количество камер, которые сконфигурированы в пары камер для создания изображений для левого и правого глаз, или они могут быть организованы в такие пары. Расстояние между камерами может соответствовать обычному расстоянию между глазами человека. Камеры могут быть установлены так, чтобы имелось значительное перекрытие их полей зрения. Например, могут использоваться широкоугольные 180-градусные (или больше) объективы, и может иметься 3, 4, 5, 6, 7, 8, 9, 10, 12, 16 или 20 камер. Эти камеры могут быть регулярно или нерегулярно распределены по всей сфере зрения, или же они могут покрыть только часть всей сферы. Например, может иметься три камеры, установленные в вершинах треугольника и имеющие различные направления зрения по отношению к одной стороне треугольника так, что все три камеры перекрывают всю область перекрытия в середине направления зрения. В другом примере 8 камер имеют широкоугольные объективы и установлены регулярно в углах виртуального куба, перекрывая всю сферу так, что вся или по существу вся сфера перекрыта во всех направлениях по меньшей мере тремя или четырьмя камерами. На фиг. 2b показаны три пары стерео-камер.

На фиг. 2с показан установленный на голове дисплей для стерео-просмотра. Установленный на голове дисплей содержит две секции экрана или два экрана DISP1 и DISP2, предназначенные для создания изображений для левого и п