Система дистанционного присутствия, способ дистанционного присутствия и устройство сбора видеоданных

Система дистанционного присутствия, способ дистанционного присутствия и устройство сбора видеоданных

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к технологиям видеоконференции и, в частности, к системе дистанционного присутствия, способу дистанционного присутствия и к устройству сбора видеоданных.

Уровень техники

Дистанционное присутствие представляет собой систему видеоконференции для воплощения среды виртуальной конференции. Среда виртуальной конференции предназначена для: отражения факторов персонализации участников при достаточной имитации реального впечатления участников в максимально возможной степени, значительного улучшения приемлемости для конечных пользователей и улучшения степени использования оборудования, возврата инвестиций и удовлетворения пользователя. По сравнению с традиционной системой видеоконференции идеальная система дистанционного присутствия обеспечивает больше преимуществ: изображения, которые имитируют размер реального человека, плавное движение, точные жесты, видеоизображение, освещение и звук на студийном уровне, контакт глаз и обмен информацией, например, посредством контакта глаз среди большой группы пользователей, обеспечивающая полный эффект присутствия среда конференции, которая обеспечивает для участников возникновение ощущения того, что они все находятся в одном и том же месте проведения конференции, согласованность различных мест проведения конференций и скрытые камеры, которые в меньшей степени влияют на пользователей.

В процессе воплощения настоящей заявки автор изобретения определил, что существующая система дистанционного присутствия имеет недостаток, состоящий в плохом панорамном эффекте присутствия. В существующих системах дистанционного присутствия обычно используют множество камер и множество мониторов с большими экранами для сбора и отображения изображений. Каждая камера или монитор собирают или отображают одного человека или больше, расположенного локально или в удаленном месте, например система дистанционного присутствия, запущенная компанией Cisco и HP. В существующей системе дистанционного присутствия множество камер используются для съемки, и существует несоответствие между изображениями, снятыми разными камерами. При этом невозможно объединить множество изображений в панорамное изображение путем соответствующего размещения камер. При этом необходимо использовать рамку монитора для того, чтобы скрыть дефекты изображений при объединении перспективы камер. Поэтому существующая система дистанционного присутствия не позволяет предоставить приятное панорамное ощущение для участников. Когда участники движутся в области рядом с рамкой монитора, влияние на изображение становится еще более неприемлемым.

Кроме того, существующие продукты дистанционного присутствия находятся на предварительной стадии разработки и все еще требуют улучшения в следующих аспектах:

1. Присутствие глубины

Большинство систем дистанционного присутствия все еще представляют двумерные (2D) изображения. Таким образом, пользователи видят только плоские изображения и не способны воспринимать информацию глубины сцены конференции противоположной стороны.

2. Отображение без стыков

В существующих системах дистанционного присутствия обычно используется множество плоских телевизионных устройств большого размера или жидкокристаллические дисплеи (LCD, ЖКД) или панели плазменного дисплея (PDP, ППД) для представления изображений комбинированным способом. В смежной области дисплеев между двумя плоскими телевизионными устройствами часть изображений, представляемых таким способом, загораживается рамкой телевизора, что не позволяет обеспечить панорамное восприятие без стыков для участников.

3. Контакт глаз/восприятие пристального взгляда

Контакт глаз является важным нелингвальным способом связи. Контакт глаз приводит к физиологическому изменению частоты биений сердца и кровяного давления и улучшает активность мозга. Восприятие пристального взгляда обеспечивает множество оснований для связи, таких как обратная связь, режим диалога и выражение эмоции, и представляет собой ключевое средство восприятия мыслей противоположной стороны. Традиционная система видеоконференции и существующая система дистанционного присутствия не позволяют обеспечить возможность контакта глаз между пользователями из-за несоответствия: инстинктивно пользователь смотрит на противоположную сторону экрана, а не на камеру, но камера обычно не находится в центре экрана. Следовательно, существует несоответствие между изображением, снятым камерой, и изображением, к которому обращен пользователь, и хороший контакт глаз невозможен.

Сущность изобретения

Варианты осуществления настоящего изобретения обеспечивают улучшенную систему дистанционного присутствия, способ дистанционного присутствия и устройство сбора видеоданных для представления хорошего панорамного эффекта и улучшения присутствия глубины, отображения без стыков и контакта глаз в системе дистанционного присутствия.

Техническое решение в соответствии с настоящим изобретением включает в себя следующее.

Система дистанционного присутствия включает в себя устройство сбора видеоданных, выполненное с возможностью сбора изображений на локальном конце, устройство сбора звука, выполненное с возможностью сбора звука на локальном конце, устройство отображения видеоизображения, выполненное с возможностью отображения видеоизображения из удаленного конца, аудиопроигрыватель, выполненный с возможностью воспроизведения звуков из удаленного конца, и устройство передачи аудио-видеоданных, выполненное с возможностью передачи изображений, собранных устройством сбора видеоданных на локальном конце, и звуков, собранных устройством сбора звука на локальном конце, в удаленный конец через сеть, в котором изображения и звуки отображают и воспроизводят соответственно устройством отображения видеоизображения и аудиопроигрывателем на удаленном конце;

в котором устройство сбора видеоданных представляет собой панорамную камеру, и система дополнительно содержит модуль формирования мозаичного изображения, выполненный с возможностью объединения изображений с низким разрешением, снятых панорамной камерой из разных перспектив, в панорамное изображение с высоким разрешением.

Способ дистанционного присутствия включает в себя этапы, на которых:

получают локальные панорамные изображения и звуки, снимают изображения через панорамную камеру из разных перспектив и объединяют изображения с низким разрешением, снятые панорамной камерой из разных перспектив, в панорамное изображение с высоким разрешением через модуль формирования мозаичного изображения; и

передают локальные панорамные изображения и звуки в удаленный конец через сеть для отображения и воспроизведения.

В системе дистанционного присутствия предусмотрено устройство сбора видеоданных. Система дистанционного присутствия дополнительно включает в себя устройство отображения видеоизображения, устройство сбора звука, аудиопроигрыватель и устройство передачи аудио-видеоданных. Устройство передачи аудио-видеоданных передает изображения, собранные устройством сбора видеоданных, и звуки, собранные устройством сбора звука в удаленный конец через сеть, и устройство отображения видеоизображения и аудиопроигрыватель на удаленном конце отображает и воспроизводит изображения и звуки. Устройство сбора видеоданных представляет собой панорамную камеру. Модуль формирования мозаичного изображения объединяет изображения с невысоким разрешением, снятые панорамной камерой из разных перспектив, в панорамное изображение с высоким разрешением.

Можно видеть из приведенного выше описания, варианты осуществления настоящего изобретения представляют собой обновление существующей системы дистанционного присутствия. Обычная камера может быть заменена панорамной камерой для съемки панорамы локального помещения, в котором проводят конференцию, и предоставления панорамы конференции участникам, расположенным с другой стороны. Таким образом, система дистанционного присутствия обеспечивает хороший эффект панорамного присутствия и совместима с существующей системой дистанционного присутствия.

Предпочтительно, используют обычный проекционный экран или голографический прозрачный проекционный экран для представления изображений без стыков интегрированным способом, воплощая, таким образом, присутствие без стыков и преодолевая дефекты, связанные с использованием комбинаций множества плоских телевизионных экранов.

Предпочтительно, используют голографический прозрачный проекционный экран и полуотражающее, полупрозрачное зеркало для обеспечения присутствия глубины для участников.

Предпочтительно, в результате управления, выполняемого модулем синхронизации, на панорамную камеру не оказывает влияние проекция изображения проектором при съемке локальных изображений, в результате чего исключаются несоответствия, связанные с невозможностью размещения камеры на линии обзора пользователя, и обеспечивается для расположенных с другой стороны участников возможность наслаждения контактом глаз. Кроме того, можно использовать полуотражающее, полупрозрачное зеркало или компонент оптической проводимости или линейный поляризатор для обеспечения возможности контакта глаз.

Предпочтительно, разворачивают специальный темный фон, используют проектор фонового изображения или монитор фонового изображения и темный фон разворачивают позади пользователя. Таким образом, изображение пользователя отделяют от фонового изображения и генерируют эффект присутствия глубины.

Краткое описание чертежей

На фиг.1 показан первый вид в плане компоновки помещения для конференции в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.2 показана первая схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.3 показана схема голографической проекции системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.4 показана схема панорамной камеры в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.5 показана схема панорамной камеры с множественным отражением в системе дистанционного присутствия, в первом варианте осуществления настоящего изобретения;

на фиг.6 показана схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.7 показан второй вид в плане компоновки помещения для конференции в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.8 показана вторая схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.9 показан третий вид в плане компоновки помещения для конференции в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.10 показана третья схема системы дистанционного присутствия в первом варианте осуществления настоящего изобретения;

на фиг.11 показан вид в плане компоновки помещения для конференции в системе дистанционного присутствия во втором варианте осуществления настоящего изобретения;

на фиг.12 показана первая схема системы дистанционного присутствия во втором варианте осуществления настоящего изобретения;

на фиг.13 показана вторая схема системы дистанционного присутствия во втором варианте осуществления настоящего изобретения;

на фиг.14 показан вид в плане компоновки помещения для конференции в системе дистанционного присутствия в третьем варианте осуществления настоящего изобретения;

на фиг.15 показана схема системы дистанционного присутствия в третьем варианте осуществления настоящего изобретения;

на фиг.16 показана схема системы дистанционного присутствия в четвертом варианте осуществления настоящего изобретения;

на фиг.17 показана схема системы дистанционного присутствия в пятом варианте осуществления настоящего изобретения;

на фиг.18 показана схема системы дистанционного присутствия в шестом варианте осуществления настоящего изобретения;

на фиг.19 показана первая схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения;

на фиг.20 показана вторая схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения;

на фиг.21 показана третья схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения;

на фиг.22 показана четвертая схема системы дистанционного присутствия в седьмом варианте осуществления настоящего изобретения; и

на фиг.23 показана блок-схема последовательности операций способа дистанционного присутствия в варианте осуществления настоящего изобретения.

Подробное описание изобретения

Для того чтобы сделать техническое решение, цели и преимущества настоящего изобретения более ясными, ниже более подробно описаны варианты осуществления настоящего изобретения со ссылкой на приложенные чертежи и примерные варианты осуществления.

Вначале ниже будет описан первый вариант осуществления настоящего изобретения.

На фиг.1 показан первый вид сверху компоновки помещения для конференций в системе дистанционного присутствия в первом варианте осуществления настоящего изобретения. На фиг.1 передняя стенка 13 и задняя стенка 14 в данном месте выполнены дугообразными или плоскими и стол 2 для конференции установлен посередине. Массив 3 микрофонов установлен на столе 2 для конференции. Для того чтобы более эффективно собирать звуковые данные конференции, массив 3 микрофонов может быть помещен в середине стола 2 для конференции. Множество стульев 1A, 1B и 1C для участников расположены с одной стороны стола 2 для конференции. Стулья участников обращены к проекционному экрану 4. Проекционный экран 4 имеет дугообразную или плоскую форму (на чертеже проекционный экран имеет дугообразную форму) и составляет переднюю поверхность мехов 5 камеры. В мехах 5 камеры содержится панорамная камера 7 (здесь панорамная камера включает в себя три камеры, как показано на фиг.4), устройство 8 передачи звука, множество проекторов 9A, 9B и 9C и множество громкоговорителей. Например, пять громкоговорителей 11A, 11B, 11C, 11D и 11E составляют массив громкоговорителей на чертеже. Внутренняя стенка 6 мехов 5 камеры, противоположная проекционному экрану 4, специально декорирована декорационной заставкой. Такая специальная декорация относится к декорации, которая формирует эффект, напоминающий глубину, и позволяет скрыть камеру. Сторона позади стульев участников оформлена специально разработанной темной декорацией 13. Вспомогательный монитор 12 помещен на одной стороне помещения для конференций. Одна или более камер 10A и 10B объекта помещены над мехами 5 камер для составления одной или больше стереоскопических пар камер. Одна стереоскопическая пара камер состоит из двух обычных камер объекта, которые имитируют визуальные принципы человека и снимают сцену с левой и правой перспектив одновременно для получения левого изображения и правого изображения.

На фиг.2 показана первая схема первого варианта осуществления настоящего изобретения. На фиг.2 представлено, что локальное место дистанционного присутствия и удаленное место дистанционного присутствия имеют одинаковую конфигурацию и взаимосвязаны через сеть.

Предпочтительно, в первом варианте осуществления экран A4 локальной проекции и экран B4 удаленной проекции представляют собой голографические прозрачные проекционные экраны. Голографические прозрачные проекционные экраны представляют собой экраны задней проекции, работающие на основе технологии голограммы, и отличаются голографическими изображениями. Они отображают только изображения из определенной перспективы задней проекции, но игнорируют лучи света из других перспектив. Голографические экраны генерируют очень яркий и четкий эффект отображения, даже если освещение в окружающей среде очень яркое, и являются настолько прозрачными, что аудитория может видеть объекты, расположенные позади экрана. В настоящее время некоторые производители, такие как Woehburk, HoloPro и Sax3D, изготовляют голографические прозрачные проекционные экраны. На фиг.3 отображаются основные принципы голографической проекции. Как показано на фиг.3, лучи проекции, которые падают под углом α, рассеиваются голографическим прозрачным проекционным экраном, состоящим из голографических материалов и прозрачных панелей. Таким образом, пользователь может видеть содержание проекции, но не может видеть объекты, находящиеся позади области содержания проекции. Однако горизонтальные лучи, излучаемые объектом позади проекционного экрана, за исключением содержания проекции, пропускаются проекционным экраном. Через такую область проекционного экрана пользователь может видеть объект, находящийся позади проекционного экрана.

В первом варианте осуществления угол α установки существует между углом проекции проектора A9 в мехах A5 камеры и горизонтальной линией. Проектор A9 проецирует изображение удаленного участника B15 на локальный голографический прозрачный экран A4. Благодаря присутствию панорамы удаленной сцены B, разрешающей проекции одного проектора может быть недостаточно. Устройство A8 передачи аудио-видеоданных разделяет удаленное изображение на несколько частей, которые представляют с помощью множества проекторов A9 (поскольку на схеме, представленной на фиг.2, показан вид справа, множество проекторов наложены друг на друга и не показаны). Для того чтобы скрыть проекторы, цвет проекторов A9 предпочтительно является таким же, как цвет фона A6, составленного из мехов, расположенных позади камеры.

Для сбора панорамного изображения в месте A, панорамная камера A7 установлена в мехах A5 камеры. На фиг.4(A) и фиг.4(B) показаны основные принципы решения для формирования изображений панорамной камеры. Панорамная камера основана на принципе отражения от плоского зеркала и виртуального общего оптического центра (панорамная камера в режиме виртуального общего оптического центра). Призмоид 1001 имеет три отражающие поверхности 1002, 1003 и 1004. Такие поверхности представляют собой плоские зеркала, и три камеры C01, C02 и C03 размещены под этими зеркалами. Общий виртуальный оптический центр описан ниже на примере одной камеры C02. Как показано на фиг.4(B), L02 представляет собой падающий луч и R02 представляет собой отраженный луч. Нормальная линия 1006 является вертикальной к отражающей плоскости 1003, и угол между нормальной линией 1006 и горизонтальной линией 1010 составляет θ. Вертикальное расстояние от точки отражения до фактического оптического центра 02 камеры C02 составляет d. В соответствии с принципами отражения света камера фотографирует виртуальное изображение и виртуальное изображение имеет виртуальный оптический центр 00. Если значения θ и d правильно установить, виртуальные оптические центры камер C01, C02 и C03 совпадают и получают три изображения с общим оптическим центром. Эти три изображения объединяют для получения изображения, которое объединено без стыков, с любой глубиной. При разработке панорамной камеры местоположение оптического центра камеры находится как можно ниже с точки зрения практической приемлемости для получения лучшего вертикального эффекта контакта глаз. Если геометрическая высота камеры будет постоянной, такой эффект может быть достигнут путем уменьшения горизонтального расстояния между камерой и отражающим зеркалом. Однако такое расстояние ограничено размером объектива камеры и ее видоискателем и уменьшает фотографическую перспективу, как показано на фиг.4(C). Другое решение панорамной камеры представляет собой режим объединения множества камер. Множество изображений снимают и объединяют в цифровой форме для получения панорамного изображения (панорамная камера в режиме объединения), как показано на фиг.4(D). Поскольку оптический центр находится внутри камеры, такая модель камеры не позволяет совместно использовать оптический центр, основываясь исключительно на размещении камер. Присутствует несоответствие при наложении изображений. Необходимо применять технологии обработки изображения для достижения хорошего эффекта объединения. Другой режим панорамной камеры состоит в использовании массива из множества камер 10 (панорамная камера в режиме массива из множества камер), как показано на фиг.4(E). Массив камер может иметь разные формы в соответствии с разными сценами, например линейный массив, кольцевой массив или прямоугольный массив. В массиве камер каждая камера имеет низкое разрешение, и интервалы между соседними камерами малы. Существует большая степень фотографического наложения. Технология объединения изображений объединяет множество изображений камеры с низким разрешением с получением панорамного изображения с высоким разрешением. Основные принципы алгоритма объединения изображений состоят в оценке внутренних параметров (таких как фокусное расстояние, главная точка и искажения) множества камер и параметров размещения между камерами (таких как спиновая матрица и вектор смещения); используя параметры оценки и алгоритм, выравнивании изображения множества камер, устранении наложения, смешивании кромок и устранении несоответствия для получения панорамного изображения с высоким разрешением.

Хорошо известная технология объединения изображения описана ниже.

Основные принципы алгоритма объединения изображения представляют собой оценку внутренних параметров множества камер и параметров размещения между камерами; используя параметры оценки и алгоритм, изображения множества камер выравнивают, устраняют наложение, выполняют смешивание кромок и устраняют несоответствие для получения панорамного изображения с высоким разрешением.

В соответствии с принципами геометрии проецирования, когда пространственную 3D точку проецируют на плоскость формирования изображения камеры, выражение преобразования представляет собой:

В приведенных выше формулах представляет собой гомогенное выражение плоских координат; X представляет собой гомогенное выражение мировой системы координат; f_x и f_y представляют собой эквивалентные фокусные расстояния в горизонтальном и вертикальном направлениях соответственно; s представляет коэффициент искажений изображения; и u_0, v₀ представляют собой координаты главной точки изображения. R представляет собой спиновую матрицу камеры, и t представляет вектор смещения камеры. K представляет собой внутренний параметр камеры, и R и t представляют собой внешние параметры камеры. Для множества изображений, которые имеют области наложения и которые были сняты двумя камерами или сняты одной камерой в разных местах, отношение формирования изображения в пространственной точке в двух изображениях представляет собой:

H представляет собой матрицу 3·3 со степенью свободы 8. Она представляет взаимосвязь преобразования между двумя плоскостями формирования изображений и называется гомографией. Для чистой системы вращения камеры или системы камеры с общим оптическим центром, в которой используется только вращательное движение, H может быть выражена как:

Поэтому, используя алгоритм выделения особенностей, такой как инвариантный к масштабу алгоритм преобразования особенности (SIFT, ИМАПО), выделяют особенности в местах наложения, находят множество особенностей и устанавливают соотношение согласования между особенностями. Множество наборов уравнений формируют из уравнения (3), и гомографию H между двумя изображениями вырабатывают, используя итеративный алгоритм оптимизации. После того как H будет выработана, два изображения могут быть объединены вместе, используя преобразование координат, и пиксели в области наложения совмещают. Для модели камеры, которая вращается только в горизонтальном направлении, можно использовать преобразование цилиндрических координат для преобразования плоских координат в цилиндрические координаты. В цилиндрических координатах пиксели совмещают в результате смещения изображения. Преобразование и обратное преобразование цилиндрических координат могут быть представлены как:

После преобразования изображения в соответствии с представленным выше способом другие факторы требуется рассмотреть, прежде чем будет получено ожидаемое панорамное изображение без стыков. Основной фактор представляет собой несоответствие. Существующие алгоритмы позволяют обрабатывать только объединение с определенной глубиной изображения, а именно такое, как объединение в одной плоскости. В теории невозможно объединить объекты в других глубинах без стыков, используя одно преобразование. Объекты, за исключением находящихся на данной глубине, затрагивают края. При этом трудно устранить края, используя алгоритм обработки изображения. Лучшее решение состоит в минимизации несоответствия через модель камеры с общим оптическим центром. Другой фактор представляет собой различия в освещенности/хроматические различия между изображениями, вызванными различием экспозиции/цветовым различием между камерами, в частности, в месте соединения между двумя изображениями. Простое решение состоит в выполнении альфа-смешивания в месте наложения при соединении, и лучшее решение состоит в выполнении смешивания на основе пирамиды Лапласа или смешивания в области градиента для всего изображения. После того как соответствующая обработка будет закончена, получают лучшее панорамное изображение без стыков.

Для получения лучшего вертикального эффекта контакта глаз панорамную камеру A7, предпочтительно, устанавливают на высоте, приблизительно эквивалентной линии обзора A100 участника (см. фиг.2). Панорамная камера A7 составлена из нескольких обычных цветных камер. Для съемки быстро движущихся объектов на сцене цветные камеры должны быть синхронизированы. Поскольку изображения, получаемые множеством камер, могут быть не пригодными для непосредственного объединения, три канала видеоизображений должны быть объединены, используя алгоритм объединения изображений для получения панорамного изображения без стыков. Множество каналов видеопотоков, выводимых панорамной камерой A7, могут быть переданы непосредственно в устройство A8 передачи аудио-видеоданных, которое объединяет изображения. В качестве альтернативы панорамная камера A7 непосредственно соединена с устройством третьей стороны (не показано на чертеже) для объединения изображений. После окончания объединения панорамное изображение вводят в устройство A8 передачи аудио-видеоданных. В качестве альтернативы панорамная камера A7 объединяет изображения и вводит объединенное изображение в устройство A8 передачи аудио-видеоданных через один или больше каналов видеопотоков. Устройство, выполненное с возможностью объединения изображений, называется здесь модулем формирования мозаичного изображения. Принципы работы модуля формирования мозаичного изображения описаны выше, и соединение между модулем формирования мозаичного изображения и другими модулями будет описано в следующем тексте со ссылкой на фиг.6. Что касается дисплея, один проектор не способен отображать панорамное изображение соответствующим образом. Предпочтительно, панорамное изображение разделяют на несколько частей и каждый проектор отображает часть изображения. Поскольку проекторы отличаются по своему местоположению, яркости и цветности, объединенное панорамное изображение должно быть скорректировано геометрически и стык между соседними изображениями должен быть устранен путем смешивания яркости/цветности. Такую функцию выполняют с помощью независимого устройства третьей стороны (не показано на чертеже) или интегрированного устройства A8 передачи аудио-видеоданных. Устройство, выполненное с возможностью коррекции/смешения изображения, называется здесь модулем коррекции/смешения. Детали описаны ниже со ссылкой на фиг.6. Для того чтобы скрыть панорамную камеру A7, цвет камеры, предпочтительно, выбирают таким же, как и цвет фона A6 мехов камеры, расположенных позади этой камеры так, чтобы она была малозаметной для пользователя.

На чертеже, на котором иллюстрируется первый вариант осуществления, панорамная камера 7 размещена вертикально и падающие лучи света отражаются в камеру непосредственно через отражающее зеркало. На практике оптический путь падающих лучей изменяется в результате многократного отражения и панорамная камера может быть размещена так, как это необходимо. На фиг.5 показано решение по горизонтальному размещению панорамной камеры. Видоискатель 2 добавлен над видоискателем 1 панорамной камеры. Поэтому горизонтально передаваемые лучи изменяются на вертикально передаваемые лучи, и местоположение камеры можно изменять. Поскольку существует множество камер, необходимо разработать правильную плоскость отражения на верхней стороне каждой камеры.

Для того чтобы предотвратить влияние на локальное изображение А, снимаемое панорамной камерой A7, со стороны изображения, проецируемого проектором A9, предпочтительно в первом варианте осуществления настоящего изобретения использовать способ разделения времени для координирования сбора с помощью камеры A7 с работой проектора A9. В соответствии со способом разделения времени режимы работы системы разделяют по категориям на два режима: режим отображения и режим сбора. В режиме отображения проектор A9 проецирует изображение в удаленный конец B на прозрачный проекционный экран A4. В это время панорамная камера A7 является неактивной и не собирает сигналы; в режиме сбора проектор A9 является неактивным и не проецирует изображения и панорамная камера A7 снимает сцену через прозрачный экран A4 проецирования. Для координирования работы камеры A7 и проектора A9 требуется специальный модуль A16 синхронизации для вывода сигналов синхронизации в панорамную камеру A7 и в проектор A9 и управление режимом работы этих двух устройств. Например, модуль A16 синхронизации управляет панорамной камерой A7 для сбора сигналов в интервале гашения вертикального обратного хода между двумя кадрами/сценами изображений проектора A9. В это время, однако, время экспозиции панорамной камеры A7 становится коротким, и в результате снижается яркость изображения. Для решения таких задач может применяться камера с более коротким временем экспозиции или может быть уменьшена частота обновления проектора.

Как описано выше, панорамная камера B7 получает панорамное изображение сцены удаленного пользователя B15 и изображение локально представляют на проекционном экране A4. Поэтому локальный пользователь A15 ощущает, что пользователь как бы окружен удаленной сценой, и он воспринимает панорамное и отображаемое изображения без стыков, без заметного впечатления от разговора в экран. Это улучшает ощущение погружения пользователя. Кроме того, изображение удаленного пользователя B15 представляют на локальном прозрачном проекционном экране A4, и окружение удаленного пользователя B15 представляет собой темный фон, который не будет отображаться на прозрачном проекционном экране A4. Поэтому локальный пользователь A15 может видеть через такую часть фон A6, состоящий из мехов A5 камеры. Физическое расстояние существует между прозрачным киноэкраном A4 и фоном A6 из мехов A5 камеры, и фон A6 из мехов A5 камеры специально декорирован, что создает для пользователя иллюзию глубины. Поэтому локальный пользователь A15 воспринимает глубину изображения удаленного пользователя B15. Кроме того, в соответствии с управлением модулем A16 синхронизации на панорамную камеру A7 не оказывает влияние проекция, выполняемая проектором A9 при съемке локального изображения A. Аналогично, на панорамную камеру B7 не оказывает влияние проекция проектора B9 при съемке удаленного изображения B. Поэтому камеры могут быть размещены позади центра проекционного экрана вдоль линии обзора участника, исключая, таким образом, вертикальное несоответствие и обеспечивая для участника на другой стороне возможность наслаждаться контактом глаз.

Модуль A16/B16 синхронизации обеспечивает возможность передачи данных двух лиц участников. Кроме того, система дистанционного присутствия подразумевает решение задач дистанционного взаимодействия, например две команды конструкторов должны видеть прототип конструкции. Существующая система дистанционного присутствия поддерживает только 2D-видеоизображение, и пользователь не может видеть объект, который вызывает ощущение глубины. Решение, применяемое в данном варианте осуществления, позволяет использовать стереоскопическую камеру как камеру объекта для съемки 3D-видеоизображений при представлении объекта. Как показано на фиг.2, стереоскопическая камера B10 на удаленном конце B снимает информацию 3D-видеоизображения объекта, который может быть представлен, например, следующим: "изображение левого глаза + изображение правого глаза" или "изображение левого глаза + изображение глубины", и вводит эту информацию в устройство B8 передачи аудио-видеоданных, выполненное с возможностью кодирования 3D-видеоизображения. Устройство B8 передачи аудио-видеоданных обрабатывает 3D-видеоизображение, кодирует это изображение и передает его в устройство A8 передачи аудио-видеоданных на локальном конце A. Устройство A8 передачи аудио-видеоданных на локальном конце A декодирует и представляет потоки 3D-видеокода. Если устройство 3D-видеоприсутствия существует локально, видеоизображение представляют как 3D-видеоизображение; в противном случае видеоизображение представляют как 2D-видеоизображение. Например, если вспомогательный монитор A12, находящийся на локальном конце A, представляет собой 3D-монитор, устройство A8 передачи аудио-видеоданных выводит видеоизображение в формате 3D в A12 для отображения. Если локальный вспомогательный монитор A12 представляет собой обычный 2D-монитор, устройство A8 передачи аудио-видеоданных выводит видеоданные в формате 2D в A12 для отображения. Устройства 3D-видеоприсутствия включают в себя 3D-очки, автоматический стереоскопический монитор и мультиперспективный 3D-монитор.

Для того чтобы обеспечить приятное впечатление погружения в звук, массив A3 микрофонов и массив А11 громкоговорителей, предпочтительно, используют для представления звуков. Подробно массив микрофонов и массив громкоговорителей представлены ниже. В системе дистанционного присутствия возврат звука включает в себя возврат звука и возврат стереоскопического ощущения. Возврат звука может быть выполнен, используя эффективный широкополосный алгоритм сжатия. Стереоскопическое ощущение передает впечатление локализации и направления, улучшает впечатление пребывания в том же помещении, делает голос более понятным и делает докладчика быстро идентифицируемым. В первом варианте осуществления в настоящем изобретении используется множество микрофонов или массив микрофонов для сбора звуков, и используется множество громкоговорителей или массивов громкоговорителей для представления звуков, улучшая, таким образом, эффект возврата стереоскопического ощущения звука. Массив микрофонов представляет собой систему однонаправленных микрофонов, распределенных в определенной геометрической структуре. Традиционный направленный микрофон обычно собирает только один канал сигналов, но система в виде массива микрофонов собирает множество каналов сигналов. Поскольку микрофоны расположены по-разному, собираемые данные отличаются хронологически или пространственно. Используя технологию обраб