Устройство и способ обработки информации и система обработки информации
Иллюстрации
Показать всеИзобретение относится к устройству и способу обработки информации при передаче видеоизображений (видеосвязь или видеочат) по сети связи ADSL (Асимметричная цифровая абонентская линия). Техническим результатом является улучшение качества видеоизображений и сохранение реалистичных ощущений даже на полосе частот восходящей линии связи. Указанный технический результат достигается тем, что клиентское устройство 11А, являющееся передающей стороной, выделяет из полученного изображения только изображение, являющееся преобладающим элементом коммуникации, в качестве первичных данных 21А. Клиентское устройство 11В, являющееся принимающей стороной, принимает от потокового сервера 12А через сеть 13 графические данные текстурного изображения, являющегося альтернативой фону полученного изображения, в качестве вторичных данных 22А. Принятые первичные данные 21А и вторичные данные 22В синтезируются, и комбинированное изображение отображается на мониторе 34. 2 н. и 2 з.п. ф-лы, 12 ил.
Реферат
Область техники
Настоящее изобретение относится к устройству и способу обработки информации и системе обработки информации и, более конкретно, к устройству и способу обработки информации и системе обработки информации, которые могут осуществлять интерактивную связь с улучшенным качеством изображения и сохранять реалистичные ощущения даже на полосе частот восходящей линии связи.
Уровень техники
В соответствии с настоящим уровнем техники, широко распространено соединение по технологии ADSL (Asymmetric Digital Subscriber Line - Асимметричная Цифровая Абонентская Линия).
Сетевая среда для общего соединения по технологии ADSL будет описана с использованием фиг.1.
Клиентское устройство 1 и клиентское устройство 2 связаны через сеть 3 посредством соединения по технологии ADSL с сетью 3. Например, в случае, когда клиентское устройство 1 и клиентское устройство 2 осуществляют интерактивную связь, клиентское устройство 1 передает данные в сеть 3. То есть, данные передаются от клиентского устройства 1 в сеть 3 по восходящей линии связи. Клиентское устройство 2 принимает данные, переданные клиентским устройством 1, через сеть 3. То есть данные передаются из сети 3 на клиентское устройство 2 по нисходящей линии связи. Таким образом, клиентское устройство 2 может получать данные, передаваемые клиентским устройством 1.
Аналогично, при связи в обратном направлении клиентское устройство 2 передает данные в сеть 3. То есть данные передаются от клиентского устройства 2 в сеть 3 по восходящей линии связи. Клиентское устройство 1 принимает данные, передаваемые клиентским устройством 2, через сеть 3. То есть данные передаются из сети 3 на клиентское устройство 1 по нисходящей линии связи. Таким образом, клиентское устройство 1 может получать данные, передаваемые клиентским устройством 2 (например, см. Патентную Литературу 1).
В случае ADSL-соединения ширина полосы частот для стороны (нисходящий поток), передающей данные по нисходящей линии связи, устанавливается шире, а ширина полосы частот для стороны (восходящий поток), передающей данные по восходящей линии связи, устанавливается узкой. Далее, полоса частот связи на стороне нисходящей линии связи называется "полосой частот нисходящей линии связи". Кроме того, полоса частот связи на стороне восходящей линии связи называется "полосой частот восходящей линии связи".
Патентная литература
Патентная Литература 1: JP-A-2001-236292
Раскрытие изобретения
Однако в вышеописанной сетевой среде для общего соединения по ADSL в случае, когда осуществляется видеосвязь или видеочат, ширина полосы частот для восходящей линии связи значительно ограничена по сравнению с полосой нисходящей линии связи. Соответственно, скорость кодирования со сжатием передаваемых данных становится низкой. Необходимо заметить, что видеосвязь или видеочат в дальнейшем называется "связью с использованием изображений".
Вследствие этого, в случае, когда пользователь полностью кодирует со сжатием зафиксированные камерой изображения и передает их по восходящей линии связи, может возникнуть сложность в том, что лица людей, как преобладающие элементы в коммуникации, не будут получены в необходимом качестве другой стороной.
Кроме того, желательно не только улучшить качество вышеописанных изображений лиц людей, но и других изображений, передаваемых на полосе частот восходящей линии связи.
Настоящее изобретение было выполнено с учетом вышеописанных проблем для улучшения качества видеоизображения и сохранения реалистичных ощущений даже на полосе частот восходящей линии связи.
Средство решения задачи
Первое устройство обработки информации согласно объекту изобретения включает в себя средство разделения для сегментирования исходного изображения на один или более участков и выделения заданного одного участка из одного или более сегментированных участков исходного изображения в качестве частичного изображения, имеющего размер указанного участка изображения, средство передачи для передачи частичного изображения, выделяемого из исходного изображения средством разделения, на другое устройство обработки информации, и запрашивающее средство для осуществления запроса к подающему узлу, выполненному с возможностью подавать фоновое изображение, синтезируемое с частичным изображением, на передачу фонового изображения указанному другому оборудованию обработки информации.
Частичное изображение является изображением, содержащим объект, являющийся преобладающим элементом коммуникации.
Первый способ обработки информации согласно объекту настоящего изобретению является способом, соответствующим вышеописанному устройству обработки информации согласно объекту настоящего изобретения.
В первом устройстве и способе обработки информации, являющимися объектами настоящего изобретения, при помощи устройства обработки информации или компьютера, управляющего устройством обработки информации, исходное изображение сегментируют на один или более участков и один заданный участок из одного или более сегментированных участков выделяют из исходного изображения в качестве частичного изображения, имеющего размер участка изображения, частичное изображение, выделенное из исходного изображения, передают на другое устройство обработки информации и осуществляют запрос к подающему устройству, которое подает фоновое изображение, синтезируемое с частичным изображением, на передачу фонового изображения указанному другому устройству обработки информации.
Второе устройство обработки информации согласно настоящему изобретению включает в себя средство приема частичного изображения для приема частичного изображения, когда исходное изображение сегментировано на один или более участков, заданный один участок из одного или более участков выделен из исходного изображения в качестве частичного изображения, имеющего размер участка изображения, причем частичное изображение передается другим устройством обработки информации, и средство синтезирования для синтезирования частичного изображения, принимаемого средством приема частичного изображения, с заданным фоновым изображением, и, таким образом, генерирования комбинированного изображения.
Дополнительно обеспечивается средство управления отображением для управления отображением изображения, содержащего комбинированное изображение, синтезируемое средством синтезирования.
Частичное изображение является изображением, содержащим объект, являющийся преобладающим элемент связи с использованием изображений.
Дополнительно обеспечивается средство приема фонового изображения для приема фонового изображения, когда фоновое изображение подается от подающего устройства, причем средство синтезирования выполнено с возможностью синтезирования частичного изображения и фонового изображения, принимаемого средством приема фонового изображения, и, таким образом, генерирования комбинированного изображения.
Дополнительно обеспечивается средство хранения для хранения фонового изображения, принимаемого средством приема фонового изображения, причем средство синтезирования выполнено с возможностью синтезировать частичное изображение и фоновое изображение, хранящееся в средстве хранения, и, таким образом, генерировать комбинированное изображение.
Второй способ обработки информации, согласно объекту настоящего изобретения, является способом, соответствующим вышеописанному устройству обработки информации согласно объекту настоящего изобретения.
Во втором способе и устройстве обработки информации, как объектах настоящего изобретения, при помощи устройства обработки информации или компьютера, управляющего устройством обработки информации, когда исходное изображение сегментировано на один или более участков, заданный один участок из одного или более сегментированных участков выделяют из исходного изображения в качестве частичного изображения, имеющего размер участка изображения, другим устройством обработки информации, и частичное изображение передают, частичное изображение принимают и принятое частичное изображение и заданное фоновое изображение синтезируют, и, таким образом, генерируют комбинированное изображение.
Система обработки информации согласно настоящему изобретению включает в себя первое устройство обработки информации, включающее в себя средство разделения для сегментирования исходного изображения, являющегося объектом, подлежащим передаче от первого устройства обработки информации на второе устройство обработки информации, на один или более участков и выделение из исходного изображения заданного одного участка из одного или более сегментированных участков в качестве частичного изображения, имеющего размер изображения, средство передачи для передачи частичного изображения, выделяемого из исходного изображения средством разделения, на второе устройство обработки информации, и запрашивающее средство для осуществления запроса подающему узлу, выполненному с возможностью подачи фонового изображения, подлежащего синтезированию с частичным изображением, на передачу фонового изображения на второе устройство обработки информации, причем подающее устройство выполнено с возможностью подавать фоновое изображение на второе устройство обработки информации в ответ на запрос от первого устройства обработки информации, и второе устройство обработки информации, включающее в себя средство приема частичного изображения для приема частичного изображения, передаваемого первым устройством обработки информации, средство приема фонового изображения для приема фонового изображения, подаваемого подающим средством, и средство синтезирования для синтезирования частичного изображения, принимаемого средством приема частичного изображения, с фоновым изображением, принимаемым средством приема фонового изображения, и, таким образом, генерирования комбинированного изображения.
В системе обработки информации, как объекте настоящего изобретения, первым устройством обработки информации исходное изображение сегментируется на один или более участков, и один заданный участок из одного или более сегментированных участков выделяется из исходного изображения в качестве частичного изображения, имеющего размер участка изображения частичное изображение, выделенное из исходного изображения средством разделения, передается на второе устройство обработки информации, и осуществляется запрос к подающему узлу, которое подает фоновое изображение, синтезируемое с частичным изображением, на подачу фонового изображения второму устройству обработки информации. Кроме того, фоновое изображение подается, посредством подающего узла, на второе устройство обработки информации в ответ на запрос от первого устройства обработки информации. Второе устройство обработки информации принимает частичное изображение, передаваемое от первого устройства обработки информации, принимает фоновое изображение от подающего узла и синтезирует частичное изображение, полученное средством приема частичного изображения, и фоновое изображение, полученное средством приема фонового изображения, и, таким образом, генерирует комбинированное изображение.
Преимущества изобретения
Как было описано выше, согласно настоящему изобретению может быть улучшено качество видеоизображения и сохранены реалистичные ощущения даже в полосы частот восходящей линии связи.
Краткое описание чертежей
Фиг.1 является схемой, поясняющей сетевую среду при использовании общего соединения по технологии ADSL.
Фиг.2 является функциональной блок-схемой, показывающей схему системы обработки информации, в которой применено настоящее изобретение.
Фиг.3 является функциональной блок-схемой, показывающей пример конфигурации клиентского устройства 11.
Фиг.4 является схемой для пояснения отображения изображения клиентским устройством, показанным на фиг.3.
Фиг.5 является функциональной блок-схемой, показывающей пример функциональной конфигурации модуля 32А создания частичного изображения, показанного на фиг.3.
Фиг.6 является функциональной блок-схемой, показывающей пример функциональной конфигурации модуля 32 В создания частичного изображения, показанного на фиг.5.
Фиг.7 является схемой для пояснения примера обработки блоком обработки разделения изображения, показанной на фиг.5.
Фиг.8 является схемой для пояснения примера обработки блоком обработки разделения изображения, показанной на фиг.5.
Фиг.9 является схемой для пояснения обработки, осуществляемой модулем синтезирования кадра видеоизображения, показанным на фиг.5 и 6.
Фиг.10 является блок-схемой для пояснения обработки интерактивной связи посредством клиентского устройства 11, показанного на фиг.3.
Фиг.11 является блок-схемой для пояснения обработки интерактивной связи посредством клиентского устройства 11, показанного на фиг.3.
Фиг.12 является блок-схемой, показывающей пример конфигурации компьютера, управляющего системой обработки информации, в которой применено настоящее изобретение.
Осуществление изобретения
Варианты осуществления изобретения
Фиг.2 является функциональной блок-схемой, показывающей схему системы обработки информации, в которой применена технология настоящего изобретения.
На фиг.2 блоки, окруженные пунктирными линиями, обозначают данные. Кроме того, пунктирными линиями показаны потоки данных. Необходимо заметить, что фактический маршрут передачи данных - это не сами пунктирные линии, а маршрут через сеть 13, что будет описано позже.
Система обработки информации, показанная в примере на фиг.2, включает в себя клиентские устройства 11А, 11В и потоковые серверы 12А, 12В, связанные через сеть 13.
Необходимо заметить, что клиентские устройства 11А, 11В и потоковые серверы 12А, 12В могут быть, соответственно, предусмотрены в количестве одного или более, и не ограничиваются примером, показанным на фиг.2.
Клиентское устройство 11А осуществляет связь с использованием изображений с клиентским устройством 11В через сеть 14.
Клиентское устройство 11А разделяет графические данные зафиксированных изображений, полученных от камеры (см. камеру 31 на фиг.3, которая будет описана позже), на первые данные изображения и вторые данные изображения. Первые данные изображения являются данными изображения для участка, являющегося преобладающим элементом связи с использованием захваченных изображений, например, людей. Необходимо заметить, что первые данные изображения в дальнейшем называются "первичные данные". Вторые данные изображения являются данными изображения для участка, отличного от первичных данных зафиксированных изображений, например, фоном, на котором расположены люди. Необходимо заметить, что вторые данные изображения далее называются "данными фонового изображения".
Клиентское устройство 11А кодирует со сжатием первичные данные 21А данных изображения зафиксированных изображений. Закодированные со сжатием первичные данные 21А передаются на клиентское устройство 11В через сеть 13.
Аналогично, клиентское устройство 11В кодирует со сжатием первичные данные 21В данных изображения зафиксированных изображений. Закодированные со сжатием первичные данные 21D передаются на клиентское устройство 11А через сеть 13
Потоковый сервер 12А подает вторичные данные 22А в качестве альтернативы данным фонового изображения, соответствующим первичным данным 21А, на клиентское устройство 11А и клиентское устройство 11В через сеть 13. Вторичные данные 22А данных изображения для неподвижного изображения или движущегося изображения, например, заранее сохраняются на потоковом сервере 12А. Необходимо заметить, что вторичные данные 22А закодированы со сжатием и сохранены.
Аналогично, потоковый сервер 12В передает вторичные данные 22В в качестве альтернативы данным фонового изображения, соответствующим первичным данным 21В, на клиентское устройство 11А и клиентское устройство 11В через сеть 13. Вторичные данные 22В графических данных для неподвижного изображения или движущегося изображения, например, заранее сохраняются на потоковом сервере 12В. Необходимо заметить, что вторичные данные 22В закодированы со сжатием и сохранены.
Клиентское устройство 11А принимает первичные данные 21В, передаваемые клиентским устройством 11В через сеть 13. Клиентское устройство 11А также принимает вторичные данные 22 В, передаваемые потоковым сервером 12В через сеть 13. Как было описано выше, первичные данные 21В и вторичные данные 22В закодированы со сжатием. Соответственно, клиентское устройство 11А выполняет декодирование с разуплотнением для соответствующих первичных данных 21В и вторичных данных 22 В. Кроме того, клиентское устройство 11А выполняет синтез декодированных и разуплотненных первичных данных 21В и вторичных данных 22В. Данные изображения, полученные при синтезе, являются данными изображения для последующего комбинированного изображения. То есть вместо исходных фоновых изображений, получают комбинированные данные изображения для изображений (в дальнейшем называемые "данными 23В частичного вида"), в которых синтезированы, с использованием неподвижных изображений и т.п., соответствующих вторичным данным 22В, в качестве фонового изображения, участки (например, люди), являющиеся преобладающим элементом связи, соответствующим первичным данным 21В. Данные 23В частичного вида отображаются в виде принятых изображений от клиентского устройства 11В, являющегося другой стороной связи, на мониторе клиентского устройства 11А (монитор 34 на фиг.3, который будет описан позже).
Клиентское устройство 11А хранит первичные данные 21А в качестве данных изображения, соответствующих его собственным изображениям. Клиентское устройство 11А также принимает вторичные данные 22А, передаваемые потоковым сервером 12А через сеть 13. Как было описано выше, первичные данные 21А и вторичные данные 22А закодированы со сжатием. Соответственно, клиентское устройство 11А выполняет декодирование с разуплотнением для соответствующих первичных данных 21А и вторичных данных 22А. Кроме того, клиентское устройство 11А выполняет синтез декодированных и разуплотненных первичных данных 21А и вторичных данных 22А. Данные изображения, полученные при синтезе, являются данными изображения для последующего комбинированного изображения. То есть вместо исходных фоновых изображений получают комбинированные данные изображения для изображений (в дальнейшем называемые "данными 23А частичного вида"), в которых синтезированы, с использованием неподвижных изображений и т.п., соответствующих вторичным данным 22А в качестве фонового изображения, участки (например, люди), являющиеся преобладающим элементом связи, соответствующим первичным данным 21А. Данные 23А частичного вида отображаются в качестве передаваемых изображений на клиентское устройство 11В, являющееся другой стороной связи, на мониторе клиентского устройства 11А (монитор 34 на фиг.3, который будет описан позже).
То есть клиентское устройство 11А может одновременно отображать на мониторе (монитор 34 на фиг.3, который будет описан позже) принятые изображения (данные 23В частичного вида) от клиентского устройства 11В, являющегося другой стороной связи, и передаваемые изображения (данные 23А частичного вида) на клиентское устройство 11В.
Клиентское устройство 11В принимает первичные данные 21А, передаваемые клиентским устройством 11А через сеть 13. Клиентское устройство 11В также принимает вторичные данные 22А, передаваемые потоковым сервером 12А через сеть 13. Как было указано выше, первичные данные 21А и вторичные данные 22А закодированы со сжатием. Соответственно, клиентское устройство 11В выполняет декодирование с разуплотнением для соответствующих первичных данных 21А и вторичных данных 22А. Кроме того, клиентское устройство 11В выполняет синтез декодированных и разуплотненных первичных данных 21А и вторичных данных 22А. Графические данные, полученные при синтезе, являются графическими данными последующего комбинированного изображения. То есть вместо исходных фоновых изображений получают комбинированные графические данные для изображений (в дальнейшем называемые "данными 23А частичного вида"), в которых синтезирована, с использованием неподвижных изображений или тому подобного, соответствующих вторичным данным 22А в качестве фонового изображения, часть (например, люди), как преобладающий элемент коммуникации, соответствующий первичным данным 21А. Данные 23А частичного вида отображаются как принятые изображения от клиентского устройства 11А, являющегося другой стороной связи, на мониторе клиентского устройства 11В (монитор 34 на фиг.3, который будет описан позже).
Клиентское устройство 11В хранит первичные данные 21В как графические данные, соответствующие его собственным изображениям. Клиентское устройство 11В также принимает вторичные данные 22В, передаваемые потоковым сервером 12В через сеть 13. Как было описано выше, первичные данные 21В и вторичные данные 22В закодированы со сжатием. Соответственно, клиентское устройство 11В выполняет декодирование с разуплотнением для соответствующих первичных данных 21В и вторичных данных 22В. Кроме того, клиентское устройство 11В выполняет синтез декодированных и разуплотненных первичных данных 21В и вторичных данных 22В. Данные изображения, полученные при синтезе, являются графическими данными последующего комбинированного изображения. То есть вместо исходных фоновых изображений получают комбинированные графические данные для изображений (в дальнейшем называемые "данными 23В частичного вида"), в которых синтезирована, с использованием неподвижных изображений и т.п., соответствующих вторичным данным 22В в качестве фонового изображения, часть (например, люди), являющаяся преобладающим элементом коммуникации, соответствующим первичным данным 21В. Данные 23В частичного вида отображаются, в качестве передаваемых изображений на клиентское устройство 11А, являющееся другой стороной связи, на мониторе клиентского устройства 11В (монитор 34 на фиг.3, который будет описан позже).
Таким образом, клиентское устройство 11В также может одновременно отображать на мониторе (монитор 34 на фиг.3, который будет описан ниже) изображения (данные 23А частичного вида), принимаемые от клиентского устройства 11А, являющегося другой стороной связи, и изображения (данные 23 В частичного изображения), передаваемые на клиентское устройство 11А.
Пример конфигурации клиентского устройства
Далее будут подробно описаны клиентские устройства 11А и 11В.
Необходимо заметить, что в дальнейшем, в случае, когда нет необходимости различать клиентские устройства 11А и 11В, они будут в совокупности называться "клиентским устройством 11”.
Фиг.3 является функциональной блок-схемой, показывающей пример функциональной конфигурации клиентского устройства 11.
Фиг.4 является диаграммой, поясняющей пример отображения изображения клиентским устройством 11, показанным на фиг.3.
В примере на фиг.3 клиентское устройство 11 включает в себя камеру 31, модули создания частичного вида 32А и 32В, модуль 33 компоновки изображения и монитор 34. Необходимо заметить, что камера 31 и монитор 34 не являются неотъемлемыми компонентами клиентского устройства 11. То есть камера 31 и монитор 34 могут быть внешними устройствами, подключенными к клиентскому устройству 11.
Дальнейшее описание приведено для клиентского устройства 11А.
Камера 31 снимает изображения объектов (пользователя и т.д.) и передает результат (далее называемый "данные снятого изображения") в модуль 32А создания частичного вида.
Модуль 32А создания частичного вида разделяет данные снятого изображения на первичные данные 21А и данные фонового изображения. Кроме того, модуль 32А создания частичного вида кодирует со сжатием первичные данные 21А. Закодированные со сжатием первичные данные 21А передаются на клиентское устройство 11В через сеть 13.
Кроме того, модуль 32А создания частичного вида принимает вторичные данные 22А, передаваемые потоковым сервером 12А, показанным на фиг.2, через сеть 13.
В данном случае, как было описано выше, вторичные данные 22А закодированы со сжатием. Соответственно, модуль 32А создания частичного вида выполняет декодирование с разуплотнением закодированных со сжатием вторичных данных 22А.
Кроме того, модуль 32А создания частичного вида выполняет синтез первичных данных 21А и вторичных данных 22А и, таким образом, генерирует данные 23А частичного вида, как показано в верхней части фиг.4.
Как показано в верхней части фиг.4, первичные данные 21А являются графическими изображения для изображения, образованного удалением фонового изображения из снятого изображения, то есть являются частью, представляющей собой преобладающий элемент коммуникации (например, верхней частью тела некоторого человека в примере, показанном на фиг.4). Кроме того, вторичные данные 22А являются графическими данными неподвижного изображения или тому подобного, являющимися альтернативой исходному фоновому изображению (например, неподвижное изображение с заштрихованным узором, как показано в примере на фиг.4). Таким образом, данные 23А частичного вида являются графическими данными комбинированного изображения, в котором синтезированы часть, представляющая собой преобладающий элемент коммуникации (например, верхняя часть тела некоторого человека в примере, показанном на фиг.4) с неподвижным изображением или тому подобным, альтернативой исходному фоновому изображению (например, неподвижное изображение с заштрихованным узором, как показано в примере на фиг.4).
Модуль 32В создания частичного вида принимает первичные данные 21В, передаваемые клиентским устройством 11В, показанным на фиг.2, через сеть 13.
Кроме того, модуль 32В создания частичного вида принимает вторичные данные 22В, передаваемые потоковым сервером 12В, показанным на фиг.2, через сеть 13.
В данном случае, как было описано выше, первичные данные 21В и вторичные данные 22В закодированы со сжатием. Соответственно, модуль 32В создания частичного вида выполняет декодирование с разуплотнением закодированных со сжатием первичных данных 21В и вторичных данных 22В. Кроме того, модуль 32В создания частичного вида выполняет синтез первичных данных 21В и вторичных данных 22В и, таким образом, генерирует данные 23В частичного вида, как показано в нижней части фиг.4.
Как показано в нижней части фиг.4, первичные данные 21В являются графическими данными изображения, образованного удалением фонового изображения из полученного изображения, то есть являются частью, представляющей собой преобладающий элемент коммуникации (например, верхней частью тела некоторого человека в примере, показанном на фиг.4). Кроме того, вторичные данные 22В являются графическими данными неподвижного изображения или тому подобного, являющегося альтернативой исходному фоновому изображению (например, неподвижное изображение с решетчатой штриховкой, как показано в примере на фиг.4). Таким образом, данные 23В частичного вида являются графическими данными комбинированного изображения, в котором синтезирована часть, представляющая собой преобладающий элемент коммуникации (например, верхняя часть тела некоторого человека в примере, показанном на фиг.4) с неподвижным изображением или тому подобным, являющимся альтернативой исходному фоновому изображению (например, неподвижное изображение с решетчатой штриховкой, как показано в примере на фиг.4).
Модуль 33 компоновки изображения, показанный на фиг.3, управляет монитором 34 для отображения изображения, соответствующего данным 23А частичного вида, полученным от модуля 32А создания частичного вида, и изображения, соответствующего данным 23В частичного вида, полученным от модуля 32В создания частичного вида, на одном экране монитора 34, как показано на мониторе 34 в правой части фиг.4.
Необходимо заметить, что для простоты описания объяснение было сделано для клиентского устройства 11А. Очевидно, что клиентское устройство 11В также имеет соответствующие вышеописанные функции.
Таким образом, пользователь может осуществлять связь с использованием изображений, используя клиентское устройство 11А и клиентское устройство 11В и при этом, например, одновременно видеть свое собственное изображение и изображение другой стороны, передающееся по каналу связи.
Кроме того, клиентское устройство 11А, как передающая сторона, может выполнять управление изображением для вторичных данных 22А, являющихся альтернативой исходному фоновому изображению. Например, в случае, когда вторичные данные 22А являются неподвижными изображениями, клиентское устройство 11А может выполнять управление переключением страниц для показа последовательности неподвижных изображений и т.п. Кроме того, в случае, когда вторичные данные 22А являются движущимися изображениями, клиентское устройство может выполнять управление быстрой перемоткой вперед или быстрой перемоткой назад движущихся изображений и т.п.
На фиг.5 показан подробный пример функциональной конфигурации модуля 32А создания частичного вида клиентского устройства 11, показанного на фиг.3.
В примере на фиг.5 модуль 32А создания частичного вида включает в себя блоки, начиная с блока 41 ввода изображения и заканчивая блоком 53 синтеза кадра движущегося изображения.
Необходимо заметить, что для простоты нижеследующего описания, как и в случае с фиг.3, пояснения будут даны для модуля 32А создания частичного изображения клиентского устройства 11А. Очевидно, что модуль 32А создания частичного изображения клиентского устройства 11В имеет аналогичные функции, которые будут описаны ниже.
Блок 41 ввода изображения вводит данные снятого изображения от камеры 31 и подает их на блок 42 разделения изображения.
Блок 42 разделения изображения разделяет данные полученного изображения на первичные данные 21А (например, людей), являющиеся преобладающим элементом коммуникации, и данные фонового изображения для фоновых изображений. Выделенные первичные данные 21А подаются в блок 44 кодирования.
Необходимо заметить, что изображения, соответствующие первичным данным 21А сразу после разделения по-прежнему содержат фоновые части, отличные от изображений (например, людей), представляющих собой преобладающий элемент коммуникации. Соответственно, блок 42 разделения изображения выполняет замену фоновых частей, отличных от изображений (например, людей), представляющих собой преобладающий элемент коммуникации, в изображениях, соответствующих первичным данным 21А, сразу после разделения, изображением с ровной текстурой с меньшим числом высокочастотных компонентов. Подробности такой обработки будут описаны позже со ссылками на фиг.8.
Вышеописанная последовательность обработки, то есть разделение данных фонового изображения на первичные данные 21А и вторичные данные 22А для замены данных фонового изображения гладкой текстурой в дальнейшем будут называться "разделением изображения". Конкретные примеры разделения изображения будут описаны позже с использованием фиг.7 и 8.
Блок 43 кодирования включает в себя блок 44 распределения битов.
Блок 43 кодирования выполняет кодирование со сжатием первичных данных 21А, введенных от блока 42 разделения изображения. Закодированные со сжатием первичные данные 21А подаются в блок 45 передачи.
Кроме того, блок 43 кодирования подает первичные данные 21А в блок 46 преобразования размера изображения.
Блок 44 распределения битов выполняет адаптивное распределение битов в закодированных со сжатием первичных данных 21А.
Блок 45 передачи передает закодированные со сжатием первичные данные 21А на клиентское устройство 11 В через сеть 13.
Блок 46 преобразования размера изображения выполняет преобразование размера для первичных данных 21А от блока 43 кодирования. Первичные данные 21А с измененным размером изображения подаются на блок 53 синтезирования кадра движущегося изображения.
Вторичные данные 22А, передаваемые через сеть 13 потоковым сервером 12А, показанным на фиг.2, принимаются клиентским устройством 11 (например, клиентским устройством 11А).
Блок 47 обработки приема клиентского устройства 11А принимает вторичные данные 22А и подает их на коммутатор 49.
Блок 47 обработки приема позволяет блоку 48 локального накопления накапливать вторичные данные 22А в соответствии с необходимостью.
Блок 48 локального накопления содержится в клиентском оборудовании 11А или подключен как внешнее устройство. Блок 48 локального накопления заранее сохраняет вторичные данные 22А.
Например, блок 47 обработки приема выполняет заблаговременное накопление вторичных данных 22А в блоке 48 локального накопления, когда есть место в полосе частот связи сети 13.
Коммутатор 49 переключает вход либо на блок 47 обработки приема, либо на блок 48 локального накопления. Затем с блока, к которому было произведено переключение, вторичные данные 22А вводятся в коммутатор 49 со стороны блока 47 обработки приема или со стороны блока 48 локального накопления. Вторичные данные 22А, введенные в коммутатор 49, подаются в блок 50 счетчика данных. В этом случае блок 49 коммутатора переключается на блок 48 локального накопления для вывода вторичных данных 22А, и, таким образом, входящая полоса частот может быть использована более эффективно. Необходимо заметить, что для отображения на мониторе 34 после переключения блоком 49 коммутатора отображение может быть выполнено только из безопорных изображений закодированного со сжатием видео как файла.
Блок 50 счетчика данных вычисляет позицию продвижения считывания файла вторичных данных 22А от потокового сервера 12А. Таким образом, вторичные данные 22А, принимаемые через сеть 13, могут быть считаны как смещенные от начальной позиции копии файла потокового сервера 12А в блоке 48 локального накопления.
Вторичные данные 22А, выводимые от блока 50 счетчика данных, закодированы со сжатием. Соответственно, блок 51 декодирования выполняет декодирование и разуплотнение закодированных со сжатием вторичных данных 22А. Полученные вторичные данные 22А подаются в блок 52 преобразования размера изображения.
Блок 52 преобразования размера изображения выполняет преобразование размера для вторичных данных 22А от блока 51 декодирования. Вторичные данные 22А с измененным размером подаются в блок 53 синтезирования кадра движущегося изображения.
Блок 53 синтезирования кадра движущегося изображения выполняет процесс синтезирования первичных данных 21А от блока 46 преобразования размера изображения и вторичных данных 22А от блока 52 преобразования размера изображения в отношении каждого кадра. Полученные данные 23А частичного изображения подаются в блок 33 компоновки изображения.
На фиг.6 показан подробный пример функциональной конфигурации модуля 32В создания частичного изображения клиентского устройства 11А, показанного на фиг.3.
В примере на фиг.6, модуль 32В создания частичного изображения включает в себя блоки, начиная с блока 71 обработки приема и заканчивая блоком 77 синтеза кадра движущегося изображения.
Необходимо заметить, что далее, для простоты, как и при пояснении фиг.3, пояснение будет дано для модуля 32В создания частичного изображения клиентского устройства 11А. Очевидно, что модуль 32В создания частичного изображения клиентского устройства 11В имеет аналогичные функции, которые буду описаны ниже.
Первичные данные 21В, передаваемые через сеть 13 от клиентского устройства 11 (в данном примере, клиентское устройство 11В) на фиг.2, принимаются клиентским устройством 11 (в данном примере, клиентским устройством 11А).
Блок 71 обработки приема принимает первичные данные 21 В от клиентского устройства 11 В через сеть 13.
В данном случае, как было описано выше, первичные данные 21В закодированы со сжатием. Соответственно, блок 72 декодирования выполняет декодирование и разуплотнение закодированных со сжатием первичных данных 21В. Декодированные и разуплотненные первичные данные 21В подаются в блок 73 преобразования размера изображения.
Блок 73 преобразования размера изображения выполняет процесс преобразования размера первичных данных 21В от блока 72 декодирования. Первичные данные 21В с