Устройство и способ, программа обработки видео, и устройство формирования изображений, смонтированное с устройством обработки видео

Устройство и способ, программа обработки видео, и устройство формирования изображений, смонтированное с устройством обработки видео

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

Настоящая группа изобретений относится к технологии передачи на главный терминал изображений, образованных элементами формирования изображений видеокамеры.

ИЗВЕСТНЫЙ УРОВЕНЬ ТЕХНИКИ

В существующем уровне техники известны игры, в которых видеокамерой снимаются изображения части тела пользователя, такой как голова, а из этих изображений затем выделяются заранее заданные области, например области глаз, губ, рук, и эти области заменяются затем на другие изображения для вывода полученного результата на дисплей (например, патентный документ №1). Известен также интерфейс пользователя, который принимает в качестве прикладных команд команды движения губ или рук, снятых видеокамерой.

Патентный документ №1: Европейская заявка на патент №0999518.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, КОТОРЫЕ ДОЛЖНЫ БЫТЬ РЕШЕНЫ ИЗОБРЕТЕНИЕМ

В технологии, подобной описанной выше, для выделения заранее заданных областей, например губ или руки пользователя, необходимо изображение высокого разрешения. Однако по мере того, как качество элементов формирования видеоизображений становится выше, становится также и больше время выполнения процессов сжатия изображений, когда изображения видеокамеры после сжатия передаются на центральный терминал, такой как игровое устройство или персональный компьютер. Поэтому возникает проблема, определяемая повышением времени запаздывания между съемкой изображений видеокамерой и выдачей видеоизображений на центральный терминал. Использование видеокамеры в качестве интерфейса пользователя, приводящее к проблеме повышения запаздывания, существенно снижает ее практическую полезность. Как было описано, даже когда качество пикселей формирования изображений видеокамеры повышается, характеристики системы, как единого целого, могут ухудшиться.

Исходя из всех этих обстоятельств, целью настоящего изобретения является предоставление технологии обработки изображений, обеспечивающей снижение запаздывания, которое связано с передачей изображений от видеокамеры на центральный терминал, используя при этом высококачественные элементы формирования изображений.

СРЕДСТВА РЕШЕНИЯ ЭТИХ ПРОБЛЕМ

Пример реализации настоящего изобретения относится к программе обработки движущихся изображений. Эта программа обработки движущихся изображений исполняется на устройстве обработки движущихся изображений и исполняет функцию получения изображений, которая обеспечивает получение необработанного изображения, снятого с использованием элементов формирования изображений; функцию цветовой интерполяции, которая осуществляет цветовую интерполяцию необработанного изображения; функцию фильтрации, которая преобразует необработанное изображение в несколько уменьшенных изображений, имеющих ступенчато различающуюся степень разрешения; функцию выбора, которая выбирает из необработанного изображения одну часть в качестве специфической части и вместе с этим выбирает какое-нибудь одно из нескольких уменьшенных изображений в качестве указанного уменьшенного изображения; и функцию передачи, которая передает на центральный терминал для последующей обработки изображений выбранную специфическую часть необработанного изображения и указанное уменьшенное изображение.

В соответствии с этим примером осуществления настоящего изобретения, из устройства обработки движущихся изображений на центральный терминал передается только специфическая часть, которая является частью необработанного изображения, и указанное сжатое изображение. Поэтому, поскольку в центральном терминале может произвольно обрабатываться только специфическая часть, объем данных, переданных на центральный терминал, становится меньше по сравнению со случаем, когда на него передается все целиком необработанное изображение. Соответственно, и запаздывание, связанное с передачей изображения, может быть снижено, в то время как степень свободы обработки изображения в центральном терминале будет сохранена.

Другой пример осуществления настоящего изобретения также относится к программе обработки движущихся изображений. Эта программа обработки движущихся изображений исполняется на центральном терминале, обрабатывающем движущееся изображение, которое снимается устройством съемки изображений, а затем выдающая на дисплей обработанное движущееся изображение, и исполняющая на этом центральном терминале функцию получения специфической части, являющейся частью необработанного изображения, которое выдается с элементов формирования изображения, и получения уменьшенного изображения, образованного процессом цветовой интерполяции и процессом уменьшения упомянутого необработанного изображения; функцию, осуществляющую цветовую интерполяцию специфической части необработанного изображения; функцию, преобразующую уменьшенное изображение в полноразмерное изображение увеличением уменьшенного изображения до размера, равного размеру упомянутого необработанного изображения; и функцию, комбинирующую специфическую часть после процесса цветовой интерполяции с полноразмерным изображением, и выдающую на дисплей синтезированное изображение с частично отличающимися уровнями разрешения.

В соответствии с этим примером осуществления настоящего изобретения, процесс цветовой интерполяции специфической части исходного изображения, снятого элементами формирования изображений, может быть выполнен на центральном терминале. Поэтому может быть получена высококачественная цветовая интерполяция изображения, используя вычислительные ресурсы центрального терминала, обрабатывающие возможности которого обычно выше, чем возможности устройства съемки изображений. Поскольку сжатое изображение увеличивается для использования других частей, отличных от специфической части, то объем данных, получаемых от устройства съемки изображений, может быть уменьшен, и поэтому может быть подавлено запаздывание, связанное с передачей изображений.

Реализация настоящего изобретения в форме способов, систем, компьютерных программ и носителей записи, хранящих компьютерную программу, может также быть осуществлена на практике, как дополнительные режимы настоящего изобретения.

ПРЕИМУЩЕСТВА НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

В соответствии с настоящим изобретением, для специфической части может быть получено частное изображение высокого разрешения, используя исходное необработанное изображение, снизив при этом запаздывание, связанное с передачей на центральный терминал изображений от устройства съемки изображений.

КРАТКОЕ ОПИСАНИЕ ФИГУР ЧЕРТЕЖЕЙ

Фиг.1 - изображение, показывающее полную конфигурацию системы видеокамеры с низким запаздыванием, в соответствии с примером осуществления настоящего изобретения;

Фиг.2 - изображение, показывающее конфигурацию видеокамеры, в соответствии с примером осуществления настоящего изобретения;

Фиг.3 - изображение, показывающее конфигурацию устройства передачи изображений с видеокамеры, представленной на Фиг.2;

Фиг.4 - изображение, объясняющее работу устройства передачи изображений;

Фиг.5 - изображение, показывающее конфигурацию части центрального терминала, которая определяет выдачу изображения с низким запаздыванием;

Фиг.6 - блок-схема, разъясняющая работу системы видеокамеры с низким запаздыванием;

Фиг.7 - блок-схема, разъясняющая работу системы видеокамеры с низким запаздыванием; и

Фиг.8 - изображение, разъясняющее концепцию обработки изображений в случае, когда система видеокамеры с низким запаздыванием применяется в обмене видеоинформацией.

НАИЛУЧШИЕ ФОРМЫ РЕАЛИЗАЦИИ ИЗОБРЕТЕНИЯ

На Фиг.1 показывается полная конфигурация системы видеокамеры с низким запаздыванием 10 в соответствии с примером осуществления настоящего изобретения. В этой системе движущееся изображение пользователя 6 снимается видеокамерой 100, в центральном терминале 20 осуществляется обработка движущихся изображений, а затем изображение пользователя отображается на дисплее 4 или передается на заранее определенное место назначения через сеть 12, такую как Интернет или LAN (локальную сеть Local Area Network).

Видеокамера 100 является цифровой видеокамерой, имеющей элементы формирования изображений, такие как ПЗС (приборы с зарядовой связью) или КМОП (комплементарный металлооксидный полупроводник), и оборудованной на верхней части корпуса дисплеем 4, как показано на этом рисунке. Дисплей 4 является, например, жидкокристаллическим телевизором, плазменным телевизором, PC-дисплеем и пр. Обычно пользователь 6 стоит перед дисплеем 4 так, что видеокамерой 100 снимается вся или часть корпуса пользователя. Изображение, отображенное на дисплее 4, изменяется в зависимости от прикладной задачи, исполняемой в системе 10. Например, когда система 10 используется в качестве интерфейса пользователя (U1), который распознает движения или выражения лица пользователя 6 и интерпретирует эти движения или выражения как некоторый вид рабочих команд, изображение 8, отображенное на дисплее 4, является изображением части пользователя 6, такой как лицо или рука, или целиком его тела. Когда система 10 используется для обмена видеоинформацией, изображение 8, отображенное на дисплее 4, является изображением лица партнера по диалогу, а изображение пользователя 6 отображается на дисплее партнера по диалогу через сеть 12.

Из форм использования, подобных описанным выше, наиболее приемлемым является вариант, когда видеокамера 100 установлена на верхней части дисплея 4. Однако в тех случаях, когда требуется снимать изображение всего целиком пользователя 6 или части его корпуса, видеокамера 100 может быть установлена и на других местах, а не вблизи от дисплея 4, например вблизи от центрального терминала 20 или в окрестности пользователя. Помимо того, что видеокамера 100 может быть выполнена как единое целое, видеокамера 100 может быть встроена, например, в корпус дисплея 4. Вместо использования элементов формирования изображений в видеокамере 100 могут использоваться аналоговые изображения, преобразованные в цифровую форму (A/D).

Центральным терминалом 20 является компьютерный терминал, такой как персональный компьютер или игровое устройство, который имеет функции обработки изображений. Центральный терминал 20 последовательно принимает в хронологическом порядке движущиеся изображения, сформированные изображениями, которые сняты пользователем 6 видеокамерой 100, и выполняет предварительно определенные процедуры обработки изображений. В случае решения прикладной задачи обмена видеоинформацией, изображения пользователя 6, над которыми была проведена определенная обработка, передаются в реальном времени партнеру информационного обмена через сеть 12. В случае решения прикладной задачи интерфейса пользователя сначала проводится преобразование изображения к зеркальному виду, а затем изображение выдается в реальном времени на дисплей 4. Здесь зеркальное преобразование представляет собой процесс образования изображения, которое инвертировано справа налево, что предоставляет пользователю возможность работы с системой, как если бы пользователь смотрел в зеркало. В дополнение к описанной выше обработке изображений центральный терминал 20 имеет также возможность синтезировать изображения объектов, таких как меню или курсор, для исполнения различных прикладных задач и последующего отображения синтезированных изображений на дисплее 4.

Применительно к таким задачам, как игра или информационный обмен, в которых используется традиционная видеокамера, на видеокамеру во многих случаях возлагаются функции сжатия изображений и распознавания изображений, и обычно при незначительных вычислительных ресурсах видеокамеры ей требуется значительно больше времени на обработку по сравнению с исполнением тех же функций на центральном терминале. По этой причине часто ухудшаются характеристики реального времени, например, в тех ситуациях, когда требуется определенное время на распознавание движений пользователя и когда существует временной лаг при отображении изображения на дисплее. Эта тенденция становится все более заметной с повышением числа пикселей элемента формирования изображений, предоставляемого видеокамерой.

Таким образом, в настоящем примере осуществления в видеокамере формируется несколько изображений, разрешение которых ступенчато изменяется, и из видеокамеры на центральный терминал передается только часть изображения с необходимым разрешением, в соответствии с типом прикладной задачи, которая исполняется в системе, так что в центральном терминале, который имеет достаточные вычислительные ресурсы проводится высококачественная обработка изображений.

На Фиг.2 показывается конфигурация видеокамеры 100 в соответствии с настоящим примером осуществления. Представленная здесь конфигурация может быть реализована такими аппаратными средствами, как ЦП (центральный процессор), ЗУПВ (запоминающее устройство с произвольной выборкой), ПЗУ (постоянное запоминающее устройство) и схема рендеринга, а также программными средствами, реализующими различные функции, такие как функция ввода данных, функция хранения данных, функция обработки изображений и функция рендеринга. На Фиг.2 показываются функциональные блоки, реализованные совместным использованием этих компонентов. Следовательно, эти функциональные блоки могут быть реализованы в различных формах комбинациями аппаратных и программных средств. Для упрощения объяснения на Фиг.2 представлена также схематичная диаграмма, иллюстрирующая части изображения, обработанные в каждом функциональном блоке.

Видеокамера 100 содержит устройство получения изображений 102, устройство цветовой интерполяции 104, устройство передачи изображений 150, устройство пирамидального фильтра 170 и устройство связи 108. Устройство получения изображений 102 считывает в заранее заданные моменты времени (например, 60 раз/сек) изображение, экспонированное устройством формирования изображений, например, таким, как устройство на ПС или КМОП. В последующем объяснении принимается, что такое изображение имеет ширину в “h” пикселей в горизонтальном направлении. Это изображение является так называемым исходным (необработанным) изображением. Устройство получения изображений 102 пересылает исходное изображение на устройство цветовой интерполяции 104 и на устройство передачи изображений 150 каждый раз, как завершается экспозиция по одной горизонтальной строке исходного изображения.

Устройство цветовой интерполяции 104 имеет буфер FIFO (буфер обратного магазинного типа) 105, при этом буфер 105 имеет емкость памяти в h пикселей, и процессор простой цветовой интерполяции 106. Пиксельная информация по одной горизонтальной строке исходного изображения вводится в буфер FIFO 105 и хранится там до тех пор, пока в устройство цветовой интерполяции 104 не будут введены пиксели последующей одной горизонтальной строки. При получении пикселей двух горизонтальных строк работает процессор простой цветовой интерполяции 106, использующий эти принятые пиксели, при этом процесс цветовой интерполяции дополняющей цветовой информации каждого пикселя базируется на пикселях, окружающих интерполируемый пиксель, и затем формируется полноцветное изображение. Как известно специалистам, существует большое число алгоритмов реализации такого процесса цветовой интерполяции, однако в данном случае достаточным будет процесс простой цветовой интерполяции, в котором используются только пиксели двух горизонтальных строк. В качестве примера, когда пиксель, для которого должно быть вычислено соответствующее значение YCbCr, имеет только значение G, то значение RGB получается использованием значения R, которое определяется вычислением среднего соответствующих значений R правого и левого смежных пикселей, использованием значения G и значения В пикселя выше или ниже данного пикселя для значения R, их значения G и значения В, соответственно, а затем эти значения подставляются в ранее заданное уравнение преобразования, и тем самым вычисляется значение YCbCr. Поскольку такой процесс цветовой интерполяции хорошо известен, то дальнейшее подробное объяснение здесь будет опущено.

Далее обсуждается та причина, по которой будет достаточен процесс простой цветовой интерполяции. Для части, в которой необходимо высококачественное изображение (далее эта часть именуется как “специфическая часть”), центральный терминал 20 получает от видеокамеры 100 исходное изображение и проводит его обработку. Поэтому качество изображения не является важным для части, отличной от специфической части, или когда часть изображения, отличная от специфической части, используется только для обнаружения изображения или аналогичных операций. Соответственно, качество изображения после процесса цветовой интерполяции не имеет слишком большого значения. В одном из вариантов процесса простой цветовой интерполяции может быть использован алгоритм формирования значения YCbCr единственного пикселя из четырех пикселей цветового пространства RGB. В этом случае может быть получено интерполированное цветное изображение размером ¹/₄ от размера исходного изображения. Таким образом, первый фильтр 110, описанный позднее, не является необходимым.

Например, как показано на этом рисунке, процессор простой цветовой интерполяции 106 преобразует RGB четырех пикселей (два горизонтальных пикселя х два вертикальных пикселя) в цветовые сигналы YCbCr. Блок, составленный из этих четырех пикселей, пересылается на устройство передачи изображений 150, как интерполированное один к одному изображение, и также пересылается на устройство пирамидального фильтра 170.

Устройство пирамидального фильтра 170 имеет функцию иерархической организации заданного изображения по нескольким уровням разрешения и выдачи изображения в виде иерархической структуры. Пирамидальный фильтр содержит фильтры сжатия на ¹/₄, базируясь на числе уровней разрешения, которые в общем случае необходимы. В данном примере осуществления пирамидальный фильтр имеет четырехуровневые фильтры: от первого фильтра 110 до четвертого фильтра 140. Каждый фильтр выполняет процесс билинейной интерполяции четырех пикселей, которые являются смежными между собой, а затем вычисляет среднее значение этих четырех пикселей. Поэтому размер изображения, полученного после этого процесса, становится равным ¹/₄ размера изображения, имеющегося перед процессом.

Во входном каскаде первого фильтра 110 для каждого из сигналов Y, Cb и Cr имеется соответственно один буфер FIFO 112 для h пикселей. Каждый из этих буферов FIFO 112 предназначен для хранения пикселей YCbCr одной горизонтальной строки до тех пор, пока пиксели последующей горизонтальной строки не будут выданы из процессора простой цветовой интерполяции 106. Время хранения пикселей определяется в соответствии со скоростью строчного сканирования элементов формирования изображений. При вводе пикселей двух горизонтальных строк первый фильтр 110 усредняет значения пикселей Y, Cb и Cr для четырех пикселей из блока два горизонтальных пикселя × два вертикальных пикселя. Повторением этого процесса длина интерполированного изображения 1/1 становится равной ¹/₂ как по вертикали, так и по горизонтали, так что изображение преобразуется в целом в изображение размера ¹/₄. Преобразованное интерполированное изображение размером ¹/₄ пересылается на устройство передачи изображений 150, а также пересылается на последующий второй фильтр 120.

Во входном каскаде второго фильтра 120 для каждого из сигналов Y, Cb и Cr имеется соответственно один буфер FIFO 122 для h/2 пикселей. Каждый из этих буферов FIFO 122 предназначен для хранения пикселей YCbCr одной горизонтальной строки до тех пор, пока пиксели последующей горизонтальной строки не будут выданы из первого фильтра 110. При вводе пикселей двух горизонтальных строк второй фильтр 120 усредняет значения пикселей Y, Cb и Cr для четырех пикселей из блока два горизонтальных пикселя × два вертикальных пикселя. Повторением этого процесса длина интерполированного изображения ¹/₄ становится равной ¹/₂ как по вертикали, так и по горизонтали, так что изображение преобразуется в целом в изображение размером 1/16. Преобразованное интерполированное изображение размером 1/16 пересылается на устройство передачи изображений 150, а также пересылается на последующий третий фильтр 130.

Во входных каскадах третьего фильтра 130 и четвертого фильтра 140 имеются буферы FIFO 132 и буферы FIFO 142 соответственно для h/4 пикселей и h/8 пикселей. Во всем остальном в третьем фильтре 130 и в четвертом фильтре 140 повторяется тот же самый процесс, что и процесс, описанный выше. Интерполированные изображения размером 1/64 и размером 1/256 пересылаются затем на устройство передачи изображений 150. Поскольку пирамидный фильтр, подобный тому, что был представлен выше, хорошо известен, как описано в патентном документе №1, то его дальнейшее подробное описание в этой спецификации предмета патентования опускается.

Таким образом, с соответствующих фильтров устройства пирамидального фильтра 170 на устройство передачи изображений 150 пересылаются выходные изображения, каждое из которых уменьшено на ¹/₄ от исходного изображения. Как из этого понятно, размер буфера FIFO, который необходим во входном каскаде каждого фильтра, становится тем меньше, как становится больше число проходов через фильтры в устройстве пирамидального фильтра 170.

В соответствии с командой, полученной от центрального терминала 20 через устройство связи 108, устройство передачи изображений 150 выбирает необходимое изображение из исходного изображения, принятого от устройства получения изображений 102, интерполированное изображение 1/1, принятое от устройства цветовой интерполяции 104, и интерполированные изображения размером от ¹/₄ до 1/256, принятые от устройства пирамидального фильтра 170. Устройство передачи изображений 150 составляет пакет, используя эти изображения, а затем передает составленный пакет на устройство связи 108.

Устройство связи 108 пересылает пакет изображений на центральный терминал 20 в соответствии с заранее заданным протоколом, таким, например, как USB 1.0/2.0 или аналогичным протоколом. Связь с центральным терминалом 20 не ограничивается проводной связью. Связь может быть, например, беспроводной связью LAN, такой как IEEE 802.11a/b/g или аналогичной, или инфракрасной связью, такой как IrDA, или аналогичной.

На Фиг.3 представлено изображение, иллюстрирующее конфигурацию устройства передачи изображений 150 видеокамеры 100. Устройство передачи изображений 150 содержит устройство записи блоков 152, буфер 154, устройство считывания блоков 156, устройство кодирования 158, устройство формирования пакетов 160, буфер пакетов 162 и устройство управления 164.

Устройство управления 164, базируясь на команде от центрального терминала 20, указывает устройству записи блоков 152 и устройству считывания блоков 156 данные изображения, которые должны быть переданы в виде пакета из различных наборов данных изображений. Как будет описано позднее, на центральный терминал в этом примере осуществления передается только часть исходного изображения и интерполированные изображения, которые были введены в устройство передачи изображений 150.

На устройство записи блоков 152 от устройства получения изображений 102 вводится исходное изображение, а интерполированные изображения размером от ¹/₄ до 1/256 вводятся через устройство цветовой интерполяции 104 и устройство пирамидального фильтра 170. Устройство выбора размера 152А устройства записи блоков 152 записывает часть интерполированных изображений в буфер 154, базируясь на команде от устройства управления 164. Устройство записи блоков 152 получает изображение в единицах два × два пикселя, как показано на Фиг.2, и проводит операцию последовательной записи изображения в буфер 154. Далее, устройство выбора вырезаемого блока 152В устройства записи блоков 152 записывает в буфер 154 только те блоки из исходного изображения, которые содержат специфическую часть, указанную устройством управления 154. Этой специфической частью является, например, часть, для которой необходимо изображение высокого качества и высокого разрешения, такая как часть лица пользователя, его рука и прочее. Дальнейшее описание устройства выбора вырезаемого блока 152В, который должен быть выделен, будет дано позднее.

Устройство считывания блоков 156 считывает каждый блок изображения, а затем пересылает блок изображения на устройство кодирования 158 в порядке пикселей одного блока, который подготовлен в буфере 154. Устройство записи блоков 152 и устройство считывания блоков 156 настраиваются так, чтобы они могли бы синхронно управляться устройством управления 164. Иными словами, в то время как запись устройством записи блоков 152 проводится каждый раз, как пиксели выдаются из устройства получения изображений 102, устройства цветовой интерполяции 104 и устройства пирамидального фильтра 170, считывание устройством считывания блоков 156 проводится каждый раз, как пиксели одного блока накапливаются в буфере 154. Время синхронизации определяется в соответствии со скоростью экспозиции элементов формирования изображений. Единичный блок является, предпочтительно, блоком, который имеет размер восемь на восемь пикселей в соответствии со стандартом JPEG, кодирование в котором проводится последовательно. В приведенном ниже объяснении блок исходного изображения именуется как Br, а блоки интерполированного изображения размером 1/4, 1/16, 1/64 и 1/256 именуются соответственно как В1, В4, В16, В64 и В256.

В настоящем примере осуществления вместо передачи пикселей на центральный терминал тогда, когда будет завершено формирование пикселей всего целиком исходного изображения или всех целиком сжатых изображений, пиксели передаются единицами блоков, и поэтому размер буфера 154, являющийся достаточно большим для хранения всех блоков исходного изображения и для хранения сжатых изображений, будет более чем достаточным. В зависимости от типа прикладной задачи необходимо только, чтобы буфер позволял бы хранить от двух до трех блоков изображения. Как было описано, изображения, которые записываются в буфере, являются уменьшенными, данные изображений последовательно формируются в пакет каждый раз, как блок подготовлен, и затем передаются. Таким образом, запаздывание, связанное с процессом, который выполняется внутри видеокамеры, уменьшается. Пиксели последовательно выдаются из устройства получения изображений 102 и устройства пирамидального фильтра 170 на устройство записи блоков 152 каждый раз, как завершается экспозиция элементами формирования изображений. Таким образом, с позиции структурного аспекта невозможно, чтобы блок другого кадра записывался бы в буфере 154 или блок формировался бы в пакет, а затем передавался бы в другом порядке.

Устройство выбора блоков 152В, которые должны быть вырезаны, получает информацию о положении специфической части, переданную от центрального терминала 20, и выбирает в качестве специфического блока блок, содержащий область, которая является больше, чем область, относящаяся к специфической части, на заранее заданное число пикселей.

Устройство кодирования 158 осуществляет хорошо известное кодирование со сжатием, такое, например, как JPEG, блока уменьшенных изображений, отличных от исходного изображения, а затем передает сжатый закодированный блок изображения на устройство формирования пакетов 160. Устройство формирования пакетов 160 составляет пакет из блока исходного изображения и блока закодированного уменьшенного изображения в порядке их поступления на устройство формирования пакетов 160 и записывает сформированные в пакет блоки изображения в буфер пакетов 162. Устройство связи 108 в соответствии с заранее заданным протоколом связи передает пакет в буфере пакетов 162 на центральный терминал 20. При этом могут использоваться и другие хорошо известные стандарты кодирования, такие как LLVC, AVC и прочие. Однако предпочтительны те стандарты, которые позволяют проводить кодирование в единицах блоков. Размер блоков, считываемых устройством считывания блоков 156, может быть изменен в соответствии со стандартом кодирования. Например, считывание и кодирование может быть выполнено с использованием блоков размером 256×256 пикселей.

Затем, используя Фиг.4, будет дано объяснение работы устройства передачи изображений 150. Правый столбец S1 на Фиг.4 показывает исходное изображение и интерполированные изображения, которые получены устройством считывания блоков. Маленький квадрат представляет один пиксель. Заметим, что квадрат соответствует одному из значений пикселя цветов R, G и В в исходном изображении, и что один пиксель содержит все сигналы YCbCr в интерполированном изображении. Плотность квадратов показывает, что пиксели были уменьшены пирамидальным фильтром. В соответствии с командой от устройства управления 164 устройство записи блоков записывает только некоторые изображения из этих изображений, которые были выданы к данному времени в буфер. В этом примере принимается, что выбираются исходное изображение и интерполированные изображения размером 1/16 и 1/64. Для исходного изображения выбираются только те блоки, которые содержат специфическую часть. В результате, устройство считывания блоков, показанное на этом рисунке в средней колонке S2, считывает из буфера четыре блока исходного изображения Br, блок интерполированного изображения В16 размером 1/16 и блок интерполированного изображения В64 размером 1/64. Заметим, что в реальности блоки не проходят непосредственно на устройство считывания блоков из устройства записи блоков, и что устройство считывания блоков считывает блоки в единицах блоков после того, как в буфере будут накоплены блоки заранее заданного размера.

Что касается блоков, которые были считаны, то блоки интерполированного изображения В16 и В64 подвергаются процессу кодирования, а затем формируются в пакет совместно с блоками исходного изображения, как показано в левом столбце S3 на этом рисунке.

На Фиг.5 иллюстрируется конфигурация той части центрального терминала, которая в настоящем примере осуществления проводит выдачу изображения с низким запаздыванием. Такая конфигурация может быть реализована такими структурными компонентами, как ЦП, ЗУПВ, ПЗУ, графический процессор и устройства управления вводом и выводом, в терминах как аппаратных, так и программных средств, предоставляющих различные функции, такие как ввод данных, хранение данных, обработка изображений и рендеринг в терминах программных средств.

На Фиг.6 показываются функциональные блоки, реализованные совместным использованием этих компонентов, и поэтому данные функциональные блоки могут быть реализованы в самых различных формах комбинациями аппаратных и программных средств.

Центральный терминал 20 содержит устройство связи 22, устройство управления 52, процессор изображений 50 и устройство управления отображением 54. Дополнительно, для предоставления возможности операционной системе управлять всеми процедурами процессора изображений 50, устройство управления 52 осуществляет и другие функции управления, которые необходимы центральному терминалу 20, например исполнение различных прикладных задач для игры, информационного обмена и прочее, управление драйверами, управление считыванием программы с носителя записи и другие аналогичные функции. Устройство связи 22 принимает различные наборы данных изображений от видеокамеры 100 и пересылает эти наборы данных изображений на процессор изображений 50.

Процессор изображений 50 содержит устройство распределения 24, устройство высококачественной цветовой интерполяции изображений 28, устройство высококачественной обработки 32, устройство декодирования 34, устройство увеличения 36, устройство синтеза изображений 38, устройство вывода изображений 40 и устройство обнаружения специфических частей 42. Блоки специфической части исходного изображения и кодированные уменьшенные изображения от видеокамеры 100 вводятся в устройство распределения 24. Затем устройство распределения 24 в соответствии с командой от устройства управления 52 пересылает блок исходного изображения на устройство высококачественной цветовой интерполяции изображений 28, а другие блоки изображения - на устройство декодирования 34.

Устройство высококачественной цветовой интерполяции изображений 28 исполняет процесс цветовой интерполяции специфической части исходного изображения. В этом процессе цветовой интерполяции, в отличие от процессора простой цветовой интерполяции видеокамеры 100, устройство высококачественной цветовой интерполяции изображений 28 исполняет процесс высококачественной интерполяции, используя вычислительные ресурсы центрального терминала 20. При этом может быть использован произвольный, уже существующий алгоритм, или же алгоритм, который должен быть разработан в будущем, например, для использования значений RGB блока пикселей три на три или более при вычислении сигнала изображения YCbCr одного пикселя, например, модифицируя для этого интерполяционный коэффициент с учетом степени корреляции между пикселями в горизонтальном направлении и/или в вертикальном направлении. Такой процесс цветовой интерполяции раскрыт, например, в публикации японской заявки на патент №7-236147. Интерполированное изображение пересылается на устройство высококачественной обработки 32.

Устройство высококачественной обработки 32 преобразует далее это интерполированное изображение в высокоточное изображение, удобное для просмотра. Процесс, исполняемый на этой стадии, изменяется в соответствии с типом прикладной задачи. Например, когда на большом экране показывается лицо для обмена видеоинформацией, то выполняются такие соответствующие процессы, как установка тона лица, модификация цвета лица, модификация глаз и губ и другие процедуры. Высококачественное изображение пересылается на устройство синтеза изображений 38.

С другой стороны, устройство декодирования 34 принимает блок уменьшенного изображения, отличного от исходного изображения, а затем декодирует изображение, сжатое, например, в стандарте JPEG. Если в видеокамере 100 не проводится сжатие изображения, то устройство декодирования 34 не является необходимым.

Устройство обнаружения специфической части 42 принимает уменьшенное изображение, декодированное устройством декодирования 34, а затем, в соответствии с широко известным способом обнаружения изображений, устройство обнаружения специфической части 42 идентифицирует ту часть, которая считается особенно важной на изображении пользователя применительно к данной прикладной задаче. Этой частью является, например, лицо пользователя в случае обмена видеоинформацией, и глаза, губы, рука, нога и прочее в случае UI (интерфейс пользователя). Информация о положении определенных таким образом частей возвращается на видеокамеру 100 через устройство связи 22. В соответствии с этой позиционной информацией из видеокамеры 100 пересылаются блоки исходного изображения, находящиеся вокруг специфической части. Таким образом, процесс цветовой интерполяции проводится устройством высококачественной интерполяции изображений только на ограниченном числе блоков изображений.

Обнаружение специфической части проводится, например, следующим описанным далее способом. В случае обнаружения лица, изображение разделяется на фрагменты размером 20×20 блоков, используя только яркость (Y) сигнала, и часть, содержащая несколько блоков, в которых яркость является относительно высокой, распознается как лицо. В альтернативном варианте в памяти эталонных изображений (не показана) могут заранее храниться эталонные изображения специфической части (лица, руки и прочее), а устройство согласования (не показано) может проводить согласование эталонного изображения и входного изображения для идентификации области, которая соответствует лицу или руке пользователя. После идентификации области лица затем могут быть в этой области идентифицированы области, соответствующие глазам, носу, губам