Способы и системы для предоставления комбинации медиаданных и метаданных

Способы и системы для предоставления комбинации медиаданных и метаданных

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу предоставления комбинации медиаданных и метаданных и к системе для предоставления комбинации медиаданных и метаданных. Изобретение также относится к сигналу, включающему в себя комбинацию сжатого видео и метаданных, при этом сжатое видео получают посредством применения, по меньшей мере, одного метода сжатия видео к данным изображений для изображений из последовательности изображений. Изобретение дополнительно относится к способу обработки такого сигнала, к системе для обработки такого сигнала и к компьютерной программе.

УРОВЕНЬ ТЕХНИКИ, К КОТОРОМУ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Публикация заявки на патент США US 2009/0192961 A1 описывает систему для адаптирования скорости передачи битов потока медиаданных на основе заинтересованности пользователя. Могут использоваться собираемые биометрические данные для того, чтобы определять эмоциональную заинтересованность пользователя и при необходимости регулировать скорость передачи битов медиаданных и/или представлять настройки навигации для одного или более выбранных участков сохраненных медиаданных. Биометрические данные могут включать в себя частоту сердцебиения, частоту дыхания, кожно-гальванический рефлекс, расширение зрачков, кровяное давление, температуру тела и т.п. Биометрия может собираться посредством датчиков, которые могут включать в себя электродермические датчики, микрофоны, термометры, акселерометры и т.п. В варианте осуществления изобретения изменения в пользовательской заинтересованности могут запускать кодер с переменной скоростью передачи битов для того, чтобы производить регулировку обработки цифрового потока захватываемых аудио/видеоданных на основе настроек в конфигурации. Например, цифровая камера может получать биометрические данные во время захвата изображения. Когда обнаруживается, что пользовательская заинтересованность высокая, разрешение изображений и плотность мегапикселей могут увеличиваться, что сохраняет изображение в виде высококачественного изображения. Собранные биометрические данные могут сохраняться в изображениях в качестве метаданных для использования при воспроизведении и навигации.

Проблема известной системы заключается в том, что ее возможности ограничиваются биометрическими данными, которые могут быть получены во время захвата. Получают только биометрические данные, которые характеризуют человека, присоединенного к датчику. Для каждого дополнительного человека требуются дополнительные биометрические датчики описанного типа, и каждый человек должен принимать участие в процессе.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Желательно предоставить способ, систему, сигнал и компьютерную программу упомянутых выше типов, которые позволят эффективное предоставление видеоданных с метаданными, характеризующими процессы в объектах, представленных в видео.

С этой целью согласно первому аспекту предоставлен способ предоставления комбинации видеоданных и метаданных, включающий в себя:

- получение последовательности изображений, захватываемых видеокамерой;

- извлечение, по меньшей мере, одного сигнала из последовательности изображений,

при этом каждый извлекаемый сигнал характеризует локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете и несет информацию, соответствующую, по меньшей мере, одному биометрическому сигналу живого объекта;

- применение, по меньшей мере, одного метода сжатия видео к данным изображений из последовательности, чтобы получать сжатые видеоданные,

при этом, по меньшей мере, один из сигналов извлекается из изображений в состоянии до применения к данным изображений из этих изображений, по меньшей мере, одного метода сжатия; и

- предоставление сжатых видеоданных с метаданными для для того, чтобы характеризовать, по меньшей мере, один биологический процесс в живом объекте, представленном на, по меньшей мере, части изображений,

процесс, который вызывает локальные временные изменения в, по меньшей мере, одном из: цвете и интенсивности света, захватываемых от объекта,

при этом метаданные, по меньшей мере, основываются на, по меньшей мере, одном из извлекаемых сигналов.

Объект, представленный в последовательности изображений, обычно будет являться живым объектом. Процесс, вызывающий локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете, обычно будет представлять собой внутренний процесс, независимый от какого-либо перемещения любой части объекта, которая является видимой извне. Однако в некоторых применениях он может представлять собой процесс внутреннего перемещения видимой части объекта (например, процесс вращения или возвратно-поступательного перемещения части объекта относительно эталонного кадра, прикрепленного к объекту). В случае живого объекта и внутреннего процесса извлекаемые сигналы несут информацию, соответствующую, по меньшей мере, одному из биометрических сигналов.

С помощью предоставления сжатых видеоданных способ относительно эффективен. Поскольку сжатые видеоданные, особенно сжатые видеоданные, получаемые с использованием прогнозирующего кодирования, обычно уже не являются подходящими для того, чтобы извлекать сигналы, представляющие локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете, которые могли бы использоваться, чтобы получать данные, характеризующие, по меньшей мере, одно биологическое явление в объекте, представленном на изображении, способ предоставляет метаданные, которые соответствуют или являются подходящими для использования при получении таких данных, характеризующих биологическое явление.

Способ основан на извлечении, по меньшей мере, одного сигнала из последовательности изображений перед сжатием, так что незначительные изменения в интенсивности и/или цвете, которые вызваны процессами в объекте, представленном на, по меньшей мере, части изображений, все еще представляются в извлекаемых сигналах. Будучи основанным на таких извлекаемых сигналах, способ может использоваться, чтобы получать данные, характеризующие многочисленных людей, представленных в последовательности изображений, а именно посредством извлечения многочисленных сигналов, не нуждаясь в предоставлении дополнительных датчиков. Способ также, по существу, не зависит от готовности живых объектов принимать участие в этом, так как не требуется никаких датчиков, размещаемых на теле. Способ является подходящим, например, для применений наблюдения для того, чтобы предоставлять биометрические данные в комбинации со сжатыми видео. Биометрические данные могут использоваться для того, чтобы идентифицировать участки сжатого видео, которые требуют более тщательного рассмотрения. Поскольку видео сжимаются, может использоваться сеть для передачи данных с относительно низкой пропускной способностью для того, чтобы собирать видео и метаданные от систем камер. Система может легко быть выполнена таким образом, чтобы предоставлять возможность быстрых откликов на события, сигнализируемые посредством метаданных, со стороны людей, имеющих доступ к сжатым видео для того, чтобы определять характер события.

Вариант осуществления способа включает в себя адаптирование применения, по меньшей мере, одного метода сжатия в зависимости от результата анализа данных, по меньшей мере, основанного на получаемых частях, по меньшей мере, одного из извлекаемых сигналов.

Этот вариант осуществления может использоваться для того, чтобы предоставлять решение проблемы, заключающейся в том, что может потребоваться больше метаданных, если имеется больше людей, представленных в последовательности изображений, и биометрические данные, касающиеся каждого из них индивидуально, должны быть восстанавливаемыми из метаданных. Объем включенных метаданных может меняться по необходимости (объем информации), в то же время сохраняя общий объем данных (сжатое видео и метаданные) в пределах допустимых ограничений. Альтернативно или дополнительно, этот вариант осуществления изобретения может использоваться для того, чтобы применять большее или меньшее сжатие к некоторым пространственным частям последовательности изображений, в зависимости от того, имеет ли место заинтересованность в этих частях или нет. Например, извлекаемые сигналы могут использоваться для того, чтобы определять, где располагаются лица живых людей, представленных на изображениях. Эти пространственные части изображений могут быть закодированы таким образом, чтобы они сохраняли большее количество подробностей. То же самое верно в случае, когда используется прогнозирующее кодирование в качестве части метода сжатия. Если определяется, что параметры, характеризующие процесс, меняются быстро во времени в течение интервалов, соответствующих определенным фрагментам последовательности изображений, то может применяться меньшая интерполяция, в качестве части сжатия, для того, чтобы закодировать эти фрагменты.

Вариант осуществления способа включает в себя то, что во время получения последовательности изображений вызывают регулировки параметров процесса захвата изображений с использованием, по меньшей мере, одной камеры, в зависимости от результата анализа данных, по меньшей мере, основанного на получаемых частях, по меньшей мере, одного из извлекаемых сигналов.

Этот вариант осуществления позволяет использовать относительно дешевую камеру, избегая при этом генерирования недостоверных данных, характеризующих процессы в объекте, представленном в последовательности изображений. Вместо использования камеры высокой четкости можно регулировать параметры таким образом, чтобы компоненты извлекаемого сигнала или сигналов, несущих информацию, относящуюся к процессу в упомянутом объекте, более отчетливо представлялись в извлекаемых сигналах. В одном варианте этого варианта осуществления адаптируют параметры, влияющие на настройки оптической системы, используемой для фокусировки света на матрицу датчика. В соответствии с этим возможно увеличивать масштаб, чтобы захватывать больше информации, относящейся к определенным частям сцены, представленной в последовательности изображений. Количество пикселей, используемых для создания извлекаемого сигнала или сигналов, в соответствии с этим может увеличиваться. В качестве альтернативы, может генерироваться большее количество извлекаемых сигналов, несущих информацию, относящуюся к одному и тому же процессу, что приведет тогда к более достоверному согласованному сигналу или значению, характеризующему процесс в объекте. В другом варианте регулируют, по меньшей мере, один параметр системы для преобразования интенсивности света в дискретные пиксельные значения, в зависимости от результата анализа данных, по меньшей мере, основанного на получаемых частях, по меньшей мере, одного из извлекаемых сигналов. Примеры таких параметров включают в себя коэффициент усиления и пороговое значение дискретизации матрицы датчика изображения. В этом варианте осуществления пиксельные значения несут более достоверную информацию, представляющую незначительные изменения в цвете или интенсивности, обычно происходящие в силу внутренних (особенно биологических) процессов. Другие параметры, которые можно регулировать, включают в себя выдержку и частоту кадров (обычно это параметры системы для преобразования интенсивности света в дискретные пиксельные значения, так как цифровые камеры обычно не имеют механических затворов).

В варианте осуществления способ реализуется системой обработки, включенной в камеру.

Это означает, что система обработки заключена в том же самом корпусе, что и матрица датчика изображения. Этот вариант осуществления в значительной степени избегает передачи несжатых видеоданных и поэтому является относительно дешевым при осуществлении. В конкретном варианте камера предоставляется с, по меньшей мере, одним сетевым интерфейсом, так что комбинация видеоданных и метаданных передается по сети непосредственно камерой. Эта комбинация в одном варианте осуществления представляет собой мультиплексную передачу сжатого видео и потока метаданных, синхронизированного с потоком сжатого видео. Для этого уже существуют подходящие камеры (так называемые IP камеры). Этот вариант способа требует только того, чтобы камеры были подходящим образом выполнены с возможностью реализации способа.

В варианте осуществления метаданные включают в себя, по меньшей мере, один сигнал, характеризующий локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете в последовательности изображений.

В соответствии с этим метаданные включают в себя сигналы, по существу подобные извлекаемым сигналам. Они могут, однако, представлять собой результат операции, комбинирующей два или более из извлекаемых сигналов, например операции усреднения или кластеризации. В этом варианте осуществления система, предоставляющая комбинацию метаданных и сжатого видео, не нуждается в выполнении обработки, необходимой для того, чтобы добиться доступной информации, характеризующей процессы в объекте кратким способом. Этот тип обработки выполняется внешней системой, выполненной с возможностью обрабатывать комбинацию сжатых видеоданных и метаданных. В связи с этим тип обработки может изменяться. Кроме того, система, предоставляющая комбинацию метаданных и сжатого видео, может быть более простой. К примеру, одна дорогостоящая система может обрабатывать сжатые видеоданные и метаданные, предоставляемые посредством нескольких камер.

Согласно другому аспекту изобретения предоставляется система для предоставления комбинации видеоданных и метаданных, включающая в себя:

- по меньшей мере, интерфейс к камере для захвата последовательности изображений;

- систему обработки видеоданных, выполненную с возможностью:

- применять, по меньшей мере, один метод сжатия видео к данным изображений для изображений из последовательности, чтобы получать сжатые видеоданные,

- извлекать, по меньшей мере, один сигнал из последовательности изображений, причем каждый извлекаемый сигнал характеризует локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете и несет информацию, соответствующую, по меньшей мере, одному биометрическому сигналу живого объекта, и

- генерировать метаданные для того, чтобы характеризовать, по меньшей мере, один биологический процесс в живом объекте, представленном на, по меньшей мере, части изображений,

при этом извлекаемые сигналы извлекают из изображений в состоянии до применения, по меньшей мере, одного метода сжатия к данным изображений из этих изображений, и при этом метаданные характеризуют процессы, вызывающие локальные временные изменения в, по меньшей мере, одном из: цвете и интенсивности света, захватываемых от объекта, и метаданные, по меньшей мере, основываются на, по меньшей мере, одном из извлекаемых сигналов; и

- выходной интерфейс для предоставления сжатых видеоданных с метаданными.

В варианте осуществления система выполнена с возможностью реализации способа в соответствии с изобретением.

Согласно другому аспекту изобретения предоставлен сигнал, включающий в себя комбинацию сжатого видео и метаданных, при этом сжатое видео получают посредством применения, по меньшей мере, одного метода сжатия видео к данным изображений для изображений из последовательности изображений, и метаданные включают в себя, по меньшей мере, один сигнал, характеризующий локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете в последовательности изображений и несущий информацию, соответствующую, по меньшей мере, одному биометрическому сигналу живого объекта.

Система, выполненная с возможностью принимать и обрабатывать сигнал, может получать информацию, характеризующую биологические процессы в живых объектах, представленных в изображениях. Поскольку метаданные включают в себя, по меньшей мере, один сигнал, характеризующий локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете в последовательности изображений, могут получаться различные типы такой информации. В качестве примера, извлекаемые сигналы могут использоваться для того, чтобы определять или частоту сердцебиения, или частоту дыхания живого объекта, представленного в изображениях. Для этого требуется только один тип метаданных, а именно извлекаемые сигналы. Один результат заключается в том, что упомянутый сигнал может генерироваться относительно несложными системами камер. Другой результат заключается в том, что нет необходимости добиваться стандартизации большого количества различных типов метаданных (то есть согласования по кодам, указывающего на переменную, которую представляет в метаданных конкретное численное значение). Достаточно использовать один тип метаданных. В некотором варианте метаданные будут указывать на пространственное расположение, к которому имеет отношение определенный сигнал, представляющий локальные изменения в, по меньшей мере, одном из: интенсивности света и цвете.

В варианте осуществления изобретения сигнал можно получить посредством выполнения способа в соответствии с изобретением.

Согласно другому аспекту изобретения предоставлен способ обработки сигнала в соответствии с изобретением, включающий в себя вычисление, по меньшей мере, одного значения параметра, характеризующего, по меньшей мере, один биологический процесс в живом объекте, представленном в, по меньшей мере, части последовательности изображений, процесс, который вызывает локальные временные изменения в, по меньшей мере, одном из: цвете и интенсивности света, захватываемых от объекта, используя в качестве входного сигнала, по меньшей мере, один из сигналов, характеризующих локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете в последовательности изображений и несущих информацию, соответствующую, по меньшей мере, одному биометрическому сигналу живого объекта.

Согласно дополнительному аспекту изобретения предоставлена система для обработки сигнала, включающего в себя комбинацию сжатого видео и метаданных, система, включающая в себя:

- интерфейс для получения сигнала в соответствии с изобретением и

- систему обработки данных для вычисления, по меньшей мере, одного значения параметра, характеризующего, по меньшей мере, один биологический процесс в живом объекте, представленном в, по меньшей мере, части последовательности изображений, процесс, который вызывает локальные временные изменения в, по меньшей мере, одном из: цвете и интенсивности света, захватываемых от объекта, используя, в качестве входного сигнала, по меньшей мере, один из сигналов, характеризующих локальные временные изменения в, по меньшей мере, одном из: интенсивности света и цвете в последовательности изображений и несущих информацию, соответствующую, по меньшей мере, одному биометрическому сигналу живого объекта.

Согласно еще одному аспекту изобретения предоставлена компьютерная программа, которая включает в себя набор инструкций, способный при помещении в машиночитаемый носитель заставлять систему, обладающую способностями обработки информации, выполнять способ в соответствии с изобретением.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Изобретение будет дополнительно подробно описано со ссылкой на сопроводительные чертежи, в которых:

Фиг. 1 представляет собой схематическую блок-схему системы, содержащей систему камер для того, чтобы генерировать сигнал, комбинирующий поток сжатого видео с метаданными, и систему для обработки этого комбинированного сигнала;

Фиг. 2 представляет собой блок-схему последовательности операций, демонстрирующую некоторые этапы в способе, реализуемом посредством системы для генерирования сигнала;

Фиг. 3 представляет собой блок-схему последовательности операций, подробно демонстрирующую этап генерирования сигналов, представляющих локальные временные изменения в, по меньшей мере, одном из: интенсивности и цвете в последовательности изображений как часть варианта осуществления способа, демонстрируемого на Фиг. 2;

Фиг. 4 представляет собой блок-схему последовательности операций, дающую основные принципы первого способа обработки комбинированного сигнала; и

Фиг. 5 представляет собой блок-схему последовательности операций, дающую основные принципы второго способа обработки комбинированного сигнала.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Система, содержащая первую и вторую систему 1, 2 камер, сеть 3 и систему 4 обработки видеосигналов, используется в данном документе для того, чтобы объяснить способы предоставления и обработки комбинации сжатых видеоданных и метаданных. В демонстрируемом варианте осуществления первая система 1 камер содержит единственную камеру 5 с сетевым интерфейсом 6. В другом варианте осуществления изобретения первая система 1 камер содержит комбинацию вычислительного устройства и камеры, присоединенной к нему, например, посредством непосредственного соединения и работающей под управлением вычислительного устройства, которое также обрабатывает несжатые необработанные видеоданные для того, чтобы генерировать комбинацию сжатых видеоданных и метаданных.

Вторая система 2 камер может иметь ту же самую комплектацию, как первая система 1 камер, и по этой причине более подробно не демонстрируется.

Камера 5 включает в себя матрицу 7 датчика изображения, например матрицу ПЗС- или КМОП-датчика известного типа. Дополнительно она включает в себя оптическую систему 8 для того, чтобы фокусировать свет от сцены съемки на матрицу 7 датчика изображения. Оптическая система 8 будет обычно включать в себя одну или более линз, фильтров, диафрагм и т.п., каждое из которых может регулироваться под управлением процессора 9. Аналогичным образом процессор 9 может устанавливать параметры матрицы 7 датчика изображения, включающие в себя время интеграции, коэффициент усиления, пороговое значение дискретизации и т.д. Следует отметить, что в данном документе, когда делается ссылка на последовательность изображений, это может включать в себя комбинации последовательностей изображений в различных цветовых каналах. В соответствии с этим под термином изображение может пониматься комбинация двух или большего количества, например трех, кадров изображений, каждый из которых представляет собой массив пиксельных значений, представляющих захватываемую интенсивность света в конкретном диапазоне спектра электромагнитных волн. Дополнительно следует отметить, что камера 5 может быть выполнена с возможностью работать или в видимой, или в невидимой части спектра электромагнитных волн, или в обеих. В соответствии с этим изображения могут состоять из или содержать массив пиксельных значений, представляющих захватываемые интенсивности в инфракрасной части спектра.

В демонстрируемом варианте осуществления изобретения предоставляется видеокодер 10 для того, чтобы сжимать необработанные данные изображений и в соответствии с этим генерировать сжатое видео. Однако процессор 9 обладает способностью обрабатывать также необработанные несжатые данные изображений, и с этой целью предоставляется блок 11 энергозависимой памяти.

В других вариантах осуществления функциональные возможности компонентов камеры 5 объединены внутри меньших отдельных устройств или распределены среди большего количества устройств, чем изображено на Фиг. 1.

Демонстрируемая камера 5 предоставлена с органами 12 управления пользователя и дисплеем 13.

Камера 5 и вторая система 2 камер - каждая - выполняется с возможностью предоставлять поток данных, содержащий поток сжатых видеоданных и поток данных метаданных. Поток сжатых видеоданных и поток данных метаданных предоставляются на общей временной основе, так что метаданные и сжатое видео синхронизируются. В конкретном варианте осуществления поток данных метаданных и поток сжатых видеоданных предоставляются в мультиплексном режиме.

В качестве примера используется конкретное применение, в котором камера 5 используется для того, чтобы предоставлять поток сжатых видеоданных, представляющий одного человека или больше людей в комбинации с потоком данных метаданных, несущих информацию, которая либо непосредственно характеризует один биологический процесс или больше биологических процессов в представленных людях, или позволяет системе 4 обработки видеосигналов производить такую информацию. Камера 5 генерирует метаданные сначала посредством извлечения из последовательности несжатых изображений одного или более первых сигналов, каждый из которых представляет локальные временные изменения, или в интенсивности света или в цвете, или как в том, так и в другом. В соответствии с этим процессы, которые описываются в данном документе, являются подходящими для того, чтобы получать метаданные о биологических процессах, которые вызывают изменение в цвете или интенсивности света, отраженные или прошедшие через живого человека. Это, в особенности, используется для того, чтобы получать метаданные о (квази-) периодических биологических процессах, таких как сердцебиение и дыхание. Однако могут также характеризоваться другие явления, такие как потоотделение, в частности, посредством фокусировки на соответствующем диапазоне в пределах спектра электромагнитных волн.

В одном варианте осуществления, который будет описан более полно в данном документе, камера 5 и вторая система 2 камер предоставляют только метаданные, непосредствено представляющие сигналы, представляющие локальные изменения в, по меньшей мере, одном из: свете и цвете, под этим понимается то, что такие сигналы могут быть полностью восстанавливаемыми из метаданных или, по меньшей мере, могут быть восстановлены, за исключением разности фаз. В другом варианте осуществления изобретения метаданные представляют значения параметра, непосредственно характеризующие биологическое явление. В этом варианте осуществления сигналы, представляющие локальные изменения в, по меньшей мере, одном из: свете и цвете, на которых основаны метаданные, уже больше не могут быть восстановлены из метаданных. Предоставление метаданных, представляющих значения параметра, непосредственно характеризующие биологическое явление, требует большего уровня интеллекта в камере 5, но это означает, что размер метаданных является меньшим. С другой стороны, система 4 обработки видеосигналов имеет доступ только к биологической информации, на предоставление которой была запрограммирована камера 5 (например, значению частоты сердцебиения у людей, представленных в потоке сжатого видео, но не значению частоты дыхания). Кроме того, должен иметься протокол, который предоставляет возможности системе 4 обработки видеосигналов определять характер переменной, к которой относятся численные значения в метаданных.

Система 4 обработки видеосигналов может быть реализована в виде универсального компьютера. В соответствии с этим на Фиг. 1 она показана как содержащая сетевой интерфейс 6, центральный процессор 15 (CPU) и основную память 16, устройство 17 ввода данных пользователя, запоминающее устройство 18 большой емкости и графический блок 19. Система, в качестве примера, соединяется с двумя устройствами 20, 21 отображения. В альтернативном варианте осуществления изобретения может предоставляться отдельное устройство декодера для того, чтобы распаковывать принимаемый поток сжатого видео, но в демонстрируемом варианте осуществления изобретения это делается посредством CPU 15 или графического блока 19. В демонстрируемом варианте осуществления распакованное видео можно показывать на одном из двух устройств 20, 21 отображения, а информация, касающаяся биологических процессов в живых объектах, представленных в видео, может показываться на втором устройстве отображения. Этот дисплей может иметь вид графического дисплея, включающего в себя графическое представление, соответствующее сцене, показываемой в видео, с биологической информацией, показываемой на экранных позициях, по существу соответствующих экранным позициям, в которых в видео представляется объект, к которому имеет отношение эта информация. В альтернативном варианте осуществления изобретения биологическая информация накладывается на видео. В одном варианте осуществления она накладывается в ответ на ввод, предоставляемый через устройство 17 ввода данных пользователя. В дополнительном варианте осуществления видео от камеры 5 и от второй системы 2 камер могут показываться на отдельных устройствах из этих двух устройств 20, 21 отображения, например, для того, чтобы осуществить систему наблюдения в целях безопасности. Биологическая информация может использоваться для того, чтобы выделять сцены, которые представляют собой потенциальный интерес, например те, которые представляют людей с повышенной частотой сердцебиения или с повышенным потоотделением.

Обращаясь к Фиг. 2, теперь будет описан пример способа предоставления комбинации сжатых видеоданных и метаданных, как это может быть реализовано процессором 9 в камере 5.

С каждым следующим полученным изображением (этап 22) обновляется подпоследовательность 23 уже полученных изображений. В демонстрируемом варианте осуществления затем получают (этап 25) следующую точку в каждом из наборов первых сигналов 24a-n с использованием дистанционного фотоплетизмографического способа.

Один подход, при котором могут быть получены первые сигналы, изображен в общих чертах на Фиг. 3. Получают (этап 27) последовательность 26 изображений - это может являться комбинацией двух или трех последовательностей изображений в разных цветовых каналах.

Затем на необязательном, но полезном этапе к изображениям 26 применяют корректировку. Это может включать в себя вычитание изменений во всех уровнях интенсивности света (определяемых, например, посредством усреднения по всем пикселям в изображении, а на самом деле по всем пикселям во всех соответствующих кадрах изображений в разных цветовых каналах) из пиксельных значений в изображениях. Цель состоит в том, чтобы удалить, насколько возможно, изменения из-за фонового освещения или движения камеры так, чтобы изолировать локальные изменения в пространственных областях изображений из-за процессов в объектах, представленных в изображениях.

Затем (этап 29) на изображения 26 накладывается сетка, определяющая множество измерительных зон, каждая из которых охватывает множество пиксельных точек.

Далее (этап 30) устанавливают первый набор извлекаемых сигналов 31a-n, причем каждое значение извлекаемого сигнала 31a-n основано на комбинации пиксельных значений из одной из измерительных зон. Это может представлять собой, например, усреднение. Оно может также представлять собой среднее значение. Оно может также представлять собой взвешенное усреднение с разными весами, используемыми для пиксельных значений из разных цветных каналов. В соответствии с этим, например, зеленый цвет может быть сверхвзвешен, потому что он особенно чувствителен к изменениям в уровне оксигемоглобина в тканях кожного покрова. Аналогичным образом, синему цвету может быть придан дополнительный вес, потому что он чувствителен к изменениям в содержании воды в тканях кожного покрова и к изменениям в уровне влажности поверхности кожного покрова и в соответствии с этим является представителем пульсирующего потока плазмы крови и изменяющихся уровней потоотделения. Следует отметить, что вместо того, чтобы реализовывать пространственное усреднение, может реализовываться кластеризация. То есть, скажем, для каждого из многочисленных пиксельных местоположений в измерительной зоне генерируется сигнал или сегмент сигналов, представляющий изменения интенсивности, и эти сигналы или сегменты сигналов затем кластеризуются для того, чтобы генерировать единственный извлекаемый сигнал 31 для каждой измерительной зоны.

В демонстрируемом варианте осуществления генерирют (этап 33) второй набор сигналов 32a-n. Каждый сигнал 32a-n представляет изменения в соответствующем сигнале из первого набора сигналов 31. Второй набор сигналов 32 может генерироваться посредством центрирования сигналов 31 по их среднему или усредненному значению. В альтернативных вариантах осуществления реализованы другие или дополнительные методы для получения малых изменений сигналов, например фильтрация по высоким частотам или фильтрация по полосам пропускания.

Как это демонстрируется, сигналы 32a-n второго набора соответствуют первым сигналам 24a-n. В других вариантах осуществления может быть выполнен отбор. Например, могут отбрасываться те из сигналов 32a-n второго набора, которые имеют небольшое информационное наполнение или не имеющие информационного наполнения.

Следует отметить, что возможен альтернативный вариант осуществления изобретения (подробно не показан), в котором не используется сетка. Вместо этого используется сегментация изображения, чтобы идентифицировать те части изображений, которые соответствуют живым людям. Затем в пределах каждой области заинтересованности отбирается, по меньшей мере, одна измерительная зона. Области заинтересованности или измерительные зоны отслеживаются в последовательности 26 изображений, и сигнал извлекается из каждой измерительной зоны, действуя так, как это объяснено для варианта осуществления на Фиг. 2. Этот вариант осуществления является немного более сложным, потому что процессор 9 в камере 5 должен обладать способностью реализовывать сегментацию изображений, так же как и алгоритмы распознавания определенных типов областей, представляющих интерес (например, алгоритм распознавания лиц), и алгоритмы отслеживания измерительных зон и/или областей, представляющих интерес в последовательности изображений. Однако там, где, например, вторая система 2 камер содержит камеру и вычислительное устройство, этот вариант осуществления может практически осуществляться и будет иметь результат в том, что генерируется меньшее количество первых сигналов 24a-n, которые, наиболее вероятным образом, имеют отношение к характеризации явлений, вызывающих локальные изменения в интенсивности света и/или цвете. Алгоритм для распознавания лиц описан в работе Viola, P. и Jones, M.J. "Robust real-time object detection", Proc. IEEE Workshop on statistical and computational theories of vision, 13 July 2001. Алгоритм отслеживания описывается в работе De Haan et al. "True- motion estimation with 3-D recursive search block matching", IEEE Transactions on circuits and systems for video technology, 3 (5), October 1993, p. 368-379.

После этапа 25 (Фиг. 2) для получения дополнительных точек первых сигналов 24a-n могут создаваться (этап 35) новые значения в потоке 34 метаданных. Метаданные имеют формат, определяемый заранее, который может быть специализированным или стандартизированным.

Как это уже упоминалось, в одном варианте осуществления изобретения, этот этап влечет за собой дальнейшую обработку первых сигналов 24a-n, или сегментов, из тех, которые уже получены к настоящему времени, для того, чтобы получать значения параметра, которые непосредственно характеризуют явление, которым интересуются. Например, первые сигналы 24a-n могут преобразовываться в частотную область, используя скользящее окно для того, чтобы получать спектр каждого первого сигнала в последовательные моменты времени. Определяют значение доминирующей частоты в, по меньшей мере, ограниченном диапазоне спектра так, чтобы получать изменяющийся во времени сигнал, представляющий, например, частоту сердцебиения или частоту дыхания. Эти значения могут затем кодироваться в качестве метаданных. В варианте осуществления значения ассоциируются с данными, идентифицирующими пространственную область в изображениях, так что значения частоты сердцебиения или частоты дыхания могут быть ассоциированы с соответственными частотами сердцебиения или частотами дыхания нескольких живых существ, представленных в последовательности изображений.

В варианте осуществления, более подробно описанном в данном документе, данные, непо