Устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека

Устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству для отслеживания человека, к способу отслеживания человека и к постоянному машиночитаемому носителю, хранящему программу для отслеживания человека, в частности к устройству для отслеживания человека, к способу отслеживания человека, и к постоянному машиночитаемому носителю, хранящему программу для отслеживания человека, которые позволяют отслеживать человека с использованием видеоизображения, снятого камерой наблюдения.

УРОВЕНЬ ТЕХНИКИ

[0002] В последние годы были раскрыты способы отслеживания человека с использованием видеоизображения, снятого камерой наблюдения. В качестве одного из примеров способа отслеживания человека патентная литература 1 раскрывает способ отслеживания человека на основе особенности цвета человека.

[0003] Фиг.9 показывает примерный вариант осуществления системы отслеживания человека, описанный в патентной литературе 1. Система отслеживания человека включает в себя средство 1 извлечения области, занимаемой человеком, средство 2 генерации объемного элемента изображения (воксела), средство 3 извлечения особенности цвета человека и средство 4 отслеживания человека.

[0004] Средство 1 извлечения области, занимаемой человеком, извлекает область, занимаемую человеком, из видеонаблюдения и выводит результат извлечения области, занимаемой человеком, на средство 2 формирования объемного элемента изображения. Средство 2 формирования объемного элемента изображения формирует информацию объемного элемента изображения из результата извлечения области, занимаемой человеком, выведенного из средства 1 извлечения области, занимаемой человеком, и выводит сформированную информацию объемного элемента изображения на средство 3 извлечения особенности цвета человека. Средство 3 извлечения особенности цвета человека извлекает особенность цвета человека из информации объемного элемента изображения, выводимой из средства 2 формирования объемного элемента изображения и видеонаблюдения, и выводит извлеченную особенность цвета человека на средство 4 отслеживания человека. Средство 4 отслеживания человека отслеживает человека с помощью особенности цвета человека, выводимой из средства 3 извлечения особенности цвета человека, и выводит результат отслеживания человека.

[0005] Функционирование системы для отслеживания человека, показанной на фиг.9, описывается далее подробно.

[0006] Средство 1 извлечения области, занимаемой человеком, извлекает область, занимаемую человеком, из видеоизображения наблюдения, выводимого из камеры, используя способ вычитания фона. Затем средство 1 извлечения области, занимаемой человеком, выводит результат извлечения области, занимаемой человеком, на средство 2 формирования объемного элемента изображения.

[0007] Средство 2 формирования объемного элемента изображения формирует объемные элементы изображения на основе входного результата извлечения области, занимаемой человеком. Входной результат извлечения области, занимаемой человеком, получается с помощью множества камер. Средство 2 формирования объемного элемента изображения проецирует входной результат извлечения области, занимаемой человеком, на трехмерное пространство, используя способ пересечения объемов, и тем самым формирует объемные элементы изображения, которые представляют положение человека в пространстве. Средство 2 формирования объемного элемента изображения выводит сформированные объемные элементы изображения на средство 3 извлечения особенности цвета человека.

[0008] Средство 3 извлечения особенности цвета человека получает распределение цветов человека с головы до ног в вертикальном направлении в качестве особенности цвета человека на основе сформированных объемных элементов изображения и видеоизображения от камеры наблюдения. В частности, средство 3 извлечения особенности цвета человека вычисляет среднее значение цвета для каждой высоты объемного элемента изображения, нормализует результат по высоте и таким образом вычисляет особенность цвета человека. Хотя особенность цвета в основном определяется цветом одежды, которую носит человек, используется значение, полученное путем вычисления среднего значения цвета во всех направлениях на той же высоте. Таким образом, средством 3 извлечения особенности цвета человека достигается извлечение особенности цвета, устойчивое к вариациям внешнего вида одежды в зависимости от направления.

[0009] Средство 4 отслеживания человека сравнивает полученную особенность цвета человека с особенностью цвета человека, полученной в прошлом, и тем самым определяет сходство. Средство 4 отслеживания человека вычисляет отношение между объемными элементами изображения, рассчитанными в прошлом, и объемными элементами изображения, вычисленными в последний раз, в соответствии с результатом определения. Следовательно, средство 4 отслеживания человека рассчитывает результат отслеживания человека, связывая прошлый результат извлечения человека и текущий результат извлечения.

СПИСОК ПРОЦИТИРОВАННЫХ ИСТОЧНИКОВ

Патентная литература

[0010] Патентная литература 1: Нерассмотренная опубликованная японская патентная заявка № 2005-250692.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Техническая проблема

[0011] В системе для отслеживания человека, раскрытой в патентной литературе 1, отслеживание отслеживаемого целевого человека затруднено в том случае, когда нет никакой отличительной особенности в одежде, которую носит отслеживаемый целевой человек. Одежда в целом является схожей. Когда имеется много людей, которые носят одежду того же цвета, что и отслеживаемый целевой человек, возрастает вероятность того, что система отслеживания человека спутает отслеживаемого целевого человека с другим аналогичным человеком, что делает точное отслеживание затруднительным. В частности, в случае отслеживания человека с использованием камер видеонаблюдения, у которых не перекрываются поля зрения, как только отслеживаемый целевой человек входит в слепое пятно камеры и отслеживание временно прерывается, системе для отслеживания человека, описанной в патентной литературе 1, трудно правильно отслеживать отслеживаемого целевого человека даже после того, как человек возвращается в поле зрения камеры.

[0012] Настоящее изобретение было разработано для решения вышеупомянутых проблем, и примерной целью настоящего изобретения является, таким образом, предложить устройство для отслеживания человека, способ отслеживания целевого человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека, которые могут достичь точного отслеживания отслеживаемого целевого человека даже тогда, когда отслеживаемый целевой человек имеет мало отличительных особенностей.

Решение проблемы

[0013] Устройство для отслеживания человека в соответствии с одним аспектом настоящего изобретения включает в себя средство извлечения информации об области, занимаемой человеком, для обнаружения области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирования информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком; средство определения сопровождающего человека для идентификации по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и для формирования информации о сопровождающем человеке, описывающей сопровождающего человека; средство выбора характерного человека для выбора характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, среди сопровождающих людей, определяемых информацией о сопровождающем человеке, и для формирования информации о характерном человеке, описывающей характерного человека; и средство отслеживания человека для вычисления результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.

[0014] Способ отслеживания человека в соответствии с одним аспектом настоящего изобретения включает в себя обнаружение области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирование информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком; идентификацию по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирование информации о сопровождающем человеке, описывающей сопровождающего человека; выбор характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, из сопровождающих людей, определяемых информацией о сопровождающем человеке, и формирование информации о характерном человеке, описывающей характерного человека; и вычисление результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.

[0015] В соответствии с одним аспектом настоящего изобретения невременный машиночитаемый носитель, хранящий программу для отслеживания человека, является невременным машиночитаемым носителем, хранящим программу, заставляющую компьютер выполнять процесс отслеживания человека, появляющегося на видеоизображении, который включает в себя: обнаружение области, занимаемой человеком, к которой принадлежит человек, появляющийся на видеоизображении, и формирование информации об области, занимаемой человеком, описывающей информацию об области, занимаемой человеком; идентификацию по меньшей мере одного сопровождающего человека, сопровождающего отслеживаемого целевого человека, среди людей, включенных в информацию об области, занимаемой человеком, на основе информации об области, занимаемой человеком, и информации, определяющей отслеживаемого целевого человека, и формирование информации о сопровождающем человеке, описывающей сопровождающего человека; выбор характерного человека, имеющего характерную особенность, с использованием информации об области, занимаемой человеком, из сопровождающих людей, определяемых информацией о сопровождающем человеке, и формирование информации о характерном человеке, описывающей характерного человека; и вычисление результата отслеживания характерного человека, являющегося результатом отслеживания упомянутого характерного человека, на основе информации об области, занимаемой человеком, и информации о характерном человеке.

Полезные эффекты изобретения

[0016] В соответствии с аспектами настоящего изобретения можно обеспечить устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека, которые могут достичь точного отслеживания отслеживаемого целевого человека даже тогда, когда отслеживаемый целевой человек имеет мало отличительных особенностей.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0017] Фиг.1 представляет собой диаграмму, показывающую конфигурацию устройства для отслеживания человека в соответствии с первым примерным вариантом осуществления;

Фиг.2 представляет собой блок-схему, показывающую последовательность этапов обработки в блоке 102 определения сопровождающего человека в соответствии с первым примерным вариантом осуществления;

Фиг.3 представляет собой блок-схему, показывающую последовательность этапов обработки в блоке 102 определения сопровождающего человека в соответствии с первым примерным вариантом осуществления;

Фиг.4 представляет собой блок-схему, показывающую последовательность этапов обработки в устройстве 100 для отслеживания человека в соответствии с первым примерным вариантом осуществления;

Фиг.5 представляет собой диаграмму, показывающую конфигурацию блока 103 выбора характерного человека в соответствии с первым примерным вариантом осуществления;

Фиг.6 представляет собой блок-схему, показывающую последовательность этапов обработки в блоке 201 определения характерного человека в соответствии с первым примерным вариантом осуществления;

Фиг.7 представляет собой диаграмму, показывающую конфигурацию блока 103 выбора характерного человека в соответствии со вторым примерным вариантом осуществления;

Фиг.8 представляет собой диаграмму, показывающую конфигурацию блока 103 выбора характерного человека в соответствии с третьим примерным вариантом осуществления; и

Фиг.9 представляет собой диаграмму, показывающую конфигурацию системы для отслеживания человека, описанной в патентной литературе 1.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0018] Первый вариант осуществления

Примерные варианты осуществления настоящего изобретения описаны ниже со ссылкой на чертежи. На Фиг.1 представлена диаграмма, показывающая конфигурацию устройства для отслеживания человека в соответствии с данным примерным вариантом осуществления. Устройство 100 для отслеживания человека включает в себя блок 101 извлечения информации об области, занимаемой человеком, блок 102 определения сопровождающего человека, блок 103 выбора характерного человека, блок 104 отслеживания человека и блок 105 вычисления результата отслеживания.

[0019] Блок 101 извлечения информации об области, занимаемой человеком, получает видеоизображение от системы видеонаблюдения и выводит информацию об области, занимаемой человеком, на блок 102 определения сопровождающего человека, блок 103 выбора характерного человека и блок 104 отслеживания человека. Блок 102 определения сопровождающего человека получает информацию об области, занимаемой человеком, от блока 101 извлечения информации об области, занимаемой человеком, и информацию об отслеживаемом целевом человеке и выводит рассчитанную информацию сопровождающего человека на блок 103 выбора характерного человека. Блок 103 выбора характерного человека получает информацию об области, занимаемой человеком, от блока 101 извлечения информации об области, занимаемой человеком, и информацию о сопровождающем человеке от блока 102 определения сопровождающего человека и выводит вычисленную информацию о характерном человеке на блок 104 отслеживания человека и выводит вычисленную информацию об относительной позиции отслеживаемого целевого человека на блок 105 расчета результата отслеживания. Блок 104 отслеживания человека получает выходную информацию об области, занимаемой человеком, от блока 101 извлечения информации об области, занимаемой человеком, и выходную информацию о характерном человеке от блока 103 выбора характерного человека и выводит вычисленную информацию отслеживания характерного человека на блок 105 расчета результата отслеживания. Блок 105 расчета результата отслеживания получает выходную информацию отслеживания характерного человека от блока 104 отслеживания человека и выходную информацию об относительной позиции отслеживаемого целевого человека от блока 103 выбора характерного человека и вычисляет и выводит результат отслеживания целевого человека в данный блок обработки.

[0020] Ниже приводится подробное описание работы устройства для отслеживания человека, показанного на фиг.1.

[0021] Сначала видеоизображение от системы видеонаблюдения вводится в блок 101 извлечения информации об области, занимаемой человеком. Блок 101 извлечения информации об области, занимаемой человеком, формирует кадр изображения из входного видеоизображения. Блок 101 извлечения информации об области, занимаемой человеком, затем выполняет обработку для извлечения области, занимаемой человеком, из кадра изображения и далее выполняет обработку в целях извлечения информации об области, занимаемой человеком, описывающей область, занимаемую человеком. Если входное видеоизображение от системы видеонаблюдения является аналоговым, блок 101 извлечения информации об области, занимаемой человеком, захватывает (оцифровывает) видеоизображение от системы видеонаблюдения и тем самым формирует кадр изображения. С другой стороны, если видеоизображение от системы видеонаблюдения является цифровым видеоизображением, кодируемым в соответствии со стандартами H.264, Motion JPEG, MPEG-2 и т.п., блок 101 извлечения информации об области, занимаемой человеком, декодирует видеоизображение соответствующим методом декодирования и тем самым формирует изображение кадра.

[0022] Обработка с целью извлечения области, занимаемой человеком, может быть выполнена блоком 101 извлечения информации об области, занимаемой человеком, с использованием различных существующих способов. Например, при извлечении области, занимаемой человеком, на основе вычитания фона, блок 101 извлечения информации об области, занимаемой человеком, создает модель, представляющую информацию о фоне, из входных кадров изображения, расположенных во временном ряду, извлекает движущийся объект с использованием модели, а затем извлекает область, занимаемую человеком, из извлеченной информации. В качестве простейшего способа, блок 101 извлечения информации об области, занимаемой человеком, определяет фоновое изображение, сформированное путем вычисления среднего по информации изображения в неподвижной области среди множества изображений, в качестве модели фона, вычисляет разность между кадром изображения и фоном изображения и извлекает область с большей разницей в качестве движущегося объекта. Когда движущийся объект ограничен человеком, блок 101 извлечения информации об области, занимаемой человеком, может использовать результат извлечения движущегося объекта, как он есть, в качестве результата извлечения области, занимаемой человеком. С другой стороны, когда имеется движущийся объект, отличный от человека, устройство 101 извлечения информации об области, занимаемой человеком, может принять решение относительно того, соответствует ли человеку извлеченная область движущегося объекта или нет, а затем извлечь только область, которая может быть человеком в области, занимаемой человеком.

[0023] Блок 101 извлечения информации об области, занимаемой человеком, может извлекать область, занимаемую человеком, непосредственно с помощью модели человека, без использования модели фона. Модель человека, используемая здесь, может быть моделью, представляющей всего человека или части человека. Например, блок 101 извлечения информации об области, занимаемой человеком, может обнаружить лицо или голову с помощью детектора лица или головы, который моделирует и извлекает лицо или голову как часть человека и определяет область, занимаемую человеком, из результата обнаружения. Альтернативно, блок 101 извлечения информации об области, занимаемой человеком, может извлекать область, занимаемую человеком, используя детектор, который обнаруживает части области, занимаемой человеком, такие как верхняя или нижняя части тела.

[0024] Блок 101 извлечения информации об области, занимаемой человеком, извлекает информацию об области, занимаемой человеком, из области, занимаемой человеком, с помощью описанного выше способа. Информация об области, занимаемой человеком, является информацией, представляющей отличительную особенность извлеченной области, занимаемой человеком. Информация об области, занимаемой человеком, включает в себя информацию, представляющую позицию или форму области, занимаемой человеком, на изображении и информацию, описывающую особенности человека, включенные в область, задаваемую информацией.

[0025] Первое (информация, представляющая позицию или форму области, занимаемой человеком на изображении) может быть контурной информацией, представляющей форму человека (информацией, где метка присваивается пикселям, соответствующим области, занимаемой человеком), информацией о прямоугольнике, представляющей прямоугольник, ограничивающий область, занимаемую человеком, или любой информацией, представляющей позицию или форму области, занимаемой человеком, аналогичным образом. Например, информация об области может быть представлена с использованием дескриптора, описывающего область, определяемого стандартом MPEG-7.

[0026] С другой стороны, последнее (информация, описывающая особенности человека, включенные в указанную область) может быть информацией, описывающей различные особенности из тех особенностей изображения, которые включены в область с высокоуровневыми особенностями человека. Примеры информации включают в себя особенность, представляющую особенность лица человека, особенность, представляющую цвет волос, прическу или особенность волос, особенность внешнего вида, представляющую цвет, рисунок или форму одежды, информацию, представляющую тип одежды, аксессуары человека (те, которые находятся на человеке, такие как шляпа, очки, маска, сумка, галстук или шарф), информацию, представляющую определенный знак или логотип на одежде, и информацию, представляющую цвет кожи.

[0027] Особенность лица может быть вычислена с помощью детектора лица и извлечения особенности лица, использовавшихся ранее. Особенность одежды вычисляется путем определения области одежды из области, занимаемой человеком, и извлечения информации, описывающей область. Для извлечения особенности цвета, текстуры и формы могут быть использованы различные существующие способы (например, способ, описывающий цвет, текстуру и форму, определенный в стандарте MPEG-7). Информация, описывающая аксессуары человека, рассчитывается путем обнаружения аксессуаров с помощью детектора, который обнаруживает объект на голове или определенной части тела, и извлекает информацию, описывающую область. Конкретная марка или логотип на одежде могут быть обнаружены с помощью дискриминатора, который обучен этим шаблонам. Конкретная марка или фирменный знак также вычисляется путем извлечения информации, описывающей особенность, или в результате дискриминации обнаруженной области. Цвет кожи также может быть извлечен с помощью оценки участка кожи из области, занимаемой человеком, и получения цвета этой части.

[0028] Кроме того, высокоуровневые особенности могут содержаться в последней информации (информация, описывающая отличительные особенности человека, включенного в указанную область). Например, в качестве особенности может быть использована информация о росте человека. Информация о росте человека может быть вычислена из трехмерной позиции человека в реальном мире, которая вычисляется из двумерной позиции изображения, полученного с помощью камеры, используя данные калибровки камеры. Кроме того, информацию о типе тела человека можно извлечь тем же способом и использовать в качестве особенности. Кроме того, информация о возрасте и поле человека может быть извлечена с использованием оценщика возраста/пола, и извлеченная информация может быть использована в качестве особенности. Кроме того, информация, описывающая позу человека, например сидит ли он в инвалидном кресле, держит ли на руках ребенка или ходит с палкой, может быть извлечена с использованием дискриминатора, который определяет конкретную позу, такую как сидячее положение человека в инвалидном кресле, и использоваться в качестве особенности. Кроме того, особенность походки, которая является особенностью манеры ходьбы, может быть вычислена и использована в качестве особенности. Может быть построен дискриминатор, который дискриминирует конкретные позы или классифицирует особенность походки, если сделать его обучаемым с помощью обучающего изображения.

[0029] Блок 101 извлечения информации об области, занимаемой человеком, выводит информацию об извлеченной области, занимаемой человеком, на блок 102 определения сопровождающего человека, блок 103 выбора характерного человека и блок 104 отслеживания человека.

[0030] Ниже описана работа блока 102 определения сопровождающего человека. Блок 102 определения сопровождающего человека определяет сопровождающего человека отслеживаемого целевого человека из входной информации об отслеживаемом целевом человеке и выходной информации об области, занимаемой человеком, из блока 101 извлечения информации об области, занимаемой человеком, и выводит результат определения в качестве информации о сопровождающем человеке. В широком смысле существуют два способа определения сопровождающего человека: способ, который определяет отслеживаемого целевого человека, а затем определяет сопровождающего человека, и способ, который определяет группу людей, включающую в себя отслеживаемого целевого человека, а затем определяет отслеживаемого целевого человека.

[0031] В способе, который определяет отслеживаемого целевого человека, а затем определяет сопровождающего человека, блок 102 определения сопровождающего человека идентифицирует отслеживаемого целевого человека тем или иным способом, а затем определяет человека, присутствующего около отслеживаемого целевого человека как сопровождающего человека. Этот процесс описан со ссылкой на фиг.2.

[0032] Сначала блок 102 определения сопровождающего человека определяет отслеживаемого целевого человека по информации об отслеживаемом целевом человеке и информации об области, занимаемой человеком (этап S501). Если информация об отслеживаемом целевом человеке содержит особенность лица отслеживаемого целевого человека и информация об области, занимаемой человеком, содержит особенность лица человека, блок 102 определения сопровождающего человека сравнивает особенность лица отслеживаемого целевого человека с особенностью лица в области, занимаемой человеком, и тем самым определяет отслеживаемого целевого человека. Если информация об отслеживаемом целевом человеке содержит информацию о положении, полученную другим датчиком информации, таким как RFID (радиочастотная метка), блок 102 определения сопровождающего человека сравнивает ее с информацией о позиции человека, содержащейся в информации об области, занимаемой человеком, и идентифицирует личность человека, положение которого по существу совпадает с положением отслеживаемого целевого человека. Следует отметить, что процесс идентификации отслеживаемого целевого человека не всегда выполним на всех кадрах и, следовательно, выполняется лишь в подходящих кадрах.

[0033] Затем блок 102 определения сопровождающего человека определяет человека, сопровождающего идентифицированного отслеживаемого целевого человека (этап S502). При определении сопровождающего человека (этап S502) блок 102 определения сопровождающего человека определяет, что человек является сопровождающим человеком, когда расстояние между отслеживаемым целевым человеком и каждым человеком, содержащимся в информации об области, занимаемой человеком на изображении, находится в пределах определенного порога в течение заданного промежутка времени. В частности, блок 102 определения сопровождающего человека отслеживает движение каждого человека на основе входной информации об области, занимаемой человеком, для нескольких кадров от кадра, где идентифицирован отслеживаемый целевой человек, и вычисляет расстояние между отслеживаемым целевым человеком и другими людьми в каждом из кадров. Когда расстояние находится в пределах определенного порогового значения, блок 102 определения сопровождающего человека устанавливает этого человека в качестве сопровождающего человека. Блок 102 определения сопровождающего человека не обязательно определяет как сопровождающих только тех людей, чьи расстояния всегда находятся в пределах порога в течение периода наблюдения, и он может определить в качестве сопровождающего человека такого человека, чье расстояние находится в пределах порога в заданном отношении или более.

[0034] Альтернативно, блок 102 определения сопровождающего человека вычисляет информацию о положении каждого человека в реальном мире, используя калибровочную информацию из камеры, используемую для связи между двумерными координатами на изображении и трехмерными координатами в реальном мире, и положением человека на изображении. Блок 102 определения сопровождающего человека может затем определить человека, сопровождающего отслеживаемого целевого человека, используя информацию о положении каждого человека.

[0035] Альтернативно, блок 102 определения сопровождающего человека выбирает человека, чье расстояние находится в пределах указанного порога в кадре, где идентифицируется отслеживаемый целевой человек, в качестве кандидата на сопровождающего человека. Блок 102 определения сопровождающего человека может затем вычислить движение кандидата на сопровождающего человека и определить, движется ли кандидат в том же направлении, что и отслеживаемый целевой человек, существенно с той же скоростью, и тем самым определить, является ли этот человек сопровождающим человеком или нет.

[0036] Блок 102 определения сопровождающего человека формирует информацию о сопровождающем человеке как результат обработки определения сопровождающего человека (этап S502). Информация о сопровождающем человеке определяет информацию, соответствующую человеку, являющемуся человеком, сопровождающим отслеживаемого целевого человека, наряду с информацией о людях, содержащейся в информации об области, занимаемой человеком. Например, информация о сопровождающем человеке устанавливает флаг, указывающий, является ли каждый человек, указанный в информации об области, занимаемой человеком, сопровождающим человеком или нет, флаг со значением 1 обозначает сопровождающего человека, в противном случае он обозначает не сопровождающего человека. Альтернативно, информация о сопровождающем человеке может указывать результат определения тремя значениями, включающими в себя состояние, в котором неизвестно, является ли человек сопровождающим человеком или нет. Информация о сопровождающем человеке является информацией, которая также содержит информацию, определяющую отслеживаемого целевого человека. Расчет информации о сопровождающем человеке выполняется только тогда, когда может быть указан отслеживаемый целевой человек.

[0037] далее описывается способ, который определяет группу, включающую в себя отслеживаемого целевого человека, а затем определяет отслеживаемого целевого человека. Блок 102 определения сопровождающего человека рассчитывает группу людей, по оценкам включающую в себя отслеживаемого целевого человека, а затем устанавливает сопровождающего человека в группе. Этот процесс описывается со ссылкой на блок-схему, изображенную на Фиг.3.

[0038] Блок 102 определения сопровождающего человека группирует людей, находящихся вместе близко друг к другу, на основе информации о положении людей, включенной в информацию об области, занимаемой человеком (этап S511). На этом этапе блок 102 определения сопровождающего человека может использовать положения на изображении или может рассчитать положения людей в реальном мире, используя калибровочную информацию из камеры, как описано выше, и использовать информацию о рассчитанных положениях.

[0039] Далее блок 102 определения сопровождающего человека устанавливает сопровождающих людей (этап S512). Если информация об отслеживаемом целевом человеке включает в себя информацию о положении отслеживаемого целевого человека, полученную из другой информации, например информации от сенсорных датчиков, блок 102 определения сопровождающего человека выбирает группу, которая, скорее всего, включает в себя отслеживаемого целевого человека. Блок 102 определения сопровождающего человека формирует информацию о сопровождающем человеке из выбранной группы.

[0040] Затем блок 102 определения сопровождающего человека определяет отслеживаемого целевого человека (этап S513). Если информация об отслеживаемом целевом человеке включает в себя информацию, которая может определить отслеживаемого целевого человека (особенности человека, особенности внешнего вида одежды и т.д.), блок 102 определения сопровождающего человека выбирает человека, который, вероятно, будет отслеживаемым целевым человеком среди сопровождающих людей. Блок 102 определения сопровождающего человека затем добавляет информацию, определяющую отслеживаемого целевого человека, к информации о сопровождающем человеке. Определение делается необязательно для каждого кадра и может быть сделано только тогда, когда может быть указана группа, которая, вероятно, включает в себя отслеживаемого целевого человека.

[0041] Информация о сопровождающем человеке (которая может включать в себя информацию об отслеживаемом целевом человеке), которую получают, главным образом, с помощью любого из двух способов, упомянутых выше, выводится на блок 103 выбора характерного человека.

[0042] Далее описывается блок 103 выбора характерного человека. Блок 103 выбора характерного человека вычисляет информацию о характерном человеке и информацию об относительном положении отслеживаемого целевого человека на основе выходной информации об области, занимаемой человеком, из блока 101 извлечения информации об области, занимаемой человеком, и выходной информации о сопровождающем человеке из блока 102 определения сопровождающего человека.

[0043] Информация о характерном человеке является информацией, в соответствии с которой человек является характерным и может быть легко отслежен. Например, в случае когда один человек в красной одежде присутствует в группе людей в белой одежде, человек в красной одежде одет совершенно отлично от других. Поэтому при выполнении отслеживания с использованием цвета одежды вероятность того, что человек в красной одежде будет спутан с другими людьми, рассматривается как низкая. С другой стороны, когда отслеживается человек в белой одежде, вероятность того, что отслеживание приведет к отказу, будет высока, так как имеется много других людей в белой одежде. Таким образом, блок 103 выбора характерного человека определяет легкость отслеживания каждого человека, включенного в информацию об области, занимаемой человеком, и выбирает человека с высокой степенью легкости отслеживания в качестве характерного человека. Подробности конфигурации и работы блока 103 выбора характерного человека будут описаны позже.

[0044] Информация об относительном положении отслеживаемого целевого человека является информацией, представляющей относительное положение между отслеживаемым целевым человеком и характерным человеком, выбранным из сопровождающих людей. Например, информация об относительном положении отслеживаемого целевого человека является векторной информацией, полученной путем вычитания координат положения характерного человека из координат положения отслеживаемого целевого человека. Альтернативно, информация об относительном положении отслеживаемого целевого человека может быть информацией, грубо представляющей относительное позиционное отношение, такое как "отслеживаемый целевой человек находится позади характерного человека". В качестве другой альтернативы, когда имеется множество людей, которое, вероятно, включает в себя отслеживаемого целевого человека среди тех, которые включены в информацию о сопровождающем человеке, информация об относительном положении может принимать представительное значение (среднее значение, конкретная точка и т.д.) координат, вычисленных по информации о множестве этих людей. Более подробно информация об относительном положении также описана ниже.

[0045] Блок 103 выбора характерного человека выводит рассчитанную информацию о характерном человеке на блок 104 отслеживания человека и выводит рассчитанную информацию об относительном положении отслеживаемого целевого человека на блок 105 расчета результата отслеживания. Следует отметить, что количество характерных людей не ограничив