Способ имплантации изображения и устройство для его осуществления

Способ имплантации изображения и устройство для его осуществления

Реферат

 

Предлагаются устройство и способ микширования изображений, таких как рекламные изображения, в видеопоток событий, происходящих в пределах главным образом неизменного пространства, такого как игровое поле. В системе использована модель пространства заднего фона для изменения видеопотока таким образом, чтобы ввести изображение в некоторое местоположение в пределах пространства заднего фона. Система включает в себя механизм захвата видеокадра и систему имплантации изображения. Механизм захвата видеокадра одновременно (в течение одного промежутка времени) выделяет единственный кадр видеосигнала. Система имплантации изображения обычно внедряет изображение в кадре на заданном участке, выбранном на поверхностях пространства заднего фона, если этот участок виден в кадре. 4 с. и 18 з.п.ф-лы, 30 ил.

Изобретение главным образом имеет отношение к объединению подготовленного изображения и видеосигнала.

Спортивные арены обычно содержат спортивные площадки, на которых происходят различные игровые состязания, имеющие места, где сидят зрители, и некую стену, разделяющую две указанных зоны. Обычно эта стена по меньшей мере частично покрыта рекламными объявлениями фирм, которые являются спонсорами соревнований. В том случае, когда производится съемка соревнования, то рекламные объявления на стене снимаются как часть спортивной арены. Реклама не может быть представлена публике целиком, если только она не снимается телекамерами.

Известны системы, которые осуществляют объединение определенных объявлений на различных поверхностях со съемкой спортивной арены. В одной из таких систем оператор определяет поверхность цели на арене. После этого система замыкается на поверхности цели и объединяет заранее выбранное объявление с участком видеопотока, соответствующим этой поверхности. Когда камера перестает быть направленной на эту поверхность, то система оставляет эту поверхность цели и оператор вновь должен указать поверхность, которая должна быть использована.

Описанная выше система работает в реальном масштабе времени. Известны и другие системы, которые осуществляют в основном такую же операцию, но не в реальном масштабе времени.

Известны другие системы для осуществления объединения данных с видеопоследовательностью. В них осуществляется вставка изображения между видеосценами, а также наложение данных изображения на определенную часть телевизионного кадра (такую как логотип телевизионной станции), и даже электронный ввод данных изображения как "замена" специфической выбранной доски объявлений. Последнее осуществляется при помощи такой техники, как цветовое кодирование.

В патенте США N 5264933 описаны устройство и способ для изменения видеоизображений, применяемые для того, чтобы осуществлять добавку рекламных изображений как части первоначально показываемого изображения. Оператор определяет, где в захваченном изображении должно быть имплантировано рекламное изображение. Система в соответствии с патентом США N 5264933 также позволяет имплантировать изображения в выбранных основных зонах широковещания, при поступлении аудиосигналов, таких как типичные выражения комментаторов.

В заявке PCT/FR 91/00296 описаны способ и устройство для модификации зоны в последовательных изображениях. В этих изображениях имеется не деформируемая зона цели, вблизи от которой отмаркирован регистр. Система производит поиск меток регистра и использует их для определения положения зоны. После этого ранее подготовленное изображение может быть наложено на эту зону. Метками регистра являются любые легко обнаруживаемые метки (такие как кресты или другие "графемы"), расположенные вблизи от зоны цели. Система в соответствии с PCT/FR 91/00296 позволяет получать захваченное изображение с множеством разрешений, которые используются системой в ее процессе идентификации.

Задачей изобретения является создание системы и способа, которые позволяют осуществлять смешение (микширование) изображений, таких как рекламные изображения, с видеопотоком действия, происходящего в пределах главным образом относительно неизменного пространства. Таким пространством может быть игровая площадка или корт, (театральная) сцена или комната, причем это место обычно выбирают ранее начала действия (например, игры или шоу). Изображения "имплантированы" в выбранную поверхность пространства заднего фона, причем термин "имплантированы" в данном случае означает, что изображения смешаны с частью видеопотока, показывающего выбранную поверхность.

В частности, в соответствии с изобретением используется априорная информация, касающаяся пространства заднего фона, который подлежит изменению в видеопотоке, таким образом, чтобы включить расположенное в некотором месте изображение в пределы пространства заднего фона. Система и способ функционируют вне зависимости от перспективного вида пространства заднего фона, имеющегося в видеопотоке.

В соответствии с предпочтительным вариантом осуществления изобретения система преимущественно включает в себя механизм захвата видеокадра и систему внедрения (имплантации) изображения. Механизм захвата кадра в любой момент времени выбирает только один кадр видеосигнала. Система имплантации изображения обычно внедряет рекламное изображение в кадре на заранее выбранном участке одной из выбранных поверхностей пространства заднего фона, если этот участок показывается в этом кадре. Для того чтобы определить участок, в который будет производиться имплантация, система имплантации изображения включает блок приема: а) плоской модели фиксированных поверхностей пространства заднего фона и б) маски изображения, указывающей участок плоской модели, с которым изображение будет объединено. При помощи модели система имплантации изображения определяет, следует ли показывать участок в кадре и в каком его месте.

Более того, в соответствии с предпочтительным вариантом осуществления изобретения система также включает в себя дизайнерскую рабочую станцию, при помощи которой могут быть созданы изображение и маска изображения, которые указывают заранее выбранную поверхность.

Кроме того, идентификация преимущественно предусматривает: а) повторный просмотр кадра и извлечение из него характеристик фиксированных поверхностей; (б) установление перспективной трансформации между моделью и извлеченными характеристиками.

Кроме того, повторный просмотр кадра и извлечение включают в себя создание маски заднего фона и маски переднего фона. Маска заднего фона указывает положения представляющих интерес характеристик, а также элементов заднего фона в кадре и используется для извлечения желательных характеристик. Маска заднего фона формируется из элементов заднего фона, которые должны оставаться неизменными.

Дополнительно, в соответствии с предпочтительным вариантом осуществления изобретения имплантация включает в себя операции: а) трансформирование изображения, маски изображения и, в случае необходимости, маски смешивания при помощи трансформации перспективы, и б) микширование (смешение) трансформированного изображения, маски изображения и опционной маски смешивания с кадром и с маской. Маска заднего фона, как это упоминалось ранее, указывает положения данных заднего фона, которые не должны быть покрыты трансформированным изображением.

Кроме того, система преимущественно включает просмотровую таблицу для преобразования множества цветов в кадре в один из цветов представляющих интерес характеристик, цветов элементов заднего фона и цвета, индицирующего элементы заднего фона. Если соответствующие цвета более не указывают представляющие интерес характеристики и элементы заднего фона (обычно в результате изменений освещения), то пользователь может указать новые цвета, которые должны указывать желательные элементы, при этом просмотровая таблица корректируется.

Кроме того, в соответствии с предпочтительным вариантом осуществления изобретения просмотровая таблица используется для создания масок заднего фона и переднего фона кадра, указывающих положение представляющих интерес характеристик, элементов заднего фона и элементов переднего фона в кадре.

В соответствии с примерным вариантом осуществления изобретения характеристиками являются линии. В соответствии с одним из вариантов они извлекаются при помощи трансформации Хуга (Hough). В соответствии с другим вариантом они извлекаются при помощи определения углов сегментов линий. При этом определяются представляющие интерес элементы изображения (пиксели) и открывается их окружение (расположенная рядом область). Окружение делится на секторы и выбирается сектор, представляющий наибольший интерес. После этого выбранный сектор расширяется и делится. В случае необходимости этот процесс повторяется.

Более того, в соответствии с предпочтительным вариантом осуществления изобретения система проецирует извлеченные характеристики на асимптотическую функцию для определения того, какая из характеристик является перспективной версией параллельных линий.

Кроме того, в соответствии с примерным вариантом осуществления изобретения пространство заднего фона представляет собой спортивную арену, имеющую отмаркированные на ней линии. Система содержит модель спортивной арены и преимущественно имеет список прямоугольников в модели и расположение их угловых точек. Система преимущественно осуществляет следующие операции: а) выбирает две вертикальные и две горизонтальные линии из извлеченных характеристик и определяет их точки пересечения; б) вырабатывает матрицу преобразования из угловых точек каждого прямоугольника модели для характеристик точек пересечения; в) трансформирует модель при помощи каждой матрицы трансформации; г) с использованием элементов заднего фона маски заднего фона производит согласование каждой модели трансформации с кадром; и д) выбирает матрицу трансформации, которая лучше всего подходит для характеристик кадра.

Более того, в соответствии с примерным вариантом осуществления изобретения параметры камеры могут быть использованы для уменьшения числа линий в кадре, необходимых для идентификации спортивных полей. В соответствии с этим вариантом происходят следующие операции: получение или экстрагирование набора координат камер; представление текущей матрицы трансформации (преобразования) как произведения матриц координаты, наклона, поворота и трансфокации, а затем определение величин наклона, поворота и трансфокации; и идентификация камеры, имеющей вычисленные значения наклона, поворота и трансфокации, и запоминание этой информации; и повторение операций получения представления и идентификации при любом прямом переходе к следующему кадру.

Теперь может быть обработан любой кадр в видеопотоке, который может быть аналогичен предшествующему кадру или который является частью нового кадра, полученного выбранной камерой.

На фиг.1 показана блок-схема системы для внедрения изображений в видеопоток, сконструированной и работающей в соответствии с предпочтительным вариантом осуществления настоящего изобретения.

На фиг. 2 - игра в теннис, которая использована в качестве примера для объяснения работы системы фиг.1.

На фиг. 3 - модель теннисного корта, полезная для понимания работы системы фиг.1.

На фиг.4 - изображение, которое должно быть имплантировано.

На фиг. 5 - маска области изображения для изображения фиг. 4 и модель фиг.3.

На фиг.6 - маска смешения для изображения фиг. 4 и модель фиг. 3 На фиг.7 - блок-схема элементов блока имплантации изображения, образующего часть системы фиг.1.

На фиг.8 - пример видеокадра, в который может быть имплантировано изображение фиг.4.

На фиг.9 - маска заднего фона, полученная из видеокадра фиг.8.

На фиг.10 - блок-схема, иллюстрирующая работу блока идентификации характеристик, образующего часть блока имплантации изображения фиг.7.

На фиг.11 - блок-схема, иллюстрирующая способ экстракции характеристик.

На фиг.12 - участок маски заднего фона.

На фиг.13 - гистограмма подсекторов маски заднего фона фиг.12, полезная для понимания способа фиг.11.

На фиг.14 - блок-схема, иллюстрирующая работу блока идентификации перспективы, образующего часть блока имплантации изображения фиг.7.

На фиг.15 - точки встречи экстрагированных характеристик фиг.9 На фиг.16 - параллельные линии перспективы, пересекающиеся (сходящиеся) в различных точках в результате несовершенства вычислений.

На фиг. 17 и 18 - гномонические проекции, полезные в понимании работы блока идентификации перспективы фиг.14.

На фиг. 19 - графическая иллюстрация примерной функции, полезной для гномонических проекций фиг.17 и 18.

На фиг.20 - подробная блок-схема, иллюстрирующая работу блока фиг. 14.

Фиг.21 и 22 помогают понять работу блока фиг.20.

На фиг.23 объясняется пользование матрицами преобразования.

Фиг. 24 полезна для понимания процесса согласования четырехугольников и геометрической модели, используемого при работе блока фиг.20.

На фиг. 25 показана блок-схема, отображающая функционирование блоков трансформации и смешения блока имплантации изображения фиг.7.

На фиг. 26 - блок-схема, отображающая способ корректировки для модернизации просмотровой таблицы, используемой в блоке имплантации изображения фиг.7.

На фиг.27 схематически показаны параметры камеры.

На фиг. 28 - блок-схема, отображающая операции матрицы преобразования в том случае, когда параметры камеры фиг.27 известны или могут быть вычислены.

На фиг.29 - таблица, полезная в понимании способа фиг.28.

На фиг. 30 - приведена блок-схема, отображающая способ работы в том случае, когда параметры камеры известны или могут быть вычислены.

Обратимся теперь к рассмотрению фиг.1, на которой показана система для микширования изображений, таких как реклама, с видеопотоком действий, происходящих в пределах относительно неизменного пространства заднего фона. Изображения имплантируют на выбранную поверхность заднего фона. Система будет описана в контексте видеосъемки теннисной игры, показанной со ссылками на фиг. 2. Следует иметь в виду, что изобретение может быть применено для всех ситуаций, в которых поверхности, на которых происходит действие, известны заранее и могут быть идентифицированы.

Система в соответствии с изобретением обычно включает в себя механизм захвата видеокадра 10 для преобразования входной видеопоследовательности (такой как игра в теннис) в видеокадры, дизайнерскую рабочую станцию 12 для осуществления дизайна изображений (таких как реклама), которые должны быть имплантированы на выбранные поверхности (такие как теннисный корт), показываемые в видеокадре, систему имплантации изображения 14 для объединения видеокадра с дизайнерским изображением, управляющую компьютерную систему 16 для управления операциями и для подключения входа оператора к системе имплантации изображения 14 и к широковещательному монитору 18.

Управляющая компьютерная система 16 типично включает в себя центральный процессор (ЦП) 20, клавиатуру 22, мышь 24, диск 26, съемный диск, такой как дискета 27, и монитор 28. Монитор 28 обычно управляется через графический адаптер, который является частью ЦП 20. Дизайнерская рабочая станция 12 обычно также имеет съемный диск, такой как дискета 27.

Управляющая компьютерная система 16 и система имплантации изображения 14 обычно сообщаются при помощи системной шины 29. Дизайнерская рабочая станция и управляющая компьютерная система 16 обычно сообщаются при помощи съемного диска.

Видеопоследовательность может быть получена из любого источника, например, такого как видеолента, с удаленной передающей станции при помощи спутника, при помощи микроволн или любого другого типа видеосообщений и т.п. Если последовательность получают со спутника, то система не имеет управления по видеочастоте. Поэтому система имплантации изображения 14 должна осуществлять ее работу в рамках видеочастоты спутника, составляющей обычно 30 мс между кадрами. Если последовательность получают при помощи видеоленты, то система имеет управление по видеочастоте и может работать с любой желательной скоростью.

Видеопоследовательность получают первоначально на игровой площадке. Как это можно видеть на фиг.2, при игре в теннис обычно используют две телевизионные камеры 30, которые следят за действиями, проистекающими на теннисном корте 32. Положение камер 30 обычно фиксированное.

Корт 32 разделен на две половины при помощи сетки 34. Каждая из половин имеет множество зон 36, обычно окрашенных первым оттенком зеленого цвета, которые разделены множеством линий 38, обычно окрашенных в белый цвет. Внешняя зона 40 корта обычно окрашена вторым оттенком зеленого.

В действительности линии 38 являются параллельными и перпендикулярными линиями. Так как камера 30 совершает "наезд" с угла, а не сверху, то в результате этого получают перспективные изображения. Поэтому на видеовыходе камер 30 параллельные линии 38 выглядят так, как будто они сходятся в бесконечности. Угол перспективы на видеовыходе изменяется при изменении углов расположения камер 30 и степени трансфокации.

В соответствии с изобретением будет имплантировано изображение 42, такое как слово "IMAGE", в желаемом положении на выбранной поверхности заднего фона, для всех углов перспективы и всех значений трансфокации. Для теннисных кортов возможными положениями являются любые прямоугольники в пределах одной из половин теннисного корта 32, ограниченные четырьмя линиями 38. Как показано на фиг.2, изображение 42 не должно перекрывать действия игроков 44; оно должно выглядеть так, словно нарисованное на поверхности корта.

Так как в действительности форма корта 32 и положение линий 38 в пределах корта 32 не изменяются, то если система имплантации изображения имеет модель игрового пространства, которая включает в себя положение, в котором должно быть имплантировано изображение, и если эта система может идентифицировать по меньшей мере углы зрения и степень трансфокации, то она может вводить изображение в видеопоследовательность таким образом, что это изображение появляется в желательном местоположении. Для того, чтобы сделать это, система имплантации изображения дополнительно должна знать цвета корта, который видят камеры. Эти цвета могут изменяться при изменении освещения (дневной свет или искусственный).

Обратимся теперь к рассмотрению фиг.3, на которой можно видеть геометрическую модель 50 теннисного корта, и к фиг.4, 5 и 6, на которых показаны данные, которые готовит дизайнер имплантации.

Дизайнер имплантации работает на дизайнерской рабочей станции 12, такой как рабочая станция BLAZE производства фирмы Scitex Corporation Ltd. of Herzlia, Israel, и обычно имеет геометрическую модель 50 теннисного корта 32, обычно в виде сверху. Модель 50 обычно является масштабной версией корта 32, причем на ней показаны элементы, подлежащие идентификации при помощи системы имплантации 14, такие как линии 38. Другие игровые площадки могут содержать круги или другие четко обозначенные кривые. Другими идентифицируемыми элементами являются пересечения 54 линий 38.

Дизайнер имплантации конструирует изображение 42 (показанное на фиг.4), которое следует имплантировать, и определяет, где на модели 50 оно должно быть размещено. Ряд возможных положений 52 показан на фиг.3. После этого дизайнер приготавливает маску локализации изображения 56 (фиг.5) для идентификации положения в пределах модели 50, где должно быть помещено изображение 42. Маска 56 светлая на модели 50 там, где должно быть помещено изображение 42, и темная в других местах.

Так как изображение 42 может иметь яркие цвета, то может быть желательно внедрять не само изображение, а его смягченную версию, чтобы не нарушать существенным образом происходящие на корте 32 действия игроков. Поэтому в случае необходимости дизайнер имплантации может приготовить маску смешивания 58 (фиг. 6), которая показывает, как изображение 42 должно быть смешано с цветами корта 32 в положении имплантации, которое указано при помощи маски положения 56. Маска смешивания 58 может быть любой подходящей маской, такой как известные сами по себе маски. На фиг.6 показана маска 58 с четырьмя зонами 59, каждая из которых показывает введение различных количеств цвета корта, в то время как внешняя зона 59 обычно содержит намного больше цвета корта, чем внутренние зоны.

Обратимся теперь вновь к фиг.1 и 2. Данные имплантации, образованные геометрической моделью 50, изображение 42, маска 56 локализации изображения и опционная маска смешивания 58 обычно приготавливаются перед теннисным матчем и поступают в систему имплантации изображения 14 обычно при помощи съемного диска, с последующей имплантацией во входную видеопоследовательность в ходе матча.

Большинство видеопоследовательностей передаваемых "живьем" по телевизору игр начинаются с исходной последовательности, которая позволяет операторам местных станций синхронизировать их системы с входной последовательностью. Это также верно и для видеоданных на ленте.

В соответствии с изобретением исходная последовательность захватывается механизмом захвата кадра 10 и поступает прежде всего на управляющую компьютерную систему 16. Оператор станции выбирает кадр с четким видом игрового поля и использует его для получения информации калибровки, как это будет описано ниже. Информация калибровки используется в системе имплантации изображения 14 для идентификации корта 32 и его характеристик (таких как линии 38). В описанном далее варианте информация калибровки содержит цвета представляющих интерес характеристик заднего фона, таких как линии поля, игровое поле (корт 32) и участок вне игрового поля (внешние зоны 40 корта). Другие принимаемые цвета могут быть определены как цвета переднего плана. Другие игровые поля могут потребовать больше или меньше характеристик для их определения и поэтому больше или меньше цветов.

Оператор станции, используя мышь 24 и клавиатуру 22, интерактивно определяет цвета калибровки. Это может быть достигнуто различными путями, один из которых описан ниже. Четвертый цветовой слой накладывается сверху над текущим кадром, который виден на контрольном мониторе 28. Первоначально четвертый цветовой слой содержит только один цвет, а именно прозрачный цвет. Поэтому первоначально текущий кадр виден.

Оператор указывает элементы изображения (пиксели), описывающие одну из трех характеристик, а именно линии 38, внутреннее игровое поле 36 и внешнее игровое поле 40. Когда он выбирает элемент изображения, то те элементы изображения в наложенном слое, которые совпадают с элементами изображения в текущем кадре, имеющими выбранный цвет, окрашиваются в единственный прозрачный цвет, в результате чего они покрывают их соответствующими элементами изображения текущий кадр. Выбранный цвет запоминается. Процесс повторяется для всех трех зон. Все не выбранные цвета относятся к четвертому цвету трансляции.

Если оператор признает четвертый цветовой слой, то создается просмотровая таблица (ПТ) между цветами, выбранными из текущего кадра, и цветами трансляции.

По желанию компьютерная система управления 16 может запоминать элементы изображения, которые выбрал оператор, для дальнейшего использования в цикле корректировки ПТ, который описан ниже со ссылкой на фиг.26.

Компьютерная система управления 16 создает данные кадра, образованные из ПТ и элементов изображения, использованных для создания ПТ, для системы имплантации изображения 14. Система 14 использует эти данные кадра для идентификации желательных характеристик в каждом кадре входного видеосигнала.

Обратимся теперь к рассмотрению фиг.7, на которой можно видеть основные элементы системы имплантации изображения 14. Для понимания работы системы 14 следует обратиться к фиг.8 и 9.

Система 14 обычно включает в себя блок идентификации характеристик 60 (фиг. 7), который определяет, какие характеристики корта 32 присутствуют в каждом входном видеокадре, и блок перспективной идентификации 62 для определения углов зрения и трансфокации активной камеры 30, а также для определения соответствующей трансформации перспективы между моделью 50 и входным видеокадром. Система 14 также включает в себя трансформатор 64 для преобразования данных имплантации из плоскости модели в плоскость просмотра изображения и смеситель 66 для смешения данных имплантации перспективы с текущим видеокадром, в результате чего происходит имплантация изображения 42 на поверхность корта 32.

Как это описано более детально ниже, блок идентификации характеристик 60 использует ПТ для создания маски заднего фона входного кадра, указывающей, какие участки кадра имеют представляющие интерес характеристики заднего фона, а какие участки являются передним фоном и поэтому не должны изменяться в последующих операциях. На фиг. 8 и 9 показаны соответственно примерный входной кадр 68 и его соответствующая маска 70 заднего фона.

Входной кадр 68 фиг. 8 включает в себя двух игроков 44 и корт 32. На маске 70 заднего фона фиг.9 показаны зоны четырех цветов. Зоны 1 - 4 являются соответственно зонами цвета линий, цвета внутреннего корта, цвета внешнего корта и остальных цветов. Следует отметить, что зоны игроков 44 отмечены цветом 4 заднего фона и покрывают другие важные зоны, такие как зоны белых линий 1.

Блок 60 (фиг.7) извлекает из маски заднего фона 70 характеристики игрового поля. Для теннисного корта представляющими интерес характеристиками являются линии 38. Блок идентификации перспективы 62 сравнивает извлеченные характеристики с характеристиками модели 50 и создает из них матрицу преобразования (транформации).

При использовании маски преобразования трансформатор 64 преобразует данные имплантации изображения (то есть подлежащее имплантации изображение 42, маску локализации изображения 56 и маску смешивания 58) в перспективу входного видеокадра.

Наконец, при использовании маски локализации трансформированного изображения 56 и маски заднего фона 70 микшер 66 имплантирует перспективную версию изображения 42 в желательные участки заднего фона входного видеокадра. Так, например, когда игроки перемещаются на одной из частей корта 32, где имплантировано изображение 42, они будут перемещаться "над" имплантированным изображением. Если есть такое желание, то трансформированная маска смешивания 58 может быть использована для смешивания изображения 42 с цветами поля, на которое изображение 42 имплантировано.

Обратимся теперь к рассмотрению фиг.10, на которой детализирована работа блока идентификации характеристик 60. При осуществлении операции 72 блок 60 использует ПТ для одного многоцветного входного видеокадра в четырехцветное изображение, именуемое маской 70 заднего фона. В частности, для теннисного корта 32 ПТ имеет первое значение для пикселей, имеющих цвет линий 38, второе значение для пикселей, имеющих цвета внутреннего корта 36, третье значение для пикселей, имеющих цвета внешнего корта 40, и четвертое значение (указывающее пиксели заднего фона) для остальных пикселей. Это отображено на фиг. 9. ПТ может быть внедрена при помощи любого подходящего метода, которые известны сами по себе.

Маска заднего фона 70 не только определяет, какие пиксели принадлежат к представляющему интерес заднему фону, но и включает в себя представляющие интерес характеристики, такие как линии 38. Так, например, при проведении операции 74 блок идентификации характеристик 60 производит обработку маски заднего фона 70 для извлечения из нее представляющих интерес характеристик. Обычно, хотя и не обязательно, ПТ обычно проектируется так, чтобы выдавать характеристики единственным значением цвета.

В примере, относящемся к теннисному матчу, экстракция предусматривает повторный просмотр тех пикселей маски заднего фона 70, которые имеют первое значение, и экстрагирование из них прямых сегментов. Операция 74, например, может быть осуществлена при помощи преобразования Хуга, воздействующего на маску заднего фона 70. Преобразование Хуга описано на с. 121-126 книги Digital Picture Processing, Второе издание, том 2, 1982.

Результатом является решетка линейных параметров, каждый из которых описывает один прямой сегмент в маске заднего фона 70. Линейные параметры для каждого сегмента включают в себя коэффициенты линейного уравнения, описывающего его, также как и весовое значение, указывающее число пикселей, включенных в сегмент.

Альтернативный способ экстракции (извлечения) показан на фиг.11, 12 и 13. Как показано в общем виде на фиг.11, способ начинается с первого пикселя 69 (фиг. 12) маски заднего фона 70, имеющего представляющий интерес цвет (в данном примере белый), затем рассматривается окружающая его область 75 для определения, где здесь находятся более белые пиксели (отмеченные затенением). Для того, чтобы это сделать, окружающая область 75 делится на подсекторы 71-74 заранее определенного размера и строится гистограмма распределения белых пикселей в каждом подсекторе. На фиг.13 показана гистограмма для секторов 71-74 фиг.12 Один из подсекторов с высоким максимумом (подсектор 73) выбран как следующий сектор для поиска.

При осуществлении следующей операции выбирается новая окружающая область 78, которая состоит из выбранного подсектора 73 и его расширения. Полная окружающая область 78 вдвое длиннее окружающей области 75. Эта новая окружающая область 78 подразделяется на четыре подсектора 76 и процесс повторяется.

Этот процесс продолжается до выполнения одного из следующих критериев: подсектор достаточно узок, чтобы его определить как прямую линию; в гистограмме нет высокого максимума; Если выполняется условие 1, то запоминаются коэффициенты прямой линии; затем "окрашиваются" пиксели, образующие прямую линию, таким образом, чтобы иметь "остаточный цвет", и устраняются из поиска.

При осуществлении процесса экстракции характеристики получают решетку возможных характеристик, которая включает в себя как истинные характеристики, так и прямые линии.

Обратимся теперь к фиг.14, на которой показана в общем виде работа блока идентификации перспективы 62 фиг.7. Фиг.15 и 16 полезны в понимании работы блока 62 в целом, на фиг.20 приведены детали работы блока 62 для примера теннисного корта 32, а фиг.17, 18, 19, 21 и 22 полезны для понимания показанных на фиг.20 операций.

Используя априорную информацию блок 62 в операции 80 производит обработку возможных характеристик и определяет, какая из них вероятнее всего является характеристикой, представляющей интерес. При проведении операции 82 блок 62 выбирает минимальный набор характеристик из результирующих истинных характеристик и пытается согласовать их с характеристиками модели 50. Процесс повторяется с необходимой частотой до получения согласования. При проведении операции 84 согласованные характеристики используют для выработки матрицы М трансформации, преобразующей модель в характеристики входного видеокадра.

В примере теннисного корта 32 при операции 80 используется тот факт, что линии 38 модели 50 параллельны в двух направлениях (вертикальном и горизонтальном) и что в перспективном изображении (таком как во входном видеокадре) линии, которые параллельны в действительности, пересекаются в конечной точке. Это показано на фиг.15, на которой все извлеченные линейные сегменты, показанные основными линиями, продолжены пунктиром. Перспективные линии, которые соответствуют в действительности параллельным линиям (например, псевдопараллельные линии 90), пересекаются в точке 91, удаленной от внешних краев 92 кадра. Все другие пересечения 94 происходят в пределах границ 92 или вблизи от них.

Однако, как показано на фиг.16, в результате ошибок цифрового преобразования может случиться так, что три псевдопараллельные линии встречаются не в единственной точке, а встреча происходит в трех разделенных точках 96.

Заявители пришли к выводу, что если перспективные параллельные линии не встречаются в бесконечности, то проекция экстрагированных линий в асимптотическую функцию будет создавать точки пересечения, расположенные вблизи друг от друга. Поэтому в соответствии с предпочтительным вариантом осуществления изобретения извлеченные линейные сегменты проецируются на двумерную асимптотическую функцию. Одна из таких проекций известна как "гномоническая проекция" и описана на с. 258, 259 и 275 книги Robot Vision, 1986, включенных в качестве ссылки. Примеры гномонической проекции показаны на фиг.17 и 18.

В гномонической проекции точка 100 в плоскости XY 102 проецируется в точку 100' на полусфере 104. Линия 106 в плоскости XY проецируется в большую дугу 106' на полусфере 104 (то есть в дугу большого круга сферы). Начальная точка отображается южным полюсом 109, а бесконечность отображена экватором 108. Таким образом, любой кластер 110 (фиг.18) точек вблизи экватора 108 отражает пересечения псевдопараллельных линий, поэтому линии, которые имеют точки, проходящие через кластер 110, являются параллельными линиями.

На фиг.18 показано множество больших дуг 120a-120f, соответствующих некоторым случайным извлеченным линейным сегментам (не показаны). Три дуги 120a - 120c имеют точку пересечения 122, которая образует кластер 110a вблизи экватора 108. Большие дуги 120d-120f также пересекаются вблизи от экватора в кластере 110b. Все большие дуги пересекаются друг с другом, однако их другие пересечения расположены ближе к южному полюсу 109, чем к экватору 108.

При осуществлении операции 130 (фиг.20) гномоническая проекция использована для создания больших дуг из решетки сегментов прямых линий, полученных при экстракции характеристик (операция 74, фиг.10).

При проведении операции 132 производится поиск зоны вокруг экватора 108, чтобы найти все точки пересечения 122. Каждой точке пересечения присваивается величина V_k, которая является функцией весов W_i линейных сегментов, которые пересекаются, и координаты Z точки пересечения 122. Пример функции V_k дан уравнением (1).

V_k=W_{линия 1}W_{линия 2} f(Z_{точка пересечения}) где f (Z_{точка пересечения}) представляет собой любую функцию, образующую кривую, аналогичную кривой 134 фиг.19, в которой большинство точек имеет низкое значение, и только точки, близкие к экватору 108 (Z=1), имеют значения, близкие к 1. Например, f(Z_{точка пересечения} может быть Z⁵.

При проведении операции 136 небольшая область, окружающая точку пересечения 122, просматривается для поиска других точек пересечения. Если таковые находят, то известная точка пересечения и найденные точки пересечения запоминают как кластер 110 (фиг.18). Кластер 110 также определен как тот, в котором значение f (Z_{точка пересечения}) превышает заданный порог. Таким образом, кластер 110 может включать в себя только одну точку пересечения. На фиг. 18 показаны три кластера 110a- 110c, один из которых, а именно кластер 110c, включает в себя только одну точку пересечения 122.

После того как все точки найдены, положение каждого кластера 110 определяется нахождением "центра тяжести" точек кластера. Вес кластера 110 является суммой значений V_k точек кластера.

При проведении операции 138 выбирают два кластера с наибольшими весами. Для показанного на фиг.18 примера выбирают кластеры 110a и 110b.

При проведении операции 140 принимают, что один кластер представляет "вертикальные" линии, а другой представляет "горизонтальные" линии. При проведении операции 140 также соответственно маркируют как "вертикальные" или "горизонтальные" прямые сегменты, соответствующие линиям двух выбранных кластеров.

При проведении операции 142 повторно просматривают "вертикальные" и "горизонтальные" линии и выбирают две вертикальные и две горизонтальные линии с самым "тяжелым" весом, что определяют при помощи значений W_i Выбранные для линиq фиг.15 линии 146 показаны на фиг.21. При проведении операции 144 определяют и запоминают точки пересечения A, B, C и D четырех выбранных линий. Как показано на фиг.21. выбранные линии могут пересекаться вне кадра.

Операции 130-144 необходимы для идентификации истинных характеристик в видеокадре (операция 80 фиг. 14). По завершении операции 144 получают характеристики, которые должны соответствовать модели. В остальных операциях согласовывают характеристики с моделью и