Система и способ для коррекции размера головы в 360-градусных панорамных изображениях

Система и способ для коррекции размера головы в 360-градусных панорамных изображениях

Иллюстрации

Показать все

Реферат

Настоящая заявка является заявкой, поданной в частичное продолжение заявки №10/186915, поданной 28 июня 2002 г. и озаглавленной «Система и способ коррекции в реальном времени широкоугольных изображений для компьютерной визуализации изображений».

Область техники

Настоящее изобретение относится в целом к визуализации изображений с использованием компьютера, более конкретно - к системе и способу для коррекции в реальном времени панорамных изображений, снимаемых всенаправленной камерой, для решения проблем искажений и восприятия, связанных с такими изображениями.

Предшествующий уровень техники

Широкоугольные камеры, обычно имеющие поле зрения больше 60 градусов, часто используются для съемки больших сцен. Широкоугольное изображение, снимаемое широкоугольной камерой, может просматриваться с использованием, по меньшей мере, двух типов проекций. Линейная перспективная и цилиндрическая проекции являются наиболее типичными проекциями, используемыми для просмотра широкоугольных представлений.

Линейная перспективная проекция является изображением, снятым широкоугольной линзой, которое проецируется на плоский участок пленки. Линейная перспективная проекция сохраняет прямые линии прямыми ценой поддержания формы. Это обуславливает деформации перспективы. Это изображение должно представляться корректным и не деформированным, если наблюдатель изображения помещает свой глаз в центр проекции. Однако, если просматривать широкоугольное изображение с меньшим полем зрения, то наблюдатель ожидает меньших увеличений размеров изображения, а также меньшей величины деформации на плоскостях изображения, когда объект поворачивается. Поэтому объекты представляются растянутыми на краях. Бóльшие, чем ожидаемые, изменения в размерах и деформации в плоскости изображения создают у наблюдателя ощущение, что сцена не неподвижна, как если бы сцена проплывала вокруг наблюдателя, особенно при наблюдении панорамных изображений.

Цилиндрическая проекция формируется с использованием широкоугольной камеры, имеющей искривленную пленку и поворотную щелевую линзу. Цилиндрические проекции дают лучший результат в поддержании формы, чем линейные проекции. Кроме того, цилиндрическая проекция ослабляет любое видимое плавающее движение. Даже если цилиндрическая проекция является видимым усовершенствованием по сравнению с линейной проекцией, проблемы искажения и восприятия по-прежнему присутствуют. В частности, цилиндрическая проекция искривляет прямые линии больше, чем необходимо. Кроме того, цилиндрическая проекция удаляет почти полностью иллюзию поворота головы при просмотре панорамных изображений.

Проблемы искажений и кривизны в широкоугольных изображениях вызываются рассогласованием поля зрения. В частности, ввиду ограниченного размера наблюдения на компьютерных мониторах и стандартных расстояний наблюдения угол, стягиваемый изображением, при наблюдении намного меньше, чем поле зрения камеры, которая первоначально проецировала сцену на плоскость изображения. Это рассогласование является причиной многих проблем искажения и восприятия.

Связанной проблемой, обусловленной наблюдением широкоугольных изображений при меньшем поле зрения во время наблюдения, является неправильное восприятие глубины. Широкоугольные изображения гиперболизируют несоразмерность между ближними и удаленными объектами. Важным признаком, облегчающим визуальное восприятие глубины объекта в сцене, является отношение между размерами изображения сходных объектов, размещенных в ближнем и удаленном местоположениях (называемое отношением эффекта близорукости (укорочения) по глубине). Меньшее поле зрения приводит в результате к меньшему эффекту близорукости. Например, предположим, что сцена содержит две персоны, стоящие рядом друг с другом, причем одна персона находится несколько дальше от камеры, чем другая персона. Если сцена снимается камерой с обычным (примерно 60-градусным) полем зрения и та же самая сцена снимается камерой с широкоугольным полем зрения, то размер объектов в сцене будет представляться различным. В частности, в случае камеры с обычным полем зрения персона, находящаяся дальше от камеры, будет представляться несколько дальше от камеры, чем другая персона. Однако в случае камеры с широкоугольным полем зрения персона, удаленная от камеры, будет представляться намного меньшей, чем другая персона. Из-за этого преувеличенного различия размеров персона, находящаяся дальше от камеры, представляется находящейся намного дальше, чем она находится на самом деле. Если широкоугольное изображение сцены с глубиной (такой, как сцена видеоконференции) просматривается на компьютерном мониторе, поле зрения наблюдателя обычно намного меньше, чем поле зрения действительных изображений. Поэтому глубина, воспринимаемая наблюдателем, намного больше, чем действительная глубина.

Одним приложением, где проявляются эти проблемы искажения и восприятия, являются системы видеоконференции. Широкоугольные камеры часто используются в системах видеоконференции для съемки и передачи изображения, содержащего всех участников, присутствующих в помещении, где проходит заседание. Одной проблемой, однако, является то, что при наблюдении видеоконференции широкоугольное изображение гиперболизирует глубину помещения. Это приводит к тому, что люди в середине изображения (которые обычно наиболее удалены от камеры) представляются очень маленькими по сравнению с другими, находящимися в помещении, ввиду чрезмерного эффекта близорукости.

Эти проблемы искажения и восприятия, типичные для изображений широкоугольной камеры, являются еще более заметными при просмотре панорамных изображений, охватывающих 360-градусное поле зрения. Панорамное изображение может генерироваться путем совмещения и стыковки входных изображений, которые снимаются одной камерой. Альтернативно, панорамное изображение может быть создано с использованием множества камер для съемки входных изображений и стыковки их вместе. Например, это имеет место, когда множество камер используется для генерации панорамного видео. По существу, создание панорамного видео влечет за собой съемку множества видео, изображающих полное 360-градусное представление окружающей сцены. Камерное оборудование, состоящее из множества камер, расположенных встречно-параллельно, иногда используется для съемки этих видео. Стыковочная таблица, которая отображает пиксельные позиции во входных изображениях на пиксельные позиции в панорамном изображении, обычно используется для стыковки изображений вместе в панорамное изображение. Эти 360-градусные всенаправленные камеры использовались для записи заседаний и видеоконференций. Камера обычно помещается в центре стола, вокруг которого сидят участники заседания. Если стол в зале заседания имеет прямоугольную форму, размеры голов людей на панорамных изображениях будут варьироваться в зависимости от их расстояния до камеры. Например, персона, которая сидит у дальнего конца стола, будет представляться намного меньшей, чем персона, которая сидит близко к камере. Такие вариации размера голов на панорамных изображениях выглядят непривлекательно визуально, и часто трудно распознать людей, сидящих у дальнего конца стола, или различить их выражения.

Другой проблемой с видеоконференцией, использующей панорамные изображения, является то, что некоторые всенаправленные камеры генерируют панорамное изображение с 3700×600 пикселями, а большинство пользователей имеет лишь дисплеи с 1024×768 пикселями, что позволяет отображать только панораму с 1024×166 пикселями. При таком сильном уменьшении в разрешении людей на дальнем конце столов невозможно рассматривать без нормировки размеров голов.

Соответственно, существует потребность в системе и способе для коррекции в реальном времени изображений, снимаемых панорамной камерой, для преодоления проблем искажения и восприятия, связанных с такими изображениями. Эта система и способ должны нормировать размеры голов в панорамных изображениях и позволять наблюдение персон в изображениях на мониторах со стандартным разрешением. Дополнительно эта система и способ должны быть простыми в настройке и работе и должны быть эффективными с точки зрения объема вычислений.

Сущность изобретения

Система и способ, соответствующие изобретению, обеспечивают возможность коррекции в реальном времени искажений и несовершенств восприятия в примерно 360-градусном панорамном изображении. Система и способ, соответствующие изобретению, система и способ коррекции в реальном времени панорамных изображений используют параметрические функции деформирования изображений, в частности функции пространственно изменяющегося равномерного (SVU) масштабирования, для деформации панорамного изображения для коррекции размеров голов людей, при этом без введения прерывности. SVU-функции были описаны в патентной заявке №10/186915, поданной 28 июня 2002 г. и озаглавленной «Система и способ коррекции в реальном времени широкоугольных изображений для компьютерной визуализации изображений». Однако эта предшествующая патентная заявка использовала данный метод только для изображений до 180-градусного поля зрения. В настоящем изобретении функция SVU-масштабирования применяется к почти 360-градусным панорамным изображениям, принимая во внимание горизонтальные характеристики, такие как геометрия стола в зале заседаний и плоскость, касательная к головам участников заседания. В вышеуказанной патентной заявке функция SVU-масштабирования использовалась вплоть до 180-градусных изображений, которые обычно генерируются широкоугольной камерой, размещенной на одном конце стола в зале заседания. В противоположность этому 360-градусная всенаправленная камера обычно располагается в центре стола. Поэтому верхняя и нижняя кривые, используемые для вычисления функции SVU-масштабирования для широкоугольных изображений и примерно почти 360-градусных панорамных изображений, являются различными.

Система и способ коррекции в реальном времени панорамных изображений обеспечивают нормировку размеров голов, делая удаленные объекты, например головы, представляющимися более близкими и поэтому увеличенными. Находящиеся ближе головы, имеющие большие размеры, также представляются меньшими. В результате люди, находящиеся на удаленном конце стола, представляются с увеличенными размерами и различаются даже на 1024×166-пиксельных дисплеях. В одном варианте осуществления системы и способа, соответствующих изобретению, пользователь также выбирает форму и размер стола в помещении конференции, и система коррекции в реальном времени панорамного изображения модифицирует таблицу стыковки панорамного изображения для согласования со столом в зале заседания, так что размеры голов участников заседания нормируются в то же время, когда вычисляется стыковка изображений.

В принципе, в одном варианте осуществления изобретения способ коррекции в реальном времени панорамного изображения вводит панорамное изображение, причем удаленные объекты намного меньше, чем объекты, близкие к камере, а также параметры горизонтальных характеристик в изображении, такие как размеры стола и макушек голов людей. Затем он корректирует преувеличенную глубину и горизонтальное искажение и выводит скорректированное панорамное изображение. Коррекции выполняются с использованием класса функций деформации изображения, которые предназначены для минимизации внесения новых искажений при преодолении большинства проблем, связанных с панорамными изображениями. Этот класс функций деформации изображений включает в себя функции пространственно изменяющегося равномерного (SVU) масштабирования. В принципе, масштабирование выполняется на локальном уровне при сохранении глобального контекста. Для приложений видеоконференции это означает, что деформация изображения увеличивает масштаб изображения удаленных людей без искажения каждого индивидуума и сохраняя контекст помещения.

В варианте осуществления, описанном выше, способ коррекции в реальном времени панорамного изображения предусматривает прием пиксельных координат почти 360-градусного панорамного изображения и размеры горизонтальных характеристик и выполнение вертикального и горизонтального масштабирования над пиксельными координатами панорамного изображения. Масштабирование выполняется с использованием параметрических функций деформирования изображений. Это масштабирование дает в результате предварительную таблицу деформирования, которая соответствует изображению, которое сохраняет вертикальные линии прямыми, но может искажать горизонтальные линии. Результирующий выход представляет собой таблицу деформирования изображений, которая отображает пиксельные координаты скорректированного изображения на пиксельные координаты первоначального изображения. Иными словами, таблица деформирования изображений определяет позицию каждой из первоначальных пиксельных координат в новом скорректированном панорамном изображении. Скорректированное панорамное изображение формируется в реальном времени из первоначального панорамного изображения.

В другом варианте осуществления изобретения таблица деформирования изображений конкатенируется с таблицей стыковки, чтобы повысить вычислительную эффективность и обеспечить возможность нормировки размеров голов, когда входные изображения состыковываются в панорамное изображение. В этом варианте осуществления набор изображений состыковывается в виртуально состыкованное панорамное изображение с использованием таблицы стыковки. Помимо набора изображений также вводятся параметры горизонтальных характеристик. Виртуальное панорамное изображение используется для вычисления таблицы деформирования изображений, которая затем конкатенируется с таблицей стыковки. Эта состыкованная таблица деформирования изображений и стыковки затем используется для стыковки набора входных изображений в актуальное скорректированное по искажениям панорамное изображение.

Для обоих вышеописанных вариантов осуществления вертикальные и горизонтальные искажения корректируются с использованием таблицы деформирования изображений или конкатенированной таблицы стыковки и деформирования изображений, как применимо.

Вертикальное масштабирование выполняется индивидуально по каждой вертикальной линии развертки в панорамном изображении или виртуальном панорамном изображении с использованием параметрических функций деформирования изображений и коэффициента деформирования. Основной коэффициент масштабирования вычисляется с использованием исходных кривых, коэффициента деформирования и целевых кривых, вычисленных на основе исходных кривых и коэффициента деформирования. Один аспект изобретения включает исходные кривые и коэффициент деформирования, определенные пользователем. Альтернативно исходные кривые могут быть автоматически вычислены из геометрии горизонтальных характеристик и параметров камеры для данного коэффициента деформирования. Основной коэффициент масштабирования используется для масштабирования пиксельных координат в вертикальном направлении. В виртуальном смысле - это вертикальное масштабирование «растягивает»/«сужает» панорамное изображение (или виртуальное панорамное изображение) по вертикали для выбранной вертикальной линии развертки на величину основного коэффициента масштабирования. Горизонтальное масштабирование вертикальной линии развертки также выполняется и использует тот же самый основной коэффициент масштабирования для сохранения соотношения размеров. Подобно вертикальному масштабированию, горизонтальное масштабирование может интерпретироваться в виртуальном смысле как локальное «растяжение»/«сужение» ширины вертикальной линии развертки панорамного изображения горизонтально на величину основного коэффициента масштабирования. В виртуальном смысле путем применения вертикального или горизонтального масштабирования к первоначальному панорамному изображению или виртуальному панорамному изображению в случае набора несостыкованных входных изображений получают предварительно скорректированное изображение. Для ускорения вычислений генерируется предварительная таблица деформирования, которая отображает предварительные пиксельные координаты предварительно скорректированного изображения на пиксельные координаты первоначального изображения.

Горизонтальное искажение корректируется путем деления предварительной таблицы деформирования на секции в соответствии с позициями пиксельных координат. Каждая из этих секций вертикально масштабируется с использованием различных коэффициентов масштабирования. В одном аспекте изобретения первая секция определяется как содержащая пиксельные координаты, соответствующие пикселям, расположенным между нижней исходной кривой и верхней исходной кривой. Основной коэффициент масштабирования затем используется для вертикального масштабирования пиксельных координат в этой секции. Пиксельные координаты в других секциях масштабируются вертикально с использованием вторичного коэффициента масштабирования, который имеет значение, отличающееся от основного коэффициента масштабирования. Для того чтобы сохранить непрерывность, каждая из секций соединяется с использованием сглаживающей функции. Как только процесс коррекции горизонтальных искажений выполнен над пиксельными координатами в предварительной таблице деформирования, генерируется таблица деформирования изображений. С использованием этой таблицы деформирования выполняется деформирование в реальном времени панорамного изображения для формирования скорректированного панорамного изображения в реальном времени. Как объяснено выше, в одном варианте осуществления изобретения таблица деформирования конкатенируется с таблицей стыковки, чтобы повысить вычислительную эффективность путем коррекции панорамного изображения при его стыковке.

Краткое описание чертежей

Настоящее изобретение может дополнительно поясняться со ссылкой на последующее описание и приложенные чертежи, которые иллюстрируют аспекты изобретения. Другие признаки и преимущества будут очевидны из последующего детального описания изобретения, иллюстрируемого чертежами, которые поясняют на примере принципы настоящего изобретения.

Фиг.1 - изображение, снятое 360-градусной панорамной камерой в зале заседания.

Фиг.2 - изображение по Фиг.1, скорректированное посредством системы и способа коррекции в реальном времени панорамного изображения, соответствующих изобретению.

Фиг.3 - верхние и нижние кривые для функции SVU-масштабирования (зеленые кривые) для 180-градусных изображений.

Фиг.4 - верхние и нижние кривые для функции SVU-масштабирования (зеленые кривые) для 360-градусных панорамных изображений.

Фиг.5А - блок-схема, иллюстрирующая общий вид варианта осуществления системы коррекции в реальном времени панорамных изображений, соответствующей изобретению.

Фиг.5В - блок-схема, иллюстрирующая общий вид другого варианта осуществления системы коррекции в реальном времени панорамных изображений, соответствующей изобретению, которая использует конкатенированную таблицу стыковки и деформирования изображений.

Фиг.6 - блок-схема, иллюстрирующая вычислительное устройство, подходящее для выполнения изобретения.

Фиг.7 - блок-схема, иллюстрирующая детали модуля генерации таблицы деформирования изображений системы коррекции в реальном времени панорамных изображений, показанной на Фиг.5А и 5В.

Фиг.8А - обобщенная блок-схема, иллюстрирующая работу системы коррекции в реальном времени панорамных изображений, показанной на Фиг.5А.

Фиг.8В - обобщенная блок-схема, иллюстрирующая работу системы коррекции в реальном времени панорамных изображений, показанной на Фиг.5В.

Фиг.9 - блок-схема, иллюстрирующая детали модуля вертикального масштабирования, показанного на Фиг.7.

Фиг.10 - иллюстрация определения функции деформирования изображений посредством двух наборов кривых.

Фиг.11 - диаграмма, демонстрирующая проекцию краев таблицы на цилиндрическую пленку (в предположении стандартной ориентации камеры).

Фиг.12 - блок-схема, иллюстрирующая детали модуля горизонтального масштабирования, показанного на Фиг.7.

Фиг.13 - блок-схема, иллюстрирующая детали модуля горизонтального масштабирования, показанного на Фиг.7.

Фиг.14 - иллюстрация функции вертикального масштабирования и концептуальное представление деления предварительных пиксельных координат на три секции.

Фиг.15 - представление заполненного скорректированного панорамного изображения, где дополнительные пиксели добавлены по периметру изображения, так что оно соответствует стандартному размеру для сетевой передачи или отображения.

Детальное описание изобретения

В последующем описании изобретения ссылки делаются на иллюстрирующие чертежи, которые образуют его часть и на которых для иллюстрации показан конкретный пример, посредством которого может быть реализовано изобретение. Следует иметь в виду, что могут быть использованы другие варианты осуществления и могут быть выполнены структурные изменения без отклонения от объема настоящего изобретения.

1.0 Общие сведения

На Фиг.1 представлено изображение, снятое 360-градусной всенаправленной камерой, расположенной в середине стола в зале заседаний. Эта конфигурация камеры типична для условий, которые могут быть использованы в приложении видеоконференций. На Фиг.1 можно видеть, что человек в белом представляется намного меньшим, чем другие два человека. Причина этого состоит в том, что человек в белом сидит дальше всех от камеры. Прежде всего, человек в белом намного меньше виден и представляется более удаленным от наблюдателя, тем самым влияя на восприятие информационного обмена в реальном времени. Во-вторых, размер изображения обычно ограничен вследствие ограничения ширины полосы сети и вследствие ограниченного пространства экрана. Многие переданные пиксели теряются, если изображения людей очень маленькие. Поэтому желательно скорректировать размеры изображений голов людей, чтобы максимально использовать число пикселей, которые передаются и отображаются. Фиг.2 показывает изображение по Фиг.1, скорректированное с использованием системы и способа коррекции в реальном времени панорамного изображения.

Система и способ коррекции в реальном времени панорамного изображения используют метод коррекции или нормировки размеров изображений голов людей, не создавая нарушений непрерывности изображений. Этот метод является расширением функции SVU-масштабирования, как описано в патентной заявке №10/186915, поданной 28 июня 2002 г. и озаглавленной «Система и способ коррекции в реальном времени широкоугольных изображений для компьютерной визуализации изображений». В этой предшествующей патентной заявке функция SVU-масштабирования использовалась для 180-градусных изображений, которые обычно генерируются широкоугольной камерой, размещенной на одном конце стола в зале заседания. В противоположность этому, как описано выше, 360-градусная всенаправленная камера обычно располагается в центре стола. Поэтому верхняя и нижняя кривые, используемые для вычисления функции SVU-масштабирования, генерируемой для 360-градусных панорамных изображений, отличаются от используемых в широкоугольных изображениях (например, до 180 градусов). Фиг.3 показывает исходные верхние и нижние кривые, используемые для вычисления функции SVU-масштабирования (зеленые кривые) для 180-градусных изображений. Фиг.4 показывает верхние и нижние исходные кривые для вычисления функции SVU-масштабирования (зеленые кривые) для 360-градусных панорамных изображений. При условии задания зеленых исходных кривых и целевых кривых (красные кривые) можно генерировать функции SVU-масштабирования тем же способом, как описано в вышеуказанной патентной заявке.

Подобно вышеупомянутой совместно поданной патентной заявке, коррекция панорамного изображения достигается с использованием класса параметрических функций деформирования изображений, называемых функциями пространственно изменяющегося равномерного (SVU) масштабирования, которые сохраняют локальные перспективы масштабирования и корректируют неправильное восприятие глубины. Функции SVU-масштабирования и коэффициенты масштабирования используются для выполнения вертикального масштабирования и горизонтального масштабирования на пиксельных координатах изображения. Это формирует предварительную таблицу деформирования изображения, которая отображает пиксельные местоположения предварительно скорректированного изображения на первоначальные пиксельные координаты. Это предварительно скорректированное изображение является виртуальным изображением, а не действительно построенным изображением. Однако предварительно скорректированное изображение поддерживает вертикальные линии прямыми, но искажает горизонтальные линии. Это горизонтальное искажение корректируется выполнением горизонтальной коррекции искажений с использованием функции SVU-масштабирования и, по меньшей мере, двух различных коэффициентов масштабирования. Эта обработка дает таблицу деформирования изображения. Таблица деформирования изображения отображает позиции в скорректированном панорамном изображении на первоначальные пиксельные координаты в искаженном панорамном изображении. В некоторых вариантах осуществления изобретения, где изображения состыковываются для создания панорамного изображения, таблица деформирования может конкатенироваться с таблицей стыковки для повышения вычислительной эффективности. С использованием таблицы деформирования изображения или конкатенированной таблицы стыковки и деформирования изображений скорректированное панорамное изображение формируется в реальном времени из первоначального панорамного изображения.

Фиг.5А представляет блок-схему, иллюстрирующую общий вид варианта осуществления системы 500А коррекции в реальном времени панорамных изображений, соответствующей изобретению. В принципе, система 500А получает геометрию 505 горизонтальной характеристики (например, геометрию стола в зале заседания и плоскость, касательную к макушкам голов людей) и панорамное изображение 510 и вводит геометрию 505 горизонтальной характеристики и пиксельные координаты 520 панорамного изображения, соответствующие координатам каждого пикселя в панорамном изображении. Геометрия 505 горизонтальной характеристики и пиксельные координаты 520 панорамного изображения обрабатываются системой 500А коррекции в реальном времени панорамных изображений, и выводится скорректированное панорамное изображение 530.

Панорамное изображение 510 может представлять собой единое состыкованное изображение (как с неподвижной камеры) или часть последовательности изображений (как с видеокамеры). Координаты каждого пикселя в панорамном изображении 510 получаются для генерации пиксельных координат 520 панорамного изображения. Например, в кадре прямолинейных координат пиксельные координаты 520 представляют собой (x,y)-местоположения каждого пикселя в панорамном изображении 510, которое в типовом случае соответствует последовательности изображений, которые были состыкованы для получения панорамного изображения. Модуль 500А коррекции в реальном времени панорамного изображения включает в себя модуль 540 генерации таблицы деформирования, таблицу 550 деформирования и систему 560 деформирования изображения в реальном времени.

Модуль 540 генерации таблицы деформирования используется для генерации таблицы 550 деформирования с использованием параметрических функций деформирования изображений. Пиксельные координаты 520 панорамного изображения обрабатываются для создания таблицы 550 деформирования. Детали модуля 540 генерации таблицы деформирования описаны ниже. Таблица 550 деформирования содержит пиксельные координаты 520 панорамного изображения, упорядоченные таким образом, чтобы соответствовать местоположению в скорректированном панорамном изображении 530. Таким образом, таблица 550 деформирования определяет новое местоположение в скорректированном панорамном изображении 530 для пиксельных координат 520 панорамного изображения.

Как только таблица 550 деформирования сформирована, панорамное изображение 510 принимается в качестве входа в систему 560 деформирования изображения в реальном времени. Система 560 деформирования изображения в реальном времени применяет таблицу 550 деформирования к панорамному изображению 510 для создания скорректированного панорамного изображения 530. Система 560 деформирования изображения в реальном времени создает скорректированное панорамное изображение 530 для каждого местоположения в скорректированном панорамном изображении 530 путем получения RGB-значений для панорамного изображения 510, расположенных соответственно пиксельным координатам, содержащимся в таблице 550 деформирования. RGB-значения для панорамных пиксельных координат 520 перемещаются, таким образом, в скорректированное панорамное изображение 530. Новое местоположение определяется с использованием таблицы 550 деформирования. Следует отметить, что может использоваться любое цветовое пространство, например YUV.

В другом варианте осуществления изобретения 500В, показанном на Фиг.5В, таблица деформирования конкатенируется с таблицей стыковки, используемой для состыковывания вместе панорамного изображения. В этом варианте осуществления набор входных изображений 512 состыковывается в виртуальное панорамное изображение 515 и пиксельные координаты изображения для виртуального состыкованного панорамного изображения 522 вводятся в систему 500В. Модуль 500В коррекции в реальном времени панорамного изображения включает в себя модуль 540 генерации таблицы деформирования, таблицу 550 деформирования, конкатенированную таблицу стыковки и деформирования (более подробно описанную в разделе 4.5) и систему 560 деформирования изображения в реальном времени.

Модуль 540 генерации таблицы деформирования используется для генерации таблицы 550 деформирования с использованием параметрических функций деформирования изображений. Пиксельные координаты 522 виртуального панорамного изображения 515 обрабатываются для создания таблицы 550 деформирования. Детали модуля 540 генерации таблицы деформирования описаны ниже. Таблица 550 деформирования содержит пиксельные координаты 522 панорамного изображения, упорядоченные таким образом, чтобы соответствовать местоположению в скорректированном панорамном изображении 530. Таким образом, таблица 550 деформирования определяет новое местоположение в скорректированном панорамном изображении 530 для пиксельных координат 522 панорамного изображения.

Как только таблица 550 деформирования сформирована, она конкатенируется с таблицей стыковки, чтобы состыковывать набор входных изображений 512 для создания конкатенированной таблицы 555 деформирования и стыковки. Набор входных изображений 512 принимается в качестве входа в систему 560 деформирования изображения в реальном времени. Система 560 деформирования изображения в реальном времени применяет конкатенированную таблицу 555 деформирования и стыковки к набору входных изображений 512 для создания скорректированного панорамного изображения 530. Система 560 деформирования изображения в реальном времени создает скорректированное панорамное изображение 530 для каждого местоположения в скорректированном панорамном изображении 530 путем получения RGB-значений (или YUV, или другого цветового пространства) для набора входных изображений 512, расположенных соответственно пиксельным координатам, содержащимся в конкатенированной таблице 555 деформирования и стыковки. RGB-значения для виртуальных панорамных пиксельных координат 522 перемещаются, таким образом, в скорректированное панорамное изображение 530, в процессе чего набор входных изображений 512 состыковывается. Новое местоположение определяется с использованием конкатенированной таблицы 555 деформирования и стыковки.

Процесс деформирования происходит в реальном времени, поскольку модуль стыковки является статическим и требует минимума вычислений. Генерация таблицы деформирования означает, что все, что требуется для скорректированного панорамного изображения 530, это применить таблицу 550 деформирования (или конкатенированную таблицу деформирования и стыковки) к панорамному изображению 510 или к набору входных изображений 512, что может быть сделано с высоким быстродействием.

2.0 Иллюстративная операционная среда

Система 500А или 500В коррекции в реальном времени панорамных изображений, соответствующая изобретению, предназначена для работы в вычислительной среде. Последующее изложение представляет краткое обобщенное описание подходящей вычислительной среды, в которой может быть реализовано изобретение.

На Фиг.6 представлена блок-схема, иллюстрирующая вычислительное устройство, подходящее для реализации изобретения. Хотя это не требуется, но изобретение будет описано в общем контексте выполняемых компьютером инструкций, таких как программные модули, выполняемые компьютерами. В общем случае программные модули включают стандартные программы, программы, объекты, компоненты, структуры данных и т.д., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Кроме того, специалистам в данной области техники должно быть понятно, что изобретение может быть реализовано в различных конфигурациях компьютерных систем, включая персональные компьютеры, серверные компьютеры, портативные устройства, мультипроцессорные системы, основанную на микропроцессорах или программируемую бытовую электронику, сетевые персональные компьютеры, миникомпьютеры, универсальные компьютеры (мэйнфреймы) и т.д. Изобретение также может быть реализовано в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны через сеть связи. В распределенной вычислительной среде программные модули могут быть расположены как в локальных, так и в удаленных компьютерных носителях для хранения данных, включая устройства памяти.

Как показано на Фиг.6, приведенная для примера система для реализации изобретения содержит универсальное вычислительное устройство 600. В частности, вычислительное устройство 600 включает в себя процессорный блок 602, системную память 604 и системную шину 606, которая связывает различные компоненты системы, включая системную память 604 с процессорным блоком 602. Системная шина 606 может быть любым из различных типов шинных структур, включающих шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из различных шинных архитектур. Системная память включает в себя ПЗУ 610 и ОЗУ 612. Базовая система ввода/вывода (BIOS) 614, содержащая базовые стандартные подпрограммы для обеспечения переноса информации между элементами в вычислительном устройстве 600, например, в процессе запуска, сохранена в ПЗУ 610. Вычислительное устройство 600 дополнительно содержит накопитель 616 на жестких дисках для считывания или записи на жесткий диск (не показан), накопитель 618 на магнитных дисках для считывания или записи на съемный магнитный диск 620 и накопитель 622 на оптических дисках для считывания или записи на съемный оптический диск 624, такой как ПЗУ на компакт-диске (CD-ROM) или иные оптические носители информации. Накопитель 616 на жестких дисках, накопитель 628 на магнитных дисках и накопитель 622 на оптических дисках соединены с системной шиной 606 посредством интерфейса 626 накопителя на жестких дисках, интерфейса 628 накопителя на магнитных дисках и интерфейса 630 накопителя на оптических дисках соответственно. Накопители и связанные с ними машиночитаемые носители обеспечивают хранение, энергонезависимое хранение считываемых компьютером команд, структур данных, программных модулей и других данных для вычислительного устройства 600.

Хотя иллюстративная, описываемая среда использует жестк