Пользовательский интерфейс для системы и способа коррекции основных размеров на панорамных изображениях, охватывающих угол обзора, равный 360°

Пользовательский интерфейс для системы и способа коррекции основных размеров на панорамных изображениях, охватывающих угол обзора, равный 360°

Иллюстрации

Показать все

Реферат

Настоящая заявка является частичным продолжением заявки № 10/186.915, поданной 28 июня 2002 и названной «REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING».

Область техники, к которой относится изобретение

Настоящее изобретение относится, в целом, к просмотру изображений с помощью компьютера и, более конкретно, к пользовательскому интерфейсу для системы и способа оперативной коррекции панорамных изображений, захваченных посредством всенаправленной камеры, для уменьшения количества проблем искажения и восприятия, связанных с подобными изображениями.

Предшествующий уровень техники изобретения

Зачастую для захвата больших сцен используются широкоугольные камеры, как правило, имеющие угол обзора больше 60^о. Широкоугольное изображение, захваченное широкоугольной камерой, может быть просмотрено посредством использования, по меньшей мере, двух типов проецирования. Линейное перспективное проецирование, а также цилиндрическое проецирование являются наиболее типичными типами проецирования, используемыми для просмотра широкоугольных изображений.

Линейное перспективное проецирование является изображением, захваченным посредством широкоугольного объектива, проецированным на плоскую часть пленки. Линейное перспективное проецирование удерживает прямые линии за счет поддержания формы. Это вызывает перспективные деформации. Изображение будет казаться четким и недеформированным, если зритель, просматривающий изображение, направит свой глаз в центр проецирования. Однако при просмотре широкоугольного изображения с меньшим углом обзора зритель ожидает меньших увеличений размеров изображения, а также меньший коэффициент деформации на плоскостях изображения, в связи с вращением объекта. Это объясняет то, почему объекты кажутся вытянутыми по краям. Плоскости изображения, большие ожидаемых изменений в отношении размеров и деформации, придают пользователю чувство того, что сцена не является неподвижной, как будто сцена «плывет» вокруг зрителя, особенно при просмотре панорамных изображений.

Цилиндрическое проецирование производится посредством использования широкоугольной камеры, имеющей изогнутую пленку и вращающийся щелевой объектив. Цилиндрическое проецирование лучше сохраняет форму по сравнению с линейным проецированием. Кроме того, цилиндрическое проецирование снижает любое очевидное «плавающее» движение. Несмотря на то что цилиндрическое проецирование является усовершенствованной визуализацией, по сравнению с линейным проецированием, проблемы искажения и восприятия все еще имеют место быть. В частности цилиндрическое проецирование изгибает прямые линии более чем необходимо. Кроме того, цилиндрическое проецирование почти полностью удаляет иллюзию вращения головы при просмотре панорамных изображений.

Проблемы искажения и искривления в широкоугольных изображениях возникают из-за несоответствия угла обзора. В частности из-за ограниченной области просмотра на компьютерных мониторах, а также стандартных расстояний наблюдения, угол стягивается, и при просмотре изображение намного меньше угла обзора камеры, которая изначально спроецировала сцену на плоскость изображения. Это несоответствие является причиной многих проблем искажения и восприятия.

Смежная проблема, вызываемая просмотром широкоугольных изображений с меньшим углом обзора во время просмотра, является неправильным восприятием глубины. Широкоугольные изображения увеличивают несоответствие глубины между близкими и далекими объектами. Одним важным визуальным ориентиром глубины объекта в сцене является соотношение размеров изображения подобных объектов, помещенных на близкие и дальние позиции (названное коэффициентом глубины перспективы). Меньший угол обзора приводит к меньшему коэффициенту глубины перспективы. Например, предположим, что сцена содержит двух человек, находящихся рядом друг с другом, при этом один человек находится немного дальше от камеры по сравнению с другим человеком. Если сцена захвачена камерой с обычным углом обзора (приблизительно 60 градусов), и такая же сцена захвачена широкоугольной камерой, то размеры объектов в сцене будут казаться разными. В частности при использовании камеры с обычным углом обзора человек, находящийся дальше от камеры, будет казаться еще немного дальше от камеры по сравнению с другим человеком. Однако при использовании широкоугольной камеры человек, находящийся дальше от камеры, будет казаться намного меньше другого человека. Из-за этой увеличенной разницы размеров человек, находящийся дальше от камеры, кажется намного дальше, чем есть на самом деле. При просмотре широкоугольного изображения глубокой сцены (такой как сцена видеоконференции) на компьютерном мониторе угол обзора зрителя, в целом, намного меньше угла обзора фактических изображений. Поэтому глубина, воспринимаемая зрителем, намного больше фактической глубины.

Одним применением, при котором проявляются проблемы искажения и восприятия, является применение в системах видеоконференции. Широкоугольные камеры зачастую используются в системах видеоконференции для захвата и передачи изображения, содержащего всех участников, присутствующих в помещении для совещаний. Однако одна проблема заключается в том, что при просмотре видеоконференции широкоугольное изображение увеличивает глубину помещения. Это приводит к тому, что люди, находящиеся в центре изображения (обычно те, кто находится дальше всех от камеры), кажутся очень маленьким по сравнению с другими находящимися в помещении людьми, из-за увеличенной глубины перспективы.

Эти проблемы искажения и восприятия, как правило, связанные с изображениями широкоугольных камер, являются еще более очевидными при просмотре панорамных изображений, охватывающих угол обзора, равный 360 градусам. Панорамное изображение может быть сформировано посредством выравнивания и совмещения исходных изображений, которые получены от одной камеры. Альтернативно, панорамное изображение может быть создано при использовании множества камер для получения и совмещения исходных изображений. Например, в случае с использованием множества камер для формирования панорамного видео. По существу, создание панорамного видео влечет за собой получение множества видео, изображающего полный обзор окружающей сцены, охватывающий угол обзора, равный 360 градусам. Иногда для захвата такого видео используется стенд, содержащий множество размещенных встык камер. Как правило, для совмещения изображений в панораму используется таблица совмещения, которая преобразовывает пиксельные местоположения исходных изображений в пиксельные местоположения панорамного изображения. Всенаправленные камеры с углом обзора в 360 градусов используются для записи совещания или видеоконференции. Как правило, камера помещается в центр стола, за которым сидят участники совещания. Если стол для совещаний имеет прямоугольную форму, то основные размеры людей на панорамных изображениях изменятся в зависимости от их расстояния до камеры. Например, человек, находящийся на дальнем конце стола, будет казаться намного меньше человека, находящегося ближе к камере. Такие изменения основных размеров на панорамных изображениях не выглядят привлекательными, и зачастую трудно распознать людей, находящихся на дальнем конце стола, или же распознать выражения их лиц.

Другая проблема проведения видеоконференции с использованием панорамных изображений заключается в том, что некоторые всенаправленные камеры формируют панорамное изображение, размером 3700×600 пикселей, а большинство пользователей имеют только устройства отображения с разрешающей способностью 1024×768 пикселей, предоставляющие возможность просмотра панорамы, размером 1024×166 пикселей. Из-за этого значительного сокращения разрешения люди, находящиеся на дальнем конце столов, не могут быть рассмотрены без коррекции основных размеров.

Соответственно, существует потребность в системе и способе оперативной коррекции изображений, захваченных посредством панорамной камеры, для уменьшения количества проблем искажения и восприятия, связанных с подобными изображениями. Эта система и способ должны осуществлять коррекцию основных размеров на панорамных изображениях, а также предоставлять возможность рассмотрения людей на изображениях с разрешающей способностью стандартных мониторов. Кроме того, эта система и способ должны быть простыми в установке и работе, а также должны быть эффективными в вычислительном отношении.

Сущность изобретения

Изобретение обеспечивает пользовательский интерфейс для системы и способ оперативной коррекции недостатков искажения и восприятия в панорамном изображении, охватывающем угол обзора, приблизительно равный 360 градусам. Эта система и способ оперативной коррекции панорамного изображения используют параметрические функции деформации, а именно, функции пространственно-переменного пропорционального масштабирования (SVU), для деформации панорамного изображения с целью коррекции основных размеров людей без нарушения целостности. Функция пространственно-переменного пропорционального масштабирования (SVU) была предварительно описана в заявке на патент № 10/186.915, поданной 28 июня 2002 года, названной «REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING». Однако предшествующая заявка на патент использует эту методику только для изображений, охватывающих угол обзора до 180 градусов. В настоящем изобретении функция пространственно-переменного пропорционального масштабирования (SVU) применяется к панорамным изображениям, охватывающим угол обзора, равный приблизительно 360 градусам, принимая во внимание горизонтальную геометрию, такую как геометрия стола для совещаний, и плоскость, касающуюся голов участников совещания. В вышеупомянутой заявке на патент функция пространственно-переменного пропорционального масштабирования (SVU) применялась к изображениям, охватывающим угол обзора до 180 градусов, как правило, формирующийся широкоугольной камерой, размещенной на одном конце стола для совещаний. В отличие от этого, всенаправленная камера с углом обзора в 360 градусов обычно размещается в центре стола. Поэтому верхние и нижние кривые, используемые для вычисления функции пространственно-переменного пропорционального масштабирования (SVU) для широкоугольных изображений и панорамных изображений, охватывающих угол обзора, равный приблизительно 360 градусам, различаются.

Система и способ оперативной коррекции панорамного изображения обеспечивают коррекцию основных размеров, делая далеко находящиеся объекты, такие как головы, кажущимися ближе и, следовательно, крупнее. Близко находящиеся головы, которые являются большими, также становятся меньше. В результате чего люди, находящиеся на дальнем конце стола, становятся крупнее и могут быть рассмотрены даже на устройстве отображения с разрешающей способностью 1024×166 пикселей. В одном варианте осуществления системы и способа согласно изобретению пользователь также выбирает форму и размеры стола для совещаний, и система оперативной коррекции панорамного изображения изменяет таблицу совмещения панорамного изображения для соответствия этому столу для совещаний из условия, чтобы основные размеры участников совещания были скорректированы одновременно с вычислением совмещения.

Пользовательский интерфейс (UI), соответствующий системе и способу оперативной коррекции панорамного изображения, упрощает использование системы для пользователя. Пользовательский интерфейс (UI) включает в себя панель управления, предоставляющую пользователю возможность ввода размеров и формы стола для совещаний, а также коэффициент желаемой коррекции (например, от 0% до 100%). Также на устройстве отображения может быть реализовано окно говорящего, отображающее скорректированное панорамное изображение. В этом окне говорящего скорректированная голова участника совещания, особенно выступающего, может быть извлечена из панорамного изображения и отображена в отдельном окне. Кроме того, скорректированное панорамное изображение может быть отображено с дополнительными пикселями по его периметру для соответствия стандартному размеру, поскольку скорректированные панорамные изображения изменяются по размеру на основе коэффициента примененной коррекции. Например, черная полоса может быть помещена параллельно верхней и нижней границам скорректированного панорамного изображения. Это предоставляет скорректированному или нормализованному панорамному изображению возможность передачи по сети в стандартном размере, а также предоставляет изображению возможность адаптации к любому из стандартных размеров устройства отображения, а также разрешающей способности.

Перечень чертежей

Настоящее изобретение может быть более понятым исходя из нижеследующего описания и приложенных чертежей, иллюстрирующих аспекты изобретения. Другие особенности и преимущества будут очевидны из нижеследующего подробного описания изобретения, взятого совместно с сопроводительными чертежами, которые иллюстрируют, в качестве примера, принципы настоящего изобретения.

Фиг.1 иллюстрирует изображение, захваченное посредством панорамной камеры с углом обзора в 360 градусов, в помещении для совещаний.

Фиг.2 иллюстрирует показанное на Фиг.1 изображение, скорректированное посредством системы и способа оперативной коррекции панорамного изображения согласно настоящему изобретению.

Фиг.3 иллюстрирует верхние и нижние кривые для функции пространственно-переменного пропорционального масштабирования (SVU) (зеленые кривые) для изображений, охватывающих угол обзора, равный 180 градусам.

Фиг.4 иллюстрирует верхние и нижние кривые для функции пространственно-переменного пропорционального масштабирования (SVU) (зеленые кривые) для панорамных изображений, охватывающих угол обзора, равный 360 градусам.

Фиг.5A изображает блок-схему, иллюстрирующую общий обзор одного варианта осуществления системы оперативной коррекции панорамного изображения согласно настоящему изобретению.

Фиг.5B изображает блок-схему, иллюстрирующую общий обзор другого варианта осуществления системы оперативной коррекции панорамного изображения согласно настоящему изобретению, использующей объединенную таблицу совмещения и деформации.

Фиг.6 изображает блок-схему, иллюстрирующую вычислительное устройство, применяемое для осуществления изобретения.

Фиг.7 изображает блок-схему, иллюстрирующую элементы модуля формирования таблицы деформации системы оперативной коррекции панорамного изображения, иллюстрированной на Фиг.5A и 5B.

Фиг.8A изображает общую схему последовательности операций, иллюстрирующую рабочий процесс системы оперативной коррекции панорамного изображения, иллюстрированной на Фиг.5A.

Фиг.8B изображает общую схему последовательности операций, иллюстрирующую рабочий процесс системы оперативной коррекции панорамного изображения, иллюстрированной на Фиг.5B.

Фиг.9 изображает схему последовательности операций, иллюстрирующую элементы модуля вертикального масштабирования, изображенного на Фиг.7.

Фиг.10 иллюстрирует процесс определения функции деформации посредством двух кривых.

Фиг.11 изображает диаграмму, демонстрирующую проецирование границ стола на цилиндрическую пленку (предполагая стандартную ориентацию камеры).

Фиг.12 изображает схему последовательности операций, иллюстрирующую элементы модуля горизонтального масштабирования, изображенного на Фиг.7.

Фиг.13 изображает схему последовательности операций, иллюстрирующую элементы модуля коррекции горизонтального искажения, изображенного на Фиг.7.

Фиг.14 иллюстрирует функцию вертикального масштабирования и концептуальное представление деления предварительных пиксельных координат на три части.

Фиг.15 изображает заполненное скорректированное панорамное изображение, в котором дополнительные пиксели добавлены по периметру изображения в целях соответствия стандартным размерам для передачи по сети или на устройство отображения.

Подробное описание изобретения

В следующем описании изобретения дается ссылка на сопроводительные чертежи, которые являются его частью, а также в нем, в иллюстративных целях, изображается конкретный пример, посредством которого изобретение может быть осуществлено. Должно быть понятно, что могут быть использованы и другие варианты осуществления, а также могут быть сделаны структурные изменения, не отступая от объема настоящего изобретения.

1.0 Общий краткий обзор

Фиг.1 иллюстрирует изображение, захваченное всенаправленной камерой с углом обзора в 360 градусов, размещенной в центре стола в помещении для совещаний. Такая установка камеры типична для возможности использования в видеоконференции. На Фиг.1 можно увидеть, что человек в белом кажется намного меньше других двух. Причина этого заключается в том, что он находится дальше всех от камеры. Прежде всего, человек в белом намного менее видим и выступает далеко от зрителя, соответственно воздействуя на восприятие оперативного контакта. Во-вторых, размеры изображения обычно ограничиваются лимитом пропускной способности сети, а также лимитом места на экране. Множество переданных пикселей тратятся впустую, если изображения людей являются очень маленькими. В связи с этим желательно скорректировать основные размеры людей для максимального использования множества переданных и отображенных пикселей. Фиг.2 иллюстрирует показанное на Фиг.1 изображение, скорректированное посредством системы и способа оперативной коррекции панорамного изображения.

Система и способ оперативной коррекции панорамного изображения используют методику для коррекции или нормализации основных размеров людей без нарушения целостности. Методика заключается в расширении функции пространственно-переменного пропорционального масштабирования (SVU), как описано в заявке на патент № 10/186.915, поданной 28 июня 2002 года и названной «REAL-TIME WIDE-ANGLE IMAGE CORRECTION SYSTEM AND METHOD FOR COMPUTER IMAGE VIEWING». В предшествующей заявке на патент функция пространственно-переменного пропорционального масштабирования (SVU) использовалась относительно изображений, охватывающих область обзора, равную 180 градусам, которые, как правило, формируются посредством широкоугольной камеры, размещенной на одном конце стола для совещаний. Напротив, как обсуждалось выше, камера с углом обзора в 360 градусов, как правило, размещается в центре стола. В связи с этим верхние и нижние кривые для вычисления функции пространственно-переменного пропорционального масштабирования (SVU), сформированные для панорамных изображений, охватывающих угол обзора, равный 360 градусам, отличаются от используемых в широкоугольных изображениях (например, охватывающих угол обзора до 180 градусов). Фиг.3 изображает верхние и нижние исходные кривые, используемые для вычисления функции пространственно-переменного пропорционального масштабирования (SVU) (зеленые кривые) для изображений, охватывающих угол обзора, равный 180 градусам. Фиг.4 изображает верхние и нижние исходные кривые, используемые для вычисления функции пространственно-переменного пропорционального масштабирования (SVU) (зеленые кривые) для изображений, охватывающих угол обзора, равный 360 градусам. Учитывая зеленые исходные кривые и конечные кривые (красные кривые) можно формировать функцию пространственно-переменного пропорционального масштабирования (SVU) способом, подобным описанному в вышеупомянутой заявке на патент.

Коррекция панорамного изображения, как и в предварительно упомянутой находящейся на рассмотрении заявке на патент, достигается посредством использования класса параметрических функций деформации, именуемых функциями пространственно-переменного пропорционального масштабирования (SVU), сохраняющими локальные перспективы масштабирования, а также корректирующими неправильное восприятие глубины. Функции пространственно-переменного пропорционального масштабирования (SVU) и масштабные коэффициенты используются для выполнения вертикального и горизонтального масштабирования на пиксельных координатах изображения. Это формирует предварительную таблицу деформации, которая преобразовывает пиксельные местоположения предварительно скорректированного изображения в исходные пиксельные координаты. Это предварительно скорректированное изображение является виртуальным изображением и фактически не создается. Однако предварительно скорректированное изображение удерживает вертикальные линии прямо, но при этом искажает горизонтальные линии. Это горизонтальное искажение корректируется при выполнении коррекции горизонтального искажения посредством использования функции пространственно-переменного пропорционального масштабирования (SVU) и, по меньшей мере, двух различных масштабных коэффициентов. Эта обработка приводит к таблице деформации. Таблица деформации преобразовывает местоположения скорректированного панорамного изображения в исходные пиксельные координаты искаженного панорамного изображения. В некоторых вариантах осуществления изобретения, в которых изображения совмещаются для формирования панорамного изображения, таблица деформации может быть связана с таблицей совмещения для повышения вычислительной эффективности. При использовании таблицы деформации или объединенной таблицы совмещения и деформации скорректированное панорамное изображение оперативно формируется из исходного панорамного изображения.

Фиг.5A изображает блок-схему, иллюстрирующую общий обзор одного варианта осуществления системы 500A оперативной коррекции панорамного изображения настоящего изобретения. В общих чертах система 500A получает геометрию 505 горизонтальных признаков (например, геометрию стола для совещаний и плоскости прикосновения вершин голов людей), а также панорамное изображение 510, и вводит геометрию 505 горизонтальных признаков и пиксельные координаты 520 панорамного изображения, в соответствии с координатами каждого пикселя в панорамном изображении. Геометрия 505 горизонтальных признаков и пиксельные координаты 520 панорамного изображения обрабатываются посредством системы 500A оперативной коррекции панорамного изображения, а затем скорректированное панорамное изображение 530 выводится.

Панорамное изображение 510 может являться отдельным совмещенным изображением (например, от фотоаппарата) или частью последовательности изображений (например, от видеокамеры). Координаты каждого пикселя в панорамном изображении 510 получают для формирования пиксельных координат 520 панорамного изображения. Например, в правильной системе координат, пиксельные координаты 520 являются местоположениями (x, y) каждого из пикселей в панорамном изображении 510, которые, как правило, соответствуют серии изображений, совмещенных для получения панорамного изображения. Модуль 500А оперативной коррекции панорамного изображения включает в себя модуль 540 формирования таблицы деформации, таблицу 500 деформации и систему 560 оперативной деформации изображения.

Модуль 540 формирования таблицы деформации используется для формирования таблицы 550 деформации посредством использования параметрических функций деформации изображения. Пиксельные координаты 520 панорамного изображения обрабатываются для формирования таблицы 550 деформации. Элементы модуля 540 формирования таблицы деформации обсуждаются ниже. Таблица 550 деформации содержит пиксельные координаты 520 панорамного изображения, классифицированные для соответствия местоположению в скорректированном панорамном изображении 530. Таким образом, таблица 550 деформации определяет новое местоположение в скорректированном панорамном изображении 530 для пиксельных координат 520 панорамного изображения.

После формирования таблицы 550 деформации панорамное изображение 510 принимается в качестве входа системой 560 оперативной деформации. Система 560 оперативной деформации панорамного изображения применяет таблицу 550 деформации к панорамному изображению 510 для формирования скорректированного панорамного изображения 530. Система 560 оперативной деформации формирует скорректированное панорамное изображение 530 для каждого местоположения в скорректированном панорамном изображении 530 посредством получения значений RGB для панорамного изображения 510, находящихся в пиксельных координатах, содержащихся в таблице 550 деформации. Таким образом, значения RGB в пиксельных координатах 520 панорамного изображения перемещаются в скорректированное панорамное изображение 530. Новое местоположение определяется посредством использования таблицы 550 деформации. Должно быть отмечено, что может быть использовано любое пространство цветов, например, такое как YUV.

В другом варианте осуществления изобретения 500B, изображенном на Фиг.5B, таблица деформации объединяется с таблицей совмещения, используемой для совмещения панорамного изображения. В этом варианте осуществления множество 512 исходных изображений совмещаются в мнимое панорамное изображение 515, а пиксельные координаты изображения для мнимого совмещенного панорамного изображения 522 вводятся в систему 500B. Модуль 500В оперативной коррекции панорамного изображения включает в себя модуль 540 формирования таблицы деформации, таблицу 550 деформации, объединенную таблицу 555 совмещения и деформации (более детально обсуждаемую в разделе 4.5) и систему 560 оперативной деформации.

Модуль 540 формирования таблицы деформации используется для формирования таблицы 550 деформации посредством использования параметрических функций деформации изображения. Пиксельные координаты 522 панорамного изображения мнимого панорамного изображения 515 обрабатываются для формирования таблицы 550 деформации. Элементы модуля 540 формирования таблицы деформации обсуждаются ниже. Таблица 550 деформации содержит пиксельные координаты 522 панорамного изображения, классифицированные для соответствия местоположению в скорректированном панорамном изображении 530. Таким образом, таблица 550 деформации определяет новое местоположение в скорректированном панорамном изображении 530 для пиксельных координат 522 панорамного изображения.

После формирования таблицы 550 деформации она объединяется с таблицей совмещения, используемой с целью совмещения множества 512 исходных изображений для формирования объединенной таблицы 555 деформации и совмещения. Множество 512 исходных изображений принимается в качестве входа системой 560 оперативной деформации изображения. Система 560 оперативной деформации панорамного изображения применяет объединенную таблицу 555 деформации и совмещения к множеству 512 исходных изображений с целью формирования скорректированного панорамного изображения 530. Система 560 оперативной деформации изображения формирует скорректированное панорамное изображение 530 для каждого местоположения в скорректированном панорамном изображении 530 посредством получения значений RGB (либо YUV, либо другого пространства цветов) для множества 512 исходных изображений находящихся в пиксельных координатах, содержащихся в объединенной таблице 555 деформации и совмещения. Таким образом, значения RGB в пиксельных координатах 522 мнимого панорамного изображения перемещаются в скорректированное панорамное изображение 530 в момент совмещения множества 512 исходных изображений. Новое местоположение определяется посредством использования объединенной таблицы 555 деформации и совмещения.

Процесс деформации происходит оперативно в связи с тем, что средство совмещения является статическим и требует минимальных вычислений. Формирование таблицы деформации означает, что все, что требуется для формирования скорректированного панорамного изображения 530, - это применить таблицу деформации 550 (или объединенную таблицу деформации и совмещения) к панорамному изображению 510 или множеству 512 исходных изображений, которые могут быть выполнены быстро.

2.0 Иллюстративная рабочая среда

Система 500А или 500В оперативной коррекции панорамного изображения настоящего изобретения разработана для функционирования в вычислительной среде. Следующее обсуждение предназначено для представления краткого общего описания соответствующей вычислительной среды, в которой может быть осуществлено изобретение.

Фиг.6 изображает блок-схему, иллюстрирующую вычислительное устройство, применяемое для осуществления изобретения. Несмотря на отсутствие необходимости, изобретение будет описано в общем контексте машиноисполняемых, таких как программные модули, исполняемые посредством компьютера. В целом, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и т.д., которые выполняют определенные задачи или реализуют определенные абстрактные типы данных. Кроме того, специалистам в данной области техники должно быть понятно, что изобретение может быть осуществлено с использованием разнообразия конфигураций вычислительной системы, включая персональные компьютеры, серверы, портативные устройства, многопроцессорные системы, программируемую бытовую электронику или бытовую электронику, основанную на микропроцессоре, сетевые персональные компьютеры (PC), мини-компьютеры, универсальные компьютеры (мейнфреймы) и т.п. Изобретение также может быть осуществлено в распределенных вычислительных окружениях, где задачи выполняются посредством удаленных взаимосвязанных по сети связи устройств обработки. В распределенном вычислительном окружении программные модули могут быть размещены как на локальных, так и на удаленных компьютерных носителях данных, включая запоминающие устройства.

На Фиг.6 изображена иллюстративная система для осуществления изобретения, содержащая универсальное вычислительное устройство 600. В частности, вычислительное устройство 600 включает в себя процессор 602, системное запоминающее устройство 604 и системную шину 606, соединяющую различные системные компоненты, включая соединение системного запоминающего устройства 604 с процессором 602. Системная шина 606 может являться любым из нескольких типов шинных структур, включающих в себя шину памяти или контроллер памяти, периферийную шину и локальную шину, используя любые из разнообразия шинных архитектур. Системное запоминающее устройство включает в себя постоянное запоминающее устройство 610 (ROM) и оперативное запоминающее устройство 612 (RAM). Базовая система 614 ввода-вывода (BIOS), содержащая базовые процедуры, которые содействуют передаче информации между элементами в пределах вычислительного устройства 600, например, в течение запуска, хранится в постоянном запоминающем устройстве 610 (ROM). Вычислительное устройство 600 дополнительно включает в себя накопитель 616 на жестких магнитных дисках для считывания и записи в отношении жесткого магнитного диска, не показан, магнитный дисковод 618 для считывания или записи в отношении сменного магнитного диска 620 и оптический дисковод 622 для считывания или записи в отношении сменного оптического диска 624, такого как CD-ROM или другие оптические носители. Накопитель 616 на жестких магнитных дисках, магнитный дисковод 618 и оптический дисковод 622 подсоединяются к системной шине 606 посредством интерфейса 626 накопителей на жестких магнитных дисках, интерфейса 628 магнитных дисководов и интерфейса 630 оптических дисководов, соответственно. Накопители и дисководы и ассоциированные с ними машиночитаемые носители обеспечивают энергонезависимое хранение машиночитаемых команд, структур данных, программных модулей и других данных для вычислительного устройства 600.

Несмотря на то что описанное в настоящем документе иллюстративное окружение использует жесткий диск, сменный магнитный диск 620 и сменный оптический диск 624, специалистам в данной области техники должно быть понятно, что в иллюстративном окружении также могут быть использованы и другие типы машиночитаемых носителей, которые могут хранить доступные компьютеру данные, такие как магнитные кассеты, карты флэш-памяти, цифровые видеодиски, накопители Бернулли, оперативные запоминающие устройства (RAM), постоянные запоминающие устройства (ROM) и т.п.

Множество программных модулей может быть сохранено на жестком диске, магнитном диске 620, оптическом диске 624, в постоянном запоминающем устройстве 610 (ROM) или в оперативном запоминающем устройстве 612 (RAM), включая операционную систему 632, одну или несколько прикладных программ 634, другие программные модули 636 и данные 638 программ. Пользователь (не показан) может осуществить ввод команд и информации в вычислительное устройство 600 с помощью устройства ввода данных, такого как клавиатура 640 и указательное устройство 642. Кроме того, камера 643 (например, видеокамера), а также и другие устройства ввода данных (не показаны), такие как микрофон, джойстик, игровая клавиатура, спутниковая антенна, сканер или т.п., могут быть соединены с вычислительным устройством 600. Эти другие устройства ввода данных зачастую подсоединяются к процессору 602 с помощью интерфейса 644 последовательного порта, который соединен с системной шиной 606, но также могут подсоединяться с помощью других интерфейсов, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор 646 (или другой тип устройства отображения) также соединяется с системной шиной 606 с помощью интерфейса, такого как видеоадаптер 648. Помимо монитора 646, вычислительные устройства, такие как персональные компьютеры, как правило, включают в себя другие периферийные устройства вывода (не показаны), такие как динамики и принтеры.

Вычислительное устройство 600 может функционировать в сетевом окружении, используя логические подсоединения с одним или несколькими удаленными компьютерами, такими как удаленный компьютер 650. Удаленный компьютер 650 может являться другим персональным компьютером, сервером, маршрутизатором, сетевым персональным компьютером, одноранговым устройством или другим общедоступным сетевым узлом и, как правило, включает в себя множество или все из элементов, описанных выше со ссылкой на вычислительное устройство 600, несмотря на то, что на Фиг.6 было иллюстрировано только запоминающее устройство 652. Логические соединения, изображенные на Фиг.6, включают в себя локальную сеть 654 (LAN) и глобальную сеть 656 (WAN). Такие сетевые окружения обычно имеют место быть в офисах, вычислительных сетях предприятия, интрасети и сети Интернет.

При использовании в сетевом окружении локальной сети (LAN) вычислительное устройство 600 соединяется с локальной сетью 654 с помощью сетевого интерфейса или адаптера 658.

При использовании в сетевой среде глобальной сети вычислительное устройство 600, как правило, включает в себя модем 660 или другое средство для установления связи по глобальной сети 656, такой как сеть Интернет. Модем 660, который может быть внутренним или внешним, соединяется с системной шиной 606 с помощью интерфейса 644 последовательного порта. В сетевом окружении программные модули, изображенные со ссылкой на вычислительное устройство 600, или их части, могут быть сохранены в удаленном запоминающем устройстве 652. Будет оценено, что могут быть использованы не только сетевые соединения, изображенные в качестве иллюстративных, но также и другие средства установления линий связи между компьютерами.

3.0 Элементы системы оперативной коррекции панорамного изображения

В целом, система 500 оперативной коррекции панорамного изображения выполняет оперативную коррекцию панорамного изображения 510 и, в частности, корректирует или нормализует основные размеры людей, находящихся дальше всего от камеры. Система 500 корректирует искривления и искажения в вертикальном и горизонтальном направлениях. Кроме того, система 500 корректирует проблемы восприятия, например, глубину и плавающие движения.

Фиг.7 изображает блок-схему, иллюстрирующую элементы изображенного на Фиг.5A или 5B модуля 540 формирования таблицы деформации. В частности, модуль 540 формирования таблицы деформации включает в себя модуль 700 ввода, служащий для ввода пиксельных координат 520 панорамного изображения или пиксельных координат 522 мнимого па