Способ формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов

Способ формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов

Иллюстрации

Показать все

Реферат

Изобретение относится к технологиям дополненной реальности (ДР), позволяющим совмещать в одном пространстве реальный мир и виртуальные, созданные компьютером объекты.

Уровень техники

Технология ДР, будучи производной от технологии виртуальной реальности, обладает по сравнению с последней существенными преимуществами, которые связаны с одновременным присутствием в сценах ДР реальных и виртуальных объектов. Практическая реализация этих преимуществ означает повышение эффективности тренажерных систем (например, водительский тренажер ДР с виртуальными препятствиями в реальной среде), приложений ДР для медицины и архитектуры, однако при этом необходимо обеспечить совпадение визуальных характеристик реальных и виртуальных объектов: виртуальные объекты не должны визуально отличаться от реальных (visual coherence, визуальная когерентность).

Известны способы обеспечения визуальной когерентности в сценах ДР, основанные на а) подходе с предварительным измерением условий освещенности (недостатки: длительная и сложная процедура, требует специального оборудования) и б) на подходе с формированием представления об условиях освещенности на основе анализа изображений реального мира (недостатки: трудности извлечения информации об освещенности из реальных изображений приводят к неоднозначным результатам). Исчерпывающий обзор этих способов дан в статье J. Kronander, F. Banterle, A. Gardner et al. Photorealistic rendering of mixed reality scenes. Computer Graphics Forum, 2015, 34(2), pp.643-665. Другой актуальной работой с информацией по методам визуальной когерентности является книга Schmalstieg, D., Höllerer, T. Augmented Reality: Principles and Practice. Addison-Wesley Professional, 2016. Еще один общий и серьезный недостаток известных способов обусловлен применением цифрового моделирования: базовая для методов визуальной когерентности процедура картирования среды (environment mapping) подразумевает трехмерное цифровое моделирование в виртуальном мире условий освещенности реального мира. Кроме того, осуществляется цифровое моделирование геометрии объектов реального мира и отражательных характеристик поверхностей виртуальных объектов. Однако цифровая модель при любой степени ее качества никогда не становится абсолютно тождественной непрерывному оригиналу, каковым является реальный мир. Поэтому даже при наличии результатов, достигнутых с применением подходов, описанных в вышеупомянутых обзорной статье и книге, уровень визуальной когерентности в сценах ДР остается недостаточным, особенно в сценах с реальными ландшафтами вне помещений и рассеянным освещением. Известны способы прямого переноса цветовых характеристик от одного изображения к другому без цифрового моделирования (Y. Chang, S. Saito and M. Nakajima 2007, “Example-Based Color Transformation of Image and Video Using Basic Color Categories”, IEEE Transactions on Image Processing, 2007, vol. 16, no. 2, pp.329-336; E. Reinhard, A.O. Akyuz, M. Colbert, C.E. Hughes and M. O’connor. Real-time color blending of rendered and captured video. Proc. of Interservice/Industry Training, Simulation and Education Conference (I/ITSEC), 2004), но данные способы требуют выполнения ручных настроечных процедур, что делает невозможным их использование для обработки видеопотоков сцен ДР. Кроме того, эффективность таких способов зависит от характера обрабатываемых изображений.

Технической задачей предлагаемого изобретения является создание способа формирования изображения дополненной реальности обеспечивающего совпадение визуальных характеристик реальных и виртуальных объектов и свободного от указанных недостатков известных способов.

Раскрытие изобретения

Технический результат предлагаемого изобретения состоит в переносе основных визуальных характеристик изображения реального мира (цветовой оттенок, яркость, контрастность) на изображение виртуальных объектов.

Указанный технический результат достигается тем, что к последовательности действий по формированию изображения ДР на последнем этапе добавляется адаптация характера воспроизведения виртуальных объектов к характеру воспроизведения видимого реального мира путем замены низкочастотной части двумерного спектра изображения виртуального мира соответствующей низкочастотной частью двумерного спектра изображения реального мира с последующим восстановлением изображения виртуального мира (фиг.1). Двумерные частотные спектры изображений вычисляются посредством двумерного дискретного преобразования Фурье, низкочастотная часть вычисленного таким способом спектра содержит информацию об основных визуальных характеристиках изображения.

Краткое описание иллюстраций

Фиг.1. Схема реализации способа формирования изображения дополненной реальности, обеспечивающего совпадение визуальных характеристик реальных и виртуальных объектов.

Осуществление изобретения

Осуществление предлагаемого способа формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов заключается в следующем.

Способ подразумевает использование в процессорном устройстве, генерирующем сцену дополненной реальности, аппаратно или программно реализованного модуля, который реализует обработку кадров реального (РК) и виртуального (ВК) миров в соответствии со схемой, показанной на фиг.1.

Обработка выполняется в пять этапов:

1) Выделение цветовых каналов для РК и ВК (красный – РКк и ВКк, зеленый – РКз и ВКз, синий – РКс и ВКс).

2) Вычисление частотных спектров для результатов предыдущего этапа с помощью прямого двумерного преобразования Фурье (ППФ).

3) Спектральная трансплантация – замена низкочастотной части (НЧ) спектра ВК соответствующей низкочастотной частью спектра РК для всех цветовых каналов.

4) Обратное двумерное преобразования Фурье (ОПФ) для цветовых каналов ВК с трансплантированной НЧ.

5) Восстановление ВК, откорректированного с помощью спектральной трансплантации и создание сцены ДР.

Способ формирования изображения дополненной реальности, отличающийся тем, что с целью обеспечения совпадения визуальных характеристик реальных и виртуальных объектов к последовательности действий по формированию изображения дополненной реальности добавляется адаптация характера воспроизведения виртуальных объектов к характеру воспроизведения видимого реального мира путем выделения цветовых каналов для кадров реального мира и кадров виртуального мира, вычисления частотных спектров для выделенных цветовых каналов с помощью прямого двумерного преобразования Фурье, замены низкочастотной части двумерного частотного спектра кадров виртуального мира для выделенных цветовых каналов соответствующей низкочастотной частью двумерного частотного спектра кадров реального мира, выполнения обратного двумерного преобразования Фурье для откорректированных цветовых каналов кадров виртуального мира, восстановления кадров виртуального мира и создания изображения дополненной реальности с применением откорректированных кадров виртуального мира.