Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации

Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится к области цифровой обработки изображений и видео для увеличения размера, повышения разрешения и уровня детализации входного изображения, что также называют получением сверхразрешения изображений и видео.

Уровень техники

Важно отметить, что под разрешением изображения понимается детализация изображения для его выбранного размера. Размер изображения определяется количеством точек по каждой из сторон изображения. Разрешение изображения, его детализация определяют качество восприятия изображения. Увеличение размера изображения с помощью простой (например, билинейной) интерполяции не повышает детализацию изображения, в силу чего увеличенное изображение воспринимается как более размытое по сравнению с оригинальным изображением меньшего размера. Сверхразрешение ставит перед собой задачу не только увеличить размер изображения, но и повысить детализацию изображения, четкость его восприятия.

Зачастую для увеличения изображения применяется простейшая интерполяция кадра, однако такой способ обладает рядом недостатков: ухудшение резкости увеличенного изображения, поскольку высокочастотные резкие детали не выделяются. В результате границы объектов выглядят нечеткими, мелкие детали отсутствуют. Предпринимались различные попытки повышения резкости, зачастую в рамках итеративной процедуры.

Известен итеративный способ получения сверхразрешения с использованием нескольких кадров c учетом небольших пространственных сдвигов между кадрами, представленный в M. Irani, S. Peleg, "Super resolution from image sequences", ICPR 2, 115-120 (1990). Здесь первичная инициализация осуществляется путем простого суммирования интерполированных изображений низкого разрешения. Итеративно вычисляются изображения низкого разрешения, сравниваются с исходными изображениями низкого разрешения и вычисляются необходимые поправки. Недостатком данного способа является чрезвычайно низкая скорость сходимости и необходимость хорошего начального приближения.

Улучшение качества сверхразрешения описано в J.-H. Hwang, et al., "High resolution digital zoom using temporal IIR filter", IEEE Trans. Consumer Elect. 42, 760-767 (1996). Здесь предлагается определять смещение на субпиксельном уровне. Для стабилизации изображения применяется фильтр с бесконечной импульсной характеристикой (БИХ фильтрация). Суммирование кадров производится с различными весами. Фильтр не использует область соседних пикселей изображения, что не дает возможности корректировать искажения оптической системы камеры.

В патентной заявке US 20130156345 А1, опубликованной 20.06.2013 и озаглавленной «METHOD FOR PRODUCING SUPER-RESOLUTION IMAGES AND NONLINEAR DIGITAL FILTER FOR IMPLEMENTING SAME» (Способ получения сверхразрешения изображений и нелинейный цифровой фильтр для его осуществления) предложено использовать множество кадров с малым смещением друг относительно друга (высокая частота кадров). После объединения кадров низкого разрешения осуществляется улучшение качества изображения с использованием нелинейного фильтра, реализованного в форме предварительно обученной нейронной сети. Автор предложил использовать этот способ для мобильного приложения. Нейронная сеть обучается для каждой конкретной модели камеры с использованием тестового изображения, включающего в себя радиальные и синусоидальные испытательные таблицы.

В патентной заявке US 20130044965 A1, опубликованной 21.02.2013 и озаглавленной «SUPER RESOLUTION SYSTEM AND METHOD WITH DATABASE-FREE TEXTURE SYNTHESIS» (Система и способ сверхразрешения с синтезом текстуры без базы данных) раскрыты способ и система сверхвысокого разрешения с синтезом текстуры, который не зависит от какой-либо дополнительной обработки или предварительного обучения. Предлагается подчеркивать границы интерполированного изображения с повышением его резкости, игнорируя гладкие участки. Также синтезируется текстура с применением улучшенного и неулучшенного изображений с повышенной дискретизацией в качестве примера. Текстура используется для покрытия гладких областей.

В патенте США US 8655108 B2, 18.02.2014, озаглавленном «Adaptive image up-scaling technique» (Способ адаптивного масштабирования изображения) масштабирование изображения осуществляется с использованием группы фильтров на основании набора данных низкого разрешения и набора данных высокого разрешения. Фильтры имеют форму регрессионных коэффициентов, полученных для подпространств окрестностей точки обучающих изображений, при этом классификация окрестностей выполняется с помощью алгоритма CART (дерево классификации и регрессии) в виде дерева решений, и в качестве предсказателей принимаются нормированные значения пикселей из окрестности 3×3 изображения низкого разрешения. Модель регрессии создается для каждого класса, и окрестность 2×2 изображения высокого разрешение обрабатывается как выход. Однако такая малая окрестность входного изображения в качестве предсказателя недостаточна для получения большого разнообразия фильтров и, следовательно, высокого качества сверхразрешения.

Прототипами настоящего изобретения являются решения, описанные в патентных документах US 6766067 и RU 2014142016. В патенте США US 6766067, опубликованном 20.07.2004, озаглавленном «One-pass super-resolution images» (Сверхразрешение изображений за один проход), изображение низкого разрешения интерполируется, а затем делится на перекрывающиеся патчи (фрагменты). Для каждого патча интерполированного изображения создается масштабированный среднечастотный патч, который применяется для генерации вектора попиксельного поиска. Предварительно собирается набор пар изображений низкого и высокого разрешения. Этот набор пар изображений используется для формирования базы данных соответствия среднечастотных патчей интерполированного изображения патчам изображений высокого разрешения. Вышеуказанный попиксельный поиск осуществляется по базе данных соответствия среднечастотного патча патчу высокого разрешения. Описанный способ имеет высокую чувствительность к точности оценки движения субпикселя и качеству захвата изображения и модели деградации (типа функции рассеяния точки, параметров размытости, вызванной движением, уровня шума), а также, для минимизации блочных артефактов, требуется использовать патчи с большим перекрытием, что ведет к необходимости роста базы данных высокой вычислительной сложности.

В патентной заявке RU 2014142016, озаглавленной «СПОСОБ И СИСТЕМА ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЯ», предлагается хранить обученную базу данных для текстур, что позволяет использовать меньшую базу данных без потери качества. Также разделение на патчи происходит без перекрытия, что повышает скорость работы метода. Однако в таком варианте осуществления сверхразрешения в базе данных не хранятся паттерны границ, что может привести к смазыванию изображения. Также, база данных является единой для всех условий съемки и сцен изображения, что ограничивает ее область применимости.

Другой близкий способ повышения разрешения по одному кадру описан в патенте США US 7187811, опубликованном 06.03.2007, озаглавленном «Method for image resolution enhancement» (Способ улучшения разрешения изображения). Участки исходного изображения классифицируются на две группы: участки изображения, имеющие грани, и участки изображения без граней. Участки изображения без граней интерполируются с помощью обычной билинейной интерполяции. Участки с гранями интерполируются с использованием нейронной сети. Нейронная сеть предварительно обучена с использованием естественных изображений, входными данными для нее помимо значения пикселя служат координаты области, «качество» грани, наклон грани и значение соседних с ним пикселей. Однако, поскольку нейронная сеть обучается распознавать предопределенный набор паттернов, это влечет за собой неправильную интерполяцию изображений, отличных от обучающего набора.

Сущность изобретения

Целью настоящего изобретения является увеличение размера входного изображения и видео, а также повышение разрешения и уровня детализации увеличенных изображений. Формирование изображения высокого разрешения производится путем объединения нескольких изображений относительно низкого разрешения. Основные преимущества настоящего изобретения состоят в получении патчей адаптивно к структуре изображения, а также в адаптивном выборе словарей применительно к контексту и условиям съемки изображений. Формирование изображения высокого разрешения происходит с помощью разреженной аппроксимации с учетом правила объединения изображений.

Предложены способ и система обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, которые обеспечивают повышение разрешения и уровня детализации входных изображений и видео.

Согласно одному из аспектов настоящего изобретения обеспечен способ обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, при этом упомянутый способ содержит: этап (100) приема изображений низкого разрешения; этап (102) определения контекста и условий съемки изображений и выбора словаря на основании определенных контекста и условий съемки; этап (103) вычисления матрицы преобразования изображений низкого разрешения с учетом взаимного смещения, поворота и расфокусировки изображений низкого разрешения; этап (104) вычисления маски семплирования изображений низкого разрешения, отражающей правило вычисления значений интенсивности в различных каналах цветности изображения высокой четкости; этап (105) объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения; этап (106) вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова; этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения; этап (108) вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования; этап (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием; этап (110) обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования; этап (111) уточнения матрицы преобразования на основании обновленных изображений низкого разрешения, причем данный способ осуществляет последовательную, итеративную обработку изображений, в которой: если на этапе (106) вычисленное значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то далее выполняют этапы: (107) разбиения изображения высокого разрешения на пересекающиеся патчи, (108) вычисления разреженной аппроксимации выделенных патчей, (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей; (110) обновления изображений низкого разрешения, (111) уточнения матрицы преобразования, (105) объединения обновленных изображений низкого разрешения с использованием матрицы преобразования, уточненной на этапе (111), и маски семплирования, (106) вычисление значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова в таком порядке; если на этапе (106) вычисленное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то выполняют этап (113) вывода изображения высокого разрешения для сохранения и/или визуализации.

В дополнительном аспекте выбор словаря производится посредством анализа семантических признаков изображений низкого разрешения.

В другом дополнительном аспекте семантические признаки выделяются с помощью глубокой нейронной сети, предварительно обученной на наборе изображений, соответствующих определенным контексту и условиям съемки.

В еще одном дополнительном аспекте, если требуется обрабатывать входные Байеровские изображения как цветные изображения, то упомянутый способ дополнительно содержит этап (101) подготовки изображений, на котором выполняют демозаикинг изображений по заданному Байеровскому шаблону для получения цветных изображений.

В еще одном дополнительном аспекте этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения выполняют с применением метода пересечения доверительных интервалов (ICI).

В еще одном дополнительном аспекте этап (108) вычисления разреженной аппроксимации выделенных патчей выполняют посредством разреженного разложения патчей на разреженные коды с использованием выбранного словаря и последующей сборки разреженных кодов с использованием упомянутого словаря.

В еще одном дополнительном аспекте способ дополнительно содержит этап предварительного обучения словаря с использованием патчей различной формы, выделенных из набора изображений высокого разрешения сходного контекста и условий съемки.

Согласно другому из аспектов настоящего изобретения обеспечена система обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, при этом упомянутая система содержит: приемник входных изображений, выполненный с возможностью приема изображений низкого разрешения; блок выбора словаря, выполненный с возможностью определения контекста и условий съемки изображений и выбора словаря на основании определенных контекста и условий съемки; блок вычисления матрицы преобразования, выполненный с возможностью вычисления матрицы преобразования изображений низкого разрешения с учетом взаимного смещения, поворота и расфокусировки изображений низкого разрешения; блок вычисления маски семплирования изображений низкого разрешения, отражающей правило вычисления значений интенсивности в различных каналах цветности изображения высокого разрешения; блок объединения изображений, выполненный с возможностью объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения; блок проверки критерия останова, выполненный с возможностью вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова; блок вывода изображения высокого разрешения, выполненный с возможностью сохранения и визуализации полученного изображения высокого разрешения; блок выделения патчей, выполненный с возможностью разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения; блок разреженной аппроксимации патчей, выполненный с возможностью вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования; блок формирования разреженной аппроксимации изображения, выполненный с возможностью объединения результатов разреженной аппроксимации патчей с перекрытием для формирования нового изображения высокого разрешения; блок обновления изображений низкого разрешения, выполненный с возможностью обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования; причем блок вычисления матрицы преобразования, выполнен с возможностью уточнения матрицы преобразования на основании обновленных изображений низкого разрешения, причем упомянутая система осуществляет последовательную, итеративную обработку изображений, в которой: если блок проверки критерия останова определяет, что вычисленное значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то блок выделения патчей, блок разреженной аппроксимации патчей, блок формирования разреженной аппроксимации изображения, блок обновления изображений низкого разрешения, блок вычисления матрицы преобразования, блок объединения изображений, блок проверки критерия останова выполняют свои операции в таком порядке; если блок проверки критерия останова определяет, что определенное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то изображение высокого разрешения передается в блок вывода изображения высокого разрешения.

В дополнительном аспекте блок выбора словаря выполнен с возможностью выбора словаря посредством анализа семантических признаков изображений низкого разрешения.

В другом дополнительном аспекте блок выбора словаря выполнен с возможностью выделения семантических признаков с помощью глубокой нейронной сети, предварительно обученной на наборе изображений, соответствующих определенным контексту и условиям съемки.

В еще одном дополнительном аспекте, если требуется обрабатывать входные Байеровские изображения как цветные изображения, упомянутая система дополнительно содержит блок подготовки изображений, выполненный с возможностью демозаикинга изображений по заданному Байеровскому шаблону для получения цветных изображений.

В еще одном дополнительном аспекте блок выделения патчей выполнен с возможностью разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения с применением метода пересечения доверительных интервалов (ICI).

В еще одном дополнительном аспекте блок разреженной аппроксимации патчей выполнен с возможностью вычисления разреженной аппроксимации выделенных патчей посредством разреженного разложения патчей на разреженные коды с использованием выбранного словаря и последующей сборки разреженных кодов с использованием упомянутого словаря.

В еще одном дополнительном аспекте блок разреженной аппроксимации патчей дополнительно выполнен с возможностью предварительного обучения словаря с использованием патчей различной формы, выделенных из набора изображений высокого разрешения сходного контекста и условий съемки.

Краткое описание чертежей

Эти и/или другие аспекты изобретения будут очевидны и более понятны из следующего описания вариантов осуществления в совокупности с прилагаемыми чертежами, на которых:

Фиг. 1 иллюстрирует блок-схему последовательности операций первого варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 2 иллюстрирует блок-схему последовательности операций второго варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 3 иллюстрирует блок-схему первого варианта осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 4 иллюстрирует блок-схему второго варианта осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 5 иллюстрирует блок-схему третьего варианта осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 6 изображает принцип получения векторизованного патча m_i ∘ y_i для адаптивной анизотропной разреженной аппроксимации: (слева) выделение адаптивных масок m_i; (по центру) пример выделенных патчей с наложенными масками, отмеченными темно-серым цветом; (справа) результат векторизации патчей с учетом масок.

Фиг. 7 иллюстрирует сравнение визуального качества фрагмента картинки, полученной с помощью (слева) бикубической интерполяции одного карда сцены и (справа) предложенного способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера из нескольких кадров сцены.

Фиг. 8 демонстрирует использование предложенного способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера на персональном устройстве (например, смартфоне, планшетном компьютере).

Раскрытие изобретения

Настоящая изобретательcкая концепция учитывает различные изменения и многочисленные варианты осуществления, конкретные примерные варианты осуществления будут иллюстрированы на чертежах и описаны подробно в приведенном ниже описании. Отметим, что данное описание не ограничивает изобретательскую концепцию конкретными вариантами практической реализации в части изменений, эквивалентов и замен, которые не отступают от технической области настоящей изобретательской концепции, охваченных существующей изобретательской концепцией. В описании примерных вариантов осуществления опущены некоторые подробные объяснения уровня техники, когда считается, что они могут излишне затенить сущность одного или более примерных вариантов осуществления.

Далее примерные варианты осуществления будут описаны более подробно со ссылками на сопроводительные чертежи.

Ссылки будут делаться на варианты осуществления представленной общей концепции в соответствии с настоящим изобретением. Примеры иллюстрируются в сопроводительных чертежах, где одинаковые ссылочные позиции относятся к одинаковым элементам. Варианты осуществления описываются ниже для того, чтобы объяснить представленную общую концепцию в соответствии с настоящим изобретением, ссылаясь на чертежи.

Техническим результатом заявленного изобретения является увеличение размера входного изображения, повышение его разрешения и уровня детализации с использованием нескольких наблюдений, то есть получение сверхразрешения. Этот технический результат достигается за счет привлечения априорной информации о детализации объектов изображения, накопленной в словарях, предварительно обученных на изображениях высокого разрешения подобного контекста и условий съемки. Сверхразрешение изображения достигается итеративно, включая разреженную аппроксимацию патчей различной формы, адаптивно к структуре изображения, с помощью словарей, подходящих по контексту изображения и условиям съемки.

На фиг. 1 изображена блок-схема последовательности операций первого варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера. Способ обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера предназначен для повышения разрешения и уровня детализации входного изображения.

На этапе (100) приема изображений низкого разрешения выполняют прием нескольких входных изображений одной сцены, например, путем выполнения съемки изображений сцены фотокамерой или выполнения видеосъемки сцены. Однако прием изображений низкого разрешения не ограничивается только фото или видеосъемкой, изображения также могут быть приняты путем считывания их из запоминающего устройства или могут быть приняты проводным или беспроводным способом от другого устройства формирования изображений или из места хранения изображений по сети.

На этапе (102) определяют контекст и условия съемки изображений сцены и выполняют выбор словаря на основании определенных контекста и условий съемки. Выбор подходящих словарей для разреженной аппроксимации патчей описан ниже. На этапе (103) вычисляют матрицу преобразования изображений низкого разрешения, отражающую взаимное смещение, поворот и расфокусировку изображений низкого разрешения. Правило формирования, вычисления и уточнения матрицы преобразования известно из уровня техники и здесь не описывается, так как это выходит за рамки данного изобретения. На этапе (104) вычисляют маску семплирования изображений низкого разрешения, отражающую правило вычисления значений интенсивности (яркости) в различных каналах цветности изображения высокой четкости. Причем правило вычисления значений интенсивности (яркости) в различных каналах цветности изображения высокой четкости задано уравнением (2), приведенным ниже при описании вычисления маски семплирования. Следует отметить, что этапы (102), (103) и (104) могут быть выполнены одновременно или в любом порядке относительно друг друга.

Далее выполняется этап (105) объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения. Для этого значения интенсивностей входных изображений низкого разрешения отображаются на сетке изображения высокого разрешения отдельно для каждого канала цветности. Смещение известных значений интенсивностей относительно сетки изображения высокого разрешения, а также изменения значений интенсивностей определяются с помощью матрицы преобразования. Затем для каждой точки сетки изображения высокого разрешения производится вычисление значений интенсивностей для каждого канала цветности в соответствии с правилом маски семплирования. Например, значение интенсивности в точке может быть вычислено как усредненное значение всех значений интенсивностей, попавших в некоторую окрестность этой точки от всех имеющихся изображений относительно низкого разрешения.

Затем, чтобы определить, имеет ли полученное изображение высокого разрешения достаточное качество, например достаточное разрешение и уровень детализации, способ переходит на этап (106), на котором вычисляют значение заранее заданного критерия останова и сравнивают вычисленное значение упомянутого критерия останова с пороговым значением упомянутого критерия останова. Критерий останова и пороговое значение критерия останова заранее устанавливается пользователем исходя из требуемого качества изображения, которое должно быть получено в результате выполнения данного способа. В качестве критерия останова может быть задан любой параметр, относящийся к качеству изображения, например, уровень шума, размытость изображения, или любое сочетание таких и подобных параметров.

Если на этапе (106) вычисленное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то принимается решение, что полученное изображение высокого разрешения имеет требуемое качество, заданное пользователем, и способ переходит на этап (113), на котором выводят такое изображение высокого разрешения для его сохранения и/или визуализации.

Если на этапе (106) вычисленное значение упомянутого критерия останова меньше порогового значения, то далее выполняют этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения; этап (108) вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования; этап (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием; этап (110) обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования; этап (111) уточнения матрицы преобразования на основании обновленных изображений низкого разрешения и затем снова выполняют этап (105) объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения и этап (106). Описание операций, выполняемых на этапах (107), (108), (109), (110), приведено ниже в соответственных разделах описания.

Данный способ осуществляет последовательную, итеративную обработку изображений путем последовательного выполнения этапов (107), (108), (109), (110), (111) (105), (106) до получения изображения высокого разрешения требуемого качества. В качестве порогового значения также может выступать количество итераций обработки изображений вышеуказанным способом для ограничения работы по времени.

На фиг. 2 изображена блок-схема последовательности операций второго варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Все этапы второго варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера полностью соответствуют этапам первого варианта осуществления упомянутого способа и обозначены теми же ссылочными позициями. Однако второй вариант осуществления упомянутого способа предусматривает обработку входных Байеровских изображений как цветных изображений, для этого упомянутый способ дополнительно содержит после этапа (100) приема изображений низкого разрешения этап (101) подготовки изображений, на котором выполняют демозаикинг изображений по заданному Байеровскому шаблону для получения цветных изображений. Процедура демозаикинга, представляющая собой получение цветных изображений путем их интерполяции по заданному Байеровскому шаблону, известна в уровне техники и поэтому подробно не описывается в данной заявке.

Фиг. 3 иллюстрирует блок-схему первого варианта осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера. Данная система содержит приемник 200 входных изображений, блок 204 вычисления маски семплирования, блок 202 выбора словаря, блок 203 вычисления матрицы преобразования, блок 205 объединения изображений, блок 206 проверки критерия останова, блок 213 вывода изображения высокого разрешения, блок 207 выделения патчей, блок 208 разреженной аппроксимации патчей, блок 209 формирования разреженной аппроксимации изображений и блок 210 обновления изображений низкого разрешения.

Приемник 200 входных изображений принимает набор изображений одной сцены (кадров видеопоследовательности) относительно низкого разрешения. Поскольку, как раскрыто выше, изображения могут быть приняты разными способами, например, путем выполнения фотосъемки, видеосъемки, считывания из запоминающего устройства, могут быть приняты проводным или беспроводным способом от другого устройства формирования изображений или из места хранения изображений по сети, то приемником 200 входных изображений может быть любое устройство, способное выполнять по меньшей мере один из вышеперечисленных способов приема изображения. Изображения из входного набора изображений сцены различаются тем, что они немного размыты и смещены друг относительно друга в силу дрожания, наклона и/или расфокусировки цифровой камеры. На основании контекста (содержимого) входных изображений, параметров оптической системы (например, известной расфокусировки) и условий съемки (например, уровня освещенности и шума) в блоке 202 выбора словаря производится выбор наиболее подходящего словаря, используемого в блоке 208 разреженной аппроксимации патчей. На основании разницы между принятыми изображениями, которая представляет собой попиксельное смещение и расфокусировку принятых изображений, в блоке 203 вычисления матрицы преобразования производится оценка смещения и расфокусировки, результат которой представляется в виде матрицы преобразования. Матрица преобразования используется в блоке 205 объединения изображений низкого разрешения для формирования изображения высокого разрешения, а также в блоке 210 обновления изображений низкого разрешения. В блоке 204 вычисления маски семплирования производится вычисление маски семплирования, отражающей правило формирования интенсивности в различных каналах цветности изображения высокого разрешения. Значения интенсивностей в неизвестных пространственных координатах вычисляются за счет взвешенного суммирования интенсивностей соответствующих цветовых каналов. Маска семплирования применяется в блоке 205 объединения изображений и в блоке 208 разреженной аппроксимации патчей.

Блок 205 объединения изображений выполняет объединение изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения. Затем блок 206 проверки критерия останова определяет значения критерия останова и сравнивает определенное им значение критерия останова с пороговым значением упомянутого критерия останова. Критерий останова и его пороговое значение задаются заранее пользователем. Если блок 206 проверки критерия останова определяет, что определенное значение упомянутого критерия останова больше или равно пороговому значению, то изображение высокого разрешения передается в блок 213 вывода изображения высокого разрешения для сохранения и/или визуализации. Если блок 206 проверки критерия останова определяет, что значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то блок 207 выделения патчей, блок 208 разреженной аппроксимации патчей, блок 209 формирования разреженной аппроксимации изображения, блок 210 обновления изображений низкого разрешения, блок 203 вычисления матрицы преобразования, блок 205 объединения изображений, блок 206 проверки критерия останова выполняют свои операции в таком порядке. Критерием останова может быть, например, уровень шума, размытость изображения или количество упомянутых итераций, выполняемых блоками данной системы.

После того как определено, что изображение высокого разрешения не подлежит выводу блоком 213, блок 207 выделения патчей выделяет патчи различной формы адаптивно к структуре изображения. Блок 208 разреженной аппроксимации патчей вычисляет разреженную аппроксимацию выделенных патчей с помощью словаря, выбранного блоком 202 выбора словаря, с учетом масок региона интереса и маски семплирования. В блоке 209 производится сборка нового изображения из результатов разреженной аппроксимации патчей. Блок 210 обновления изображений низкого разрешения восстанавливает исходные значения интенсивностей в известных пространственных координатах различных каналов цветности с помощью матрицы преобразования. Далее в блоке 203 матрица преобразования (значения смещения, поворота и расфокусировки) уточняется на основании обновленных изображений низкого разрешения, а затем в блоке 205 производится объединение обновленных изображения низкого разрешения с использованием маски семплирования и уточненной матрицы преобразования для формирования изображения высокого разрешения.

Важно отметить, что система допускает обработку цветных, Байеровских и в градациях серого изображений и кадров видеопоследовательности различного размера.

Во втором варианте осуществления, изображенном на фиг. 4, система сверхразрешения допускает обработку входных Байеровских изображений как цветных. В этом варианте реализации приемник 200 входных изображений передает входные изображения в дополнительно введенный блок 201 подготовки изображений, в котором может производиться демозаикинг (demosacing) изображений, то есть получение цветных изображений путем их интерполяции по заданному Байеровскому шаблону. Если установлено производить обработку изображений как цветных, а входные изображения определены как Байеровские, то блок 201 осуществляет процедуру демозакинга для получения цветных изображений. В противном случае входные изображения остаются без изменения. Далее полученные изображения передаются в блок 202 для выбора словаря, в блок 203 для вычисления матрицы преобразования, блок 204 для вычисления маски семплирования и блок 205 для начала процедуры сверхразрешения.

Остальные блоки (206), (207), (208), (209), (210), (213) упомянутой системы второго варианта осуществления соответствуют блокам описанной выше системы первого варианта осуществления, которые обозначены теми же ссылочными позициями.

Один из вариантов осуществления системы сверхразрешения и