Способ и система для обработки изображения

Способ и система для обработки изображения

Иллюстрации

Показать все

Реферат

Область техники

Настоящее изобретение относится, в общем, к области цифровой обработки изображений и видео и, в частности, к повышению разрешения изображения и уровня детализации входного изображения.

Уровень техники

Устройства отображения с разрешением сверхвысокой четкости имеют разрешение экрана, которое в два раза превышает разрешение большей части существующего видеоконтента. Конвейер обработки видео (фиг. 1) для устройства отображения сверхвысокой четкости обычно состоит из приемника 101, который принимает видеосигнал 102 высокой четкости, передаваемый в устройство 103 масштабирования, которое преобразует его в видеосигнал 104 сверхвысокой четкости, передаваемый в конечном итоге на дисплей 105 сверхвысокой четкости, как показано на фиг. 1. Видео сверхвысокой четкости, полученное из устройства 103 масштабирования, реализующего известные методики повышения разрешения, обычно слабо представляет детали высокой частоты по сравнению с видео сверхвысокой четкости, снятым видеокамерой сверхвысокой четкости. Для решения этой проблемы были разработаны специальные методики повышения разрешения изображения. На фиг. 2 показан подход для повышения разрешения изображения с использованием информации из нескольких последовательных кадров низкого разрешения для реконструкции на кадре высокого разрешения. На фиг. 3 показан тот же подход в применении к контенту низкого разрешения из цифровых видеокамер. В документах US 6434280, US 8306121, US 20130114892, US 7373019 описан подход с применением нескольких кадров низкого разрешения.

В US 6434280 описана система формирования мозаичного изображения с повышенным сверхвысоким разрешением (сверхразрешением), которая формирует мозаичное изображение с повышенным сверхвысоким разрешением, используя множество кадров изображения, где каждый кадр представляет часть сцены для выходного изображения. Описанная система состоит из генератора мозаичного изображения и генератора сверхвысокого разрешения. Первая часть формирует из кадров изображения данные мозаичного изображения, которые представлены мозаичным изображением. Вторая часть берет данные мозаичного изображения и данные изображения, представленные в кадрах, и выдает мозаичное изображение с повышенным сверхвысоким разрешением. В процессе формирования мозаичного изображения с повышенным сверхвысоким разрешением мозаичное изображение делится на множество патчей (фрагментов изображения) (каждый патч связан, по меньшей мере, с одним кадром изображения), и выполняется операция сверхвысокого разрешения в связи с этим патчем для формирования мозаичного изображения с повышенным сверхвысоким разрешением.

В US 8306121 описан другой способ формирования изображения сверхвысокого разрешения с применением последовательности изображений низкого разрешения. Способ содержит генератор оцененного изображения высокого разрешения, модуль оценки движения между оцененным изображением высокого разрешения и сравнения изображений низкого разрешения из этой последовательности, проектор по методу обратной проекции с компенсацией движения и проектор без компенсации движения, который выдает требуемое изображение сверхвысокого разрешения. Кроме того, система формирования содержит интерфейсы ввода и вывода.

В US 20130114892 предусмотрен ввод, по меньшей мере, двух изображений, представленных цифровыми выборками, и вывод изображения сверхвысокого разрешения, которое имеет более высокое разрешение, чем, по меньшей мере, одно из, по меньшей мере, двух входных изображений. В этом способе сначала получают модель искажения для всех входных изображений, затем каждое изображение регистрируют на эталонной сетке для конечного разрешения. После этого каждое изображение деформируют в деформированное изображение согласно модели искажения и вычисляют искаженные координаты соответственно для цифровых выборок входных изображений. Во время этой процедуры определяют вес вклада каждой цифровой выборки для каждого входного изображения, и этот вес применяют в зависимости от искаженных координат цифровой выборки. Конечное разрешение получают путем объединения взвешенных цифровых выборок в их положениях.

В US 7373019 предложена система формирования изображения с повышенным сверхвысоким разрешением из изображения, представляющего сцену, которая содержит основное изображение, и, по меньшей мере, одно другое изображение. Система состоит из генератора исходного изображения с повышенным сверхвысоким разрешением, модуля проектора изображения и модуля генератора обновления оценки изображения с повышенным сверхвысоким разрешением. Модуль генератора исходного изображения с повышенным сверхвысоким разрешением формирует оценку изображения с повышенным сверхвысоким разрешением для изображения сцены, модуль проектора изображения избирательно использует операторы деформации, размывания и прореживания, применяемые к другим изображениям, для оценки изображения с повышенным сверхвысоким разрешением, и генератор обновления оценки изображения с повышенным сверхвысоким разрешением использует предыдущие оценки изображения с повышенным сверхвысоким разрешением для формирования окончательной обновленной оценки изображения с повышенным сверхвысоким разрешением.

В другом известном подходе предлагается создавать кадр высокого разрешения, используя всего один кадр низкого разрешения. Это можно сделать без дополнительного обучения или с использованием некоторой предварительно обученной базы данных.

Способы без дополнительного обучения могут быть основаны на репроекции, например, как описано в JPA 2008-140012, где предлагается использовать метод Гаусса-Зейделя для вычисления значения обратной связи, добавляемого к изображению низкого разрешения, разрешение которого увеличивается каким-либо известным способом.

В US 20130044965 раскрыты способ и система сверхвысокого разрешения с синтезом текстуры, который не зависит от какой-либо дополнительной информации из базы данных. Всю информацию для повышающей дискретизации изображения получают из самого изображения. Сначала увеличивают разрешение изображения, затем определяют, имеет ли изображение с повышенным разрешением какие-либо гладкие области. Система усиливает края изображения с повышенным разрешением, и если обнаруживается гладкий участок, обходит его краем. В завершение, генерируется текстура для улучшенного и неулучшенного изображений с повышенной дискретизацией. Текстура покрывает гладкие области и синтезируется с применением входного изображения в качестве примера текстуры.

Способы, включающие в себя предварительно обученную базу данных для хранения модели текстуры, можно включить в состав конвейера обработки видео дисплея сверхвысокой четкости, как показано на фиг. 4. Примеры способов сверхвысокого разрешения с использованием предварительно обученной базы данных описаны в US 20130156345 и US 6766067.

В US 20130156345 предложено использовать множество кадров, отснятых с высокой частотой кадров, для реконструкции кадра с высоким разрешением. После слияния этих кадров осуществляется улучшение качества изображения с использованием нелинейного фильтра, реализованного в форме предварительно обученной нейронной сети. Автор предложил использовать этот способ для мобильного приложения в случае съемки увеличенных фрагментов. Нейронная сеть обучается для каждой конкретной модели камеры с использованием тестового изображения, включающего в себя радиальные и синусоидальные испытательные таблицы.

В US 8655108 B2 масштабирование изображения осуществляется с использованием группы фильтров на основании набора данных низкого разрешения и набора данных высокого разрешения. Фильтры имеют форму регрессионных коэффициентов, полученных для подпространств окрестностей точки обучающих изображений, при этом классификация окрестностей выполняется с помощью алгоритма CART (дерево классификации и регрессии) в виде дерева решений, и в качестве предсказателей принимаются нормированные значения пикселей из окрестности 3×3 изображения низкого разрешения. Модель регрессии создается для каждого класса, и окрестность 2×2 изображения высокого разрешения обрабатывается как выход.

Прототипом настоящего изобретения является решение, описанное в US 6766067. На первом этапе этого алгоритма осуществляют первоначальную интерполяцию изображения. Полученное изображение делят на перекрывающиеся патчи. После этого все операции выполняются для каждого патча в порядке растрового сканирования: система генерирует масштабированный среднечастотный патч, используя данный патч низкого разрешения, затем она моделирует вектор поиска по пикселям масштабированного среднечастотного входного патча, а также по перекрывающимся высокочастотным патчам, которые были сформированы ранее. Система находит в ранее заполненной базе данных наиболее близкий вектор к данному вектору поиска и соответствующий высокочастотный выходной патч. На последнем этапе алгоритма выполняется интерполяция высокочастотного выходного патча с учетом интерполированного патча низкого разрешения и объединение всех патчей в одно изображение сверхвысокого разрешения.

Способы многокадрового сверхвысокого разрешения обладают следующими недостатками:

- очень высокая чувствительность к точности оценки движения субпикселя;

- очень высокая сложность аппаратных средств (из-за необходимости сохранения нескольких кадров и выполнения точной оценки движения между этими кадрами);

- высокая чувствительность к захвату изображения и модели деградации (типа функции рассеяния точки, параметров размытости, вызванной движением, уровня шума).

Известным недостатком способов на основе реконструкции являются дефекты структурного типа.

В способах типа US 8655108 B2 рассматривается очень малая окрестность входного изображения, что приводит к слабому отличию текстуры в случае достаточного количества подпространств (например, 8, как предложено в наилучшем способе реализации).

Известный основанный на обучении способ, описанный в US 6766067, позволяет обеспечить результаты высокого качества, однако имеет следующие проблемы:

- для каждого входного патча в качестве сгенерированной текстуры используется всего один среднечастотный патч, что обуславливает линейное соотношение между качеством синтезированной текстуры и количеством записей в базе данных, следовательно, очень высокую сложность аппаратных средств;

- для подавления блочных дефектов способ должен быть реализован с использованием перекрывающихся блоков, что повышает сложность аппаратных средств в несколько раз;

- способ можно обучать только для одной кратности увеличения;

- способ всегда дает точно один и тот же результат для одного и того же патча изображения низкого разрешения, что может приводить к дефектам структурного типа, если текстура исходного изображения низкого разрешения недостаточно разнообразна.

Сущность изобретения

Согласно первому аспекту настоящего изобретения предложен способ обработки изображения с использованием первой и второй базы данных патчей, причем количество патчей в первой базе данных равно количеству патчей во второй базе данных, причем способ содержит этапы, на которых:

- осуществляют низкочастотную или полосовую фильтрацию исходного изображения;

- делят отфильтрованное изображение на блоки такого же размера, как размер патчей в первой базе данных патчей;

- генерируют текстуру для каждого блока, выполняя следующие этапы:

- выполняют предварительную обработку;

- для каждого патча во второй базе данных вычисляют коэффициенты проекции как сумму произведений пикселей внутри блока предварительно обработанного изображения и соответствующих значений пикселей патча из первой базы данных;

- вычисляют пиксели блока выходной текстуры как сумму произведений коэффициентов проекции и патчей из второй базы данных;

- выполняют нормализацию текстуры;

- осуществляют постобработку сгенерированной текстуры; и

- добавляют постобработанную текстуру к исходным значениям пикселей внутри блока.

Согласно одному варианту осуществления настоящего изобретения первая база данных содержит ортонормированный базис патчей, полученных из обучающих патчей отфильтрованного обучающего изображения, и вторая база данных содержит ортонормированный базис патчей, полученных из обучающих патчей изображения текстуры, полученной путем вычитания отфильтрованного обучающего изображения из обучающего изображения.

Согласно другому варианту осуществления настоящего изобретения при предварительной обработке осуществляют удаление тренда, включающее в себя вычитание среднего значения яркости блока, или вычитание линейной или квадратичной регрессионной модели, описывающей здесь упомянутый входной патч.

Согласно другому варианту осуществления настоящего изобретения предварительная обработка содержит удаление тренда, содержащее этапы, на которых:

- вычисляют первого кандидата предварительно обработанного блока путем вычитания из каждого пикселя среднего строчного значения;

- вычисляют второго кандидата предварительно обработанного блока путем вычитания из каждого пикселя среднего постолбцового значения;

- вычисляют третьего кандидата предварительно обработанного блока путем вычитания из каждого пикселя среднего значения для пикселей, лежащих на одной и той же главной диагонали;

- вычисляют четвертого кандидата предварительно обработанного блока путем вычитания из каждого пикселя среднего значения для пикселей, лежащих на одной и той же дополнительной диагонали;

- выбирают из первого, второго, третьего и четвертого кандидатов предварительно обработанного блока кандидата, имеющего наименьшее расхождение или стандартное отклонение, в качестве целевого предварительно обработанного блока;

- вычисляют отношение между расхождением или стандартным отклонением целевого предварительно обработанного блока и расхождением или стандартным отклонением исходного блока;

- вычисляют коэффициент смешивания в качестве убывающей функции этого отношения, которая принимает значение между единицей и нулем;

- вычисляют окончательные значения предварительно обработанных пикселей как сумму произведения коэффициента смешивания и пикселей целевого предварительно обработанного блока и произведения «один минус коэффициент смешивания» (1-коэффициент смешивания) и пикселей исходного блока.

Согласно другому варианту осуществления настоящего изобретения предварительно обработанный пиксель в рамках предварительной обработки вычисляют как сумму или произведение с пикселем из некоторой дополнительной структуры данных, имеющей такой же размер, как изображение.

Согласно другому варианту осуществления настоящего изобретения дополнительную структуру данных формируют как гладкую функцию нескольких случайных или псевдослучайных (в зависимости от положения блока) аргументов.

Согласно другому варианту осуществления настоящего изобретения элементы дополнительной структуры данных формируют как

D x y = c 1 ⋅ e − ( ( x % p )   − X 1 ) 2 + ( ( y % q ) − Y 1 ) 2 σ 1 2 + c 2 ⋅ e − ( ( x % p ) − X 2 ) 2 + ( ( y % q ) − Y 2 ) 2 σ 2 2 ,

где x, y - положение пикселя на строке и в столбце внутри изображения, p - ширина блока, q - высота блока, и c₁, c₂, , , X₁, Y₁, X₂, Y₂ - псевдослучайные числа, зависящие от положения на строке floor(y/q) и положения в столбце floor(x/p) текущего блока пикселей.

Согласно другому варианту осуществления настоящего изобретения нормализацию текстуры вычисляют как или , где f(·) - некая неубывающая функция, принимающая положительные значения на правом полуинтервале, и R_ij - значения пикселей текстуры.

Согласно другому варианту осуществления настоящего изобретения нормализацию текстуры вычисляют как или , где или , где N и M - некие положительные числа, и f() - некая неубывающая функция, принимающая положительные значения на правом полуинтервале, b^k - коэффициенты проекции, и T^k - высокочастотные патчи из высокочастотной базы данных.

Согласно другому варианту осуществления настоящего изобретения выполнение постобработки сгенерированной текстуры содержит этапы, на которых:

- устанавливают попиксельный коэффициент усиления для каждого пикселя в текущем блоке равным единице;

- вычисляют для каждого блока норму сгенерированной текстуры и нормы текстур, сгенерированных в соседних блоках: верхнем слева, верхнем, верхнем справа, левом, правом, нижнем слева, нижнем справа и нижнем;

- для каждого соседнего блока, который имеет норму текстуры ниже предварительно заданного порога, производят обновление коэффициентов усиления в текущих блоках, содержащее этапы, на которых:

- вычисляют среднее значение яркости соседнего блока входного изображения;

- вычисляют медианное значение яркости соседнего блока входного изображения;

- для каждого пикселя текущего блока, если он имеет абсолютное отличие от среднего значения яркости ниже первого предварительно заданного порога или абсолютное отличие от медианного значения яркости ниже второго предварительно заданного порога, вычисляют заново попиксельный коэффициент усиления как минимальное значение предыдущего значения попиксельного коэффициента усиления и отношения между нормой текстуры соответствующего соседнего блока и нормой текстуры исходного блока;

- вычисляют заново каждый пиксель текстуры в текущем блоке путем умножения на соответствующий попиксельный коэффициент усиления.

Согласно другому варианту осуществления настоящего изобретения выполнение постобработки сгенерированной текстуры содержит этапы, на которых:

- устанавливают попиксельный коэффициент усиления каждого пикселя в текущем блоке равным единице;

- вычисляют для каждого блока норму сгенерированной текстуры и нормы текстур, сгенерированных в соседних блоках: верхнем слева, верхнем, верхнем справа, левом, правом, нижнем слева, нижнем справа и нижнем;

- для каждого соседнего блока, который имеет норму текстуры ниже предварительно заданного порога, производят обновление коэффициентов усиления в текущем блоке, содержащее этапы, на которых:

- вычисляют средние значения соседнего блока входного изображения в каждом цветовом канале (RGB, YCbCr или другом цветовом пространстве);

- вычисляют медианные значения соседнего входного блока изображения в каждом цветовом канале (RGB, YCbCr или другом цветовом пространстве);

- для каждого пикселя текущего блока вычисляют первое тестовое значение как некую монотонно возрастающую функцию трех аргументов абсолютных значений разностей значений пикселей входного изображения и соответствующих средних значений из соседнего блока в каждом цветовом канале;

- для каждого пикселя текущего блока вычисляют второе тестовое значение как некую монотонно возрастающую функцию трех аргументов абсолютных значений разностей значений пикселей входного изображения и соответствующих медианных значений из соседнего блока в каждом цветовом канале;

- для каждого пикселя текущего блока, если его первое тестовое значение ниже первого предварительно заданного порога или второе тестовое значение ниже второго предварительно заданного порога, вычисляют заново попиксельный коэффициент усиления как минимальное значение предыдущего значения попиксельного коэффициента усиления и отношения между нормой текстуры соответствующего соседнего блока и нормой текстуры исходного блока;

- вычисляют заново каждый пиксель текстуры в текущем блоке путем умножения на соответствующий попиксельный коэффициент усиления.

Согласно другому варианту осуществления настоящего изобретения выполнение постобработки сгенерированной текстуры содержит этапы, на которых:

- для каждого блока (который может иметь размер, отличный от размера блока, использованного для генерации текстуры) выполняют сегментацию на k классов;

- для каждого класса вычисляют среднее абсолютное значение сгенерированной текстуры;

- для каждого пикселя внутри блока вычисляют отношение между средним абсолютным значением сгенерированной текстуры в некоторой небольшой окрестности и средним абсолютным значением соответствующего сегмента;

- вычисляют попиксельный коэффициент усиления, который принимает нулевое или очень малое значение, если упомянутое отношение очень большое, и единичное значение, если это отношение меньше единицы или очень близко к ней;

- вычисляют заново каждый пиксель текстуры в текущем блоке путем умножения на соответствующий попиксельный коэффициент усиления.

Согласно другому варианту осуществления настоящего изобретения в упомянутом способе используют перекрывающееся расположение блоков.

Согласно другому варианту осуществления настоящего изобретения вторая база данных состоит из патчей, заполняющих только неперекрывающуюся часть входного блока.

Согласно другому варианту осуществления настоящего изобретения текстуру, сгенерированную для соседних блоков, умножают на некую функцию смешивания координат пикселей внутри блока.

Согласно другому варианту осуществления настоящего изобретения текстуру, сгенерированную для соседних блоков, сшивают по пути минимальной энергии.

Согласно другому варианту осуществления настоящего изобретения блоки имеют прямоугольную форму.

Согласно другому варианту осуществления настоящего изобретения все блоки имеют одинаковую форму и образуют плоскую мозаичную фрагментацию.

Согласно другому варианту осуществления настоящего изобретения входное изображение разделяют на блоки двух или нескольких различных форм и/или размеров и для каждой формы и/или размера блока сохраняют отдельные первую и вторую базы данных.

Согласно второму аспекту настоящего изобретения предложен способ обработки изображения с использованием первой и второй базы данных патчей, причем количество патчей в первой базе данных равно количеству патчей во второй базе данных, причем способ содержит этапы, на которых:

- осуществляют низкочастотную или полосовую фильтрацию входного изображения;

- делят отфильтрованное изображение на блоки такого же размера, как размер патчей в первой базе данных патчей;

- генерируют текстуру для каждого блока, выполняя следующие этапы:

- выполняют предварительную обработку;

- для каждого патча во второй базе данных вычисляют коэффициенты проекции как сумму произведений пикселей внутри блока предварительно обработанного изображения и соответствующих значений пикселей патча из первой базы данных;

- вычисляют пиксели выходного блока текстуры как сумму коэффициентов проекции и патчей из второй базы данных;

- выполняют нормализацию текстуры;

- интерполируют входное изображение посредством метода двухмерной интерполяции;

- выполняют постобработку сгенерированной нормализованной текстуры; и

- получают изображение сверхвысокого разрешения путем добавления постобработанной текстуры к интерполированному изображению.

Согласно одному варианту осуществления настоящего изобретения размер патча первой базы данных равен размеру патча второй базы данных, и интерполяция входного изображения содержит интерполяцию входного изображения до размера, равного размеру требуемого сверхвысокого разрешения.

Согласно другому варианту осуществления настоящего изобретения горизонтальный размер патча из первой базы данных в m раз меньше, чем горизонтальный размер патчей из второй базы данных, и вертикальный размер патча из первой базы данных в n раз меньше, чем вертикальный размер патчей из второй базы данных, и:

- интерполяция входного изображения содержит интерполяцию каждого блока входного изображения горизонтально в m раз и вертикально в n раз больше;

- добавление постобработанной текстуры к интерполированному изображению содержит добавление постобработанной текстуры к каждому интерполированному блоку входного изображения; и

- изображение сверхвысокого разрешения имеет горизонтальный размер в m раз больше, чем входное изображение, и вертикальный размер в n раз больше, чем входное изображение.

Согласно третьему аспекту настоящего изобретения предложен способ многомасштабной обработки изображения с использованием, по меньшей мере, двух масштабов, каждый из которых использует первую и вторую базу данных патчей, причем количество патчей в первой базе данных равно количеству патчей во второй базе данных, причем способ содержит этапы, на которых:

- создают слой текстуры для каждого масштаба, выполняя следующие этапы:

- осуществляют низкочастотную или полосовую фильтрацию входного изображения;

- делят отфильтрованное изображение на блоки такой же формы и размера, как форма и размер патчей в первой базе данных данного масштаба;

- генерируют текстуру для каждого блока, выполняя следующие этапы:

- выполняют предварительную обработку;

- для каждого патча во второй базе данных вычисляют коэффициенты проекции как сумму произведений пикселей внутри блока предварительно обработанного изображения и соответствующих значений пикселей патча из первой базы данных;

- вычисляют пиксели выходного блока текстуры как сумму коэффициентов проекции и патчей из второй базы данных;

- выполняют нормализацию текстуры;

- составляют результирующую текстуру из слоев текстуры, сгенерированных для множества масштабов;

- осуществляют постобработку результирующей текстуры; и

- добавляют постобработанную текстуру к исходным значениям пикселей внутри блока.

Согласно одному варианту осуществления настоящего изобретения первая база данных каждого масштаба содержит ортонормированный базис патчей, полученных из обучающих патчей отфильтрованного обучающего изображения, и вторая база данных каждого масштаба содержит ортонормированный базис патчей, полученных из обучающих патчей изображения текстуры, полученного путем вычитания отфильтрованного обучающего изображения из обучающего изображения, и фильтры, используемые для получения отфильтрованного обучающего изображения в каждом масштабе представляют собой некоторые низкочастотные и полосовые фильтры, которые могут быть различными для каждого масштаба.

Согласно другому варианту осуществления настоящего изобретения составление результирующей текстуры из слоев текстуры, сгенерированных для, по меньшей мере, двух масштабов, вычисляют как взвешенную сумму пикселей текстуры, вычисленную в каждом масштабе.

Согласно другому варианту осуществления настоящего изобретения составление результирующей текстуры из слоев текстуры, сгенерированных для, по меньшей мере, двух масштабов, содержит этапы, на которых:

- вычисляют для каждого блока норму сгенерированной текстуры в наименьшем масштабе (масштабе, который имеет полосовую или низкочастотную фильтрацию, поддерживающую наивысший диапазон частоты среди всех других масштабов);

- вычисляют коэффициент усиления как некую монотонную функцию нормы текстуры блока в наименьшем масштабе, которая принимает малое или нулевое значение, когда норма текстуры мала (ниже порога), затем постепенно возрастает и принимает некоторое большее предварительно заданное значение, если норма текстуры выше предварительно заданного порога;

- вычисляют заново слои текстур в каждом масштабе, за исключением наименьшего, путем умножения каждого блока текстуры на коэффициент усиления.

Согласно четвертому аспекту настоящего изобретения предложен способ многомасштабной обработки изображения с использованием, по меньшей мере, двух масштабов, каждый из которых использует первую и вторую базу данных патчей, причем количество патчей в первой базе данных равно количеству патчей во второй базе данных, причем способ содержит этапы, на которых:

- создают слой текстуры для каждого масштаба, выполняя следующие этапы:

- осуществляют низкочастотную или полосовую фильтрацию входного изображения;

- делят отфильтрованное изображение на блоки такой же формы и размера, как форма и размер патчей в первой базе данных патчей данного масштаба;

- генерируют текстуру для каждого блока, выполняя следующие этапы:

- выполняют предварительную обработку для каждого патча во второй базе данных путем вычисления коэффициентов проекции как суммы произведений пикселей внутри блока предварительно обработанного изображения и соответствующих значений пикселей патча из первой базы данных;

- вычисляют пиксели выходного блока текстуры как сумму коэффициентов проекции и патчей из второй базы данных;

- выполняют нормализацию текстуры;

- интерполируют входное изображение, используя метод двухмерной интерполяции;

- составляют результирующую текстуру из слоев текстуры, сгенерированных для, по меньшей мере, двух масштабов;

- выполняют постобработку результирующей текстуры;

- создают изображение сверхвысокого разрешения путем добавления постобработанной текстуры к интерполированному изображению.

Согласно одному варианту осуществления настоящего изобретения размер патча первой базы данных равен размеру патча второй базы данных, и интерполяция входного изображения содержит интерполяцию входного изображения до размера, равного размеру требуемого изображения сверхвысокого разрешения.

Согласно другому варианту осуществления настоящего изобретения интерполяция входного изображения содержит интерполяцию каждого блока входного изображения горизонтально в m раз и вертикально в n раз больше; добавление постобработанной текстуры к интерполированному изображению содержит добавление постобработанной текстуры к каждому интерполированному блоку входного изображения; и изображение сверхвысокого разрешения имеет горизонтальный размер в m раз больше, чем входное изображение, и вертикальный размер в n раз больше, чем входное изображение.

Согласно пятому аспекту настоящего изобретения предложена система для обработки изображения, содержащая: блок фильтрации, блок вычисления коэффициентов проекции, банк низкочастотных текстур, банк высокочастотных текстур и блок синтеза текстуры, причем вход системы соединен с входом блока фильтрации, выход блока фильтрации соединен с первым входом блока вычисления коэффициентов проекции, выход первого банка текстур соединен со вторым входом блока вычисления коэффициентов проекции, выход блока вычисления коэффициентов проекции соединен с первым входом блока синтеза текстуры, выход второго банка текстур соединен со вторым входом блока синтеза текстуры, выход блок синтеза текстуры подается на выход системы.

Согласно одному варианту осуществления настоящего изобретения блок фильтрации выполнен с возможностью выполнения низкочастотной или полосовой фильтрации; первый банк текстур выполнен с возможностью хранения патчей текстур из первой базы данных; второй банк текстур выполнен с возможностью хранения патчей текстур из второй базы данных; блок вычисления коэффициентов проекции выполнен с возможностью вычисления коэффициентов проекции как , где P_ij - значения пикселей, и Е i j k - пиксели патчей из первой базы данных; блок синтеза текстуры выполнен с возможностью вычисления значений пикселей текстур как , где Т i j k - пиксели патчей из второй базы данных, и выполнения нормализации текстур.

Технический результат настоящего изобретения заключается в повышении уровня детализации входного изображения или видеопотока, или повышении разрешения входного изображения или видеопотока. В предложенном способе создания изображений сверхвысокого разрешения используются менее сложные аппаратные средства, чем в известных способах, благодаря его следующим свойствам:

- требуется меньший размер базы данных текстур для получения текстуры аналогичного качества;

- не требуется обработка перекрытия благодаря специальной конфигурации базы данных текстур.

Настоящее изобретение имеет следующие отличия от известных решений:

- сгенерированная текстура формируется как линейная комбинация патчей текстуры, хранимых в базе данных высокочастотных патчей, где коэффициенты линейной комбинации оцениваются как корреляция патча из изображения низкого разрешения (после низкочастотной или полосовой фильтрации) с патчами низкого разрешения, хранящимися в базе данных низкочастотных патчей;

- патчи низкого разрешения, хранящиеся в базе данных низкочастотных патчей, образуют ортонормированный базис;

- сгенерированная текстура подвергается процедуре нормализации для подавления слишком высокой текстуры в высококонтрастных областях изображения и для усиления текстуры в низкоконтрастных областях изображения;

- способ может содержать различные масштабы, что позволяет адаптироваться к нескольким кратностям увеличения (например, ×2, ×4) в рамках одного и того же решения;

- способ позволяет повышать разрешение до произвольно выбранного выходного размера, используя специально обученные базы данных низко- и высокочастотных патчей для данной кратности увеличения;

- способ можно объединить со специальным подалгоритмом для усиления разнообразия сгенерированной текстуры, если текстура исходного изображения низкого разрешения недостаточно разнообразна.

Краткое описание чертежей

Фиг. 1. Конвейер обработки в устройстве отображения сверхвысокой четкости.

Фиг. 2. Многокадровое сверхвысокое разрешение в конвейере видеообработки устройства отображения сверхвысокой четкости.

Фиг. 3. Многокадровое сверхвысокое разрешение в конвейере видеообработки цифровой видеокамеры.

Фиг. 4. Конвейер обработки видео, включающий в себя блок моделирования текстуры в устройстве отображения сверхвысокой четкости.

Фиг. 5. Другой возможный конвейер обработки видео, включающий в себя блок моделирования текстуры.

Фиг. 6. База данных низкочастотных патчей (a) и база данных высокочастотных патчей (b) для структуры на фиг. 4.

Фиг. 7. Схема построения изображения сверхвысокого разрешения для структуры на фиг. 4.

Фиг. 8. Параллельная многомасштабная схема построения изображения сверхвысокого разрешения.

Фиг. 9. Последовательная многомасштабная схема построения изображения сверхвысокого разрешения.

Фиг. 10. Схема генерации текстуры для одного патча изображения.

Фиг. 11. Схема генерации текстуры с предварительной обработкой для одного патча изображения.

Фиг. 12. Пиксели базы данных низкоч