Обработка данных для сверхразрешения

Обработка данных для сверхразрешения

Иллюстрации

Показать все

Реферат

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к области цифровой обработки изображений и видео, в частности к устройству и способу для обработки данных для сверхразрешения, и предназначено для улучшения качества изображений и видео посредством улучшения разрешения, которое также называется получением сверхразрешения изображений и видео.

ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

[0002] Традиционные технологии для повышения качества изображений и видео имеют следующие недостатки. Итерационные подходы являются чрезмерно медленными и имеют высокую сложность из-за высоких вычислительных затрат. Неитеративные подходы не учитывают дробные смещения пикселей, что приводит к снижению качества получаемых изображений. В конвейерных подходах происходит потеря данных изображения и может ухудшаться направленность текстуры мелких деталей. Отсутствует компромисс между шумоподавлением (NR) и сверхразрешением (SR).

[0003] Существуют различные технологии для повышения качества изображений и видео. Одна из технологий описана в публикации патентной заявки US 20130064474 A1, опубликованной 14.03.2013 и озаглавленной «Вычисление изображений с более высоким разрешением из множественных изображений с более низким разрешением». Проблема сверхразрешения с формулировкой, использующей апостериорный максимум, решается с использованием метода нелинейной итеративной оптимизации методом сопряженных градиентов. Однако использование итераций приводит к высоким вычислительным затратам.

[0004] Другие технологии описаны в патенте США US 9282253 B2, опубликованном 08.03.2016 и озаглавленном «Система и способ интерполяции сверхразрешения на основе множества кадров для цифровых камер». Обеспечена система цифровой камеры, которая включает в себя модуль регистрации движения, генерирующий информацию о движении, модуль интерполяции, модуль вычисления весовых коэффициентов и модуль объединения весов. Система поддерживает ввод в формате Байера. Каждый входной кадр интерполируется независимо от других кадров. Однако субпиксельное (дробное) смещение между кадрами не используется при восстановлении деталей.

[0005] Поскольку традиционные технологии для повышения качества изображений и видео имеют вышеупомянутые недостатки, необходим подход для повышения качества изображений и видео, который обеспечивает точное воспроизведение направленности текстуры, низкие вычислительные затраты и хороший компромисс между шумоподавлением и сверхразрешением. Настоящее изобретение предназначено для устранения, по меньшей мере, проблем и недостатков, описанных выше, и обеспечения, по меньшей мере, преимуществ, описанных далее.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0006] Задачей настоящего изобретения является создание устройства и способа для обработки данных для сверхразрешения, которые улучшают качество изображений и видео без потери данных изображений и видео и обеспечивают низкие вычислительные затраты.

[0007] Согласно одному аспекту изобретения обеспечено устройство для обработки данных для сверхразрешения, содержащее: блок оценки смещения, выполненный с возможностью: принимать набор изображений низкого разрешения одной сцены, получать наборы смещений пикселей для изображений низкого разрешения для всех пикселей, соответствующих одним и тем же фрагментам в наборе изображений низкого разрешения, посредством вычисления смещений пикселей для пикселей, соответствующих одним тем же фрагментам в изображениях низкого разрешения, относительно пикселей, соответствующих тем же фрагментам в первом изображении низкого разрешения, выбранном из набора изображений низкого разрешения, получать наборы целочисленных смещений пикселей посредством вычисления целочисленного смещения пикселя для каждого смещения пикселя, при этом наборы целочисленных смещений пикселей соответствуют наборам смещений пикселей для изображений низкого разрешения, получать наборы дробных смещений пикселей посредством вычисления дробного смещения пикселя для каждого смещения пикселя, при этом наборы дробных смещений пикселей соответствуют наборам смещений пикселей для изображений низкого разрешения; банк фильтров, выполненный с возможностью хранения наборов фильтров, причем наборы фильтров предварительно вычислены; блок выбора фильтров, выполненный с возможностью выбора наборов фильтров из банка фильтров на основе наборов дробных смещений пикселей; блок получения изображения высокого разрешения, выполненный с возможностью получения изображения высокого разрешения в формате RGB посредством вычисления пикселей изображения высокого разрешения с использованием набора изображений низкого разрешения, выбранных наборов фильтров и наборов целочисленных смещений пикселей.

[0008] В дополнительном аспекте предварительно вычисленные наборы фильтров получены посредством: задания конечного числа дробных смещений пикселей; генерации наборов дробных смещений пикселей посредством выбора всех комбинаций дробных смещений пикселей; вычисления наборов фильтров на основе наборов дробных смещений пикселей и регуляризатора, описывающего локальные ограничения для сверхразрешения.

[0009] В другом дополнительном аспекте количество фильтров, хранящихся в банке фильтров, уменьшено на основании по меньшей мере одного из условий совпадения смещений пикселей.

[0010] В еще одном дополнительном аспекте наборы фильтров, хранящихся в банке фильтров, включают в себя наборы ненаправленных фильтров и наборы направленных фильтров, причем ненаправленные фильтры ассоциированы с областями изображения, содержащими ненаправленную текстуру, а направленные фильтры ассоциированы с областями изображения, содержащими направленную текстуру.

[0011] В еще одном дополнительном аспекте устройство дополнительно содержит блок оценки направления текстуры, выполненный с возможностью определения направлений текстуры изображений низкого разрешения, причем блок выбора фильтров дополнительно выполнен с возможностью выбора либо наборов ненаправленных фильтров, либо наборов направленных фильтров на основе наборов дробных смещений пикселей и направлений текстуры в изображениях низкого разрешения.

[0012] В еще одном дополнительном аспекте устройство дополнительно содержит: блок предобработки, выполненный с возможностью: определения параметров шумоподавления для всех пикселей в изображениях низкого разрешения, включающих в себя модель шума, размер фрагмента изображения, радиус поиска для соседних фрагментов изображения и зависимость стандартного отклонения шума пикселей от яркости пикселей; вычисления текстурно-зависимых коэффициентов шумоподавления на основе изменений яркости пикселей, при этом каждый текстурно-зависимый коэффициент шумоподавления вычисляется для каждого пикселя изображений низкого разрешения; оценки значений стандартного отклонения шума пикселей с использованием зависимости стандартного отклонения шума пикселей от яркости пикселей, текстурно-зависимых коэффициентов шумоподавления и коэффициента шумоподавления, заданного пользователем; выполнения трехмерного шумоподавления (3DNR) на наборе изображений низкого разрешения на основе параметров шумоподавления и оцененных значений стандартного отклонения шума пикселей для получения изображений низкого разрешения с уменьшенным шумом; и блок оценки карты достоверности, выполненный с возможностью генерации карты достоверности с использованием набора изображений низкого разрешения и наборов смещений пикселей, при этом карта достоверности представляет достоверность вычисления смещений пикселей, при этом блок оценки направления текстуры дополнительно выполнен с возможностью определения направлений текстуры изображений низкого разрешения с уменьшенным шумом; при этом блок выбора фильтров дополнительно выполнен с возможностью выбора либо наборов ненаправленных фильтров, либо наборов направленных фильтров на основе карты достоверности, наборов дробных смещений пикселей и направлений текстуры в изображениях низкого разрешения с уменьшенным шумом; при этом блок получения изображения высокого разрешения дополнительно выполнен с возможностью получения изображения высокого разрешения в формате RGB посредством вычисления пикселей изображения высокого разрешения с использованием карты достоверности, набора изображений низкого разрешения с уменьшенным шумом, выбранных наборов фильтров и наборов целочисленных смещений пикселей.

[0013] В еще одном дополнительном аспекте изображения низкого разрешения одной сцены являются изображениями в формате RGB.

[0014] В еще одном дополнительном аспекте изображения низкого разрешения одной сцены являются байеровскими изображениями.

[0015] В еще одном дополнительном аспекте устройство дополнительно содержит блок постобработки, выполненный с возможностью: преобразования изображения высокого разрешения в формате RGB, полученного модулем получения изображения высокого разрешения, в изображение в формате YUV; обрабатывать изображение в формате YUV посредством: вычисления карты стандартных отклонений пикселей в канале Y методом скользящего окна, вычисления опорного канала Ref путем сглаживания карты стандартных отклонений пикселей с помощью гауссовской фильтрации, кросс-билатеральной фильтрации каналов U и V с использованием опорного канала Ref; и обратного преобразования обработанного изображения в формате YUV в прошедшее постобработку изображение высокого разрешения в формате RGB.

[0016] Согласно другому аспекту изобретения обеспечен способ обработки данных для сверхразрешения, содержащий этапы, на которых: принимают набор изображений низкого разрешения одной сцены; получают наборы смещений пикселей для изображений низкого разрешения для всех пикселей, соответствующих одним и тем же фрагментам в наборе изображений низкого разрешения, посредством вычисления смещений пикселей для пикселей, соответствующих одним тем же фрагментам в изображениях низкого разрешения, относительно пикселей, соответствующих тем же фрагментам в первом изображении низкого разрешения, выбранном из набора изображений низкого разрешения; получают наборы целочисленных смещений пикселей посредством вычисления целочисленного смещения пикселя для каждого смещения пикселя, при этом наборы целочисленных смещений пикселей соответствуют наборам смещений пикселей для изображений низкого разрешения; получают наборы дробных смещений пикселей посредством вычисления дробного смещения пикселя для каждого смещения пикселя, при этом наборы дробных смещений пикселей соответствуют наборам смещений пикселей для изображений низкого разрешения; выбирают наборы фильтров из предварительно вычисленных наборов фильтров на основе наборов дробных смещений пикселей; получают изображение высокого разрешения в формате RGB посредством вычисления пикселей изображения высокого разрешения с использованием набора изображений низкого разрешения, выбранных наборов фильтров и наборов целочисленных смещений пикселей.

[0017] В одном дополнительном аспекте предварительно вычисленные наборы фильтров получают посредством: задания конечного числа дробных смещений пикселей; генерации наборов дробных смещений пикселей посредством выбора всех комбинаций дробных смещений пикселей; вычисления наборов фильтров на основе наборов дробных смещений пикселей и регуляризатора, описывающего локальные ограничения для сверхразрешения.

[0018] В другом дополнительном аспекте количество упомянутых фильтров уменьшено на основании по меньшей мере одного из условий совпадения смещений пикселей.

[0019] В еще одном дополнительном аспекте предварительно вычисленные наборы фильтров включают в себя наборы ненаправленных фильтров и наборы направленных фильтров, причем ненаправленные фильтры ассоциированы с областями изображения, содержащими ненаправленную текстуру, а направленные фильтры ассоциированы с областями изображения, содержащими направленную текстуру.

[0020] В еще одном дополнительном аспекте способ дополнительно содержит этап, на котором определяют направления текстуры изображений низкого разрешения, при этом выбор наборов фильтров содержит выбор либо наборов ненаправленных фильтров, либо наборов направленных фильтров на основе наборов дробных смещений пикселей и направлений текстуры в изображениях низкого разрешения.

[0021] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: определяют параметры шумоподавления для всех пикселей в изображениях низкого разрешения, включающие в себя модель шума, размер фрагмента изображения, радиус поиска для соседних фрагментов изображения и зависимость стандартного отклонения шума пикселей от яркости пикселей; вычисляют текстурно-зависимые коэффициенты шумоподавления на основе изменений яркости пикселей, при этом каждый текстурно-зависимый коэффициент шумоподавления вычисляют для каждого пикселя изображений низкого разрешения; оценивают значения стандартного отклонения шума пикселей с использованием зависимости стандартного отклонения шума пикселей от яркости пикселей, текстурно-зависимых коэффициентов шумоподавления и коэффициента шумоподавления, заданного пользователем; выполняют трехмерное шумоподавление (3DNR) на наборе изображений низкого разрешения на основе параметров шумоподавления и оцененных значений стандартного отклонения шума пикселей для получения изображений низкого разрешения с уменьшенным шумом; и генерируют карту достоверности с использованием набора изображений низкого разрешения и наборов смещений пикселей, при этом карта достоверности представляет достоверность вычисления смещений пикселей, при этом определение направлений текстуры изображений низкого разрешения содержит определение направлений текстуры изображений низкого разрешения с уменьшенным шумом; при этом выбор наборов фильтров содержит выбор либо наборов ненаправленных фильтров, либо наборов направленных фильтров на основе карты достоверности, наборов дробных смещений пикселей и направлений текстуры в изображениях низкого разрешения с уменьшенным шумом; при этом получение изображения высокого разрешения в формате RGB содержит вычисление пикселей изображения высокого разрешения с использованием карты достоверности, набора изображений низкого разрешения с уменьшенным шумом, выбранных наборов фильтров и наборов целочисленных смещений пикселей.

[0022] В еще одном дополнительном аспекте изображения низкого разрешения одной сцены являются изображениями в формате RGB.

[0023] В еще одном дополнительном аспекте изображения низкого разрешения одной сцены являются байеровскими изображениями.

[0024] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: преобразуют изображение высокого разрешения в формате RGB в изображение в формате YUV; обрабатывают изображение в формате YUV посредством: вычисления карты стандартных отклонений пикселей в канале Y методом скользящего окна, вычисления опорного канала Ref путем сглаживания карты стандартных отклонений пикселей с помощью гауссовской фильтрации, кросс-билатеральной фильтрации каналов U и V с использованием опорного канала Ref; и выполняют обратное преобразование обработанного изображения в формате YUV в прошедшее постобработку изображение высокого разрешения в формате RGB.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0025] Вышеприведенные и другие аспекты, признаки и преимущества настоящего изобретения станут более очевидными из нижеследующего подробного описания в сочетании с прилагаемыми чертежами, на которых:

[0026] Фиг. 1 представляет собой блок-схему одного варианта осуществления устройства для обработки данных для сверхразрешения.

[0027] Фиг. 2 представляет собой блок-схему другого варианта осуществления устройства для обработки данных для сверхразрешения.

[0028] Фиг. 3 представляет собой блок-схему еще одного варианта осуществления устройства для обработки данных для сверхразрешения.

[0029] Фиг. 4 иллюстрирует приведение вектором с компонентами к первому или второму квадранту при оценке направления текстуры изображения.

[0030] Фиг. 5 иллюстрирует разделение пикселей байеровских изображений низкого разрешения на отдельные цветовые каналы G1, G2, R и B.

[0031] В нижеследующем описании, если не указано иное, одинаковые ссылочные позиции используются для одних и тех же элементов при изображении на разных чертежах, и их описание будет опущено.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

[0032] Нижеследующее описание со ссылкой на прилагаемые чертежи предоставлено для содействия всестороннему пониманию различных вариантов осуществления настоящего раскрытия, как определено формулой изобретения и их эквивалентами. Оно включает в себя различные конкретные детали, чтобы помочь в этом понимании, но они должны рассматриваться только как примерные. Соответственно, специалисты в данной области техники поймут, что различные изменения и модификации различных вариантов осуществления, описанных здесь, могут быть сделаны без отхода от объема настоящего раскрытия. Кроме того, описания хорошо известных функций и конструкций могут быть опущены для ясности и краткости.

[0033] Термины и слова, используемые в нижеследующем описании и формуле изобретения, не ограничиваются библиографическими значениями, а только используются изобретателем для обеспечения ясного и последовательного понимания настоящего раскрытия. Соответственно, специалистам в данной области техники должно быть очевидно, что следующее описание различных вариантов осуществления настоящего раскрытия представлено только для иллюстрации.

[0034] Следует понимать, что термины в единственном числе не исключают множественности, если явно не указано иное.

[0035] Следует понимать, что, хотя термины первый, второй и т. д. могут быть использованы здесь в отношении элементов настоящего раскрытия, такие элементы не должны истолковываться как ограниченные этими терминами. Термины используются только, чтобы указать отличие одного элемента от других элементов.

[0036] Кроме того следует понимать, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя» при использовании в настоящем документе указывают наличие указанных признаков, значений, операций, элементов и/или компонентов, но не исключают наличия или добавления одного или более других признаков, значений, операций, элементов, компонентов и/или их групп.

[0037] В различных вариантах осуществления настоящего раскрытия «модуль» или «блок» могут выполнять по меньшей мере одну функцию или операцию и могут быть реализованы с помощью аппаратных средств, программного обеспечения или их комбинации. «Множество модулей» или «множество блоков» может быть реализовано по меньшей мере одним процессором (не показано) посредством его интеграции с по меньшей мере одним модулем или блоком, отличным от «модуля» или «блока», который должен быть реализован с использованием конкретного аппаратного обеспечения.

[0038] Ниже различные варианты осуществления настоящего раскрытия описаны более подробно со ссылкой на прилагаемые чертежи.

[0039] Настоящее изобретение может получать изображение высокого разрешения как из набора изображений низкого разрешения одной сцены в формате RGB (аддитивная цветовая модель), так и набора байеровских (в формате raw) изображений низкого разрешения одной сцены, полученных от датчика изображения. Полученное изображение высокого разрешения имеет формат RGB. В отличие от предшествующего уровня техники обработка в соответствии с настоящим изобретением выполняется неитеративным способом с фильтрацией на основе наборов дробных смещений пикселей. Кроме того, в вариантах осуществления настоящего изобретения учитывается направленность текстуры изображений за счет использования оценки направленности текстуры и фильтрации с использованием направленных и не направленных фильтров. Дополнительно в вариантах осуществления настоящего изобретения используется трехмерное шумоподавление в сочетании с операциями сверхразрешения с достижением хорошего компромисса между шумоподавлением и сверхразрешением, которые используются по-отдельности в предшествующем уровне техники.

Основной принцип сверхразрешения

[0040] Обычно задача сверхразрешения сводится к нахождению одного изображения высокого разрешения из нескольких изображений низкого разрешения. При этом при восстановлении пикселей изображения высокого разрешения используют пиксели из исходных изображений низкого разрешения с учетом дробных (субпиксельных) смещений пикселей.

[0041] Суть метода состоит в следующем. Пусть исходное изображение высокого разрешения известно, тогда изображения низкого разрешения , , …. можно найти, произведя трансформацию входного изображения и последующую понижающую дискретизацию. В качестве трансформации может быть проективное или аффинное преобразование, а также любое непрерывное преобразование координат. Трансформация обычно обусловлена движением камеры между моментами съемки входных изображений низкого разрешения, также она частично может быть обусловлена смещением объектов внутри кадра. При съемке изображений низкого разрешения с использованием реальной оптической системы, помимо трансформации и понижающей дискретизации, применяемым к идеальному изображению высокого разрешения, применяется еще и сглаживание, обусловленное функцией рассеяния точки (PSF) оптической системы. Формирование изображений низкого разрешения из изображения высокого разрешения происходит в соответствии с формулой: ,

где - оператор понижающей дискретизации, - оператор сглаживания, - оператор трансформации для получения k-го изображения, а- шум. Оператор можно оценить экспериментально, теоретически на основе детального описания оптической системы, или подобрать приблизительно исходя из критериев качества результирующего изображения. Оператор трансформации находят с использованием методов оценки смещения. При этом подразумевается, что и - это векторизованные изображения низкого разрешения. Если исходное изображение в двумерном виде было представлено матрицей ,

то векторизованное изображение можно представить как

Матрица понижающей дискретизации , сжимающая изображение размера в раз по вертикали и в раз по горизонтали будет иметь вид , где - Кронекерово произведение, - единичная матрица размера , а - -й столбец матрицы

Так, для того, чтобы уменьшить приведенную выше матрицу в 2 раза и получить матрицу , исходную матрицу в векторизованной форме надо домножить на матрицу

и преобразовать из вектора длины 4 в матрицу размера 2×2.

[0042] Таким образом, для изображения высокого разрешения размером и изображения низкого разрешения размером матрицы и будут иметь размер , а матрица - размер . В дальнейшем без потери общности ограничимся рассмотрением квадратных изображений размером .

[0043] При заданной модели формирования изображений низкого разрешения задачу поиска изображения высокого разрешения можно сформулировать как минимизацию функционала, заданного формулой

.

[0044] Эту задачу можно сформулировать с использованием различных норм, но решение проще всего отыскать в случае квадратичной нормы, которую мы и будем в дальнейшем использовать.

[0045] Иногда эту задачу можно решить непосредственно. В одном варианте осуществления изобретения, оператор сглаживания тождественный (т.е. нет сглаживания), а оператор трансформации представляет собой циклическое смещение на пикселей по вертикали и пикселей по горизонтали. Тогда матрицу этого оператора можно построить как , где матрица оператора, осуществляющего циклическое смещение столбцов матрицы размером на .

[0046] Для того, чтобы выполнить смещение в матрице

на 1 пиксель по вертикали и 2 пикселя по горизонтали и получить матрицу можно построить матрицу трансформации

[0047] Пусть у нас имеется 4 изображения низкого разрешения полученных из изображения высокого разрешения при помощи смещений и понижающей дискретизации в 2 раза. Тогда очевидно, что исходное изображение можно просто «собрать» из пикселей изображений низкого разрешения.

[0048] Если бы, например, смещения в некоторых изображениях повторялись, то полная реконструкция стала бы невозможна. Для того, чтобы в случаях, когда полная реконструкция невозможна, или задача плохо обусловлена (что происходит, в том числе, в силу наличия оператора сглаживания , метод выдавал разумное решение (т.е. при входных изображениях с одинаковым смещением происходила пространственная интерполяция с усреднением), на решение накладываются дополнительные ограничения. Эти ограничения формулируются в виде регуляризирующего члена (в дальнейшем - «регуляризатор»), прибавляемого к минимизируемому функционалу, заданному формулой:

[0049] Обычно сформулированную подобным образом задачу сверхразрешения решают при помощи итерационных методов, которые не допускают решения в реальном времени. Для решения задачи в реальном времени используются приближенные методы.

Решение задачи сверхразрешения согласно настоящему изобретению

[0050] В настоящем изобретении мы получаем точное решение задачи в реальном времени без использования итераций.

[0051] Используем регуляризацию Тихонова, т.е. решаем задачу оптимизации для регуляризатора , где - скалярный параметр регуляризации, а - некий оператор. Тогда оптимизируемый функционал можно записать в виде формулы:

где

[0052] Как известно, оптимизационная задача такого вида имеет аналитическое решение, выраженное формулой:

[0053] Это значит, что каждый пиксель изображения высокого разрешения с координатами можно найти в виде линейной комбинации пикселей входных изображений низкого разрешения по формуле:

где - пиксель -го входного изображения низкого разрешения с координатами , а - целое число, соответствующее коэффициенту понижающей дискретизации (во сколько раз размер изображения высокого разрешения отличается от размера изображения низкого разрешения). Значение весового коэффициента можно найти из вычисленной матрицы , как ее элемент с координатами :

где круглые скобки обозначают взятие соответствующего элемента матрицы.

[0054] Поскольку невозможно сохранить (требуется такое количество места, которое в данный момент недоступно для использования) решения всех возможных задач для всех возможных смещений, мы ввели два дополнительных ограничения: во-первых, рассматриваем только такие трансформации , которые соответствуют одному и тому же смещению всех пикселей изображения высокого разрешения, во-вторых, рассматриваем только такие операторы , которые представляют собой свертку (или циклическую свертку) с некоторым ненулевым ядром с суммой элементов, равной нулю, например, .

[0055] Первое ограничение позволяет параметры решения задавать не матрицами размера размером , а парами смещений (по вертикали и горизонтали):

[0056] Реконструкция изображения высокого разрешения основана на сохранении предварительно вычисленных и сохраненных матриц для всевозможных сочетаний смещений .

[0057] Согласно настоящему изобретению, для обеспечения очень точной аппроксимации достаточно хранить лишь по нескольку элементов из каждой матрицы при этом нет необходимости проводить вычисления для всех возможных смещений, достаточно сохранить результаты лишь для некоторых наборов таких, что . Более того, в результате построения такой аппроксимации отпадает необходимость исходного предположения, что смещения пикселей в изображениях низкого разрешения друг относительно друга (и относительно изображения высокого разрешения) одинаковы для всех пикселей изображения. Для корректного функционирования настоящего изобретения достаточно условия, чтобы лишь соседние пиксели изображения низкого разрешения в окрестности размером имели одинаковые смещения относительно соответствующих пикселей в других изображениях низкого разрешения.

Описание вариантов изобретения

[0058] На фиг. 1 показана блок-схема устройства 100 для обработки данных для сверхразрешения. Устройство 100 содержит блок 101 оценки смещения, блок 102 выбора фильтров, банк 103 фильтров, блок 104 получения изображения высокого разрешения. Устройство 100 для обработки данных для сверхразрешения может получать изображение высокого разрешения в формате RGB как из набора изображений низкого разрешения одной сцены в формате RGB, так и набора байеровских изображений низкого разрешения одной сцены

[0059] Блок 101 оценки смещения принимает набор изображений низкого разрешения одной сцены и получает наборы смещений пикселей для изображений низкого разрешения для всех пикселей. Принимаем как условие то, что первое изображение имеет нулевое смещение, и смещения для других изображений будут вычисляться относительно первого изображения. Если набор изображений низкого разрешения одной сцены содержит изображения в формате RGB, то для каждых пикселей выходного изображения с координатами , причем - коэффициент понижающей дискретизации, выполняют следующие операции:

- вычисляют координаты соответствующего пикселя в первом изображении низкого разрешения ,

- вычисляют смещения относительно пикселя с координатами в первом изображении низкого разрешения пикселей других изображений низкого разрешения, соответствующих тому же фрагменту для изображения.

[0060] Затем блок 101 оценки смещения получает наборы целочисленных смещений пикселей посредством вычисления целочисленного смещения пикселя для каждого смещения пикселя, при этом наборы целочисленных смещений пикселей соответствуют наборам смещений пикселей для изображений низкого разрешения, и получает наборы дробных смещений пикселей посредством вычисления дробного смещения пикселя для каждого смещения пикселя, при этом наборы дробных смещений пикселей соответствуют наборам смещений пикселей для изображений низкого разрешения. Для каждого из смещений пикселей изображений низкого разрешения вычисляют целочисленное смещение и дробное смещение, где квадратные скобки соответствуют операции взятия целой части.

[0061] Банк 103 фильтров хранит предварительно вычисленные наборы фильтров. Набором фильтров является набор величин, по которым можно однозначно восстановить матрицу для некоторого набора смещений . При этом благодаря первому и второму ограничениям, описанным в разделе «Решение задачи сверхразрешения согласно настоящему изобретению» для восстановления каждого пикселя выходного изображения требуется не больше пикселей входного изображения. Банк 103 фильтров содержит совокупность наборов фильтров, вычисленных для всевозможных сочетаний таких, что