Способ и система обработки изображений для формирования изображений сверхвысокого разрешения

Способ и система обработки изображений для формирования изображений сверхвысокого разрешения

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится к области техники обработки изображений в целом и к способу и системе обработки изображений для формирования изображений сверхвысокого разрешения в частности.

Уровень техники

В настоящее время широкое распространение получили дисплеи, поддерживающие стандарт сверхвысокой четкости (UHD), однако все еще имеется недостаток кадров изображений с достаточным разрешением.

Наипростейший способ решения этой проблемы, который известен специалистам в данной области техники, показан на Фиг. 1. Этот подход был уже широко применен для преобразования видеосигнала стандартной четкости в HD-сигнал и может быть использован для преобразования HD-видеосигнала в видеосигнал сверхвысокой четкости (UHD). Как показано на Фиг. 1, устройство отображения сверхвысокой четкости может состоять из приемника 101, выполненного с возможностью приема HD-видеосигнала 102, который затем передается в средство 103 масштабирования. Средство 103 масштабирования выполнено с возможностью преобразования HD-видеосигнала 102 в видеосигнал 104 сверхвысокой четкости (UHD), который, в итоге, передается на панель 105 отображения сверхвысокой четкости (UHD). Известные из уровня техники методы масштабирования, применяемые для получения видеосигналов сверхвысокой четкости (UHD), таких как сигнал 104 из средства 103 масштабирования, обычно имеют низкое качество воспроизведения высокочастотных деталей по сравнению с видео сверхвысокой четкости (UHD), снятым видеокамерой сверхвысокой четкости (UHD). Для решения этой проблемы были разработаны некоторые специальные методы увеличения разрешения изображений.

В частности, методы обеспечения сверхвысокого разрешения зачастую используются для получения более высокого уровня детализации при просмотре традиционного контента на дисплеях сверхвысокой четкости (UHD). Такие методы могут быть разделены на две основные категории: многокадровые методы и однокадровые методы.

Например, в US 6,434,280 и US 8,306,121 описаны многокадровые методы увеличения разрешения изображений за счет использования информации из множества кадров низкого разрешения для построения кадра высокого разрешения.

US 6,434,280 описывает систему формирования изображения мозаичного вида со сверхвысоким разрешением за счет использования множества кадров изображения, в которой каждый кадр представляет собой часть сцены для выходного изображения. Описанная система состоит из генератора изображения мозаичного вида и генератора изображения сверхвысокого разрешения. Генератор изображения мозаичного вида формирует из кадров изображения данные изображения мозаичного вида, которые характеризуют изображение мозаичного вида. Генератор изображения сверхвысокого разрешения принимает данные изображения мозаичного вида и данные изображения, представленные в кадрах изображения, и выводит изображение мозаичного вида со сверхвысоким разрешением. Во время процесса формирования изображения мозаичного вида со сверхвысоким разрешением изображение мозаичного вида разделяется на множество компонентов изображения (каждый компонент изображения связан с по меньшей мере одним кадром изображения), и процесс выполняется в отношении компонентов изображения для формирования изображения мозаичного вида со сверхвысоким разрешением.

В US 8,306,121 раскрыт способ формирования изображений сверхвысокого разрешения за счет использования последовательности изображений низкого разрешения. Способ включает в себя этапы, на которых: формируют предположительное изображение высокого разрешения, проводят оценку движения между предположительным изображением высокого разрешения и сравнительными изображениями из последовательности изображений низкого разрешения, осуществляют обратное проецирование с компенсацией движения и осуществляют обратное проецирование без компенсации движения, что позволяет получить в результате изображение сверхвысокого разрешения. US 8,306,121 также раскрывает соответствующую систему формирования изображений сверхвысокого разрешения, которая состоит из модулей, каждый из которых выполняет один из вышеупомянутых этапов способа.

Известные из уровня техники многокадровые методы имеют следующие недостатки:

- требуется очень большое число исходных кадров для получения высоких коэффициентов увеличения;

- такие методы обладают очень сильной чувствительностью к точности суб-пиксельной оценки движения;

- такие методы требуют очень сложного аппаратного обеспечения (вследствие необходимости сохранять несколько кадров и выполнять точную оценку движения между этими кадрами);

- такие методы обладают высокой чувствительностью к модели получения изображений и ухудшения качества изображений (наподобие функции рассеяния точки, параметров размытия из-за движения, уровня шума и т.д.).

Наконец, также известно, что многокадровым методам свойственны артефакты в виде повторяющихся узоров.

Однокадровые методы могут быть разделены на методы, основанные на самоподобии, повторном проецировании и обучении.

Пример метода, основанного на повторном проецировании, описан в JP 2008140012, где предложено использовать метод Гаусса-Зейделя для расчета значения обратной связи, добавляемого к изображению низкого разрешения, которое масштабируется с использованием некоего традиционного способа. Описанный метод, основанный на повторном проецировании, предусматривает многократное улучшение изображения сверхвысокого разрешения и вносит слишком много задержек в процесс видеообработки, и не может быть реализован в виде «системы-на-кристалле» по разумной цене.

Методы, основанные на самоподобии, зачастую имеют недопустимую сложность вычислений и не могут быть реализованы в виде «системы-на-кристалле» по разумной цене. US 20130044965 раскрывает один пример способа обеспечения сверхвысокого разрешения с использованием самоподобия, который может быть реализован по разумной цене. Вся информация для масштабирования изображения получается из самого изображения. Сначала изображение масштабируется, затем определяется, имеет ли масштабированное изображение какие-либо сглаженные области. После этого повышается качество границ на масштабированном изображении, и, если была обнаружена сглаженная область, она окаймляется границей. В заключение, формируются текстуры для улучшенного и неулучшенного масштабированных изображений. Текстуры покрывают сглаженные области и создаются с использованием входного изображения, применяемого в качестве примера текстур. Тем не менее, этот способ может обеспечивать только улучшение границ, но не улучшает текстурированные области.

Методы, основанные на обучении и обеспечивающие предварительно обучаемую базу данных для хранения модели текстур, могут быть включены в состав процесса видеообработки в дисплее сверхвысокой четкости (UHD), как показано на Фиг. 2. Видеосигнал принимается и декодируется приемником 201 для обеспечения множества компонентов изображения. Каждый компонент изображения масштабируется средством 202 масштабирования и обрабатывается блоком 203 текстурирования. Для каждого масштабированного компонента изображения с низким уровнем детализации блок 203 текстурирования находит наиболее похожую запись в базе 204 данных с низкочастотными компонентами изображения, извлекает соответствующий высокочастотный компонент изображения из базы 205 данных с высокочастотными компонентами изображения, добавляет этот высокочастотный компонент изображения к исходному компоненту изображения с низким уровнем детализации и формирует выходное изображение сверхвысокого разрешения, которое должно быть отображено на дисплее 206 сверхвысокой четкости (UHD). Примеры таких методов, основанных на обучении, описаны в US 20130156345 и US 6,766,067.

В US 20130156345 предложено использовать множество кадров, снятых с высокой частотой кадров, для построения кадра высокого разрешения. После объединения этих кадров выполняется улучшение качества изображения с использованием нелинейного фильтра, реализованного в виде предварительно обучаемой нейронной сети. Этот способ, как предполагается, должен использоваться для мобильного приложения в случае съемки увеличенных фрагментов. Нейронная сеть обучается для каждой определенной модели камеры с использованием тестового изображения, включающего в себя радиальные и синусоидальные тестовые диаграммы.

US 6,766,067 раскрывает другой метод, основанный на обучении. Первый этап этого метода состоит в интерполяции исходного изображения. Интерполированное изображение разделяется на перекрывающиеся компоненты изображения. После этого все операции выполняются в отношении каждого отдельного компонента изображения в растровом порядке сканирования: система формирует масштабированный среднеполосный компонент изображения с использованием заданного компонента изображения низкого разрешения, затем она моделирует вектор поиска по пикселям из масштабированного среднеполосного компонента изображения путем перекрытия высокополосных компонентов изображения, которые были сформированы до этого. Система находит в ранее заполненной базе данных ближайший вектор к заданному вектору поиска и соответствующий высокополосный компонент выходного изображения. Последний этап этого алгоритма заключается в интерполировании высокополосного компонента выходного изображения с использованием интерполированного компонента изображения низкого разрешения и объединении всех компонентов изображения в одно изображение сверхвысокого разрешения.

Метод, основанный на обучении, который известен из US 6,766,067, обеспечивает в результате высокое качество, но обладает следующими недостатками:

- одна и та же обработка используется в отношении всех компонентов изображения, что обеспечивает низкое разнообразие текстур;

- используется только одна база данных для всех видов текстур;

- время поиска соответствующих шаблонов является линейным;

- проблема инвариантности относительно сдвига и вращения решается за счет использования избыточной базы данных, описывающей все возможные сдвиги и повороты компонентов изображения.

Раскрытие изобретения

Идея настоящего изобретения пришла в головы авторов в силу вышеупомянутых недостатков решений, известных из уровня техники, и настоящее изобретение в целом опирается на метод, основанный на обучении, который используется для формирования выходного изображения с более высоким разрешением и/или уровнем детализации по сравнению с входным изображением.

Технический результат, достигаемый при использовании настоящего изобретения, заключается в увеличении разрешения и уровня детализации входного изображения, что обеспечивает улучшение качества изображения по сравнению с решениями, известными из уровня техники.

Согласно первому аспекту, предложен способ обработки изображений. Способ содержит этапы, на которых:

обеспечивают по меньшей мере одно входное изображение;

масштабируют входное изображение для формирования масштабированного изображения, имеющего целевое низкое разрешение;

сегментируют масштабированное изображение на неперекрывающиеся сегменты изображения, причем каждый сегмент изображения состоит из множества компонентов изображения;

выполняют обработку в отношении каждого из сегментов изображения, причем упомянутая обработки содержит:

- вычисление вектора признаков, характеризующего признаки текстуры и цвета в сегменте изображения;

- осуществление доступа к базе данных, состоящей из поля векторов признаков, включающего в себя множество разных векторов признаков, поля низкочастотных компонентов изображения, включающего в себя множество разных подбаз данных с низкочастотными компонентами изображения, и поля высокочастотных компонентов изображения, включающего в себя множество разных подбаз данных с высокочастотными компонентами изображения, причем каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей одной подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения;

- определение вектора признаков в поле векторов признаков в базе данных, который наиболее похож на вычисленный вектор признаков сегмента изображения;

- выбор подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков;

- выполнение подобработки в отношении каждого компонента изображения, принадлежащего сегменту изображения, причем упомянутая подобработки содержит:

-- определение в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотного компонента изображения, наиболее похожего на компонент изображения сегмента изображения;

-- извлечение из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотного компонента изображения, соответствующего определенному низкочастотному компоненту изображения;

-- добавление извлеченного высокочастотного компонента изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения; и

-- объединение всех компонентов изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения; и

- объединение всех сегментов изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение; и

отображают выходное изображение.

В некоторых вариантах осуществления признаки текстуры и цвета в векторе признаков каждого сегмента изображения содержат по меньшей мере одно из следующего: средние значения красного, зеленого и синего цвета, средние значения оттенка и насыщенности, модифицированные признаки Харалика для зернистости и контрастности, модифицированные признаки Тамура для зернистости, контрастности, направленности и нечеткости, модифицированные признаки Канни для зернистости, модифицированные признаки Амадасуна для зернистости и контрастности и признаки Ву для зернистости, контрастности, периодичности и нечеткости.

В одном варианте осуществления этап масштабирования выполняют с использованием операции интерполирования. Операция интерполирования может быть операцией билинейного интерполирования.

В одном варианте осуществления база данных организована в виде дерева.

В одном варианте осуществления этап извлечения высокочастотного компонента изображения содержит этапы, на которых: выбирают угол ориентации для каждого низкочастотного компонента изображения; осуществляют поворот каждого низкочастотного компонента изображения на угол ориентации; осуществляют нормировку каждого низкочастотного компонента изображения с использованием коэффициента нормировки; выбирают высокочастотный компонент изображения для каждого низкочастотного компонента изображения; осуществляют поворот каждого высокочастотного компонента изображения на величину, обратную углу ориентации; и умножают каждый высокочастотный компонент изображения на коэффициент нормировки. Коэффициент нормировки может быть выбран на основании конкретного типа параметров каждого низкочастотного компонента изображения. В качестве примера, эти параметры могут содержать одно из следующего: стандартное отклонение каждого низкочастотного компонента изображения и разность минимального и максимального значений каждого низкочастотного компонента изображения, и, в таком случае, коэффициент нормировки пропорционален стандартному отклонению низкочастотного компонента изображения или пропорционален разности минимального и максимального значений соответствующего низкочастотного компонента изображения. Кроме того, база данных может дополнительно содержать поле метаданных, содержащее одно или более значений коэффициента нормировки. В некоторых вариантах осуществления угол ориентации для каждого низкочастотного компонента изображения обеспечивает максимальную симметрию относительно заданной оси.

В одном варианте осуществления этап сегментирования содержит этапы, на которых: выполняют первоначальное грубое сегментирование; и улучшают первоначальное грубое сегментирование. Первоначальное грубое сегментирование улучшается за счет получения набора граничных элементов для каждого сегмента изображения, выбора оптимальных граничных элементов из набора граничных элементов и получения непрерывной границы для каждого сегмента на основании выбранных оптимальных граничных элементов. Первоначальное грубое сегментирование может выполняться посредством одной из следующих операций: кластеризация пикселей на основании яркости, цвета, текстуры и других атрибутов; сегментирование на основании гистограмм; сегментирование на основании расщепления и объединения; сегментирование с выращиванием областей. В некоторых вариантах осуществления упомянутое по меньшей мере одно входное изображение представляет собой последовательность видеоизображений, и в таком случае первоначальное грубое сегментирование выполняется на основании оценки движения и/или оценки глубины для последовательности видеоизображений. Первоначальное грубое сегментирование может также выполняться посредством выбора пользователем вручную набора граничных элементов для каждого сегмента изображения. Оптимальные граничные элементы выбираются посредством динамического программирования, а непрерывная граница получается за счет использования модели активного контура.

В одном варианте осуществления база данных составлена из и заполнена разными низкочастотными компонентами изображения и высокочастотными компонентами изображения с использованием алгоритма обучения. Алгоритм обучения содержит этапы, на которых: преобразуют обучающее изображение из первого цветового пространства во второе цветовое пространство для обеспечения двух раздельных каналов данных о яркости и цветности; осуществляют понижающее масштабирование канала данных о яркости; осуществляют повышающее масштабирование подвергнутого понижающему масштабированию канала данных о яркости для получения низкочастотного изображения, состоящего из низкочастотных компонентов изображения; вычитают низкочастотное изображение из исходного канала данных о яркости для получения высокочастотного изображения, состоящего из высокочастотных компонентов изображения; группируют низкочастотные компоненты изображения в виде подбазы данных с низкочастотными компонентами изображения; и группируют высокочастотные компоненты изображения в виде подбазы данных с высокочастотными компонентами изображения. В некоторых вариантах осуществления первое цветовое пространство представляет собой цветовое пространство RGB, а второе цветовое пространство представляет собой одно из цветовых пространств YCbCr, YUV, HSV, LaB.

В одном варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются непосредственно за счет соединения вплотную друг к другу компонентов изображения сверхвысокого разрешения и соединения вплотную друг к другу сегментов изображения сверхвысокого разрешения. В одном другом варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются за счет использования перекрытия и взвешивания компонентов изображения сверхвысокого разрешения и сегментов изображения сверхвысокого разрешения. В еще одном другом варианте осуществления упомянутое объединение всех компонентов изображения сверхвысокого разрешения и упомянутое объединение всех сегментов изображения сверхвысокого разрешения выполняются с использованием способов разреза графов, чтобы получить максимально гладкую границу между разными компонентами изображения сверхвысокого разрешения и разными сегментами изображения сверхвысокого разрешения.

Согласно второму аспекту, предложена система обработки изображений. Система содержит приемник, средство масштабирования, блок сегментирования, блок извлечения признаков, блок хранения, блок сопоставления признаков, блок текстурирования и блок отображения. Приемник выполнен с возможностью приема и декодирования по меньшей мере одного входного изображения. Средство масштабирования выполнено с возможностью масштабирования входного изображения для формирования масштабированного изображения. Блок сегментирования выполнен с возможностью сегментирования масштабированного изображения на неперекрывающиеся сегменты изображения. Каждый сегмент изображения состоит из множества компонентов изображения. Блок извлечения признаков выполнен с возможностью вычисления для каждого сегмента изображения вектора признаков, содержащего признаки текстуры и цвета. Блок хранения выполнен с возможностью хранения базы данных, состоящей из поля векторов признаков, включающего в себя множество разных векторов признаков, поля низкочастотных компонентов изображения, включающего в себя множество разных подбаз данных с низкочастотными компонентами изображения, и поля высокочастотных компонентов изображения, включающего в себя множество разных подбаз данных с высокочастотными компонентами изображения. Каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей одной подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения. Блок сопоставления признаков выполнен с возможностью осуществления доступа к базе данных и определения вектора признаков в поле векторов признаков в базе данных, который наиболее похож на вычисленный вектор признаков сегмента изображения, и затем выбора подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков. Блок текстурирования выполнен с возможностью, для каждого компонента изображения, принадлежащего сегменту изображения: определения в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотного компонента изображения, наиболее похожего на компонент изображения сегмента изображения; извлечения из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотного компонента изображения, соответствующего определенному низкочастотному компоненту изображения; добавления извлеченного высокочастотного компонента изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения; объединения всех компонентов изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения; и объединения всех сегментов изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение. Блок отображения выполнен с возможностью отображения выходного изображения.

Система может быть установлена в телевизорах, DVD/BD-плеерах, телевизионных приставках или других бытовых электронных устройствах, выполняющих повышающее масштабирование изображений.

Другие признаки и преимущества настоящего изобретения будут очевидны после прочтения нижеследующего подробного описания и просмотра сопроводительных чертежей.

Краткое описание чертежей

Сущность настоящего изобретения поясняется ниже со ссылкой на сопроводительные чертежи, на которых:

Фиг. 1 показывает процесс обработки в устройстве отображения сверхвысокой четкости (UHD) согласно уровню техники;

Фиг. 2 показывает метод обеспечения сверхвысокого разрешения на основе обучения в процессе видеообработки в устройстве отображения сверхвысокой четкости (UHD) согласно уровню техники;

Фиг. 3 показывает общую схему системы формирования изображений сверхвысокого разрешения согласно примерному варианту осуществления настоящего изобретения;

Фиг. 4 показывает схему процесса заполнения;

Фиг. 5 показывает другую схему преобразования заполнения;

Фиг. 6А-6В показывают сегментирование изображения: Фиг. 6А иллюстрирует исходное изображение, а Фиг. 6В иллюстрирует карту сегментации;

Фиг. 7 показывает структуру обучаемой базы данных;

Фиг. 8 показывает этап обучения из процесса обучения на Фиг. 4;

Фиг. 9 показывает подэтапы составления базы данных с компонентами;

Фиг. 10А-10F показывают компоненты, извлеченные из изображения (Фиг. 10А, 10С, 10Е) и повернутые копии компонентов, обеспечивающие максимальную симметрию (Фиг. 10В, 10D, 10F);

Фиг. 11А-11C показывают разные метрики симметрии для конкретного направления;

Фиг. 12 показывает иерархическое дерево для хранения базы данных с текстурами;

Фиг. 13 показывает алгоритм построения иерархического дерева;

Фиг. 14 показывает зависимость числа компонентов от числа выполняемых операций поиска;

Фиг. 15 показывает алгоритм обеспечения сверхвысокого разрешения, реализуемый системой с Фиг. 3;

Фиг. 16 поясняет этап формирования текстур в алгоритме обеспечения сверхвысокого разрешения с Фиг. 15;

Фиг. 17 поясняет этап определения местоположений центров компонентов;

Фиг. 18 поясняет этап выбора соответствующих высокочастотных компонентов из базы данных;

Фиг. 19 показывает блок-схему процесса сегментирования изображения;

Фиг. 20 показывает пример грубого сегментирования;

Фиг. 21А-21В показывают схему моделирования граничных элементов;

Фиг. 22 показывает алгоритм динамического программирования;

Фиг. 23 показывает размещение узлов в шахматной сетке;

Фиг. 24 показывает карту интереса, оцененную с использованием дескриптора SUSAN;

Фиг. 25 показывает модифицированную шахматную сетку; и

Фиг. 26 показывает исходные и смещенные узлы сетки.

Осуществление изобретения

Различные варианты осуществления настоящего изобретения описаны далее подробнее со ссылкой на сопроводительные чертежи. Однако настоящее изобретение может быть реализовано во многих других формах и не должно пониматься как ограниченное какой-либо конкретной структурой или функцией, представленной в нижеследующем описании. В отличие от этого, эти варианты осуществления предоставлены для того, чтобы сделать описание настоящего изобретения подробным и полным. Исходя из настоящего описания, специалистам в данной области техники будет очевидно, что объем настоящего изобретения охватывает любой вариант осуществления настоящего изобретения, который раскрыт в данном документе, вне зависимости от того, реализован ли этот вариант осуществления независимо или совместно с любым другим вариантом осуществления настоящего изобретения. Например, способ и система, раскрытые в данном документе, могут быть реализованы на практике посредством использования любого числа вариантов осуществления, обеспеченных в данном документе. Кроме того, должно быть понятно, что любой вариант осуществления настоящего изобретения может быть реализован с использованием одного или более элементов, представленных в приложенной формуле изобретения.

Слово «примерный» используется в данном документе в значении «используемый в качестве примера или иллюстрации». Любой вариант осуществления, описанный здесь как «примерный», необязательно должен восприниматься как предпочтительный или имеющий преимущество над другими вариантами осуществления.

Изображение сверхвысокого разрешения представляет собой изображение, которое имеет более высокое разрешение (больше пикселей) и/или деталей изображения, чем изображение низкого разрешения, используемое для построения изображения сверхвысокого разрешения. Настоящее изобретение использует вышеупомянутый метод, основанный на обучении, чтобы формировать дополнительные текстуры для подвергнутых повышающему масштабированию изображений.

Фиг. 3 показывает систему обработки изображений, которая обеспечивает возможность формирования изображений сверхвысокого разрешения согласно одному примерному варианту осуществления настоящего изобретения. Конструктивные элементы системы и их функционирование поясняются подробнее ниже.

Приемник 3101 принимает и декодирует видеосигнал, представляющий собой одно или более входных изображений или кадров изображения. Для простоты предполагается, что видеосигнал состоит из одного изображения. Принятое изображение затем поступает в средство 3102 масштабирования. Средство 3102 масштабирования преобразовывает принятое изображение в масштабированное изображение, которое далее сегментируется в блоке 3103 сегментирования на неперекрывающиеся сегменты изображения. Для каждого сегмента изображения в блоке 3104 извлечения признаков вычисляется вектор признаков, содержащий признаки текстуры и цвета. Блок 3104 извлечения признаков соединен с блоком 3105 сопоставления признаков, выполненным с возможностью определения вектора признаков, наиболее похожего на вычисленный вектор признаков в базе 3106 данных. База 3106 данных может храниться в любом подходящем энергозависимом или энергонезависимом запоминающем устройстве (не показано), как должно быть очевидно специалистам в данной области техники. База 3106 данных состоит из следующих трех основных полей, но не ограничена ими: поля векторов признаков, поля низкочастотных компонентов изображения и поля высокочастотных компонентов изображения. Поле векторов признаков включает в себя множество разных векторов признаков. Поле низкочастотных компонентов изображения включает в себя множество разных подбаз данных с низкочастотными компонентами изображения. Поле высокочастотных компонентов изображения включает в себя множество разных подбаз данных с высокочастотными компонентами изображения. Каждый вектор признаков из множества разных векторов признаков связан с одной подбазой данных с низкочастотными компонентами изображения из множества разных подбаз данных с низкочастотными компонентами изображения, которая, в свою очередь, связана с соответствующей подбазой данных с высокочастотными компонентами изображения из множества разных подбаз данных с высокочастотными компонентами изображения. Таким образом, блок 3105 сопоставления признаков выполнен с возможностью определения наиболее похожего вектора признаков в поле векторов признаков в базе 3106 данных, а затем выбора подбазы данных с низкочастотными компонентами изображения и подбазы данных с высокочастотными компонентами изображения, которые обе соответствуют определенному вектору признаков. Как показано на Фиг. 3, вектор признаков, подбаза данных с низкочастотными компонентами изображения и подбаза данных с высокочастотными компонентами изображения, которые могут быть подходящими для заданного сегмента изображения, выделены с использованием двух прямоугольников 3107 и 3108, но блок 3105 сопоставления признаков должен выбрать только один из них для дальнейшей обработки. После этого блок 3109 текстурирования определяет для каждого компонента изображения, принадлежащего сегменту изображения, в выбранной подбазе данных с низкочастотными компонентами изображения низкочастотный компонент изображения, наиболее похожий на компонент изображения в сегменте изображения. Затем блок 3109 текстурирования извлекает из выбранной подбазы данных с высокочастотными компонентами изображения высокочастотный компонент изображения, соответствующий определенному низкочастотному компоненту изображения, и добавляет извлеченный высокочастотный компонент изображения к компоненту изображения внутри сегмента изображения для формирования компонента изображения сверхвысокого разрешения. Далее блок 3109 текстурирования объединяет все компоненты изображения сверхвысокого разрешения для формирования сегмента изображения сверхвысокого разрешения, а потом объединяет все сегменты изображения сверхвысокого разрешения для формирования выходного изображения, имеющего более высокое разрешение, чем входное изображение. Блок 3110 отображения используется для отображения выходного изображения. Блок 3110 отображения может быть любым устройством отображения, поддерживающим стандарт сверхвысокой четкости (UHD).

В некоторых вариантах осуществления упомянутое объединение компонентов изображения сверхвысокого разрешения и/или сегментов изображения сверхвысокого разрешения может выполняться непосредственно за счет соединения вплотную друг к другу компонентов изображения сверхвысокого разрешения и соединения вплотную друг к другу сегментов изображения сверхвысокого разрешения. В некоторых других вариантах осуществления можно объединять компоненты изображения сверхвысокого разрешения и/или сегменты изображения сверхвысокого разрешения за счет использования перекрытия и взвешивания компонентов изображения сверхвысокого разрешения и сегментов изображения сверхвысокого разрешения или за счет использования способов разреза графов, чтобы получить максимально гладкую границу между разными компонентами изображения сверхвысокого разрешения и разными сегментами изображения сверхвысокого разрешения.

Следует отметить, что все вышеупомянутые конструктивные элементы системы, за исключением приемника, блока хранения и блока отображения, могут быть реализованы в виде одного или более процессоров, таких как процессоры общего назначения и/или процессоры специального назначения, или в виде одной или более программируемых вентильных матриц, прикладных интегральных схем, или в виде любой комбинации вышеозвученного. Упомянутые процессоры, программируемые вентильные матрицы и/или прикладные интегральные схемы могут быть объединены внутри одной электронно-вычислительной машины или распределены среди множества электронно-вычислительных машин, соединенных между собой с помощью проводной или беспроводной сети.

Для реализации системы с Фиг. 3 необходимо задать алгоритм заполнения базы 3106 данных (т.е. обучаемой базы данных), который проиллюстрирован на Фиг. 4. Алгоритм состоит из следующих этапов: преобразование S401 обучающего изображения из RGB (аббревиатура для «Red, Green, Blue») в YCbCr (аббревиатура для «Luminance (Y), Chroma: Blue (Cb), Chroma: Red (Cr)») или другое цветовое пространство, наподобие YUV (аббревиатура для «Luminance (Y) -Bandwidth (U) -Chrominance (V)»), HSV (аббревиатура для «Hue, Saturation, Value»), Lab (также известное как CIELab, где «L» представляет собой яркость, «а» - ось красно-зеленого цвета, и «b» - ось сине-желтого цвета) и т.д., которое позволяет предоставлять S402 данные о яркости и цветности в двух раздельных каналах; понижающее масштабирование S403 канала яркости K раз; повышающее масштабирование S404 подвергнутого понижающему масштабированию канала К раз и получение S406 низкочастотного изображения; вычитание S405 низкочастотного изображения из исходного канала яркости; получение S407 высокочастотного изображения; обучение S409; и получение S410 обучаемой базы данных с текстурами. Обучающее изображение также подлежит сегментированию S408, после которого каждый сегмент изображения для обучающего изображения используется для упомянутого обучения S409. Результат упомянутого обучения каждого сегмента изображения сохраняется S410 в базе данных.

Фиг. 5 подробно поясняет алгоритм создания изображения сверхвысокого разрешения, выполняемый системой с Фиг. 3, в котором высокочастотный компонент изображения добавляется только к каналу яркости. Он состоит из следующи