Способ и система обработки изображений со сдвоенным датчиком изображений

Способ и система обработки изображений со сдвоенным датчиком изображений

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

Настоящее раскрытие в целом относится к цифровым устройствам формирования изображений, а более конкретно, к системам и способу для обработки данных изображения, полученных с использованием датчика изображения цифрового устройства формирования изображений.

Этот раздел предназначен для знакомства читателя с различными аспектами данной области техники, которые могут иметь отношение к различным аспектам представленных технологий, которые описаны и/или заявлены в формуле изобретения ниже. Это всестороннее рассмотрение предполагается полезным в снабжении читателя информацией уровня техники для содействия лучшему пониманию различных аспектов настоящего раскрытия. Соответственно, должно быть понятно, что эти изложения должны толковаться в этом свете, а не в качестве признания правильным предшествующего уровня техники.

В последние годы цифровые устройства формирования изображений стали более популярными, по меньшей мере частично, благодаря таким устройствам, становящимся все более и более доступными для среднего потребителя. Кроме того, в дополнение к некоторому количеству автономных цифровых камер, доступных на рынке в настоящее время, не является необычным, чтобы цифровые устройства формирования изображений были встроены в качестве части другого электронного устройства, такого как настольный или дорожный компьютер, сотовый телефон или портативный медиаплеер.

Чтобы получать данные изображения, большинство цифровых устройств формирования изображений включают в себя датчик изображений, который предусматривает некоторое количество элементов детектирования света (например, фотодетекторов), выполненных с возможностью преобразовывать свет, детектированный датчиком изображений, в электрический сигнал. Датчик изображений также может включать в себя матрицу цветовых фильтров, которая фильтрует свет, захваченный датчиком изображений, чтобы собирать информацию о цвете. Данные изображения, захваченные датчиком изображений, затем могут обрабатываться конвейером обработки изображений, который может применять некоторое количество различных операций обработки изображений к данным изображения, чтобы генерировать полноцветное изображение, которое может отображаться для просмотра на устройстве отображения, таком как монитор.

Несмотря на то что традиционные технологии обработки изображений, как правило, нацелены на создание видимого изображения, которое как объективно, так и субъективно является привлекательным для зрителя, такие традиционные технологии могут несоразмерно принимать меры в ответ на ошибки и/или искажения в данных изображения, привнесенные устройством формирования изображений и/или датчиком изображений. Например, дефектные пиксели на датчике изображений, которые могут быть обусловлены дефектами изготовления или эксплуатационным отказом, могут претерпевать неудачу в точном считывании уровней освещенности и, если не корректируются, могут проявляться в качестве артефактов, появляющихся в результирующем обработанном изображении. Дополнительно, падение интенсивности освещенности на кромках датчика изображений, которое может быть обусловлено недостатками производства объектива, может оказывать неблагоприятное влияние на измерения характеристик и может давать в результате изображение, в котором неравномерна общая интенсивность света. Конвейер обработки изображений также может выполнять одну или более обработок для увеличения резкости изображения. Традиционные технологии увеличения резкости, однако, могут не в достаточной мере принимать во внимание существующие шумы в сигнале изображения или могут быть неспособными отличать шумы от контуров и текстурированных участков в изображении. В таких случаях традиционные технологии увеличения резкости фактически могут усиливать возникновение шумов в изображении, что в целом нежелательно.

Еще одной операцией обработки изображений, которая может быть применена к данным изображения, захваченным датчиком изображений, является операция устранения мозаичности. Так как матрица цветовых фильтров, как правило, обеспечивает цветовые данные на одной длине волны для каждого пикселя датчика, полный набор цветовых данных обычно интерполируется для каждого цветового канала, для того чтобы воспроизводить полноцветное изображение (например, изображение RGB (цветовой модели красный-зеленый-синий)). Традиционные технологии устранения мозаичности, как правило, интерполируют значения для недостающих цветовых данных в горизонтальном или вертикальном направлении, обычно, в зависимости от нескольких типов неизменных пороговых значений. Однако такие традиционные технологии устранения мозаичности могут не в достаточной мере учитывать расположения и направления контуров внутри изображения, что может приводить к артефактам контуров, таким как ступенчатость контуров, артефактам шахматной доски или радужным артефактам, привносимым в полноцветное изображение, в частности, вдоль диагональных контуров внутри изображения.

Соответственно, должно быть обращено внимание на различные соображения при обработке цифрового изображения, полученного с помощью цифровой камеры или другого устройства формирования изображений, для того чтобы улучшать внешний вид результирующего изображения. В частности, некоторые аспекты раскрытия, приведенного ниже, могут принимать меры в ответ на один или более недостатков, кратко упомянутых выше.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Сущность некоторых вариантов осуществления, раскрытых в материалах настоящей заявки, изложена ниже. Должно быть понятно, что эти аспекты представлены всего лишь для снабжения читателя кратким изложением этих некоторых вариантов осуществления и что эти аспекты не предназначены для ограничения объема этого раскрытия. В действительности, это раскрытие может охватывать многообразие аспектов, которые могут не быть изложены ниже.

Настоящее раскрытие предусматривает различные технологии для обработки данных изображения, полученные с использованием цифрового датчика изображений. В соответствии с аспектами настоящего раскрытия одна такая технология может относиться к обработке данных изображения в системе, которая поддерживает многочисленные датчики изображения. В одном варианте осуществления, система обработки изображений может включать в себя схему управления, выполненную с возможностью определять, является ли устройство работающим в режиме одиночного датчика (с одним активным датчиком) или режиме сдвоенного датчика (с двумя активными датчиками). При работе в режиме одиночного датчика данные могут обеспечиваться непосредственно к блоку предварительной обработки пикселей из интерфейса датчика активного датчика. При работе в режиме сдвоенного датчика кадры изображения с первого и второго датчиков подаются к блоку предварительной обработки пикселей перемежающимся образом. Например, в одном варианте осуществления кадры изображения с первого и второго датчиков записываются в память, а затем считываются в блок предварительной обработки пикселей перемежающимся образом.

Различные усовершенствования признаков, отмеченных выше, могут существовать в отношении различных аспектов настоящего раскрытия. Дополнительные признаки также могут быть включены в эти различные аспекты. Эти усовершенствования и дополнительные признаки могут существовать по отдельности или в любой комбинации. Например, различные признаки, описанные ниже в отношении одного или более проиллюстрированных вариантов осуществления, могут быть включены в любые описанные выше аспекты настоящего раскрытия в одиночку или в любой комбинации. Вновь, краткое изложение, представленное выше, предназначено только для ознакомления читателя с некоторыми аспектами и контекстами вариантов осуществления настоящего раскрытия без ограничения в отношении заявленного предмета изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Дело патента или заявки содержит в себе по меньшей мере один чертеж, выполненный в цвете. Копии этой публикации патента или патентной заявки с цветными чертежами будут предоставляться Патентным ведомством по запросу и оплате обязательной пошлины.

Различные аспекты этого раскрытия могут быть лучше понятны по прочтению последующего подробного описания и по обращению к чертежам, на которых:

фиг. 1 - упрощенная структурная схема, изображающая компоненты примерного электронного устройства, которое включает в себя устройство формирования изображений и схему обработки изображений, выполненные с возможностью реализовывать одну или более из технологий обработки изображений, изложенных в настоящем раскрытии;

фиг. 2 показывает графическое представление блока пикселей 2x2 матрицы цветовых фильтров Байера, который может быть реализован в устройстве формирования изображений по фиг. 1;

фиг. 3 - вид в перспективе электронного устройства по фиг. 1 в форме дорожного вычислительного устройства в соответствии с аспектами настоящего раскрытия;

фиг. 4 - вид спереди электронного устройства по фиг. 1 в форме настольного вычислительного устройства в соответствии с аспектами настоящего раскрытия;

фиг. 5 - вид спереди электронного устройства по фиг. 1 в форме карманного портативного электронного устройства в соответствии с аспектами настоящего раскрытия;

фиг. 6 - вид сзади электронного устройства, показанного на фиг. 5;

фиг. 7 - структурная схема, иллюстрирующая логику предварительной обработки сигналов изображения (ISP) и логику конвейерной обработки ISP, которые могут быть реализованы в схеме обработки изображений по фиг. 1, в соответствии с аспектами настоящего раскрытия;

фиг. 8 - более подробная структурная схема, показывающая вариант осуществления логики предварительной обработки ISP по фиг. 7, в соответствии с аспектами настоящего раскрытия;

фиг. 9 - блок-схема последовательности операций, изображающая способ для обработки данных изображения в логике предварительной обработки ISP по фиг. 8, в соответствии с вариантом осуществления;

фиг. 10 - структурная схема, иллюстрирующая конфигурацию регистров с двойной буферизацией и регистров управления, которые могут использоваться для обработки данных изображения в логике предварительной обработки ISP, в соответствии с одним вариантом осуществления;

фиг. 11-13 - временные диаграммы, изображающие различные режимы для запуска обработки кадра изображения, в соответствии с вариантами осуществления настоящих технологий;

фиг. 14 - схема, изображающая регистр управления подробнее, в соответствии с одним вариантом осуществления;

фиг. 15 - блок-схема последовательности операций, изображающая способ для использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP по фиг. 8 является работающей в режиме одиночного датчика;

фиг. 16 - блок-схема последовательности операций, изображающая способ для использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP по фиг. 8 является работающей в режиме сдвоенного датчика;

фиг. 17 - блок-схема последовательности операций, изображающая способ для использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP по фиг. 8 является работающей в режиме сдвоенного датчика;

фиг. 18 - блок-схема последовательности операций, изображающая способ, в котором активны оба датчика изображений, но при этом первый датчик изображений отправляет кадры изображения к блоку предварительной обработки пикселей наряду с тем, что второй датчик изображений отправляет кадры изображения к блоку статистической обработки, так что статистические данные формирования изображений для второго датчика немедленно доступны, когда второй датчик изображений продолжает отправку кадров изображения к блоку предварительной обработки пикселей в более позднее время, в соответствии с одним вариантом осуществления;

фиг. 19 - графическое изображение различных областей формирования изображений, которые могут быть заданы в пределах кадра изображения источника, захваченного датчиком изображений, в соответствии с аспектами настоящего раскрытия;

фиг. 20 - структурная схема, которая обеспечивает более подробный вид одного варианта осуществления блока предварительной обработки пикселей ISP, как показано в логике предварительной обработки ISP по фиг. 8, в соответствии с аспектами настоящего раскрытия;

фиг. 21 - схема последовательности операций, иллюстрирующая, каким образом временная фильтрация может применяться к пиксельным данным изображения, принятым блоком предварительной обработки пикселей ISP на фиг. 20, в соответствии с одним вариантом осуществления;

фиг. 22 иллюстрирует набор опорных пикселей изображения и набор соответствующих текущих пикселей изображения, которые могут использоваться для определения одного или более параметров для обработки временной фильтрацией, показанной на фиг. 21;

фиг. 23 - блок-схема последовательности операций, иллюстрирующая обработку для применения временной фильтрации к текущему пикселю изображения набора данных изображения, в соответствии с одним вариантом осуществления;

фиг. 24 - блок-схема последовательности операций, показывающая метод для вычисления дельта-значения движения для использования с временной фильтрацией текущего пикселя изображения по фиг. 23, в соответствии с одним вариантом осуществления;

фиг. 25 - блок-схема последовательности операций, иллюстрирующая еще одну обработку для применения временной фильтрации к текущему пикселю изображения набора данных изображения, которая включает в себя использование разных коэффициентов усиления для каждой цветовой компоненты данных изображения, в соответствии с еще одним вариантом осуществления;

фиг. 26 - схема последовательности операций, иллюстрирующая, каким образом технология временной фильтрации, которая использует отдельные таблицы движения и яркости для каждой цветовой компоненты пиксельных данных изображения, принятых блоком предварительной обработки пикселей ISP, показанным на фиг. 20, в соответствии с дополнительным вариантом осуществления;

фиг. 27 - блок-схема последовательности операций, иллюстрирующая обработку для применения временной фильтрации к текущему пикселю изображения набора данных изображения с использованием таблиц движения и яркости, показанных на фиг. 26, в соответствии с дополнительным вариантом осуществления;

фиг. 28 изображает выборку данных необработанного изображения полного разрешения, которые могут захватываться датчиком изображений, в соответствии с аспектами настоящего раскрытия;

фиг. 29 иллюстрирует датчик изображений, который может быть выполнен с возможностью применять группировку к данным необработанного изображения полного разрешения по фиг. 28, чтобы выводить выборку сгруппированных данных необработанного изображения, в соответствии с вариантом осуществления настоящего раскрытия;

фиг. 30 изображает выборку сгруппированных данных необработанного изображения, которые могут обеспечиваться датчиком изображений по фиг. 29, в соответствии с аспектами настоящего раскрытия;

фиг. 31 изображает сгруппированные данные необработанного изображения по фиг. 30 после их повторной выборки фильтром компенсации группирования для выдачи, в соответствии с аспектами настоящего раскрытия;

фиг. 32 изображает фильтр компенсации группирования, который может быть реализован в блоке предварительной обработки пикселей ISP по фиг. 20, в соответствии с одним вариантом осуществления;

фиг. 33 - графическое изображение различных размеров шага, которые могут применяться к дифференциальному анализатору, чтобы выбирать центральные входные пиксели и индекс/фазы для фильтрации компенсации группирования, в соответствии с аспектами настоящего раскрытия;

фиг. 34 - блок-схема последовательности операций, иллюстрирующая обработку для масштабирования данных изображения с использованием фильтра компенсации группирования по фиг. 32, в соответствии с одним вариантом осуществления;

фиг. 35 - блок-схема последовательности операций, иллюстрирующая обработку для определения центрального пикселя текущего источника ввода для горизонтальной и вертикальной фильтрации фильтром компенсации группирования по фиг. 32, в соответствии с одним вариантом осуществления;

фиг. 36 - блок-схема последовательности операций, иллюстрирующая обработку для определения индекса для выбора коэффициентов фильтрации для горизонтальной и вертикальной фильтрации фильтром компенсации группирования по фиг. 32, в соответствии с одним вариантом осуществления;

фиг. 37 - дополнительная более подробная структурная схема, показывающая вариант осуществления блока статистической обработки, который может быть реализован в логике предварительной обработки ISP, как показанная на фиг. 8, в соответствии с аспектами настоящего раскрытия;

фиг. 38 показывает различные случаи границ кадра изображения, которые могут рассматриваться при применении технологий для обнаружения и коррекции дефектных пикселей во время статистической обработки блоком статистической обработки по фиг. 37, в соответствии с аспектами настоящего раскрытия;

фиг. 39 - блок-схема последовательности операций, иллюстрирующая обработку для выполнения обнаружения и коррекции дефектных пикселей во время статистической обработки, в соответствии с одним вариантом осуществления;

фиг. 40 показывает трехмерный профиль, изображающий интенсивность света в зависимости от положения пикселя для традиционного объектива устройства формирования изображений;

фиг. 41 - цветной чертеж, который демонстрирует неравномерную интенсивность света по всему изображению, которая может быть результатом неоднородностей затенения объектива;

фиг. 42 - графическая иллюстрация кадра формирования необработанного изображения, который включает в себя область коррекции затенения объектива и сетку усиления, в соответствии с аспектами настоящего раскрытия;

фиг. 43 иллюстрирует интерполяцию значения усиления для пикселя изображения, охваченного четырьмя точками усиления окаймляющей сетки, в соответствии с аспектами настоящего раскрытия;

фиг. 44 - блок-схема последовательности операций, иллюстрирующая обработку для определения интерполированных значений усиления, которые могут применяться к пикселям формирования изображения во время операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего раскрытия;

фиг. 45 - трехмерный профиль, изображающий интерполированные значения усиления, которые могут быть применены к изображению, которое демонстрирует характеристики интенсивности света, показанные на фиг. 40, при выполнении коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;

фиг. 46 показывает цветной чертеж по фиг. 41, который демонстрирует улучшенную равномерность интенсивности света после того, как применена операция коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;

фиг. 47 графически иллюстрирует, каким образом радиальное расстояние между текущим пикселем и центром изображения может вычисляться и использоваться для определения радиальной составляющей усиления для коррекции затенения объектива, в соответствии с одним вариантом осуществления;

фиг. 48 - блок-схема последовательности операций, иллюстрирующая обработку, посредством которой радиальные коэффициенты усиления и интерполированные коэффициенты усиления из сетки усиления используются для определения общего усиления, которое может применяться к пикселям формирования изображения во время операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящей технологии;

фиг. 49 - структурная схема, показывающая вариант осуществления логики конвейерной обработки ISP по фиг. 7, в соответствии с аспектами настоящего раскрытия;

фиг. 50 - более подробный вид, показывающий вариант осуществления блока обработки необработанных пикселей, который может быть реализован в логике конвейерной обработки ISP по фиг. 49, в соответствии с аспектами настоящего раскрытия;

фиг. 51 показывает различные случаи границ кадра изображения, которые могут рассматриваться при применении технологий для обнаружения и коррекции дефектных пикселей во время обработки блоком обработки необработанных пикселей, показанным на фиг. 50, в соответствии с аспектами настоящего раскрытия;

фиг. 52-54 - блок-схемы последовательности операций способа, которые изображают различные обработки для обнаружения и коррекции дефектных пикселей, которые могут выполняться в блоке обработки необработанных пикселей по фиг. 50, в соответствии с одним вариантом осуществления;

фиг. 55 показывает расположение двух пикселей зеленого в блоке пикселей 2x2 датчика изображений Байера, которые могут интерполироваться при применении технологий коррекции неравномерности зеленого во время обработки логикой обработки необработанных пикселей по фиг. 50, в соответствии с аспектами настоящего раскрытия;

фиг. 56 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные горизонтальные соседние пиксели, которые могут использоваться в качестве части обработки горизонтальной фильтрации для подавления шумов, в соответствии с аспектами настоящего раскрытия;

фиг. 57 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные вертикальные соседние пиксели, которые могут использоваться в качестве части обработки вертикальной фильтрации для подавления шумов, в соответствии с аспектами настоящего раскрытия;

фиг. 58 - упрощенная схема последовательности операций, которая изображает, каким образом устранение мозаичности может применяться к структуре необработанного изображения Байера, чтобы создавать полноцветное изображение RGB;

фиг. 59 изображает набор пикселей структуры изображения Байера, из которой могут быть выделены горизонтальные и вертикальные составляющие энергии для интерполяции значений зеленого цвета во время устранения мозаичности структуры изображения Байера, в соответствии с одним вариантом осуществления;

фиг. 60 показывает набор пикселей по горизонтали, к которым может применяться фильтрация для определения горизонтальной составляющей интерполированного значения зеленого цвета во время устранения мозаичности структуры изображения Байера, в соответствии с аспектами настоящей технологии;

фиг. 61 показывает набор пикселей по вертикали, к которым может применяться фильтрация для определения вертикальной составляющей интерполированного значения зеленого цвета во время устранения мозаичности структуры изображения Байера, в соответствии с аспектами настоящей технологии;

фиг. 62 показывает различные блоки пикселей 3x3, к которым может применяться фильтрация для определения интерполированных значений красного и синего во время устранения мозаичности структуры изображения Байера, в соответствии с аспектами настоящей технологии;

фиг. 63-66 предусматривают блок-схемы последовательности операций способа, которые изображают различные обработки для интерполяции значений зеленого, красного и синего цвета во время устранения мозаичности структуры изображения Байера, в соответствии с одним вариантом осуществления;

фиг. 67 показывает цветной чертеж сцены исходного изображения, которая может захватываться датчиком изображений и обрабатываться в соответствии с аспектами технологий устранения мозаичности, раскрытыми в материалах настоящей заявки;

фиг. 68 показывает цветной чертеж структуры изображения Байера сцены изображения, показанной на фиг. 67;

фиг. 69 показывает цветной чертеж изображения RGB, реконструированного с использованием традиционной технологии устранения мозаичности на основании схемы изображения Байера по фиг. 68;

фиг. 70 показывает цветной чертеж изображения RGB, реконструированного из структуры изображения Байера по фиг. 68, в соответствии с аспектами технологий устранения мозаичности, раскрытыми в материалах настоящей заявки;

фиг. 71 - более подробный вид, показывающий один вариант осуществления блока обработки RGB, который может быть реализован в логике конвейерной обработки ISP по фиг. 49, в соответствии с аспектами настоящего раскрытия;

фиг. 72 - более подробный вид, показывающий один вариант осуществления блока обработки YCbCr (цветовой модели яркость-цветность синего-цветность красного), который может быть реализован в логике конвейерной обработки ISP по фиг. 49, в соответствии с аспектами настоящего раскрытия;

фиг. 73 - графическое изображение областей активного источника для яркости и цветности в качестве определенных в пределах буфера источника с использованием 1-плоскостного формата, в соответствии с аспектами настоящего раскрытия;

фиг. 74 - графическое изображение областей активного источника для яркости и цветности в качестве определенных в пределах буфера источника с использованием 2-плоскостного формата, в соответствии с аспектами настоящего раскрытия;

фиг. 75 - структурная схема, иллюстрирующая логику увеличения резкости изображения, которая может быть реализована в блоке обработки YCbCr, как в показанном на фиг. 72, в соответствии с одним вариантом осуществления;

фиг. 76 - структурная схема, иллюстрирующая логику усиления контуров, которая может быть реализована в блоке обработки YCbCr, как в показанном на фиг. 72, в соответствии с одним вариантом осуществления;

фиг. 77 - график, показывающий взаимосвязь коэффициентов ослабления цветности с подвергнутыми увеличению резкости значениями яркости, в соответствии с аспектами настоящего раскрытия;

фиг. 78 - структурная схема, иллюстрирующая логику настройки яркости, контрастности и цвета (BCC), которая может быть реализована в блоке обработки YCbCr, как в показанном на фиг. 72, в соответствии с одним вариантом осуществления; и

фиг. 79 показывает цветовой круг цветовых тонов и насыщенности в цветовом пространстве YCbCr, определяющем различные углы цветового тона и значения насыщенности, которые могут применяться во время цветовой настройки в логике настройки BCC, показанной на фиг. 78.

ПОДРОБНОЕ ОПИСАНИЕ КОНКРЕТНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Один или более конкретных вариантов осуществления настоящего раскрытия будут описаны ниже. Эти описанные варианты осуществления являются всего лишь примерами раскрытых в настоящий момент технологий. Дополнительно, в попытке дать лаконичное описание этих вариантов осуществления, все признаки фактической реализации могут не быть описаны в описании изобретения. Должно быть принято во внимание, что при разработке любой такой фактической реализации, в качестве технического проекта или опытно-конструкторской разработки, многочисленные специфичные реализации решения должны быть приняты для достижения конкретных целей разработчиков, таких как совместимость с имеющими отношение к системе и имеющими отношение к коммерческой деятельности ограничениями, которые могут меняться от одной реализации к другой. Более того, должно быть принято во внимание, что такие направленные на проектирование усилия могли бы быть сложными и трудоемкими, но, тем не менее, могли бы быть обычным делом по разработке, конструированию и производству для рядовых специалистов в данной области техники, обладающих выгодами этого раскрытия.

При представлении элементов различных вариантов осуществления настоящего раскрытия формы единственного числа подразумеваются означающими, что есть один или более элементов. Термины «содержащий», «включающий в себя» и «имеющий» подразумеваются включающими в состав и означают, что могут быть дополнительные элементы, иные чем перечисленные элементы. Дополнительно, должно быть понятно, что ссылки на «один вариант осуществления» или «вариант осуществления» настоящего раскрытия не подразумевается, что должен толковаться в качестве исключающего существование дополнительных вариантов осуществления, которые также заключают в себе перечисленные признаки.

Как будет описано ниже, настоящее раскрытие в целом относится к технологиям для обработки данных изображения, полученных посредством одного или более устройств считывания изображения. В частности, некоторые аспекты настоящего раскрытия могут относиться к технологиям для обнаружения и коррекции дефектных пикселей, технологиям для устранения мозаичности структуры необработанного изображения, технологиям для усиления резкости яркостного изображения с использованием многопредельной нерезкой маски и технологиям для применения коэффициентов затенения объектива для коррекции неоднородностей затенения объектива. Кроме того, должно быть понятно, что раскрытые в настоящий момент технологии могут быть применены как к неподвижным изображениям, так и к движущимся изображениям (например, видео) и могут использоваться в любом пригодном типе применения формирования изображений, таком как цифровая камера, электронное устройство, имеющее встроенную цифровую камеру, система охраны или видеонаблюдения, система формирования медицинских изображений, и так далее.

Учитывая вышеприведенные моменты, фиг. 1 - структурная схема, иллюстрирующая пример электронного устройства 10, которое может предусматривать обработку данных изображения с использованием одной или более из технологий обработки изображений, кратко упомянутых выше. Электронное устройство 10 может представлять собой любой тип электронного устройства, например дорожный или настольный компьютер, мобильный телефон, цифровой медиаплеер, или тому подобное, которое выполнено с возможностью принимать и обрабатывать данные изображения, такие как данные, полученные с использованием одного или более компонентов считывания изображения. Исключительно в качестве примера, электронное устройство 10 может быть портативным электронным устройством, таким как модель iPod® или iPhone®, доступным от Apple Inc. из Купертино, Калифорния. Дополнительно, электронное устройство 10 может быть настольным или дорожным компьютером, таким как модель MacBook®, MacBook® Pro, MacBook Air®, iMac®, Mac® Mini или Mac Pro®, доступным от Apple Inc. В других вариантах осуществления, электронное устройство 10 также может быть моделью электронного устройства от другого производителя, которое способно получать и обрабатывать данные изображения.

Независимо от своей формы (например, портативной или непортативной), должно быть понятно, что электронное устройство 10 может предусматривать обработку данных изображения с использованием одной или более технологий обработки изображений, кратко описанных выше, которые могут включать в себя, среди прочего, технологии обнаружения и/или коррекции дефектных пикселей, технологии коррекции затенения объектива, технологии устранения мозаичности или технологии увеличения резкости изображений. В некоторых вариантах осуществления, электронное устройство 10 может применять такие технологии обработки изображений к данным изображения, хранимым в памяти электронного устройства 10. В дополнительных вариантах осуществления, электронное устройство 10 может включать в себя одно или более устройств формирования изображений, таких как встроенная или внешняя цифровая камера, выполненных с возможностью получать данные изображения, которые затем могут обрабатываться электронным устройством 10 с использованием одной или более из вышеупомянутых технологий обработки изображений. Варианты осуществления, показывающие как портативные, так и непортативные варианты осуществления электронного устройства 10, будут дополнительно описаны ниже на фиг. 3-6.

Как показано на фиг. 1, электронное устройство 10 может включать в себя различные внутренние и/или внешние компоненты, которые вносят вклад в функционирование устройства 10. Обычные специалисты в данной области техники будут принимать во внимание, что различные функциональные блоки, показанные на фиг. 1, могут содержать элементы аппаратного обеспечения (в том числе схемы), элементы программного обеспечения (в том числе компьютерный код, хранимый на считываемом компьютером носителе) или комбинацию элементов как аппаратного обеспечения, так и программного обеспечения. Например, в проиллюстрированном в настоящий момент варианте осуществления электронное устройство 10 может включать в себя порты 12 ввода/вывода (I/O), структуры 14 ввода, один или более процессоров 16, устройство 18 памяти, энергонезависимое запоминающее устройство 20, карту(ы) 22 расширения, сетевое устройство 24, источник 26 питания и устройство 28 отображения. Дополнительно, электронное устройство 10 может включать в себя одно или более устройств 30 формирования изображений, таких как цифровая камера, и схемы 32 обработки изображений. Как будет дополнительно описано ниже, схемы 32 обработки изображений могут быть выполнены с возможностью реализовывать одну или более описанных выше технологий обработки изображений при обработке данных изображения. Как может быть принято во внимание, данные изображения, обрабатываемые схемами 32 обработки изображений, могут извлекаться из памяти 18 и/или энергонезависимых запоминающих устройств(а) 20 или могут получаться с использованием устройства 30 формирования изображений.

Перед продолжением должно быть понятно, что структурная схема системы устройства 10, показанного на фиг. 1, подразумевается высокоуровневой схемой управления, изображающей различные компоненты, которые могут быть включены в такое устройство 10. То есть, линии соединения между каждым отдельным компонентом, показанным на фиг. 1, не обязательно могут представлять тракты или направления, по которым данные движутся или передаются между различными компонентами устройства 10. В действительности, как описано ниже, изображенный процессор(ы) 16, в некоторых примерах, включает в себя многочисленные процессоры, такие как основной процессор (ЦПУ, CPU), и специализированные процессоры изображений и/или видеопроцессоры. В таких вариантах осуществления, обработка данных изображения главным образом может выполняться этими специализированными процессорами, таким образом, эффективно сгружая такие задачи с основного процессора (ЦПУ).

Что касается каждого из проиллюстрированных компонентов на фиг. 1, порты 12 I/O могут включать в себя порты, выполненные с возможностью присоединяться к многообразию внешних устройств, таких как источник питания, устройство аудиовывода (например, головная гарнитура или наушники), или другие электронные устройства (такие как карманные устройства и/или компьютеры, принтеры, проекторы, внешние устройства отображения, модемы, стыковочные станции (док-станции), и так далее). В одном варианте осуществления порты 12 I/O могут быть выполнены с возможностью присоединяться к внешнему устройству формирования изображений, такому как цифровая камера, для получения данных изображения, которые могут обрабатываться с использованием схем 32 обработки изображений. Порты 12 I/O могут поддерживать любой пригодный тип интерфейса, такой как универсальная последовательная шина (USB), порт последовательного соединения, порт стандарта IEEE-1394 (FireWire), порт сети Ethernet или модема и/или порт соединения с источником питания AC/DC.

В некоторых вариантах осуществления некоторые порты 12 I/O могут быть выполнены с возможностью предусматривать более чем одну функцию. Например, в одном варианте осуществления порты 12 I/O могут включать в себя фирменный порт от Apple Inc., который может функционировать, не только чтобы содействовать передаче данных между электронным устройством 10 и внешним источником, но также чтобы присоединять устройство 10 к интерфейсу зарядки энергии, такому как адаптер питания, сконструированный обеспечивать питание из электрической настенной розетки, или интерфейсный кабель, выполненный с возможностью отбирать мощность от другого электрического устройства, такого как настольный или дорожный компьютер, для зарядки источника 26 питания (который может включать в себя одн