Автоматическая обработка баланса белого с гибким выбором цветового пространства
Иллюстрации
Показать всеИзобретение относится к средствам формирования цифровых изображений. Техническим результатом является повышение качества результирующего изображения за счет устранения артефактов в полноцветном изображении. Система содержит блок предварительной обработки пикселей, содержащий логику сбора статистики автоматического баланса белого и статистики автоматической установки экспозиции, логику сбора статистики, содержащей вход, логику преобразования цветового пространства, набор пиксельных фильтров. Система так же содержит управляющую логику, сконфигурированную для определения набора коэффициентов усиления баланса белого по точкам для применения к многоцветным первичным пикселям кадра на основании накопленных значений суммы цветов. 3 н. и 17 з.п. ф-лы, 74 ил.
Реферат
Уровень техники
[0001] Настоящее раскрытие относится, в общем, к устройствам формирования цифрового изображения и, в частности, к системам и способу для обработки данных изображения, полученных с использованием датчика изображения устройства формирования цифрового изображения.
[0002] Этот раздел предназначен для ознакомления читателя с различными аспектами уровня техники, которые могут быть связаны с различными аспектами настоящего изобретения, которые описаны и/или заявлены ниже. Предполагается, что данное рассмотрение будет полезно для предоставления читателю основополагающей информации для облегчения лучшего понимания различных аспектов настоящего раскрытия. Соответственно, следует понимать, что эти положения следует воспринимать в этом свете, а не как допущения уровня техники.
[0003] В последние годы устройства формирования цифрового изображения приобретают все большую популярность в силу, по меньшей мере, частично, того, что такие устройства становятся все более доступными по цене для среднего потребителя. Кроме того, помимо ряда автономных цифровых камер, доступных в настоящее время на рынке, существует тенденция интеграции устройств формирования цифрового изображения в другое электронное устройство, например, стационарный или переносной компьютер, сотовый телефон или портативный медиаплеер.
[0004] Для получения данных изображения, большинство устройств формирования цифрового изображения включают в себя датчик изображения, который обеспечивает ряд световоспринимающих элементов (например, фотодетекторов), сконфигурированных для преобразования света, регистрируемого датчиком изображения, в электрический сигнал. Датчик изображения также может включать в себя матрицу цветовых фильтров, которая фильтрует свет, улавливаемый датчиком изображения, для захвата информации цвета. Данные изображения, захваченные датчиком изображения могут затем обрабатываться конвейером обработки изображений, который может применять различные операции обработки изображений к данным изображения для генерации полноцветного изображения, которое может отображаться для просмотра на устройстве отображения, например мониторе.
[0005] В то время как традиционные методы обработки изображений, в общем случае, нацелены на формирование наблюдаемого изображения, которое объективно и субъективно доставляет удовольствие наблюдателю, такие традиционные методы могут неадекватно справляться с ошибками и/или искажениями в данных изображения, вносимыми устройством формирования изображения и/или датчиком изображения. Например, дефектные пиксели на датчике изображения, которые могут быть обусловлены производственными дефектами или отказом при эксплуатации, могут не позволять точно воспринимать уровни света и, в отсутствие коррекции, могут проявляться как артефакты, возникающие в результирующем обработанном изображении. Дополнительно, спад интенсивности света на краях датчика изображения, который может быть обусловлен дефектами при изготовлении объектива, может негативно сказываться на характеристических измерениях и может приводить к созданию изображения, в которых общая интенсивность света неоднородна. Конвейер обработки изображений также может осуществлять один или более процессов для повышения резкости изображения. Однако традиционные методы повышения резкости могут не адекватно учитывать существующий шум в сигнале изображения или могут быть не способны различать шум от краев и текстурированных областей в изображении. В таких случаях традиционные методы повышения резкости могут фактически повышать заметность шума в изображении, что, в общем случае, нежелательно. Кроме того, можно осуществлять различные дополнительные этапы обработки изображений, некоторые из которых могут опираться на статистику изображения, собранную машиной сбора статистики.
[0006] Другая операция обработки изображений, которая может применяться к данным изображения, захваченным датчиком изображения, является операцией демозаики (преобразования RGB массива в цветное изображение). Поскольку матрица цветовых фильтров в общем случае обеспечивает цветовые данные на одной длине волны для каждого пикселя датчика, полный набор цветовых данных, в общем случае, интерполируется для каждого цветового канала для воспроизведения полноцветного изображения (например, RGB-изображения). Традиционные методы демозаики, в общем случае, интерполируют значения для отсутствующих цветовых данных в горизонтальном или вертикальном направлении, в общем случае, в зависимости от некоторого типа фиксированного порога. Однако такие традиционные методы демозаики могут не адекватно учитывать положения и направление краев в изображении, что может приводить к краевым артефактам, например ступенчатости, шахматным артефактам или радужным артефактам, вносимым в полноцветное изображение, в особенности вдоль диагональных краев в изображении.
[0007] Соответственно, различными соображениями следует руководствоваться при обработке цифрового изображения, полученного с помощью цифровой камеры или другого устройства формирования изображения для улучшения внешнего вида результирующего изображения. В частности, некоторые аспекты нижеприведенного раскрытия призваны устранять один или более недостатков, кратко упомянутых выше.
Сущность изобретения
[0008] Ниже представлено краткое изложение раскрытых здесь некоторых вариантов осуществления. Следует понимать, что эти аспекты представлены лишь для снабжения читателя краткой сводкой этих некоторых вариантов осуществления, и что эти аспекты не призваны ограничивать объем этого раскрытия. В действительности, это раскрытие может охватывать различные аспекты, которые могут быть не изложены ниже.
[0009] Настоящее раскрытие обеспечивает различные подходы к сбору и обработке статистических данных в процессоре сигнала изображения (ISP). В одном варианте осуществления, машину сбора статистики можно реализовать в блоке предварительной обработки ISP, в результате чего статистика собирается до обработки конвейером ISP, расположенным после блока предварительной обработки. В соответствии с одним аспектом раскрытия, машина сбора статистики может быть сконфигурирована для получения статистики, относящейся к автоматическому балансу белого, автоматической установке экспозиции и автофокусировке. В одном варианте осуществления, машина сбора статистики может принимать первичные байеровские RGB данные, полученные датчиком изображения, и может быть сконфигурирована для осуществления одного или более преобразований цветового пространства для получения пиксельных данных в других цветовых пространствах. Набор пиксельных фильтров может быть сконфигурирован для накопления сумм пиксельных данных условно на основании характеристик YC1C2, заданных пиксельным условием для каждого пиксельного фильтра. В зависимости от выбранного цветового пространства, пиксельные фильтры могут генерировать суммы цветов, которые можно использовать для согласования текущего источника света с набором опорных источников света, с помощью которого датчик изображения был ранее откалиброван.
[0010] В соответствии с другим аспектом раскрытия, статистику автофокусировки можно использовать для генерации показателей грубой и точной автофокусировки для определения оптимального фокусного расстояния, на котором нужно располагать объектив, связанный с датчиком изображения. Например, логика статистики может определять грубую позицию, которая указывает оптимальную зону фокусирования, которую, в одном варианте осуществления, можно определить путем поиска первой грубой позиции, в которой показатель грубой автофокусировки снижается относительно предыдущей позиции. Используя эту позицию в качестве исходного пункта для поиска точного показателя, оптимальную позицию фокуса можно определить путем поиска пика в показателях точной автофокусировки. Статистику автофокусировки также можно определить на основании каждого байеровского RGB цвета, таким образом, что, даже при наличии хроматических аберраций, относительные показатели автофокусировки для каждого цвета можно использовать для определения направления фокуса. Кроме того, собранная статистика может выводиться в память и использоваться ISP для обработки полученных данных изображения.
[0011] В связи с различными аспектами настоящего раскрытия могут существовать различные уточнения вышеупомянутых признаков. Кроме того, признаки также могут быть включены в эти различные аспекты. Эти уточнения и дополнительные признаки могут существовать по отдельности или в любой комбинации. Например, различные признаки, рассмотренные ниже в связи с одним или более из проиллюстрированных вариантов осуществления, могут быть включены в любой из вышеописанных аспектов настоящего раскрытия по отдельности или в любой комбинации. Опять же, представленная выше краткая сводка предназначена лишь для ознакомления читателя с некоторыми аспектами и контекстами вариантов осуществления настоящего раскрытия без ограничения заявленным предметом изобретения.
Краткое описание чертежей
[0012] Файл патента или заявки содержит, по меньшей мере, один чертеж, выполненный в цвете. Копии этого патента или опубликованной патентной заявки с цветными чертежами будут предоставлены патентным ведомством по запросу и после оплаты необходимых сборов.
[0013] Различные аспекты этого раскрытия можно лучше понять, ознакомившись с нижеследующим подробным описанием и обратившись к чертежам, в которых:
[0014] фиг. 1 - упрощенная блок-схема, изображающая компоненты примера электронного устройства, которое включает в себя устройство формирования изображения и схему обработки изображений, сконфигурированную для реализации одного или более методов обработки изображений, изложенных в настоящем раскрытии;
[0015] фиг. 2 - графическое представление пиксельного блока 2×2 матрицы байеровских цветовых фильтров, которую можно реализовать в устройстве формирования изображения, показанном на фиг. 1;
[0016] фиг. 3 - вид в перспективе электронного устройства, показанного на фиг. 1 в форме портативного вычислительного устройства, в соответствии с аспектами настоящего раскрытия;
[0017] фиг. 4 - вид спереди электронного устройства, показанного на фиг. 1 в форме стационарного вычислительного устройства, в соответствии с аспектами настоящего раскрытия;
[0018] фиг. 5 - вид спереди электронного устройства, показанного на фиг. 1 в форме карманного портативного электронного устройства, в соответствии с аспектами настоящего раскрытия;
[0019] фиг. 6 - вид сзади электронного устройства, показанного на фиг. 5;
[0020] фиг. 7 - блок-схема, иллюстрирующая логику предварительной обработки сигнала изображения (ISP) и логику конвейерной обработки ISP, которые можно реализовать в схеме обработки изображений, показанной на фиг. 1, в соответствии с аспектами настоящего раскрытия;
[0021] фиг. 8 - более детализированная блок-схема, демонстрирующая вариант осуществления логики предварительной обработки ISP, показанной на фиг. 7, в соответствии с аспектами настоящего раскрытия;
[0022] фиг. 9 - блок-схема операций, изображающая способ для обработки данных изображения в логике предварительной обработки ISP, показанной на фиг. 8, в соответствии с вариантом осуществления;
[0023] фиг. 10 - блок-схема, иллюстрирующая конфигурацию регистров двойной буферизации и регистров управления, которые можно использовать для обработки данных изображения в логике предварительной обработки ISP, в соответствии с одним вариантом осуществления;
[0024] фиг. 11-13 - временные диаграммы, изображающие различные режимы для запуска обработки кадра изображения, в соответствии с вариантами осуществления настоящего изобретения;
[0025] фиг. 14 - схема, более подробно изображающая регистр управления, в соответствии с одним вариантом осуществления;
[0026] фиг. 15 - блок-схема операций, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 8, работает в однодатчиковом режиме;
[0027] фиг. 16 - блок-схема операций, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 8, работает в двухдатчиковом режиме;
[0028] фиг. 17 - блок-схема операций, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 8, работает в двухдатчиковом режиме;
[0029] фиг. 18 - блок-схема операций, изображающая способ, в котором оба датчика изображения активны, но в котором первый датчик изображения посылает кадры изображения на блок предварительной обработки пикселей, тогда как второй датчик изображения посылает кадры изображения на блок статистической обработки, благодаря чему статистика формирования изображения для второго датчика доступна сразу, когда второй датчик изображения продолжает посылать кадры изображения на блок предварительной обработки пикселей в более позднее время, в соответствии с одним вариантом осуществления.
[0030] фиг. 19 - графическое представление различных областей формирования изображения, которые можно задать в исходном кадре изображения, захваченном датчиком изображения, в соответствии с аспектами настоящего раскрытия.
[0031] фиг. 20 - блок-схема, которая обеспечивает более детализированный вид одного варианта осуществления блока предварительной обработки пикселей ISP, показанного в логике предварительной обработки ISP, показанной на фиг. 8, в соответствии с аспектами настоящего раскрытия;
[0032] фиг. 21 - схема обработки, демонстрирующая возможное применение временной фильтрации к пиксельным данным изображения, принятым блоком предварительной обработки пикселей ISP, показанным на фиг. 20, в соответствии с одним вариантом осуществления;
[0033] фиг. 22 иллюстрирует набор пикселей опорного изображения и набор соответствующих пикселей текущего изображения, которые можно использовать для определения одного или более параметров для процесса временной фильтрации, показанного на фиг. 21;
[0034] фиг. 23 - блок-схема операций, демонстрирующая процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения, в соответствии с одним вариантом осуществления;
[0035] фиг. 24 - блок-схема операций, демонстрирующая метод вычисления значения дельты движения для использования во временной фильтрации пикселя текущего изображения, показанного на фиг. 23, в соответствии с одним вариантом осуществления;
[0036] фиг. 25 - блок-схема операций, демонстрирующая другой процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения, который включает в себя использование разных коэффициентов усиления для каждой цветовой компоненты данных изображения, в соответствии с другим вариантом осуществления;
[0037] фиг. 26 - схема обработки, демонстрирующаяся, как метод временной фильтрации, который использует отдельные таблицы движения и яркости для каждой цветовой компоненты пиксельных данных изображения, принятых блоком предварительной обработки пикселей ISP, показанным на фиг. 20, в соответствии с дополнительным вариантом осуществления;
[0038] фиг. 27 - блок-схема операций, демонстрирующая процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения с использованием таблиц движения и яркости, показанных на фиг. 26, в соответствии с дополнительным вариантом осуществления;
[0039] фиг. 28 изображает дискретизацию первичных данных изображения с полным разрешением, которое может быть захвачено датчиком изображения, в соответствии с аспектами настоящего раскрытия;
[0040] фиг. 29 иллюстрирует датчик изображения, который может быть сконфигурирован для применения биннинга к первичным данным изображения с полным разрешением, показанным на фиг. 28, для вывода выборки подвергнутых биннингу первичных данных изображения, в соответствии с вариантом осуществления настоящего раскрытия;
[0041] фиг. 30 изображает дискретизацию подвергнутых биннингу первичных данных изображения, которая может обеспечиваться датчиком изображения, показанным на фиг. 29, в соответствии с аспектами настоящего раскрытия;
[0042] фиг. 31 изображает подвергнутые биннингу первичные данные изображения из фиг. 30 после осуществления повторной дискретизации фильтром компенсации биннинга для обеспечения, в соответствии с аспектами настоящего раскрытия;
[0043] фиг. 32 изображает фильтр компенсации биннинга, который можно реализовать в блоке предварительной обработки пикселей ISP, показанном на фиг. 20, в соответствии с одним вариантом осуществления;
[0044] фиг. 33 - графическое представление различных величин шага, которые могут применяться к дифференциальному анализатору для выбора центральных входных пикселей и индекс/фазы для фильтрации с компенсацией биннинга, в соответствии с аспектами настоящего раскрытия;
[0045] фиг. 34 - блок-схема операций, демонстрирующая процесс для масштабирования данных изображения с использованием фильтра компенсации биннинга, показанного фиг. 32, в соответствии с одним вариантом осуществления;
[0046] фиг. 35 - блок-схема операций, демонстрирующая процесс для определения текущего входного исходного центрального пикселя для горизонтальной и вертикальной фильтрации, осуществляемой фильтром компенсации биннинга, показанным на фиг. 32, в соответствии с одним вариантом осуществления;
[0047] фиг. 36 - блок-схема операций, демонстрирующая процесс для определения индекса для выбора коэффициентов фильтрации для горизонтальной и вертикальной фильтрации, осуществляемой фильтром компенсации биннинга, показанным на фиг. 32, в соответствии с одним вариантом осуществления;
[0048] фиг. 37 - более детализированная блок-схема, демонстрирующая вариант осуществления блока статистической обработки, который можно реализовать в логике предварительной обработки ISP, показанной на фиг. 8, в соответствии с аспектами настоящего раскрытия;
[0049] фиг. 38 демонстрирует различные случаи границы кадра изображения, которые можно рассматривать при применении методов обнаружения и коррекции дефектных пикселей в ходе статистической обработки блоком статистической обработки, показанным на фиг. 37, в соответствии с аспектами настоящего раскрытия;
[0050] фиг. 39 - блок-схема операций, демонстрирующая процесс для осуществления обнаружения и коррекции дефектных пикселей в ходе статистической обработки, в соответствии с одним вариантом осуществления;
[0051] фиг. 40 демонстрирует трехмерный профиль, изображающий зависимость интенсивности света от позиции пикселя для традиционного объектива устройства формирования изображения;
[0052] фиг. 41 - цветной чертеж, который демонстрирует неоднородное распределение интенсивности света по изображению, что может быть результатом неравномерностей затенения объектива;
[0053] фиг. 42 - графическая иллюстрация первичного кадра формирования изображения, который включает в себя область коррекции затенения объектива и сетку коэффициентов усиления, в соответствии с аспектами настоящего раскрытия;
[0054] фиг. 43 иллюстрирует интерполяцию значения коэффициента усиления для пикселя изображения, окруженного четырьмя граничными точками сетки коэффициентов усиления, в соответствии с аспектами настоящего раскрытия;
[0055] фиг. 44 - блок-схема операций, демонстрирующая процесс для определения интерполированных значений коэффициентов усиления, которые могут применяться к пикселям формирования изображения в ходе операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего изобретения;
[0056] фиг. 45 - трехмерный профиль, изображающий интерполированные значения коэффициентов усиления, которые могут применяться к изображению, который демонстрирует характеристики интенсивности света, показанные на фиг. 40, при осуществлении коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;
[0057] фиг. 46 демонстрирует цветной чертеж из фиг. 41, который демонстрирует повышенную однородность интенсивности света после применения операции коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;
[0058] фиг. 47 графически иллюстрирует, как радиальное расстояние между текущим пикселем и центром изображения можно вычислять и использовать для определения радиальной компоненты коэффициента усиления для коррекции затенения объектива, в соответствии с одним вариантом осуществления;
[0059] фиг. 48 - блок-схема операций, демонстрирующая процесс, позволяющий использовать радиальные коэффициенты усиления и интерполированные коэффициенты усиления из сетки коэффициентов усиления для определения полного коэффициента усиления, который может применяться к пикселям формирования изображения в ходе операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего изобретения;
[0060] фиг. 49 - график, демонстрирующий области белого и оси низкой и высокой цветовой температуры в цветовом пространстве;
[0061] фиг. 50 - таблица, демонстрирующая как можно сконфигурировать коэффициенты усиления баланса белого для различных условий опорного источника света, в соответствии с одним вариантом осуществления;
[0062] фиг. 51 - блок-схема, демонстрирующая машину сбора статистики, которую можно реализовать в логике предварительной обработки ISP, в соответствии с вариантом осуществления настоящего раскрытия;
[0063] фиг. 52 иллюстрирует понижающую дискретизацию первичных байеровских RGB данных, в соответствии с аспектами настоящего раскрытия;
[0064] фиг. 53 изображает двухмерную цветовую гистограмму, которая может быть собрана машиной сбора статистики, показанной на фиг. 51, в соответствии с одним вариантом осуществления;
[0065] фиг. 54 изображает трансфокацию и панорамирование в двухмерной цветовой гистограмме;
[0066] фиг. 55 - более детализированный вид, демонстрирующий логику для реализации пиксельного фильтра машины сбора статистики, в соответствии с одним вариантом осуществления;
[0067] фиг. 56 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с одним вариантом осуществления;
[0068] фиг. 57 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с другим вариантом осуществления;
[0069] фиг. 58 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с еще одним дополнительным вариантом осуществления;
[0070] фиг. 59 - график, демонстрирующий как можно определить времена интегрирования датчика изображения для компенсации мерцания, в соответствии с одним вариантом осуществления;
[0071] фиг. 60 - подробная блок-схема, демонстрирующая логику, которую можно реализовать в машине сбора статистики, показанной на фиг. 51, и сконфигурированную для сбора статистики автофокусировки в соответствии с одним вариантом осуществления;
[0072] фиг. 61 - график, изображающий метод осуществления автофокусировки с использованием значений показателей грубой и точной автофокусировки, в соответствии с одним вариантом осуществления;
[0073] фиг. 62 - блок-схема операций, изображающая процесс для осуществления автофокусировки с использованием значений показателей грубой и точной автофокусировки, в соответствии с одним вариантом осуществления;
[0074] фиг. 63 и 64 демонстрируют прореживание первичных байеровских данных для получения значения яркости, сбалансированного по уровню белого;
[0075] фиг. 65 демонстрирует метод осуществления автофокусировки с использованием относительных значений показателей автофокусировки для каждой цветовой компоненты, в соответствии с одним вариантом осуществления;
[0076] фиг. 66 - более детализированный вид блока статистической обработки, показанного на фиг. 37, демонстрирующий как можно использовать байеровские RGB данные гистограммы для помощи в компенсации уровня черного, в соответствии с одним вариантом осуществления;
[0077] фиг. 67 - блок-схема, демонстрирующая вариант осуществления логики конвейерной обработки ISP, показанной на фиг. 7, в соответствии с аспектами настоящего раскрытия;
[0078] фиг. 68 - более детализированный вид, демонстрирующий вариант осуществления блока обработки первичных пикселей, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 67, в соответствии с аспектами настоящего раскрытия;
[0079] фиг. 69 демонстрирует различные случаи границы кадра изображения, которые можно рассматривать при применении методов обнаружения и коррекции дефектных пикселей в ходе обработки блоком обработки первичных пикселей, показанным на фиг. 68, в соответствии с аспектами настоящего раскрытия;
[0080] фиг. 70-72 - блок-схемы операций, которые изображают различные процессы для обнаружения и коррекции дефектных пикселей, которые могут осуществляться в блоке обработки первичных пикселей, показанном на фиг. 68, в соответствии с одним вариантом осуществления;
[0081] фиг. 73 демонстрирует положение двух пикселей зеленого в пиксельном блоке 2×2 байеровского датчика изображения, которые можно интерполировать при применении методов коррекции неоднородности зеленого в ходе обработки логикой обработки первичных пикселей, показанной на фиг. 68, в соответствии с аспектами настоящего раскрытия;
[0082] фиг. 74 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные с ним горизонтально соседние пиксели, которые можно использовать как часть процесса горизонтальной фильтрации для шумопонижения, в соответствии с аспектами настоящего раскрытия;
[0083] фиг. 75 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные с ним вертикальные соседние пиксели, которые можно использовать как часть процесса вертикальной фильтрации для шумопонижения, в соответствии с аспектами настоящего раскрытия;
[0084] фиг. 76 - упрощенная блок-схема операций, которая изображает как можно применять демозаику к шаблону первичного байеровского изображения для создания полноцветного RGB-изображения;
[0085] фиг. 77 изображает набор пикселей шаблона байеровского изображения, из которого можно вывести горизонтальные и вертикальные энергетические компоненты для интерполяции значений зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с одним вариантом осуществления;
[0086] фиг. 78 демонстрирует набор горизонтальных пикселей, к которым может применяться фильтрация для определения горизонтальной компоненты интерполированного значения зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;
[0087] фиг. 79 демонстрирует набор вертикальных пикселей, к которым может применяться фильтрация для определения вертикальной компоненты интерполированного значения зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;
[0088] фиг. 80 демонстрирует различные пиксельные блоки 3×3, к которым может применяться фильтрация для определения интерполированных значений красного и синего в ходе демозаики шаблона байеровского изображения, в соответствии с аспектами настоящего изобретения;
[0089] фиг. 81-84 демонстрируют блок-схемы операций, которые изображают различные процессы для интерполяции значений зеленого, красного и синего цвета в ходе демозаики шаблона байеровского изображения, в соответствии с одним вариантом осуществления;
[0090] фиг. 85 демонстрирует цветной чертеж сцены исходного изображения, которое может захватываться датчиком изображения и обрабатываться в соответствии с аспектами раскрытых здесь методов демозаики;
[0091] фиг. 86 демонстрирует цветной чертеж шаблона байеровского изображения сцены изображения, показанной на фиг. 85;
[0092] фиг. 87 демонстрирует цветной чертеж RGB-изображения, реконструированного с использованием традиционного метода демозаики на основании шаблона байеровского изображения, показанного на фиг. 86;
[0093] фиг. 88 демонстрирует цветной чертеж RGB-изображения, реконструированного из шаблона байеровского изображения, показанного на фиг. 86, в соответствии с аспектами раскрытых здесь методов демозаики;
[0094] фиг. 89 - более детализированный вид, демонстрирующий один вариант осуществления блока обработки RGB, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 67, в соответствии с аспектами настоящего раскрытия;
[0095] фиг. 90 - более детализированный вид, демонстрирующий один вариант осуществления блока обработки YCbCr, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 67, в соответствии с аспектами настоящего раскрытия;
[0096] фиг. 91 - графическое представление активных областей источника для яркости и цветности, заданных в буфере источника с использованием 1-плоскостного формата, в соответствии с аспектами настоящего раскрытия;
[0097] фиг. 92 - графическое представление активных областей источника для яркости и цветности, заданных в буфере источника с использованием 2-плоскостного формата, в соответствии с аспектами настоящего раскрытия;
[0098] фиг. 93 - блок-схема, иллюстрирующая логику повышения резкости изображения, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 90, в соответствии с одним вариантом осуществления;
[0099] фиг. 94 - блок-схема, иллюстрирующая логику подчеркивания краев, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 90, в соответствии с одним вариантом осуществления;
[0100] фиг. 95 - график, демонстрирующий соотношение коэффициентов ослабления цветности со значениями яркости при повышенной резкости, в соответствии с аспектами настоящего раскрытия;
[0101] фиг. 96 - блок-схема, иллюстрирующая логику регулировки яркости, контрастности и цвета (BCC) изображения, которую можно реализовать в блоке обработки YCbCr, показанном на фиг. 90, в соответствии с одним вариантом осуществления; и
[0102] фиг. 97 демонстрирует цветовой круг тона и насыщенности в цветовом пространстве YCbCr, задающий различные углы тона и значения насыщенности, который можно применять в ходе регулировки цвета в логике регулировки BCC, показанной на фиг. 96.
Подробное описание конкретных вариантов осуществления
[0103] Ниже будут описаны один или более конкретных вариантов осуществления настоящего раскрытия. Эти описанные варианты осуществления являются лишь примерами описанного здесь изобретения. Дополнительно, с целью обеспечения краткого описания этих вариантов осуществления, в описании изобретения могут быть описаны не все признаки фактической реализации. Очевидно, что при разработке любой такой фактической реализации, как в любом инженерном или конструкторском проекте, многочисленные решения, зависящие от реализации, должны быть приняты для достижения конкретных целей разработчиков, например, согласования с ограничениями, связанными с системой и предприятием, которые могут изменяться от реализации к реализации. Кроме того, очевидно, что такие конструкторские работы могут быть сложными и занимать много времени, но тем не менее будет рутинным делом проектирования, изготовления и производства для специалистов, изучивших это раскрытие.
[0104] При первичном упоминании элементов различных вариантов осуществления настоящего раскрытия, употребление их названий в единственном числе подразумевает наличие одного или более элементов. Термины “содержащий”, “включающий в себя” и “имеющий” имеют включительный смысл и подразумевают, что могут существовать дополнительные элементы кроме перечисленных элементов. Дополнительно, следует понимать, что ссылки на “один вариант осуществления” или “вариант осуществления” настоящего раскрытия не следует интерпретировать как исключающие наличие дополнительных вариантов осуществления, которые тоже включают в себя упомянутые признаки.
[0105] Как будет рассмотрено ниже, настоящее раскрытие относится, в общем случае, к методам обработки данных изображения, полученных через одно или более устройств считывания изображения. В частности, некоторые аспекты настоящего раскрытия могут относиться к методам обнаружения и коррекции дефектных пикселей, методам демозаики шаблона первичного изображения, методам повышения резкости яркостного изображения с использованием многомасштабной нерезкой маски и методам применения коэффициентов усиления затенения объектива для коррекции неравномерностей затенения объектива. Кроме того, следует понимать, что описанное здесь изобретение можно применять, как к неподвижным изображениям, так и к движущимся изображениям (например, видео), и можно использовать в приложении формирования изображения любого пригодного типа, например цифровой камере, электронном устройстве со встроенной цифровой камерой, системе безопасности или видеонаблюдения, системе медицинского формирования изображения и т.д.
[0106] Имея в виду все вышесказанное, обратимся к фиг. 1, где показана блок-схема, иллюстрирующая пример электронного устройства 10, которое может обеспечивать обработку данных изображения с использованием одного или более методов обработки изображений, кратко упомянутых выше. Электронное устройство 10 может представлять собой электронное устройство любого типа, например, переносной или стационарный компьютер, мобильный телефон, цифровой медиаплеер, и т.п., которое сконфигурировано для приема и обработки данных изображения, например, данных, полученных с использованием одного или более компонентов считывания изображения. Исключительно в порядке примера, электронное устройство 10 может представлять собой портативное электронное устройство, например, модель iPod® или iPhone®, доступную от Apple Inc. Купертино, Калифорния. Дополнительно, электронное устройство 10 может представлять собой переносной или стационарный компьютер, например, модель MacBook®, MacBook® Pro, MacBook Air®, iMac®, Mac® Mini или Mac Pro®, доступную от Apple Inc. В других вариантах осуществления, электронное устройство 10 также может представлять собой модель электронного устройства другого производителя, которое способно получать и обрабатывать данные изображения.
[0107] Следует понимать, что электронное устройство 10, независимо от его формы (например, портативной или непортативной), может обеспечивать обработку данных изображения с использованием одного или более методов обработки изображений, кратко рассмотренных выше, которые могут включать в себя, в том числе, методы коррекции и/или обнаружения дефектных пикселей, методы коррекции затенения объектива, методы демозаики или методы повышения резкости изображения. В некоторых вариантах осуществления, электронное устройство 10 может применять такие методы обработки изображений к данным изображения, хранящимся в памяти электронного устройства 10. В дополнительных вариантах осуществления, электронное устройство 10 может включать в себя одно или более устройств формирования изображения, например, встроенную или внешнюю цифровую камеру, сконфигурированную для получения данных изображения, которые могут затем обрабатываться электронным устройством 10 с использованием одного или более из вышеупомянутых методов обработки изображений. Варианты осуществления, демонстрирующие как портативные, так и непортативные варианты осуществления электронного устройства 10, будут далее рассмотрены ниже на фиг. 3-6.
[0108] Как показано на фиг. 1, электронное устройство 10 может включать в себя различные внутренние и/или внешние компоненты, которые участвуют в функции устройства 10. Специалистам в данной области техники очевидно, что различные функциональные блоки, показанные на фиг. 1, могут содержать аппаратные элементы (включающие в себя схему), программные элемен