Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки

Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки

Иллюстрации

Показать все

Реферат

Уровень техники

[0001] Настоящее раскрытие относится, в общем, к устройствам формирования цифрового изображения и, в частности, к системам и способу для обработки данных изображения, полученных с использованием датчика изображения устройства формирования цифрового изображения.

[0002] Этот раздел предназначен для ознакомления читателя с различными аспектами уровня техники, которые могут быть связаны с различными аспектами настоящего изобретения, которые описаны и/или заявлены ниже. Предполагается, что данное рассмотрение будет полезно для предоставления читателю основополагающей информации для облегчения лучшего понимания различных аспектов настоящего раскрытия. Соответственно, следует понимать, что эти положения следует воспринимать в этом свете, а не как допущения уровня техники.

[0003] В последние годы устройства формирования цифрового изображения приобретают все большую популярность в силу, по меньшей мере, частично, того, что такие устройства становятся все более доступными по цене для среднего потребителя. Кроме того, помимо ряда автономных цифровых камер, доступных в настоящее время на рынке, существует тенденция интеграции устройств формирования цифрового изображения в другое электронное устройство, например, стационарный или переносной компьютер, сотовый телефон или портативный медиаплеер.

[0004] Для получения данных изображения, большинство устройств формирования цифрового изображения включают в себя датчик изображения, который обеспечивает ряд световоспринимающих элементов (например, фотодетекторов), сконфигурированных для преобразования света, регистрируемого датчиком изображения, в электрический сигнал. Датчик изображения также может включать в себя матрицу цветовых фильтров, которая фильтрует свет, улавливаемый датчиком изображения для захвата информации цвета. Данные изображения, захваченные датчиком изображения, могут затем обрабатываться конвейером обработки изображений, который может применять различные операции обработки изображений к данным изображения для формирования полноцветного изображения, которое может отображаться для просмотра на дисплейном устройстве, например мониторе.

[0005] В то время как традиционные методы обработки изображений, в общем случае, нацелены на формирование наблюдаемого изображения, которое объективно и субъективно доставляют удовольствие наблюдателю, такие традиционные методы могут не адекватно справляться с ошибками и/или искажениями в данных изображения, вносимыми устройством формирования изображения и/или датчиком изображения. Например, дефектные пиксели на датчике изображения, которые могут быть обусловлены производственными дефектами или отказом при эксплуатации, могут не позволять точно воспринимать уровни света и, в отсутствие коррекции, могут проявляться как артефакты, возникающие в результирующем обработанном изображении. Дополнительно, спад интенсивности света на краях датчика изображения, который может быть обусловлен дефектами при изготовлении объектива, может негативно сказываться на характеристических измерениях и может приводить к созданию изображения, в которых общая интенсивность света неоднородна. Конвейер обработки изображений также может осуществлять один или более процессов для повышения резкости изображения. Однако традиционные методы повышения резкости могут не адекватно учитывать существующий шум в сигнале изображения, или могут быть не способны различать шум от краев и текстурированных областей в изображении. В таких случаях, традиционные методы повышения резкости могут фактически повышать заметность шума в изображении, что, в общем случае, нежелательно. Кроме того, можно осуществлять различные дополнительные этапы обработки изображений, некоторые из которых могут опираться на статистику изображения, собранную машиной сбора статистики.

[0006] Другая операция обработки изображений, которая может применяться к данным изображения, захваченным датчиком изображения, является операцией демозаики (преобразования RGB массива в цветное изображение). Поскольку матрица цветовых фильтров в общем случае обеспечивает цветовые данные на одной длине волны для каждого пикселя датчика, полный набор цветовых данных, в общем случае, интерполируется для каждого цветового канала для воспроизведения полноцветного изображения (например, RGB-изображения). Традиционные методы демозаики, в общем случае, интерполируют значения для отсутствующих цветовых данных в горизонтальном или вертикальном направлении, в общем случае, в зависимости от некоторого типа фиксированного порога. Однако такие традиционные методы демозаики могут не адекватно учитывать положения и направление краев в изображении, что может приводить к краевым артефактам, например, ступенчатости, шахматным артефактам или радужным артефактам, вносимым в полноцветное изображение, в особенности вдоль диагональных краев в изображении.

[0007] Соответственно, различными соображениями следует руководствоваться при обработке цифрового изображения, полученного с помощью цифровой камеры или другого устройства формирования изображения для улучшения внешнего вида результирующего изображения. В частности, некоторые аспекты нижеприведенного раскрытия призваны устранять один или более недостатков, кратко упомянутых выше.

Сущность изобретения

[0008] Ниже представлено краткое изложение раскрытых здесь некоторых вариантов осуществления. Следует понимать, что эти аспекты представлены лишь для снабжения читателя краткой сводкой этих некоторых вариантов осуществления, и что эти аспекты не призваны ограничивать объем этого раскрытия. В действительности, это раскрытие может охватывать различные аспекты, которые могут быть не изложены ниже.

[0009] Настоящее раскрытие предоставляет и иллюстрирует различные варианты осуществления технологий обработки сигналов изображения. В частности, раскрытые варианты осуществления этого раскрытия могут относиться к обработке данных изображения с использованием блока окончательной обработки изображений, компоновке и конфигурации линейных буферов для реализации логики обработки первичных пикселей, к технологии для управления перемещением пиксельных данных при наличии условий переполнения (также называемых "превышением предела"), к технологиям для синхронизации видео- и аудиоданных, а также к технологиям, связанным с использованием различных форматов пиксельной памяти, которые могут быть использованы для того, чтобы сохранять пиксельные данные в памяти и считывать пиксельные данные из памяти.

[0010] Относительно окончательной обработки, раскрытые варианты осуществления предоставляют систему обработки сигналов изображения, которая включает в себя блок окончательной обработки пикселей, который принимает пиксельные данные после обработки посредством, по меньшей мере, одного из блока предварительной обработки пикселей и конвейера обработки пикселей. В конкретных вариантах осуществления, блок окончательной обработки принимает данные яркости/цветности изображения и может быть выполнен с возможностью применять операции обнаружения лиц, локальной тональной компрессии, регулировки яркости, контрастности, цвета, а также масштабирование. Дополнительно, блок окончательной обработки также может включать в себя блок обработки окончательной статистики, который может собирать частотную статистику. Частотная статистика может предоставляться в кодер и может быть использована для того, чтобы определять параметры квантования, которые должны применяться к кадру изображения.

[0011] Дополнительный аспект раскрытия относится к реализации блока обработки первичных пикселей с использованием набора линейных буферов. В одном варианте осуществления, набор линейных буферов может включать в себя первый поднабор и второй поднабор. Различные логические единицы блока обработки первичных пикселей могут быть реализованы с использованием первого и второго поднаборов линейных буферов совместным образом. Например, в одном варианте осуществления, логика коррекции и обнаружения дефектных пикселей может быть реализована с использованием первого поднабора линейных буферов. Второй поднабор линейных буферов может быть использован для того, чтобы реализовывать логику коррекции затенения объектива, логику усиления, смещения и ограничения и логику демозаики. Дополнительно, уменьшение уровня шума также может быть реализовано с использованием, по меньшей мере, части каждого из первого и второго поднаборов линейных буферов.

[0012] Другой аспект раскрытия может относиться к системе обработки сигналов изображения, которая включает в себя логику управления переполнением, которая обнаруживает условие переполнения, когда целевой блок, когда входная очередь датчика и/или блок предварительной обработки принимает обратную реакцию из последующего целевого блока. Система обработки сигналов изображения также может включать в себя контроллер вспышки, который выполнен с возможностью активировать устройство вспышки до начала целевого кадра изображения посредством использования синхронизирующего сигнала датчика. В одном варианте осуществления, контроллер вспышки принимает задержанный синхронизирующий сигнал датчика и определяет время начала активации вспышки посредством использования задержанного синхронизирующего сигнала датчика, чтобы идентифицировать время, соответствующее концу предыдущего кадра, увеличение этого времени на время гашения вертикальной развертки и затем вычитания первого смещения, чтобы компенсировать задержку между синхронизирующим сигналом датчика и задержанным синхронизирующим сигналом датчика. Затем, контроллер вспышки вычитает второе смещение, чтобы определять время активации вспышки, тем самым обеспечивая то, что вспышка активируется до приема первого пикселя целевого кадра. Дополнительные аспекты раскрытия предоставляют технологии, связанные с аудио-видеосинхронизацией. В одном варианте осуществления, регистр временного кода предоставляет текущую временную метку при дискретизации. Значение регистра временного кода может увеличиваться через регулярные интервалы на основе тактового сигнала системы обработки сигналов изображения. В начале текущего кадра, полученного посредством датчика изображения, регистр временного кода дискретизируется, и временная метка сохраняется в регистре временных меток, ассоциированном с датчиком изображения. Временная метка затем считывается из регистра временных меток и записывается в набор метаданных, ассоциированных с текущим кадром. Временная метка, сохраненная в метаданных кадра, затем может быть использована для того, чтобы синхронизировать текущий кадр с соответствующим набором аудиоданных.

[0013] Дополнительный аспект настоящего раскрытия предоставляет гибкий контроллер ввода-вывода в память, который выполнен с возможностью сохранения и считывания нескольких типов пикселей и форматов пиксельной памяти. Например, контроллер ввода-вывода в память может поддерживать сохранение и считывание первичных пикселей изображения при различных битах для точности, такой как 8-битовая, 10-битовая, 12-битовая, 14-битовая и 16-битовая. Пиксельные форматы, которые не совмещены с байтами памяти (например, не являются кратными 8 битам), могут быть сохранены пакетированным способом. Контроллер ввода-вывода в память также может поддерживать различные форматы наборов RGB-пикселей и наборов YCC-пикселей.

[0014] В связи с различными аспектами настоящего раскрытия могут существовать различные уточнения вышеупомянутых признаков. Кроме того, признаки также могут быть включены в эти различные аспекты. Эти уточнения и дополнительные признаки могут существовать по отдельности или в любой комбинации. Например, различные признаки, рассмотренные ниже в связи с одним или более из проиллюстрированных вариантов осуществления, могут быть включены в любой из вышеописанных аспектов настоящего раскрытия по отдельности или в любой комбинации. Опять же, представленная выше краткая сводка предназначена лишь для ознакомления читателя с некоторыми аспектами и контекстами вариантов осуществления настоящего раскрытия без ограничения заявленным предметом изобретения.

Краткое описание чертежей

[0015] Файл патента или заявки содержит, по меньшей мере, один чертеж, выполненный в цвете. Копии этого патента или опубликованной патентной заявки с цветными чертежами будут предоставлены патентным ведомством по запросу и после оплаты необходимых пошлин.

[0016] Различные аспекты этого раскрытия можно лучше понять, ознакомившись с нижеследующим подробным описанием и обратившись к чертежам, в которых:

[0017] фиг. 1 - упрощенная блок-схема, изображающая компоненты примера электронного устройства, которое включает в себя устройство формирования изображения и схему обработки изображений, сконфигурированную для реализации одного или более методов обработки изображений, изложенных в настоящем раскрытии;

[0018] фиг. 2 - графическое представление пиксельного блока 2x2 матрицы байеровских цветовых фильтров, которую можно реализовать в устройстве формирования изображения, показанном на фиг. 1;

[0019] фиг. 3 - вид в перспективе электронного устройства, показанного на фиг. 1 в форме портативного вычислительного устройства, в соответствии с аспектами настоящего раскрытия;

[0020] фиг. 4 - вид спереди электронного устройства, показанного на фиг. 1 в форме стационарного вычислительного устройства, в соответствии с аспектами настоящего раскрытия;

[0021] фиг. 5 - вид спереди электронного устройства, показанного на фиг. 1 в форме карманного портативного электронного устройства, в соответствии с аспектами настоящего раскрытия;

[0022] фиг. 6 - вид сзади электронного устройства, показанного на фиг. 5;

[0023] фиг. 7 - блок-схема, иллюстрирующая вариант осуществления схемы обработки изображений по фиг. 1, которая включает в себя логику предварительной обработки сигналов изображения (ISP) и логику конвейерной обработки ISP, в соответствии с аспектами настоящего раскрытия;

[0024] фиг. 8 - блок-схема, иллюстрирующая другой вариант осуществления схемы обработки изображений по фиг. 1, которая включает в себя логику предварительной обработки сигналов изображения (ISP), логику конвейерной обработки ISP, и логику окончательной обработки ISP, в соответствии с аспектами настоящего раскрытия;

[0025] фиг. 9 - блок-схема последовательности операций способа, изображающая способы для обработки данных изображения с использованием схемы обработки изображений по фиг. 7 или по фиг. 8, в соответствии с аспектами настоящего раскрытия;

[0026] фиг. 10 - более подробная блок-схема, показывающая вариант осуществления логики предварительной обработки ISP, которая может быть реализована на фиг. 7 или фиг. 8, в соответствии с аспектами настоящего раскрытия;

[0027] фиг. 11 - блок-схема последовательности операций способа, изображающая способ для обработки данных изображения в логике предварительной обработки ISP, показанной на фиг. 10, в соответствии с вариантом осуществления;

[0028] фиг. 12 - блок-схема, иллюстрирующая конфигурацию регистров двойной буферизации и регистров управления, которые можно использовать для обработки данных изображения в логике предварительной обработки ISP, в соответствии с одним вариантом осуществления;

[0029] фиг. 13-15 - временные диаграммы, изображающие различные режимы для запуска обработки кадра изображения, в соответствии с вариантами осуществления настоящего изобретения;

[0030] фиг. 16 - схема, более подробно изображающая регистр управления, в соответствии с одним вариантом осуществления;

[0031] фиг. 17 - блок-схема последовательности операций способа, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 10 работает в однодатчиковом режиме;

[0032] фиг. 18 - блок-схема последовательности операций способа, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 10 работает в двухдатчиковом режиме;

[0033] фиг. 19 - блок-схема последовательности операций способа, изображающая способ использования блока предварительной обработки пикселей для обработки кадров изображения, когда логика предварительной обработки ISP, показанная на фиг. 10 работает в двухдатчиковом режиме;

[0034] фиг. 20 - блок-схема последовательности операций способа, изображающая способ, в котором оба датчика изображения активны, но в котором первый датчик изображения посылает кадры изображения на блок предварительной обработки пикселей, тогда как второй датчик изображения посылает кадры изображения на блок статистической обработки, благодаря чему статистика формирования изображения для второго датчика доступна сразу, когда второй датчик изображения продолжает посылать кадры изображения на блок предварительной обработки пикселей в более позднее время, в соответствии с одним вариантом осуществления.

[0035] фиг. 21 - графическое представление формата линейной адресации памяти, который может применяться к пиксельным форматам, сохраненным в памяти электронного устройства по фиг. 1, в соответствии с аспектами настоящего раскрытия;

[0036] фиг. 22 - графическое представление формата мозаичной адресации памяти, который может применяться к пиксельным форматам, сохраненным в памяти электронного устройства по фиг. 1, в соответствии с аспектами настоящего раскрытия;

[0037] фиг. 23 - графическое представление различных областей формирования изображения которые можно задать в исходном кадре изображения, захваченном датчиком изображения, в соответствии с аспектами настоящего раскрытия;

[0038] фиг. 24 - графическое представление технологии для использования блока предварительной обработки ISP, чтобы обрабатывать перекрывающиеся вертикальные полосы кадра изображения;

[0039] фиг. 25 - схема, изображающая то, как перестановка байтов может применяться к входящим пиксельным данным изображения из памяти с использованием кода перестановки, в соответствии с аспектами настоящего раскрытия;

[0040] фиг. 26-29 показывают примеры форматов памяти для первичных данных изображения, которые могут поддерживаться посредством схемы обработки изображений по фиг. 7 или по фиг. 8, в соответствии с вариантами осуществления настоящего раскрытия;

[0041] фиг. 30-34 показывают примеры форматов памяти для данных полноцветного RGB-изображения, которые могут поддерживаться посредством схемы обработки изображений по фиг. 7 или по фиг. 8, в соответствии с вариантами осуществления настоящего раскрытия;

[0042] фиг. 35-36 показывают примеры форматов памяти для данных яркости/цветности изображения (YUV/YC1C2), которые могут поддерживаться посредством схемы обработки изображений по фиг. 7 или по фиг. 8, в соответствии с вариантами осуществления настоящего раскрытия;

[0043] фиг. 37 показывает пример того, как определять положение кадра в памяти в формате линейной адресации, в соответствии с аспектами настоящего раскрытия;

[0044] фиг. 38 показывает пример того, как определять положение кадра в памяти в формате мозаичной адресации, в соответствии с аспектами настоящего раскрытия;

[0045] фиг. 39 - блок-схема схемы ISP по фиг. 8, изображающая то, как может выполняться обработка переполнения, в соответствии с вариантом осуществления настоящего раскрытия;

[0046] фиг. 40 - блок-схема последовательности операций способа, изображающая способ для обработки переполнения, когда условие переполнения возникает в то время, когда пиксельные данные изображения считываются из памяти изображений, в соответствии с аспектами настоящего раскрытия;

[0047] фиг. 41 - блок-схема последовательности операций способа, изображающая способ для обработки переполнения, когда условие переполнения возникает в то время, когда пиксельные данные изображения считываются из интерфейса датчика изображения, в соответствии с одним вариантом осуществления настоящего раскрытия;

[0048] фиг. 42 - блок-схема последовательности операций способа, изображающая другой способ для обработки переполнения, когда условие переполнения возникает в то время, когда пиксельные данные изображения считываются из интерфейса датчика изображения, в соответствии с дополнительным вариантом осуществления настоящего раскрытия;

[0049] фиг. 43 предоставляет графическое представление изображения (например, видео) и соответствующих аудиоданных, которые могут быть захвачены и сохранены посредством электронного устройства фиг. 1;

[0050] фиг. 44 иллюстрирует набор регистров, которые могут быть использованы для того, чтобы предоставлять временные метки для синхронизации аудио- и видеоданных по фиг. 43, в соответствии с одним вариантом осуществления;

[0051] фиг. 45 - упрощенное представление кадра изображения, который может быть захвачен в качестве части видеоданных по фиг. 43, показывающее то, что информация временных меток может быть сохранена в качестве части метаданных кадра изображения, в соответствии с аспектами настоящего раскрытия;

[0052] фиг. 46 - блок-схема последовательности операций способа, изображающая способ для использования временных меток на основе сигнала VSYNC, чтобы синхронизировать данные изображения с аудиоданными, в соответствии с одним вариантом осуществления;

[0053] фиг. 47 - блок-схема схемы ISP по фиг. 8, изображающая то, как может выполняться управление синхронизацией вспышки, в соответствии с вариантом осуществления настоящего раскрытия;

[0054] фиг. 48 изображает технологию для определения времен активации и деактивации вспышки, в соответствии с вариантом осуществления настоящего раскрытия;

[0055] фиг. 49 - блок-схема последовательности операций способа, изображающая способ для определения времен активации вспышки на основе технологии, показанной на фиг. 48;

[0056] фиг. 50 - блок-схема последовательности операций способа, изображающая способ для использования предварительной вспышки, чтобы обновлять статистику изображения до получения сцены изображения с использованием вспышки, в соответствии с аспектами настоящего раскрытия;

[0057] фиг. 51 - блок-схема, которая обеспечивает более детализированный вид одного варианта осуществления блока предварительной обработки пикселей ISP, показанного в логике предварительной обработки ISP, показанной на фиг. 10, в соответствии с аспектами настоящего раскрытия;

[0058] фиг. 52 - схема обработки, демонстрирующая возможное применение временной фильтрации к пиксельным данным изображения, принятым блоком предварительной обработки пикселей ISP, показанным на фиг. 51, в соответствии с одним вариантом осуществления;

[0059] фиг. 53 иллюстрирует набор пикселей опорного изображения и набор соответствующих пикселей текущего изображения, которые можно использовать для определения одного или более параметров для процесса временной фильтрации, показанного на фиг. 52;

[0060] фиг. 54 - блок-схема последовательности операций способа, демонстрирующая процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения, в соответствии с одним вариантом осуществления;

[0061] фиг. 55 - блок-схема последовательности операций способа, демонстрирующая метод вычисления значения дельты движения для использования во временной фильтрации пикселя текущего изображения, показанного на фиг. 54, в соответствии с одним вариантом осуществления;

[0062] фиг. 56 - блок-схема последовательности операций способа, демонстрирующая другой процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения, который включает в себя использование разных коэффициентов усиления для каждой цветовой компоненты данных изображения, в соответствии с другим вариантом осуществления;

[0063] фиг. 57 - схема обработки, демонстрирующая, как метод временной фильтрации, который использует отдельные таблицы движения и яркости для каждой цветовой компоненты пиксельных данных изображения, принятых блоком предварительной обработки пикселей ISP, показанным на фиг. 51, в соответствии с дополнительным вариантом осуществления;

[0064] фиг. 58 - блок-схема последовательности операций способа, демонстрирующая процесс для применения временной фильтрации к пикселю текущего изображения набора данных изображения с использованием таблиц движения и яркости, показанных на фиг. 57, в соответствии с дополнительным вариантом осуществления;

[0065] фиг. 59 изображает дискретизацию первичных данных изображения с полным разрешением, которое может быть захвачено датчиком изображения, в соответствии с аспектами настоящего раскрытия;

[0066] фиг. 60 иллюстрирует датчик изображения, который может быть сконфигурирован для применения биннинга к первичным данным изображения с полным разрешением, показанным на фиг. 59 для вывода выборки подвергнутых биннингу первичных данных изображения, в соответствии с вариантом осуществления настоящего раскрытия;

[0067] фиг. 61 изображает дискретизацию подвергнутых биннингу первичных данных изображения, которая может обеспечиваться датчиком изображения, показанным на фиг. 60, в соответствии с аспектами настоящего раскрытия;

[0068] фиг. 62 изображает подвергнутые биннингу первичные данные изображения из фиг. 61 после осуществления повторной дискретизации фильтром компенсации биннинга для обеспечения, в соответствии с аспектами настоящего раскрытия;

[0069] фиг. 63 изображает фильтр компенсации биннинга, который можно реализовать в блоке предварительной обработки пикселей ISP, показанном на фиг. 51, в соответствии с одним вариантом осуществления;

[0070] фиг. 64 - графическое представление различных величин шага, которые могут применяться к дифференциальному анализатору для выбора центральных входных пикселей и индекс/фазы для фильтрации с компенсацией биннинга, в соответствии с аспектами настоящего раскрытия;

[0071] фиг. 65 - блок-схема последовательности операций способа, демонстрирующая процесс для масштабирования данных изображения с использованием фильтра компенсации биннинга, показанного фиг. 63, в соответствии с одним вариантом осуществления;

[0072] фиг. 66 - блок-схема последовательности операций способа, демонстрирующая процесс для определения текущего входного исходного центрального пикселя для горизонтальной и вертикальной фильтрации, осуществляемой фильтром компенсации биннинга, показанным на фиг. 63, в соответствии с одним вариантом осуществления;

[0073] фиг. 67 - блок-схема последовательности операций способа, демонстрирующая процесс для определения индекса для выбора коэффициентов фильтрации для горизонтальной и вертикальной фильтрации, осуществляемой фильтром компенсации биннинга, показанным на фиг. 63, в соответствии с одним вариантом осуществления.

[0074] фиг. 68 - более детализированная блок-схема, демонстрирующая вариант осуществления блока статистической обработки, который можно реализовать в логике предварительной обработки ISP, показанной на фиг. 10, в соответствии с аспектами настоящего раскрытия;

[0075] фиг. 69 демонстрирует различные случаи границы кадра изображения, которые можно рассматривать при применении методов обнаружения и коррекции дефектных пикселей в ходе статистической обработки блоком статистической обработки, показанным на фиг. 68, в соответствии с аспектами настоящего раскрытия;

[0076] фиг. 70 - блок-схема последовательности операций способа, демонстрирующая процесс для осуществления обнаружения и коррекции дефектных пикселей в ходе статистической обработки, в соответствии с одним вариантом осуществления;

[0077] фиг. 71 демонстрирует трехмерный профиль, изображающий зависимость интенсивности света от позиции пикселя для традиционного объектива устройства формирования изображения;

[0078] фиг. 72 - цветной чертеж, который демонстрирует неоднородное распределение интенсивности света по изображению, что может быть результатом неравномерностей затенения объектива;

[0079] фиг. 73 - графическая иллюстрация первичного кадра формирования изображения, который включает в себя область коррекции затенения объектива и сетку коэффициентов усиления, в соответствии с аспектами настоящего раскрытия;

[0080] фиг. 74 иллюстрирует интерполяцию значения коэффициента усиления для пикселя изображения, окруженного четырьмя граничными точками сетки коэффициентов усиления, в соответствии с аспектами настоящего раскрытия;

[0081] фиг. 75 - блок-схема последовательности операций способа, демонстрирующая процесс для определения интерполированных значений коэффициентов усиления, которые могут применяться к пикселям формирования изображения в ходе операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего изобретения;

[0082] фиг. 76 - трехмерный профиль, изображающий интерполированные значения коэффициентов усиления, которые могут применяться к изображению, который демонстрирует характеристики интенсивности света, показанные на фиг. 71 при осуществлении коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;

[0083] фиг. 77 демонстрирует цветной чертеж из фиг. 72, который демонстрирует повышенную однородность интенсивности света после применения операции коррекции затенения объектива, в соответствии с аспектами настоящего раскрытия;

[0084] фиг. 78 графически иллюстрирует, как радиальное расстояние между текущим пикселем и центром изображения можно вычислять и использовать для определения радиальной компоненты коэффициента усиления для коррекции затенения объектива, в соответствии с одним вариантом осуществления;

[0085] фиг. 79 - блок-схема последовательности операций способа, демонстрирующая процесс, позволяющий использовать радиальные коэффициенты усиления и интерполированные коэффициенты усиления из сетки коэффициентов усиления для определения полного коэффициента усиления, который может применяться к пикселям формирования изображения в ходе операции коррекции затенения объектива, в соответствии с вариантом осуществления настоящего изобретения;

[0086] фиг. 80 - график, демонстрирующий области белого и оси низкой и высокой цветовой температуры в цветовом пространстве;

[0087] фиг. 81 - таблица, демонстрирующая, как можно сконфигурировать коэффициенты усиления баланса белого для различных условий опорного источника света, в соответствии с одним вариантом осуществления;

[0088] фиг. 82 - блок-схема, демонстрирующая машину сбора статистики, которую можно реализовать в логике предварительной обработки ISP, в соответствии с вариантом осуществления настоящего раскрытия;

[0089] фиг. 83 иллюстрирует понижающую дискретизацию первичных байеровских RGB данных, в соответствии с аспектами настоящего раскрытия;

[0090] фиг. 84 изображает двухмерную цветовую гистограмму, которая может быть собрана машиной сбора статистики, показанной на фиг. 82, в соответствии с одним вариантом осуществления;

[0091] фиг. 85 изображает трансфокацию и панорамирование в двухмерной цветовой гистограммы;

[0092] фиг. 86 - более детализированный вид, демонстрирующий логику для реализации пиксельного фильтра машины сбора статистики, в соответствии с одним вариантом осуществления;

[0093] фиг. 87 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с одним вариантом осуществления;

[0094] фиг. 88 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с другим вариантом осуществления;

[0095] фиг. 89 - графическое представление возможного оценивания положения пикселя в цветовом пространстве C1-C2 на основании пиксельного условия, заданного для пиксельного фильтра, в соответствии с еще одним дополнительным вариантом осуществления;

[0096] фиг. 90 - график, демонстрирующий, как можно определить времена интегрирования датчика изображения для компенсации мерцания, в соответствии с одним вариантом осуществления;

[0097] фиг. 91 - подробная блок-схема, демонстрирующая логику, которую можно реализовать в машине сбора статистики, показанной на фиг. 82, и сконфигурированную для сбора статистики автофокусировки в соответствии с одним вариантом осуществления;

[0098] фиг. 92 - график, изображающий метод осуществления автофокусировки с использованием значений показателей грубой и точной автофокусировки, в соответствии с одним вариантом осуществления;

[0099] фиг. 93 - блок-схема последовательности операций способа, изображающая процесс для осуществления автофокусировки с использованием значений показателей грубой и точной автофокусировки, в соответствии с одним вариантом осуществления;

[00100] фиг. 94 и 95 демонстрируют прореживание первичных байеровских данных для получения значения яркости, сбалансированного по уровню белого;

[00101] фиг. 96 демонстрирует метод осуществления автофокусировки с использованием относительных значений показателей автофокусировки для каждой цветовой компоненты, в соответствии с одним вариантом осуществления;

[00102] фиг. 97 - более детализированный вид блока статистической обработки, показанного на фиг. 68, демонстрирующий, как можно использовать байеровские RGB данные гистограммы для помощи в компенсации уровня черного, в соответствии с одним вариантом осуществления;

[00103] фиг. 98 - блок-схема, демонстрирующая вариант осуществления логики конвейерной обработки ISP, показанной на фиг. 7, в соответствии с аспектами настоящего раскрытия;

[00104] фиг. 99 - более детализированный вид, демонстрирующий вариант осуществления блока обработки первичных пикселей, который можно реализовать в логике конвейерной обработки ISP, показанной на фиг. 98, в соответствии с аспектами настоящего раскрытия;

[00105] фиг. 100 демонстрирует различные случаи границы кадра изображения, которые можно рассматривать при применении методов обнаружения и коррекции дефектных пикселей в ходе обработки блоком обработки первичных пикселей, показанным на фиг. 99, в соответствии с аспектами настоящего раскрытия;

[00106] фиг. 101-103 - блок-схемы последовательностей операций способов, которые изображают различные процессы для обнаружения и коррекции дефектных пикселей, которые могут осуществляться в блоке обработки первичных пикселей, показанном на фиг. 99, в соответствии с одним вариантом осуществления;

[00107] фиг. 104 демонстрирует положение двух пикселей зеленого в пиксельном блоке 2x2 байеровского датчика изображения, которые можно интерполировать при применении методов коррекции неоднородности зеленого в ходе обработки логикой обработки первичных пикселей, показанной на фиг. 99, в соответствии с аспектами настоящего раскрытия;

[00108] фиг. 105 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные с ним горизонтально соседние пиксели, которые можно использовать как часть процесса горизонтальной фильтрации для шумопонижения, в соответствии с аспектами настоящего раскрытия;

[00109] фиг. 106 иллюстрирует набор пикселей, который включает в себя центральный пиксель и связанные с ним вертикальные соседние пиксели, которые можно использовать как часть процесса вертикальной фильтрации для шумопонижения, в соответствии с аспектами настоящего раскрытия;

[00110] фиг. 107 - упрощенная блок-схема последовательности операций способа, которая изображает как можно применять демозаику к шаблону первичного байеровского изображения для создания полноцветного RGB-изображения;

[00111] фиг. 108 изображает набор пикселей шаблона байеровского изображения, из которого можно вывести горизонтальные и вертикальные энергетические компоненты для интерполяции значений зеленого цвета в ходе демозаики шаблона байеровского изображения, в соответствии с одним вариантом осуществления;

[00112] фиг. 109 демонстрирует набор горизонтальных пикселей, к которым может применяться фильтрация для определения горизонтальной компоненты интерполированного значения зеленого цвета в ходе демозаики шаблона байеровского изоб