Модуль формирования изображений, устройство формирования изображений и управляющая программа для формирования изображений

Модуль формирования изображений, устройство формирования изображений и управляющая программа для формирования изображений

Иллюстрации

Показать все

Реферат

УРОВЕНЬ ТЕХНИКИ

1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к модулю формирования изображений, к устройству формирования изображений и к машиночитаемому носителю, хранящему управляющую программу для формирования изображений.

2. ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002] Известен модуль формирования изображений, в котором кристалл для формирования изображений на основе обратной эмиссии и кристалл обработки сигналов соединяются через микро столбиковые выводы, предусмотренные для каждой ячейки, содержащей группу пикселов.

Патентный документ 1. Публикация заявки на патент Японии № 2006-49361

[0003] Когда коэффициент усиления является низким в случае, если падающий свет является сильным, и имеется большая величина заряда, сигнал, извлеченный из областей, в которых падающий свет является слабым, также является слабым. С другой стороны, когда коэффициент усиления является высоким в областях, в которых падающий свет является слабым, сигнал, извлеченный из областей, в которых падающий свет является сильным, становится насыщенным. Следовательно, динамический диапазон модуля формирования изображений ограничивается узким диапазоном.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Согласно первому аспекту настоящего изобретения, предусмотрен модуль формирования изображений, содержащий узел формирования изображений, который включает в себя первую группу, имеющую один или более пикселов, и вторую группу, имеющую один или более пикселов, которые отличаются от одного или более пикселов первой группы; и узел управления, который в то время, когда накопление единичного заряда выполняется в первой группе, заставляет соответствующие пиксельные сигналы выводиться посредством выполнения накопления заряда во второй группе число раз, отличающееся от числа раз, когда накопление заряда выполняется в первой группе.

[0005] Согласно второму аспекту настоящего изобретения, предусмотрено устройство формирования изображений, включающее в себя модуль формирования изображений, описанный выше.

[0006] Согласно третьему аспекту настоящего изобретения, предусмотрена управляющая программа для формирования изображений, которая при выполнении инструктирует компьютеру выполнять первое инициирование начала накопления заряда в первой группе, включающей в себя один или более пикселов; второе инициирование начала накопления заряда во второй группе, включающей в себя один или более пикселов, которые отличаются от пикселов первой группы; второй вывод, до или в момент, когда завершается накопление заряда в первой группе, с завершением накопления заряда во второй группе и выводом пиксельного сигнала; и первый вывод, после многократного повторения второго инициирования и второго вывода, с завершением накопления заряда в первой группе и выводом пиксельного сигнала.

[0007] Согласно четвертому аспекту настоящего изобретения, предусмотрено устройство формирования изображений, содержащее узел формирования изображений, включающий в себя первую группу, имеющую один или более пикселов, и вторую группу, имеющую один или более пикселов, которые отличаются от одного или более пикселов первой группы; узел управления, который в то время, когда множество накоплений заряда выполняются в первой группе, заставляет соответствующие пиксельные сигналы выводиться посредством выполнения множества накоплений заряда во второй группе; и узел вычисления, который выполняет вычисление таким образом, что процесс, применяемый к пиксельным сигналам, выводимым из первой группы, отличается от процесса, применяемого к пиксельным сигналам, выводимым из второй группы.

[0008] Раздел "Сущность изобретения" не обязательно описывает все требуемые признаки вариантов осуществления настоящего изобретения. Настоящее изобретение также может представлять собой субкомбинацию признаков, описанных выше.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Фиг. 1 является видом в поперечном сечении MOS-элемента захвата изображений на основе обратной эмиссии согласно варианту осуществления настоящего изобретения.

Фиг. 2 является видом для описания единичной группы и пиксельной компоновки кристалла формирования изображений.

Фиг. 3 является принципиальной схемой, соответствующей единичной группе кристалла формирования изображений.

Фиг. 4 является блок-схемой, показывающей функциональную конфигурацию элемента формирования изображений.

Фиг. 5 является блок-схемой, показывающей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления.

Фиг. 6A и 6B является видом для описания примерного выделения сцен и областей.

Фиг. 7 используется для того, чтобы описывать накопление заряда в каждой разделенной области.

Фиг. 8 показывает взаимосвязь между числом интегрирований и динамическим диапазоном.

Фиг. 9 является блок-схемой последовательности операций, показывающей обработку операций захвата изображений.

Фиг. 10 является блок-схемой, показывающей подробную конфигурацию в качестве примера кристалла обработки сигналов.

Фиг. 11 является видом, описывающим поток пиксельных сигналов из кристалла формирования изображений в кристалл обработки сигналов.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0010] В дальнейшем в этом документе описываются некоторые варианты осуществления настоящего изобретения. Варианты осуществления не ограничивают изобретение согласно формуле изобретения, и все комбинации признаков, описанных в вариантах осуществления, не обязательно являются существенными для средств, предоставленных посредством аспектов изобретения.

[0011] Фиг. 1 является видом в поперечном сечении элемента 100 формирования изображений на основе обратной эмиссии согласно варианту осуществления настоящего изобретения. Элемент 100 формирования изображений включает в себя кристалл 113 формирования изображений, который выводит пиксельный сигнал, соответствующий падающему свету, кристалл 111 обработки сигналов, который обрабатывает пиксельный сигнал и кристалл 112 запоминающего устройства, который записывает пиксельные сигналы. Кристалл 113 формирования изображений, кристалл 111 обработки сигналов и кристалл 112 запоминающего устройства располагаются слоями и электрически соединены друг с другом, например, посредством проводящих столбиковых выводов 109, изготовленных из Cu.

[0012] Как показано на чертежах, падающий свет главным образом падает в положительном направлении по оси Z, как показано посредством полой белой стрелки. В настоящем варианте осуществления, поверхность кристалла 113 формирования изображений, на которую падает падающий свет, упоминается в качестве задней поверхности. Кроме того, как показано посредством осей, направление влево в плоскости чертежа и ортогональное к оси Z представляет собой положительное направление по оси X, а направление вперед от плоскости чертежа и ортогональное к оси X и оси Z представляет собой положительное направление по оси Y. На множестве нижеприведенных чертежей, оси координат по фиг. 1 используются в качестве базы отсчета, и эти оси координат включаются на чертежи для того, чтобы указывать ориентацию.

[0013] Кристалл 113 формирования изображений представляет собой, например, MOS-датчик изображений на основе обратной эмиссии. PD-слой 106 размещается на стороне задней поверхности слоя 108 межсоединений. PD-слой 106 включает в себя множество PD (фотодиодов) 104, размещенных двумерно, и транзисторы 105, предоставляемые согласно PD 104.

[0014] Цветные светофильтры 102 предоставляются на стороне падающего света PD-слоев 106 с пассивирующей пленкой 103, размещенной между ними. Цветные светофильтры 102 включают в себя множество типов, которые пропускают различные области длины волны и имеют предписанную компоновку, надлежащим образом соответствующую PD 104. Ниже подробнее описывается компоновка цветных светофильтров 102. Каждый набор из цветного светофильтра 102, PD 104 и транзистора 105 формирует один пиксел.

[0015] Микролинзы 101 размещаются на стороне падающего света цветного светофильтра 102, надлежащим образом соответствующего пикселам. Микролинзы 101 собирают падающий свет в направлении соответствующего PD 104.

[0016] Слой 108 межсоединений включает в себя проводники 107, которые передают пиксельные сигналы из PD-слоя 106 в кристалл 111 обработки сигналов. Проводник 107 может быть многослойным и может включать в себя активные элементы и пассивные элементы.

[0017] Множество столбиковых выводов 109 размещается на передней поверхности слоя 108 межсоединений. Эти столбиковые выводы 109 совмещаются с множеством столбиковых выводов 109 на поверхности, обращенной к кристаллу 111 обработки сигналов, и совмещенные столбиковые выводы 109 соединяются между собой таким образом, что они формируют электрический контакт, например, посредством прижатия кристалла 113 формирования изображений и кристалла 111 обработки сигналов друг к другу.

[0018] Таким же образом, множество столбиковых выводов 109 размещаются на поверхностях кристалла 111 обработки сигналов и кристалла 112 запоминающего устройства, обращенных друг к другу. Эти столбиковые выводы 109 совмещаются между собой, и совмещенные столбиковые выводы 109 соединяются между собой таким образом, что они формируют электрический контакт, например, посредством прижатия кристалла 131 обработки сигналов и кристалла 112 запоминающего устройства друг к другу.

[0019] Соединение между столбиковыми выводами 109 не ограничивается соединением на основе столбиковых выводов из Cu через диффузию из твердой фазы, и вместо этого может приспосабливаться соединение на основе микро столбиковых выводов с помощью пайки оплавлением припоя. Кроме того, приблизительно 1 столбиковый вывод 109 должен предоставляться для каждой группы пикселов, например, как дополнительно описано ниже. Соответственно, столбиковые выводы 109 могут превышать шаг PD 104. Кроме того, в периферийной области за пределами пиксельных областей, в которых размещаются пикселы, могут предоставляться столбиковые выводы, которые превышают столбиковые выводы 109, соответствующие пиксельным областям.

[0020] Кристалл 111 обработки сигналов включает в себя TSV 110 (переходное отверстие в кремнии), которое соединяет каждую из схем, предоставленных на передней и задней поверхностях. TSV 110 предпочтительно предоставляется в периферийной области. Кроме того, TSV 110 может предоставляться как в периферийной области кристалла 113 формирования изображений, так и в кристалле 112 запоминающего устройства.

[0021] Фиг. 2 является видом для описания единичной группы 131 и пиксельной компоновки кристалла 113 формирования изображений, в частности, кристалл 113 формирования изображений показан как видимый со стороны задней поверхности, двадцать миллионов или более пикселов размещаются в пиксельной области в матричной структуре. В настоящем варианте осуществления, 16 пикселов в компоновке 4×4 смежных пикселов формируют одну группу. Линии сетки координат на чертеже указывают единичные группы 131, сформированные посредством группировки смежных пикселов.

[0022] Как показано в укрупненном виде части пиксельной области, единичная группа 131 имеет так называемую байеровскую компоновку, в которой пикселы Gb и Gr зеленого цвета, пиксел B синего цвета и пиксел R красного цвета размещаются в соответствующих углах. Пикселы зеленого цвета являются пикселами, которые имеют зеленые светофильтры в качестве цветных светофильтров 102 и принимают свет в диапазоне длин волн зеленого цвета в падающем свете. Аналогично, пиксел синего цвета является пикселом, который имеет синий светофильтр в качестве цветного светофильтра 102 и принимает свет в диапазоне длин волн синего цвета, и пиксел красного цвета является пикселом, который имеет красный светофильтр в качестве цветного светофильтра 102 и принимает свет в диапазоне длин волн красного цвета.

[0023] Фиг. 3 является принципиальной схемой, соответствующей единичной группе 131 кристалла 113 формирования изображений. На чертеже прямоугольник, обведенный посредством пунктирной линии, представляет схему, соответствующую одному пикселу. По меньшей мере, некоторые транзисторы в нижеприведенном описании соответствуют транзистору 105, показанному на фиг. 1.

[0024] Как описано выше, единичная группа 131 формируется из 16 пикселов. 16 PD 104, надлежащим образом соответствующих пикселам, соединяются с транзистором 302 переноса, и TX-проводник 307, который подает импульс переноса, соединяется с каждым затвором каждого транзистора 302 переноса. В настоящем варианте осуществления, TX-проводник 307 соединяется таким образом, что он совместно используется посредством 16 транзисторов 302 переноса.

[0025] Сток каждого транзистора 302 переноса соединяется с истоком соответствующего транзистора 303 сброса, и так называемая плавающая диффузионная область FD между стоком каждого транзистора 302 переноса и истоком соответствующего транзистора 303 сброса соединяется с затвором соответствующего усиливающего транзистора 304. Сток транзистора 303 сброса соединяется с Vdd-проводником 310, в который подается напряжение питания, и затвор транзистора 303 сброса соединяется с проводником 306 сброса, в который подается импульс сброса. В настоящем варианте осуществления, проводник 306 сброса соединяется таким образом, что он совместно используется посредством 16 транзисторов 303 сброса.

[0026] Сток каждого усиливающего транзистора 304 соединяется с Vdd-проводником 310, в который подается напряжение питания. Исток каждого усиливающего транзистора 304 соединяется со стоком соответствующего транзистора 305 выбора. Каждый затвор транзистора выбора соединяется с проводником 308 декодера, в который подается импульс соединения. В настоящем варианте осуществления, проводник 308 декодера предоставляется независимо для каждого набора из 16 транзисторов 305 выбора. Исток каждого транзистора 305 выбора соединяется с общим выходным проводником 309. Источник 311 отрицательного тока подает ток в выходной проводник 309. Другими словами, выходной проводник 309 для транзистора 305 выбора формируется посредством истокового повторителя. Источник 311 отрицательного тока может предоставляться на стороне кристалла 113 формирования изображений или на стороне кристалла 111 обработки сигналов.

[0027] Далее описывается последовательность операций от начала накопления заряда до вывода пикселов после завершения накопления. Импульс сброса прикладывается к транзистору 303 сброса через проводник 306 сброса, и одновременно импульс переноса прикладывается к транзистору 302 переноса через TX-проводник 307, за счет этого сбрасывая потенциалы PD 104 и плавающей диффузионной области FD.

[0028] Когда завершается приложение импульса переноса, PD 104 преобразует принимаемый падающий свет в заряд и накапливает этот заряд. После этого, когда импульс переноса снова прикладывается в состоянии, в котором импульс сброса не прикладывается, накопленный заряд переносится в плавающую диффузионную область FD, и изменяется потенциал плавающей диффузионной области FD с потенциала сброса на потенциал сигнала после накопления заряда. Когда импульс выбора прикладывается к транзистору 305 выбора через проводник 308 декодера, изменение потенциала сигнала плавающей диффузионной области FD передается в выходной проводник 309 через усиливающий транзистор 304 и транзистор 305 выбора. Таким образом, пиксельный сигнал, соответствующий потенциалу сброса и потенциалу сигнала, выводится в выходной проводник 309 из одного пиксела.

[0029] Как показано на чертежах, в настоящем варианте осуществления, проводник 306 сброса и TX-проводник 307 совместно используются посредством 16 пикселов, формирующих единичную группу 131. Другими словами, каждый импульс сброса и импульс переноса прикладываются одновременно ко всем 16 пикселам. Соответственно, все пикселы, формирующие единичную группу 131, начинают накопление заряда при одинаковом тактировании и заканчивают накопление заряда при одинаковом тактировании. Тем не менее, пиксельные сигналы, соответствующие накопленным зарядам, избирательно выводятся в выходной проводник 309 в результате последовательного приложения импульсов выбора посредством соответствующих транзисторов 305 выбора.

[0030] Таким образом, посредством конфигурирования схемы с единичными группами 131 в качестве стандарта, может управляться время накопления заряда каждой единичной группы 131. Другими словами, смежные единичные группы 131 могут выводить соответствующие пиксельные сигналы с различными временами накопления заряда. Перефразируя еще раз, в то время как одна единичная группа 131 выполняет накопление единичного заряда, другая единичная группа 131 может многократно выполнять любое число накоплений заряда и выводить соответствующий пиксельный сигнал. Ниже описывается конкретное управление выводом.

[0031] Фиг. 4 является блок-схемой, показывающей функциональную конфигурацию элемента 100 формирования изображений. Аналоговый мультиплексор 411 последовательно выбирает PD 104 из 16 PD 104, формирующих единичную группу 131, и инструктирует каждому PD 104 выводить пиксельный сигнал в выходной проводник 309. Мультиплексор формируется в кристалле 113 формирования изображений вместе с PD 104.

[0032] Пиксельный сигнал, выводимый через мультиплексор, подвергается CDS (двойной коррелированной дискретизации) и A/D-(аналого-цифровому) преобразованию посредством схемы 412 обработки сигналов, которая выполняет CDS и аналогово-цифровые преобразования, сформированной в кристалле 111 обработки сигналов. Пиксельный сигнал, получающийся в результате аналогово-цифрового преобразования, пересылается в демультиплексор 413 и сохраняется в пиксельном запоминающем устройстве 414, соответствующем пикселу. Каждое пиксельное запоминающее устройство 414 имеет емкость, которая обеспечивает хранение числа пиксельных сигналов, соответствующих максимальному числу интегрирований, которое подробнее описывается ниже. Демультиплексор 413 и пиксельные запоминающие устройства 414 формируются в кристалле 112 запоминающего устройства.

[0033] Аналогово-цифровое преобразование включает в себя преобразование входного аналогового пиксельного сигнала в 12-битовый цифровой пиксельный сигнал. Одновременно, схема 412 обработки сигналов присоединяет 3-битовый числовой индекс, соответствующий числу интегрирований, которое подробнее описывается ниже, и пересылает цифровой пиксельный сигнал, имеющий полный размер в 15 битов, в демультиплексор 413. Соответственно, пиксельное запоминающее устройство 414 сохраняет 15-битовый цифровой пиксельный сигнал, соответствующий одному накоплению заряда.

[0034] Схема 415 вычисления обрабатывает пиксельный сигнал, сохраненный в пиксельном запоминающем устройстве 414, и пересылает результирующий сигнал в процессор изображений, предоставленный на последующей стадии. Схема 415 вычисления может предоставляться в кристалле 111 обработки сигналов или может предоставляться в кристалле 112 запоминающего устройства. Чертежи показывают соединение с одной группой, но схема 415 вычисления фактически предоставляется для каждой группы, и схемы 415 вычисления работают параллельно. Следует отметить, что схема 415 вычисления не должна предоставляться для каждой группы, и вместо этого, например, одна схема 415 вычисления может выполнять последовательную обработку при последовательном обращении к значениям в пиксельных запоминающих устройствах 414, соответствующих надлежащим группам.

[0035] Фиг. 5 является блок-схемой, показывающей конфигурацию устройства формирования изображений согласно настоящему варианту осуществления. Устройство 500 формирования изображений включает в себя линзу 520 формирования изображений, служащую в качестве оптической системы формирования изображений, и линза 520 формирования изображений направляет основной свет, который падает вдоль оптической оси OA, в элемент 100 формирования изображений. Линза 520 формирования изображений может быть сменной линзой, которая может присоединяться и отсоединяться от устройства 500 формирования изображений. Устройство 500 формирования изображений главным образом включает в себя элемент 100 формирования изображений, узел 501 управления системой, узел 502 возбуждения, фотометрический узел 503, оперативное запоминающее устройство 504, узел 505 хранения и узел 506 отображения.

[0036] Линза 520 формирования изображений формируется посредством множества групп оптических линз и фокусирует основной свет из сцены около фокальной плоскости. На фиг. 1, линза 520 формирования изображений представляется посредством одной виртуальной линзы, размещенной около зрачка. Узел 502 возбуждения представляет собой схему управления, которая выполняет управление накоплением заряда, к примеру, управление областями и управление тактированием для элемента 100 формирования изображений, согласно инструкциям из узла 501 управления системой. В этом смысле, можно сказать, что узел 502 возбуждения имеет функцию узла управления элемента формирования изображений, который инструктирует пиксельным сигналам выводиться посредством выполнения накопления заряда для элемента 100 формирования изображений. Узел 502 возбуждения формирует модуль формирования изображений при комбинировании с элементом 100 формирования изображений. Схема управления, формирующая узел 502 возбуждения, может формироваться в качестве кристалла и наслаиваться на элемент 100 формирования изображений.

[0037] Элемент 100 формирования изображений пересылает пиксельный сигнал в процессор 511 изображений узла 501 управления системой. Процессор 511 изображений применяет различные типы обработки изображений, с помощью оперативного запоминающего устройства 504 в качестве рабочего пространства, для того чтобы формировать данные изображений. Например, при формировании данных изображений в JPEG-формате файла, процессор 511 изображений выполняет процесс регулировки баланса белого, процесс гамма-коррекции и т.п., а затем выполняет процесс сжатия. Сформированные данные изображений записываются в узел 505 хранения и преобразуются в сигнал для отображения, который должен отображаться на модуле 506 отображения в течение предварительно определенного времени.

[0038] Фотометрический узел 503 определяет распределение яркости сцены перед последовательностью формирования изображений для формирования данных изображений. Фотометрический узел 503 включает в себя, например, AE-датчик приблизительно с 1 миллионом пикселов. Узел 512 вычисления узла 501 управления системой принимает вывод фотометрического узла 503 и вычисляет яркость каждой области узла 501 управления системой. Узел 512 вычисления определяет скорость срабатывания затвора, значение раскрытия диафрагмы и ISO-чувствительность согласно вычисленному распределению яркости. В настоящем варианте осуществления, узел 512 вычисления дополнительно определяет то, сколько раз накопление заряда повторяется в каждой области группы пикселов кристалла 113 формирования изображений, до тех пор, пока не будет достигнута определенная скорость срабатывания затвора. Узел 512 вычисления выполняет множество вычислений для управления устройством 500 формирования изображений.

[0039] Фиг. 6A и 6B являются видами для описания примерного выделения сцен и областей. Фиг. 6A показывает сцену, захваченную посредством пиксельных областей кристалла 113 формирования изображений. В частности, сцена включает в себя промежуточный объект 602 и затененный объект 601, включенные в помещении, и яркий объект 603 на улице, видимый в оконной раме 604. Таким образом, при захвате изображения сцены, в которой имеется большое различие в яркости от яркой части до затененной части, если используется традиционный элемент формирования изображений, недоэкспонирование возникает в затененной части, если накопление заряда выполняется с яркой частью в качестве стандарта, и переэкспонирование возникает в яркой части, если накопление заряда выполняется с затененной частью в качестве стандарта. Другими словами, динамический диапазон фотодиодов для сцены с большим различием в яркости является недостаточным, чтобы выводить сигнал изображения, в котором накопление заряда является однородным как для яркой части, так и для затененной части. Следовательно, в настоящем изобретении, динамический диапазон существенно расширяется посредством разделения сцены на частичные области яркой части и затененной части и создания разностей в числе накоплений заряда фотодиодов, соответствующих надлежащим частям.

[0040] Фиг. 6B показывает разделение на области для пиксельной области кристалла 113 формирования изображений. Узел 512 вычисления анализирует сцену по фиг. 6A, захваченную посредством фотометрического узла 503, и разделяет пиксельную область с использованием яркости в качестве базы отсчета. Например, узел 501 управления системой многократно выполняет получение сцены при изменении времени экспонирования для фотометрического узла 503, и узел 512 вычисления определяет разделительные линии пиксельных областей посредством обращения к изменению распределения области переэкспонирования и области недоэкспонирования. В примере по фиг. 6B, узел 512 вычисления разделяет сцену на три области, которые представляют собой затененную область 611, промежуточную область 612 и яркую область 613.

[0041] Разделительные линии задаются вдоль границ единичных групп 131. Другими словами, каждая из разделенных областей включает в себя целое число групп. Кроме того, пикселы каждой группы, содержащейся в одной и той же области, выводят одно и то же число пиксельных сигналов и выполняют накопление заряда одно и то же число раз в пределах периода, соответствующего скорости срабатывания затвора, определенной посредством узла 512 вычисления. Если отличаются ассоциированные области, отличается число выводимых пиксельных сигналов и число раз, когда выполняется накопление заряда.

[0042] Фиг. 7 используется для того, чтобы описывать накопление заряда в каждой области, разделенной так, как показано на фиг. 6A и 6B. После приема инструкций подготовки к захвату изображений от пользователя, узел 512 вычисления определяет скорость срабатывания затвора (время T0 экспонирования) из вывода фотометрического узла 503. Кроме того, затененная область 611, промежуточная область 612 и яркая область 613 разделяются так, как описано выше, и число накоплений заряда определяется из информации яркости каждой области. Число накоплений заряда определяется таким образом, что пиксельное насыщение не возникает из одного накопления заряда. Например, число накоплений заряда может быть определено с использованием базы отсчета, которая составляет 80-90% заряда, который может быть накоплен в операции накопления единичного заряда.

[0043] Здесь, накопление заряда выполняется один раз для затененной области 611. Другими словами, время накопления заряда совпадает с определенным временем T0 экспонирования. Кроме того, накопление заряда выполняется два раза для промежуточной области 612. Другими словами, накопление заряда выполняется два раза в течение времени T0 экспонирования, при этом каждое время накопления заряда составляет T0/2. Кроме того, накопление заряда выполняется четыре раза для яркой области 613. Другими словами, накопление заряда выполняется четыре раза в течение времени T0 экспонирования, при этом каждое время накопления заряда составляет T0/4.

[0044] После приема инструкций захвата изображений от пользователя во время t=0, узел 502 возбуждения прикладывает импульс сброса и импульс переноса к пикселам групп, ассоциированных с одной из областей. Приложение этих импульсов инициирует начало накопления заряда для одного из пикселов.

[0045] Во время t=T0/4, узел 502 возбуждения прикладывает импульс переноса к пикселам группы, ассоциированной с яркой областью 613. Узел 502 возбуждения последовательно прикладывает импульсы выбора к пикселам в каждой группе, с тем чтобы инструктировать каждому из пиксельных сигналов выводиться в выходной проводник 309. Когда выведены пиксельные сигналы всех пикселов в группе, узел 502 возбуждения снова прикладывает импульс сброса и импульс переноса к пикселам группы, ассоциированной с яркой областью 613, чтобы начинать второе накопление заряда.

[0046] Поскольку требуется время для вывода выбора пиксельного сигнала, имеется разность времен между завершением первого накопления заряда и началом второго накопления заряда. Если эта разность времен является достаточно небольшой, так что она по существу игнорируется, время, полученное посредством деления времени T0 экспонирования на число накоплений заряда, должно задаваться в качестве времени первого накопления заряда. С другой стороны, если эта разность времен не может игнорироваться, то время T0 экспонирования должно регулироваться с учетом этой разности времен, так что время первого накопления заряда меньше времени, полученного посредством деления времени T0 экспонирования на число накоплений заряда.

[0047] Во время t=T0/2, узел 502 возбуждения прикладывает импульс переноса к пикселам групп, ассоциированных с промежуточной областью 612 и яркой областью 613. Узел 502 возбуждения затем последовательно прикладывает импульсы выбора к пикселам в каждой из этих групп, чтобы инструктировать соответствующим пиксельным сигналам выводиться посредством выходного проводника 309. Когда выведены пиксельные сигналы всех пикселов в этих группах, узел 502 возбуждения снова прикладывает импульс сброса и импульс переноса к пикселам в группах, ассоциированных с промежуточной областью 612 и яркой областью 613, чтобы начинать второе накопление заряда для промежуточной области 612 и третье накопление заряда для яркой области 613.

[0048] Во время t=3T0/4, узел 502 возбуждения прикладывает импульс переноса к пикселам группы, ассоциированной с яркой областью 613. Узел 502 возбуждения последовательно прикладывает импульсы выбора к пикселам в каждой группе, с тем чтобы инструктировать каждому из пиксельных сигналов выводиться в выходной проводник 309. Когда выведены пиксельные сигналы всех пикселов в группе, узел 502 возбуждения снова прикладывает импульс сброса и импульс переноса к пикселам группы, ассоциированной с яркой областью 633, чтобы начинать четвертое накопление заряда.

[0049] Во время t=T0, узел 502 возбуждения прикладывает импульс переноса к пикселам во всех областях. Узел 502 возбуждения последовательно прикладывает импульсы выбора к пикселам в каждой группе, с тем чтобы инструктировать каждому пиксельному сигналу выводиться в выходной проводник 309. При управлении, описанном выше, пиксельные сигналы из одного накопления заряда сохраняются в пиксельных запоминающих устройствах 414, соответствующих затененной области 611, пиксельные сигналы из двух накоплений заряда сохраняются в пиксельных запоминающих устройствах 414, соответствующих промежуточной области 612, и пиксельные сигналы из четырех накоплений заряда сохраняются в пиксельных запоминающих устройствах 414, соответствующих яркой области 613.

[0050] Эти пиксельные сигналы последовательно передаются в процессор 511 изображений. Процессор 511 изображений формирует данные изображений с расширенным динамическим диапазоном из этих пиксельных сигналов. Ниже дополнительно описывается подробная обработка.

[0051] Фиг. 8 показывает взаимосвязь между числом интегрирований и динамическим диапазоном. Пиксельные сигналы из множества накоплений заряда, выполняемых многократно, подвергаются вычислительной обработке посредством процессора 511 изображений для того, чтобы формировать часть данных изображений с расширенным динамическим диапазоном.

[0052] Когда число интегрирований равно 1, т.е. когда динамический диапазон области, для которой накопление заряда выполняется один раз, используется в качестве базы отсчета, расширение динамического диапазона области, в которой число интегрирований равно 2, т.е. области, в которой два раза выполняется накопление заряда, и интегрируются выходные сигналы, представляет собой одну стадию. Аналогично, расширение представляет собой две стадии, когда число интегрирований равно 4, и представляет собой 7 стадий, когда число интегрирований равно 128. Другими словами, чтобы расширять динамический диапазон в n стадиях, выходные сигналы должны интегрироваться 2n раз.

[0053] Здесь, чтобы идентифицировать число раз, когда, процессор 511 изображений выполняет накопление заряда в каждой из разделенных областей, сигналы изображений содержат 3-битовый числовой индекс, указывающий число интегрирований. Как показано на чертежах, числовые индексы выделяются способом 000 для одного интегрирования, 001 для двух интегрирований, …, и 111 для 128 интегрирований.

[0054] Процессор 511 изображений обращается к числовому индексу каждого пиксельного сигнала, принимаемого из схемы 415 вычисления, и если результат этого обращения заключается в том, что число интеграций составляет две или более, выполняет процесс интегрирования для пиксельного сигнала. Например, когда число интегрирований равно двум (одна стадия) для двух пиксельных сигналов, процессор 511 изображений суммирует старшие 11 битов 12-битового пиксельного сигнала, соответствующего накоплению заряда, за счет этого формируя один 12-битовый сигнал. Таким же образом, когда число интегрирований равно 128 (семь стадий) для 128 пиксельных сигналов, процессор 511 изображений суммирует старшие 5 битов 12-битового пиксельного сигнала, соответствующего накоплению заряда, за счет этого формируя один 12-битовый сигнал. Другими словами, число старших битов, равное числу стадий, соответствующих числу интегрирований, вычитаемому из 12, суммируются таким образом, что формируется один 12-битовый пиксельный сигнал. Младшие биты, которые не используются в суммировании, стираются.

[0055] При этом типе обработки, можно сдвигать диапазон яркости, имеющий последовательность градации, к стороне с высокой яркостью, в соответствии с числом интегрирований. Другими словами, 12 битов выделяются для ограниченного диапазона на стороне с высокой яркостью. Соответственно, области изображения, которые традиционно подвергаются переэкспозиции, могут содержать последовательность градации.

[0056] Тем не менее, поскольку 12 битов выделяются различным диапазонам яркости в других разделенных областях, данные изображений не могут формироваться просто посредством соединения всех областей. Следовательно, чтобы поддерживать достигаемую последовательность градации в максимально возможной степени при формировании 12-битовых данных изображений для всех областей, процессор 511 изображений выполняет процесс повторного квантования с использованием пиксела с наибольшей яркостью и пиксела с наименьшей яркостью в качестве базы отсчета. В частности, процессор 511 изображений выполняет квантование посредством применения гамма-преобразования таким способом, чтобы сглаживать последовательность градации. Посредством выполнения этого процесса могут быть получены данные изображений с расширенным динамическим диапазоном.

[0057] Число интегрирований не ограничивается случаем, в котором пиксельные сигналы содержат 3-битовые числовые индексы, как описано выше, и могут записываться в ассоциированную информацию, отличную от пиксельных сигналов. Кроме того, посредством опускания числовых индексов из пиксельных сигналов и вместо этого подсчета числа пиксельных сигналов, сохраненных в пиксельном запоминающем устройстве 414, число интегрирований может быть получено при выполнении процесса добавления.

[0058] В обработке изображений, описанной выше, выполняется процесс повторного квантования, так что все области попадают в 12-битовые данные изображений, но число выходных битов может быть увеличено согласно максимальному числу интегрирований для числа битов пиксельных сигналов. Например, если максимальное число интегрирований задается равным 16 (четыре стадии), 16-битовые данные изображений для всех областей могут быть использованы для 12-битовых пиксельных сигналов. При этой обработке, данные изображений могут формироваться без потери разрядов.

[0059] Далее описывается последовательность операций захвата изображений. Фиг. 9 является блок-схемой последовательности операций, показывающей обработку операций захвата изображений. Эта последовательность операций начинается посредством включения питания устройства 500 формирования изображений.

[0060] На этапе S101, узел 501 управления