Устройство обработки изображений и способ управления устройством обработки изображений

Устройство обработки изображений и способ управления устройством обработки изображений

Иллюстрации

Показать все

Реферат

Предпосылки изобретения

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству обработки изображений, используемому в диагностике и лечении глазных болезней, и к способу управления устройством обработки изображений.

Описание уровня техники

[0002] Исследование глаза широко осуществляется для ранней диагностики и лечения болезней, связанных с образом жизни и болезней, которые являются основной причиной потери зрения. Сканирующий лазерный офтальмоскоп (SLO), который является офтальмологическим устройством, где применяется принцип конфокальной лазерной сканирующей микроскопии, осуществляет растровое сканирование глазного дна лазерным излучением, который является измерительным светом, и получает планарное изображение высокого разрешения из интенсивности возвращающегося света с высокой скоростью. Устройство, визуализирующее такое планарное изображение далее будет именоваться устройством SLO, а планарное изображение - SLO-изображением.

[0003] В последние годы, увеличенный диаметр пучка измерительного света в устройствах SLO позволил получить SLO-изображений сетчатки с повышенным горизонтальным разрешением. Однако увеличенный диаметр пучка измерительного света привел к проблеме снижения отношения S/N и разрешения SLO-изображения при получении SLO-изображений сетчатки, вследствие аберрации исследуемого глаза. Для решения этой проблемы было разработано адаптивное оптическое устройство SLO. Адаптивное оптическое устройство SLO имеет адаптивную оптическую систему, которая измеряет аберрация исследуемого глаза в реальном времени с использованием датчика волнового фронта и корректирует аберрацию, возникающую в исследуемом глазу в отношении измерительного света и возвращающегося оттуда света, с использованием устройства коррекции волнового фронта. Это позволяет получать SLO-изображения с высоким горизонтальным разрешением (изображение большого увеличения).

[0004] Такие изображения большого увеличения можно получать как движущиеся изображения и использовать для неинвазивного наблюдения гемодинамических состояний. Кровеносные сосуды сетчатки выделяются из каждого кадра, и измеряется скорость перемещения клеток крови по капиллярам и т.д. Обнаруживаются фоторецепторы P и распределение плотности и измеряется массив фоторецепторов P, для оценивания соотношения с функциями зрения, с использованием изображений большого увеличения. Пример изображения большого увеличения показан на Фиг. 6B. Можно наблюдать фоторецепторы P, область Q низкой яркости, соответствующая позиции капилляров, и область W высокой яркости, соответствующая позиции лейкоцита.

[0005] В случае наблюдения фоторецепторов P или измерения распределения фоторецепторов P с использованием изображения большого увеличения, позиция фокуса устанавливается вблизи внешнего слоя сетчатки (B5 на фиг. 6A) для формирования изображения большого увеличения, например на фиг. 6B. С другой стороны, существуют кровеносные сосуды сетчатки и капилляры, которые разветвляются, проходя через внутренние слои сетчатки (B2-B4 на фиг. 6B). В случаях фотографирования исследуемого глаза, область изображения, подлежащая визуализации, может быть больше угла обзора изображения большого увеличения. К таким случаям относятся случаи формирования изображения областей широко распространенных дефектов фоторецепторов, случаи формирования изображения парафовеальной области, которая является областью предрасположенности к поражениям капилляров на ранней стадии, и т.д. Соответственно, в выложенной японской патентной заявке № 2012-213513 раскрыта технология составления и отображения множественных изображений большого увеличения, полученных посредством съемки в разных позициях съемки.

[0006] Кроме того, в выложенной японской патентной заявке № 2013-169309 раскрыта технология, в которой отображаются исключительные кадры, где определяются эффекты глазного микротремора в движущемся изображении большого увеличения в определенной позиции съемки, и просто кадры, отличные от исключительных кадров, определенные в движущемся изображении большого увеличения.

Сущность изобретения

[0007] Устройство обработки изображений генерирует одно изображение путем использования, по меньшей мере, одного кадра каждого из множества движущихся изображений, полученных путем формирования движущихся изображений множества разных областей глаза в разные моменты времени. Устройство включает в себя блок принятия решения, выполненный с возможностью принятия решения в отношении, по меньшей мере, одного кадра в каждом из множества движущихся изображений, таким образом, чтобы фактически заснятые области были включены во множество движущихся изображений во множестве областей; и модуль генерации изображения, выполненный с возможностью генерации одного изображения путем использования, по меньшей мере, одного из кадров, в отношении которого принято решение, из каждого из множества движущихся изображений.

[0008] Кроме того, особенности настоящего изобретения явствуют из нижеследующего описания иллюстративных вариантов осуществления со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

[0009] Фиг. 1 - блок-схема, демонстрирующая пример функциональной конфигурации устройства обработки изображений согласно первому варианту осуществления настоящего изобретения.

[0010] Фиг. 2A-2C - блок-схемы, демонстрирующие примеры конфигурации системы, включающей в себя устройство обработки изображений согласно варианту осуществления настоящего изобретения.

[0011] Фиг. 3 - схема, описывающая общую конфигурацию устройства формирования SLO-изображений согласно варианту осуществления настоящего изобретения.

[0012] Фиг. 4 - блок-схема, демонстрирующая пример аппаратной конфигурации компьютера, оборудование которого эквивалентно блоку хранения и блоку обработки изображений и содержит другие блоки в виде выполняющегося программного обеспечения.

[0013] Фиг. 5 - блок-схема операций обработки, которую выполняет устройство обработки изображений согласно варианту осуществления настоящего изобретения.

[0014] Фиг. 6A-6J - схемы, демонстрирующие, что осуществляется при обработке изображений согласно первому варианту осуществления настоящего изобретения.

[0015] фиг. 7A и 7B - блок-схемы операций, демонстрирующие детали обработки, выполняемые на этапах S530 и S540 согласно первому варианту осуществления настоящего изобретения.

[0016] Фиг. 8 - блок-схема, демонстрирующая пример функциональной конфигурации устройства обработки изображений согласно второму варианту осуществления настоящего изобретения.

[0017] Фиг. 9A-9E - схемы, демонстрирующие, что осуществляется при обработке изображений согласно второму варианту осуществления настоящего изобретения.

[0018] Фиг. 10A и 10B - блок-схема операций, демонстрирующая детали обработки, выполняемые на этапах S530 и S540 согласно второму варианту осуществления настоящего изобретения.

[0019] Фиг. 11 - схема, описывающая общую конфигурацию устройства формирования томографических изображений согласно третьему варианту осуществления настоящего изобретения.

[0020] Фиг. 12A-12D - схемы, демонстрирующие, что осуществляется при обработке изображений согласно третьему варианту осуществления настоящего изобретения.

[0021] Фиг. 13 - блок-схема, демонстрирующая пример функциональной конфигурации устройства обработки изображений согласно четвертому варианту осуществления настоящего изобретения.

[0022] Фиг. 14A-14C - схемы, демонстрирующие, что осуществляется при обработке изображений согласно другому варианту осуществления настоящего изобретения.

Описание вариантов осуществления

[0023] Теперь рассмотрим случай, когда определенный кадр выбирается из каждого из множественных движущихся изображений большого увеличения, полученных посредством съемки в разных позициях съемки, и выбранные кадры являются составными (смонтированными). Несколько кадров, в целом, выбирается из кадров множественных движущихся изображений большого увеличения, и выбранные кадры используются для получения репрезентативного изображения. Полученные репрезентативные изображения являются составными, таким образом, генерируя широкодиапазонное изображение. Были случаи, когда продолжительность в соседних репрезентативных изображениях не была хорошей в отношении позиции съемки, свойств яркости, свойств изображения и т.д., когда соседние репрезентативные изображения сравнивались друг с другом. Были случаи, когда возникали неанализируемые области, невозможно выделить области для анализа и т.д., при измерении распределения групп клеток, тканей и их поражений (дефектов фоторецепторов, микроаневризм), распределенных по широкой области, с использованием таких широкодиапазонных изображений.

[0024] Была определена необходимость выбора изображения при получении репрезентативных изображений из каждого из множественных движущихся изображений большого увеличения, полученных посредством съемки в разных позициях съемки, для улучшения непрерывности репрезентативных изображений.

[0025] Устройство обработки изображений согласно настоящему варианту осуществления имеет блок выбора (например, блок 134 выбора на фиг. 1), который выбирает изображения из каждого из множественных движущихся изображений, сформированных в разных позициях глаза, на основании непрерывности свойств множественных изображений (группы изображений), составленных из изображений (репрезентативных изображений), полученных путем выбора из каждого из множественных движущихся изображений. Соответственно, при получении репрезентативных изображений из каждого из множественных движущихся изображений большого увеличения, сформированных в разных позициях съемки, изображения можно выбирать таким образом, чтобы непрерывность среди репрезентативных изображений улучшалась.

[0026] Теперь свойствами множественных изображений (группы изображений) являются, например, по меньшей мере, одно из относительной позиции, свойств яркости и свойств изображения, множественных изображений. Каждое изображение (изображение, полученное путем выбора из движущегося изображения) из множественных изображений (группы изображений) является репрезентативным изображением, полученным из движущегося изображения, и может быть одним изображением, выбранным из движущегося изображения, или может быть множественными изображениями с относительно малым шумом, артефактами и т.д., которые выбраны и наложены. В случае использования наложенных изображений, количество наложенных изображений, предпочтительно, мало, благодаря чему непрерывность среди свойств множественных изображений будет высокой. Кроме того, предпочтительно, дополнительно обеспечен блок определения, для определения значения, указывающего непрерывность, что позволяет выбирать изображение из движущегося изображения таким образом, чтобы определенное значение удовлетворяло заранее определенным условиям. Случай, когда определенное значение удовлетворяет заранее определенным условиям, здесь является, например, случаем, когда определенное значение превышает пороговое значение или максимальна. Значение, указывающее непрерывность, предпочтительно, определяется с использованием составного изображения, где множественные изображения были составными. Например, производится определение на основании, по меньшей мере, одного из площади составного изображения и длины границы аваскулярной области, что будет подробно описан в вариантах осуществления. Предпочтительные варианты осуществления устройства обработки изображений согласно настоящему изобретению и способ его эксплуатации будет описано подробно ниже со ссылкой на прилагаемые чертежи. Заметим однако, что настоящее изобретение этим не ограничивается.

[0027] Кроме того, трудно получить изображения без искажения изображения в любом из изображений при последовательной съемке во множественных позициях съемки. Соответственно, в целом, съемка движущегося изображения большого увеличения осуществляется в определенной позиции съемки глаза. Далее, в выложенной японской патентной заявке № 2012-213513 раскрыто, что съемка может осуществляться несколько раз в одной и той же позиции, и что изображения, используемые для конфигурирования панорамного изображения, можно выбирать таким образом, чтобы выбирались изображения с наилучшей корреляцией с соседними изображениями. Далее, возникают проблемы незавершенных изображений в панорамном изображении, если из множественных изображений выбираются просто изображения, оптимальные для конфигурирования панорамного изображения. Соответственно, устройство обработки изображений согласно другому варианту осуществления выбирает множественные кадры из движущихся изображений, таким образом, чтобы минимизировать незавершенные изображения в панорамном изображении. Соответственно, можно сокращать незавершенные изображения в панорамном изображении.

[0028] Предпочтительные варианты осуществления устройства обработки изображений согласно настоящему изобретению и способ его эксплуатации будет описано подробно ниже со ссылкой на прилагаемые чертежи. Заметим, однако, что настоящее изобретение этим не ограничивается.

Первый вариант осуществления: непрерывность относительной позиции или свойств яркости множественных изображений разных позиций

[0029] Устройство обработки изображений согласно первому варианту осуществления определяет пригодность группы изображений на основании непрерывности, по меньшей мере, одного из относительной позиции и свойств яркости множественных изображений (группы изображений) в разных позициях. Эта конфигурация создана таким образом, что область фотографии можно наблюдать в целом, в одних и тех же условиях, путем выбора, составления и отображения кадров или изображений с наивысшей пригодностью.

[0030] В частности, описание будет сделано в отношении случая, когда группа изображений составлена из девяти изображений большого увеличения, например, представленных на фиг. 6G, наложенное изображение генерируется с использованием кадров, выбранных блоком выбора с приращениями позиций съемки, наложенные изображения являются составными, и пригодность определяется в качестве группы изображений.

Общая конфигурация

[0031] На фиг. 2A показана схема конфигурации системы, включающей в себя устройство 10 обработки изображений согласно настоящему варианту осуществления. Устройство 10 обработки изображений подключено к устройству 20 формирования SLO-изображений и серверу 40 данных через локальную сеть (LAN) 30, включающую в себя оптическое волокно, универсальную последовательную шину (USB), IEEE 1394 и т.п., как показано на фиг. 2. Соединения с этими устройствами могут быть сконфигурированы через внешнюю сеть, например, интернет, или могут быть сконфигурированы в виде непосредственного подключения устройства 10 обработки изображений к устройству 20 формирования SLO-изображений.

[0032] Прежде всего, устройство 20 формирования SLO-изображений является устройством для формирования широкоугольных изображений D1 и изображений Dh большого увеличения глаза. Устройство 20 формирования SLO-изображений передает широкоугольные изображения D1, изображения Dh большого увеличения, и информацию позиций F1 и Fh цели фиксации, используемых для съемки, на устройство 10 обработки изображений и сервер 40 данных. В случае, когда изображения при каждом увеличения получаются в разных позициях съемки, это выражается как D1I, Dhj. Таким образом, i и j являются переменными, указывающими номера позиций съемки, где i=1, 2, …, imax, и j=1, 2, …, jmax. В случае получения изображений большого увеличения с разными увеличениями, это выражается как D1j, D2k, …, в порядке от изображения наибольшего увеличения, где D1j обозначает изображение большого увеличения, и D2k обозначает изображение среднего увеличения.

[0033] На сервере 40 данных хранятся широкоугольные изображения D1 и изображения Dh большого увеличения глаза, данные условий съемки, например, позиции F1 и Fh цели фиксации, используемые для съемки, особенности изображения глаза, нормальные значения, относящиеся к распределению особенностей изображения глаза, и т.д. В настоящем изобретении, особенности изображения, относящиеся к фоторецепторам P, капиллярам Q, клеткам W крови, кровеносным сосудам сетчатки и границе слоя сетчатки, обрабатываются как особенности изображения глаза. Широкоугольные изображения D1, изображения Dh большого увеличения, выводимые из устройства 20 формирования SLO-изображений, позиции F1 и Fh цели фиксации, используемые для съемки, и особенности изображения глаза, выводимые из устройства 10 обработки изображений, сохраняются на сервере. Кроме того, широкоугольные изображения D1, изображения Dh большого увеличения, особенности изображения глаза, и данные нормального значения особенностей изображения глаза, передаются на устройство 10 обработки изображений в ответ на запросы от устройства 10 обработки изображений.

[0034] Далее, функциональная конфигурация устройства 10 обработки изображений согласно настоящему варианту осуществления будет описана со ссылкой на фиг. 1. На Фиг. 1 показана блок-схема, демонстрирующая функциональную конфигурацию устройства 10 обработки изображений. Устройство 10 обработки изображений включает в себя блок 110 получения данных, блок 120 хранения, блок 130 обработки изображений и блок 140 получения инструкции. Блок 110 получения данных включает в себя блок 111 получения изображения. Блок 130 обработки изображений включает в себя блок 131 позиционирования, блок 132 определения индивидуального изображения, блок 133 определения группы изображений, блок 134 выбора и блок 135 управления отображением. Кроме того, блок 133 определения группы изображений включает в себя блок 1331 определения позиции и блок 1332 определения яркости.

Устройство формирования SLO-изображений, имеющее адаптивную оптическую систему

[0035] Далее, конфигурация устройства 20 формирования SLO-изображений, которое имеет адаптивную оптическую систему, будет описана со ссылкой на фиг. 3. Прежде всего, 201 обозначает источник света, для которого использовался источник света в виде сверхлюминесцентного диода (SLD). Хотя источник света совместно используется между формированием изображения глазного дна и измерение волнового фронта в настоящем варианте осуществления, возможна конфигурация, где они являются отдельными источниками света, которые попутно мультиплексируются. Свет, излучаемый из источника 201 света, проходит через одномодовое оптическое волокно 202 и излучается как параллельный измерительный свет 205 из коллиматора 203. Излучаемый измерительный свет 205 проходит через светоделительный блок 204, выполненный в виде делителя пучка, и направляется в оптическую систему адаптивной оптической системы.

[0036] Адаптивная оптическая система состоит из светоделительного блока 206, датчика 215 волнового фронта, устройства 208 коррекции волнового фронта и отражающих зеркал 207-1-207-4 для направления света на него. Отражающие зеркала 207-1-207-4 установлены таким образом, что, по меньшей мере, зрачок глаза, датчик 215 волнового фронта и устройство 208 коррекции волнового фронта оптически сопряжены. Делитель пучка используется в настоящем варианте осуществления в качестве светоделительного блока 206. Кроме того, в настоящем варианте осуществления в качестве устройства 208 коррекции волнового фронта используется модулятор пространственной фазы на основе жидкокристаллического устройства. Заметим, что в качестве устройства коррекции волнового фронта можно использовать зеркало изменяемой формы. Свет, прошедший через адаптивную оптическую систему, совершает сканирование в одном измерении или в двух измерениях под действием сканирующей оптической системы 209. В качестве сканирующей оптической системы 209, два гальваносканера использовались в настоящем варианте осуществления главного направления сканирования (в горизонтальном направлении глазного дна) и дополнительного направления сканирования (в вертикальном направлении глазного дна). Резонансный сканер можно использовать для стороны главного направления сканирования сканирующей оптической системы 209 для более высокой скорости съемки. Сканирующая оптическая система 209 сканирует глаз 211 измерительным светом 205 через окулярные линзы 210-1 и 210-2. Измерительный свет 205, которым облучается глаз 211, отражается или рассеивается на глазном дне. Оптимальное облучение для видимости глаза 211 через окуляр, можно реализовать путем регулировки позиции окулярных линз 210-1 и 210-2. Хотя здесь используются окулярные линзы, для конфигурации можно использовать сферические зеркала и т.п.

[0037] Часть отраженного/рассеянного света (возвращающегося света), отраженная от или рассеянная на сетчатке глаза 211, распространяется по тому же пути, по которому он пришел при вводе, но в противоположном направлении, и отражается на датчике 215 волнового фронта светоделительным блоком 206, что позволяет использовать его для измерения волнового фронта пучка. Датчик 215 волнового фронта также подключен к адаптивному оптическому блоку 216 управления и сообщает адаптивному оптическому блоку 216 управления о принятом волновом фронте. Устройство 208 коррекции волнового фронта также подключен к адаптивному оптическому блоку 216 управления и осуществляет модуляцию по команде адаптивного оптического блока 216 управления. Адаптивный оптический блок 216 управления вычисляет глубину модуляции (величину коррекции) для коррекции волнового фронта без аберрации, на основании волнового фронта, полученного из результатов измерения датчиком 215 волнового фронта, и предписывает устройству 208 коррекции волнового фронта для осуществления такой модуляции. Заметим, что измерение волнового фронта и предписание устройству 208 коррекции волнового фронта осуществляется повторно, при этом управление с обратной связью осуществляется для постоянного обеспечения оптимального волнового фронта.

[0038] Часть отраженного/рассеянного света, пропущенная через светоделительный блок 206, отражается светоделительным блоком 204, проходит через коллиматор 212 и оптическое волокно 213 и направляется к датчику 214 интенсивности света. Датчик 214 интенсивности света преобразует свет в электрические сигналы, на основании которых блок 217 управления формирует изображение в качестве изображения глаза, которое отображается на дисплее 218. Благодаря увеличению угла развертки сканирующей оптической системы в конфигурации, представленной на фиг. 3, и благодаря тому, что адаптивный оптический блок 216 управления предписывает не осуществлять коррекцию аберрации, устройство 20 формирования SLO-изображений также может работать как обычное устройство SLO, и может формировать широкоугольные SLO-изображения (широкоугольное изображение D1).

Аппаратная конфигурация и процедуры, выполняемые устройством 10 обработки изображений

[0039] Далее, аппаратная конфигурация устройства 10 обработки изображений будет описано со ссылкой на фиг. 4. На фиг. 4, 301 обозначает центральный процессор (CPU), 302 - память (оперативная память (RAM)), 303 - управляющую память (постоянную память (ROM)), 304 - внешнее запоминающее устройство, 305 - монитор, 306 - клавиатуру, 307 - мышь, и 308 - интерфейс. Программы управления для реализации функций обработки изображений согласно настоящему варианту осуществления, и данные, используемые во время выполнения программ управления, хранятся во внешнем запоминающем устройстве 304. Программы управления и данные при необходимости загружаются в RAM 302 через шину 309 под управлением CPU 301, выполняются CPU 301 и функционируют как описанные ниже блоки. Функции блоков, составляющих устройство 10 обработки изображений, будут коррелировать с конкретными процедурами, выполняемыми устройством 10 обработки изображений, проиллюстрированным в блок-схеме операций на фиг. 5.

Этап 510: получение изображения

[0040] Блок 111 получения изображения запрашивает устройство 20 формирования SLO-изображений получить широкоугольные изображения D1, изображения Dhj большого увеличения и соответствующие позиции F1 и Fh цели фиксации. В настоящем варианте осуществления, позиции F1 и Fh цели фиксации устанавливаются на центральной ямке сетчатки, и получаются широкоугольные изображения D1 и изображения Dhj большого увеличения. Заметим, что способ установления позиций съемки этим не ограничивается, и возможно установление в любой позиции.

[0041] Устройство 20 формирования SLO-изображений получает и передает широкоугольные изображения D1 и изображения Dhj большого увеличения, и соответствующие позиции F1 и Fh цели фиксации, в соответствии с запросом на получение. Блок 111 получения изображения принимает широкоугольные изображения D1, изображения Dhj большого увеличения и позиции F1 и Fh цели фиксации, от устройства 20 формирования SLO-изображений через LAN 30 и сохраняет их в блоке 120 хранения. Заметим, что широкоугольное изображение D1 и изображение Dhj большого увеличения в настоящем варианте осуществления являются движущимися изображениями, межкадровое позиционирование которых уже произведено.

Этап 520: позиционирование

[0042] Блок 131 позиционирования осуществляет позиционирование широкоугольных изображений D1 и изображений Dhj большого увеличения, и получает относительную позицию изображений Dhj большого увеличения на широкоугольном изображении D1. В случае наличия области перекрывания среди изображений Dhj большого увеличения, сходство между изображениями вычисляется также в отношении этой области перекрывания и позиций изображений Dhj большого увеличения друг с другом в позиции, где сходство между изображениями максимально.

[0043] Далее, в случае, когда на этапе S510 получены изображения разного увеличения, позиционирование осуществляется из изображений более малого увеличения. Например, в случае, когда получены изображение D1j большого увеличения и изображение D2k среднего увеличения, прежде всего, позиционирование осуществляется между широкоугольным изображением D1 и изображением D2k среднего увеличения, и далее осуществляется позиционирование между изображением D2k среднего увеличения и изображением D1j большого увеличения. В случае, когда существуют только изображения большого увеличения, очевидно, что позиционирование осуществляется только между широкоугольным изображением D1 и изображением D1j большого увеличения.

[0044] Заметим, что блок 131 позиционирования получает позицию Fh цели фиксации, используемую для формирования изображения Dhj большого увеличения от блока 120 хранения и использует ее для установления начальной точки поиска параметра позиционирования при позиционировании между широкоугольным изображением D1 и изображением Dhj большого увеличения. Для определения сходства между изображениями можно использовать любой известный метод или методы преобразования координат. В настоящем варианте осуществления, для определения сходства между изображениями используется коэффициент корреляции, и в качестве метода преобразования координат для осуществления позиционирования используется аффинное преобразование.

Этап 530: обработка для определения пригодности каждого движущегося изображения

[0045] Блок 132 определения индивидуального изображения осуществляет обработку определения на пригодность на основании значений яркости кадров и величины межкадрового перемещения. Кроме того, блок 134 выбора осуществляет обработку выбора на основании результатов определения пригодности и формирует индивидуальные изображения. Индивидуальным изображением здесь может быть изображение, где наложены все кадры движущегося изображения, или может представлять собой один выбранный кадр. Можно использовать изображение, где выбраны множественные изображения с относительно малым шумом и т.д. и выбранные изображения наложены. Обработка на этом этапе будет подробно описана ниже со ссылкой на блок-схему операций, показанную на фиг. 7A.

Этап 540: обработка для определения пригодности в качестве группы изображений

[0046] На основании индивидуальных изображений, сформированных на этапе S530, блок 133 определения группы изображений определяет пригодность группы изображений (множественных изображений соседних разных позиций) на основании относительной позиции и относительной яркости между ними, блок 134 выбора выбирает композицию изображений с наивысшей пригодностью, и составляет их для формирования изображения. В настоящем варианте осуществления, блок 134 выбора выбирает кадровый интервал композиции в отношении которой блок 133 определения группы изображений определил, что пригодность является наивысшей в каждой позиции получения, осуществляет наложение для генерации изображения и формирует составное изображение. Обработка на этом этапе будет подробно описана ниже со ссылкой на блок-схему операций, показанную на фиг. 7B.

Этап 550: отображение

[0047] Блок 135 управления отображением отображает изображения Dhj большого увеличения на широкоугольном изображении D1, на основании значения параметра позиционирования, полученного на этапе S520, или на основании области, кадра или изображения, выбранного на этапе S540. Блок 135 управления отображением может корректировать различие в концентрации среди изображений большого увеличения для отображения, в случае получения множественных изображений Dhj большого увеличения. Можно использовать любой известный способ коррекции яркости. В настоящем варианте осуществления, гистограмма Hj генерируется для каждого изображения Dhj большого увеличения, и линейное преобразование значений яркости изображений Dhj большого увеличения осуществляется таким образом, чтобы математическое ожидание и дисперсия гистограмм Hj были общими значениями среди изображений Dhj большого увеличения, таким образом, корректируя различие в концентрации. Заметим, что способ коррекции яркости среди изображений большого увеличения этим не ограничивается, и можно использовать любой известный способ коррекции яркости. Кроме того, в отношении увеличения при отображении, изображение большого увеличения, указанное оператором через блок 140 получения инструкции, увеличивается и отображается на мониторе 305.

Этап 560: инструкция, сохранять ли результаты

[0048] Блок 140 получения инструкции получает извне инструкцию в отношении того, сохранять ли на сервере 40 данных широкоугольные изображения D1, изображения Dhj большого увеличения, выбранные блоком 134 выбора, позиции F1 и Fh цели фиксации и значения параметра позиционирования, полученные на этапе S520. Эта инструкция вводится оператором, например, посредством клавиатуры 306 или мыши 307. В случае, когда предписано сохранение, последовательность обработки переходит к этапу S570, и в случае, когда сохранение не предписано, последовательность обработки переходит к этапу S580.

Этап 570: сохранение результатов

[0049] Блок 130 обработки изображений коррелирует дату и время исследования, информацию идентифицирующую исследуемый глаз, широкоугольные изображения D1, изображения Dhj большого увеличения, выбранные блоком 134 выбора, и позиции F1 и Fh цели фиксации, и значения параметра позиционирования, и передает на сервер 40 данных.

Этап 580: инструкция, заканчивать ли обработку

[0050] Блок 140 получения инструкции получает извне инструкцию в отношении того, заканчивать ли обработку устройством 10 обработки изображений в отношении широкоугольных изображений D1 и изображений Dhj большого увеличения. Эта инструкция вводится оператором, например, посредством клавиатуры 306 или мыши 307. В случае получения инструкции окончания обработки, обработка заканчивается. С другой стороны, в случае получения инструкции продолжать обработку, последовательность обработки возвращается к этапу S510, и обработка осуществляется на следующем глазу, подлежащем исследованию (или обработка осуществляется повторно в отношении того же глаза для исследования).

Обработка в отношении определения пригодности для каждого движущегося изображения

[0051] Далее, обработка, выполняемая на этапе S530, будет подробно описана со ссылкой на блок-схему операций, показанную на фиг. 7A.

Этап 710: получение стандарта определения пригодности

[0052] Блок 132 определения индивидуального изображения получает стандарт определения пригодности посредством блока 140 получения инструкции. В качестве стандартов определения пригодности здесь перечислены следующие элементы a) - d):

a) значение яркости изображения находится в надлежащем диапазоне,

b) диапазон надлежащих значений качества изображения (отношение S/N и т.д.),

c) величина перемещения относительно опорного кадра находится в надлежащем диапазоне, и

d) позиция фокуса находится в надлежащем диапазоне,

где, a) получается как пригодность в настоящем варианте осуществления. Это необходимо для исключения кадров низкой яркости, которые возникают вследствие того, что измерительный свет не достигает глазного дна, в результате моргания или помеченного отклонения позиции фиксации.

Этап 720: определение пригодности

[0053] Блок 132 определения индивидуального изображения определяет пригодность для каждого кадра SLO-изображения Dhj большого увеличения, согласно стандарту, полученному на этапе S710. В настоящем варианте осуществления присваивается значение 1, если каждый a) находится в надлежащем диапазоне, и присваивается значение -1 при отклонении от надлежащего диапазона.

Этап 730: выбор изображения

[0054] Блок 134 выбора выбирает изображения (кадры в случае движущихся изображений) для использования при отображении, с приращениями позиций съемки, на основании пригодности, определенной на этапе S720, и формирует изображение. В настоящем варианте осуществления, изображение большого увеличения является движущимся изображением, где фоторецепторы изображены как показано на фиг. 6C, и наложенное изображение формируется из движущегося изображения. Следующие элементы (i) и (ii) можно перечислить здесь как принципы формирования индивидуальных изображений, с целью

(i) максимизировать количество наложенных (приоритет отдается качеству изображения), и

(ii) максимизировать площадь наложенного изображения (приоритет отдается предотвращению незавершенных изображений).

[0055] В случае (i), все кадры, выбранные на этапе S720, используются для наложения. Например, в случае, когда позиция каждого кадра в индивидуальном движущемся изображении большого увеличения коррелирует (Nf: № кадра), как показано на фиг. 6(c), результаты наложения показаны на фиг. 6D. В этом примере, ведущий кадр является опорным кадром. Области, не используемые для наложения (незавершенных изображений), указаны черным на фиг. 6D. Хотя изображения высокого качества, области с кадрами, на имеющими пиксельных значений в результате межкадрового позиционирования, не используются при наложении, поэтому легко возникают незавершенные изображения. В случае (ii), кадры, выбранные на этапе S720, которые имеют даже незначительное позиционное отклонение, исключаются. Например, в случае фиг. 6C, исключаются кадры №№ 2-4. Хотя незавершенные изображения не возникают, количество наложенных изображений меньше, поэтому качество изображения имеет тенденцию к понижению относительно случая (i). Теперь, в случае настоящего варианта осуществления, выбираются кадры с пригодностью 1, вычисленной на этапе S720, и наложенное изображение формируется согласно принципу (i), который утверждает, что используются только области, где пиксельные значения положительны во всех выбранных кадрах.

Обработка для определения пригодности в качестве группы изображений

[0056] Далее, обработка, выполняемая на этапе S540 будет подробно описана со ссылкой на блок-схему операций, показанную на фиг. 7B.

Этап 740: определение пригодности

[0057] Блок 133 определения группы изображений составляет группу изображений, сформированную на этапе S730 согласно параметру позиционирования, используемому на этапе S520, и определяет пригодность группы изображений на основании относительной позиции и свойств яркости группы изображений. В настоящем варианте осуществления предполагается, что группа изображений составлена из девяти наложенных изображений, например, представленных на фиг. 6G, и что № j изображения увеличивается в порядке растрового сканирования (зигзагообразного сканирования) от верхнего левого угла. П