Сегментация изображения для верификации данных

Сегментация изображения для верификации данных

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

[0001] Варианты реализации изобретения относятся в целом к обработке изображений, а более конкретно - к сегментации изображения для верификации данных.

УРОВЕНЬ ТЕХНИКИ

[0002] В обычных способах распознавания данных используют оптическое распознавание символов (которое ниже называется «OCR») для преобразования отсканированного изображения документа (например, формы, счета и т.д.) в машиночитаемый текст. Задача распознавания данных обычно включает в себя процесс верификации данных для повышения качества результатов распознавания. Например, в ходе верификации могут быть исправлены ошибки распознавания. Другой пример: может быть добавлен текст, который не был распознан с использованием метода OCR.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0003] Изложение сущности изобретения будет лучше понятно из приведенного ниже подробного описания и приложенных чертежей различных вариантов осуществления изобретения. Однако не следует считать, что чертежи ограничивают сущность изобретения конкретными вариантами осуществления, они предназначены только для пояснения и улучшения понимания сущности изобретения.

[0004] На Фиг. 1 показана блок-схема вычислительного устройства, работающего в соответствии с вариантом реализации этого изобретения;

[0005] На Фиг. 2 представлена блок-схема, иллюстрирующая способ верификации данных в соответствии с одним из вариантов реализации этого изобретения;

[0006] На Фиг. 3А, 3В и 3С показаны схемы последовательности операций, иллюстрирующие способы сегментации изображения в соответствии с вариантами реализации этого изобретения;

[0007] На Фиг. 4 показан пример изображения, которое может быть обработано с помощью распознавания и верификации данных приложения в соответствии с одним из вариантов реализации этого изобретения;

[0008] На Фиг. 5 показаны примеры изображений, подлежащих верификации данных в соответствии с одним из вариантов реализации этого изобретения;

[0009] На Фиг. 6 показаны примеры изображений, подлежащих верификации данных в соответствии с другим вариантом реализации этого изобретения;

[0010] На Фиг. 7, 8 и 9 показаны примеры пользовательских интерфейсов для верификации данных в соответствии с вариантами реализации этого изобретения; и

[0011] На Фиг. 10 приведена блок-схема одного варианта реализации компьютерной системы.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ РЕАЛИЗАЦИИ

[0012] В этом документе приведено описание способов и систем сегментации изображения для верификации данных.

[0013] Система оптического распознавания символов (OCR) может получить изображение бумажного документа и преобразовать это изображение в машиночитаемый формат, допускающий поиск и содержащий текстовую информацию, извлеченную из изображения бумажного документа. В различных иллюстративных примерах исходный бумажный документ может содержать одну или несколько страниц, таким образом, изображение документа может включать изображения одной или нескольких страниц документа.

[0014] Последовательности символов, геометрические структуры (например, разделительные линии, таблицы и/или другие табличные структуры и т.д.) и/или любые другие данные, распознанные при обработке изображения с помощью метода OCR, могут быть подвергнуты процессу верификации данных. В процессе верификации пользователь может подтвердить символы, распознанные с помощью метода OCR и/или исправить символы, которые были распознаны неправильно. Например, пользователь может исправить ошибки распознавания в процессе верификации. Другой пример: пользователь может ввести нераспознанный текст в процессе верификации. Так как оператор обрабатывает огромные массивы извлеченной информации, то при верификации ключевыми пунктами являются качество работы оператора и скорость обработки документов.

[0015] В известных подходах к верификации данных те данные, которые должны быть верифицированы, представляются отдельно от соответствующего исходного изображения. В результате пользователь, возможно, будет вынужден постоянно сравнивать исходное изображение с распознанными данными, извлеченными из изображения для верификации. Таким образом, пользователю может потребоваться постоянно устанавливать визуальное совпадение распознанных данных с соответствующими исходными данными на изображении. Для облегчения монотонной работы оператора процесс сравнения может быть организован таким образом, что распознанные данные отображаются на экране электронного устройства синхронно с исходными данными на оригинальном изображении. Однако по-прежнему оператор во время верификации вынужден переводить взгляд с распознанных данных на исходное изображение, чтобы убедиться, что распознанный текст в поле соответствует исходному тексту на исходном изображении документа.

[0016] В соответствии с вариантами реализации настоящего изобретения изображение разделяется на несколько сегментов изображения для верификации данных. Один или более сегментов изображения могут содержать области изображения, соответствующие данным, которые должны быть верифицированы пользователем (они называются ниже «областями изображения»). Данные, извлеченные из областей изображения, могут быть представлены в полях экрана (мини-формах), расположенных между двумя сегментами изображения в пользовательском интерфейсе. Например, более конкретно: мини-форма, содержащая значения данных, извлеченных из определенной области изображения, может быть отображена над частью сегмента изображения, включающей область изображения. Мини-формы не перекрываются с сегментами изображения, представленными в пользовательском интерфейсе. Пользователь может изменять значения, представленные в мини-формах, после сравнения значений с данными, содержащимися в областях изображения, расположенных под мини-формами.

[0017] Таким образом, аспекты настоящего изобретения позволяют осуществить процесс верификации, который будет проводиться непосредственно на исходном изображении, что освобождает пользователей от необходимости непрерывного визуального сравнения документов с целью верификации результата распознавания. Предложенный способ верификации повышает скорость процесса верификации и снижает когнитивную нагрузку пользователя. Кроме того, аспекты настоящего изобретения позволяют пользователю просматривать подлежащие верификации данные и ассоциированную с ними контекстную информацию с учетом близости от части исходного изображения к соответствующим данным.

[0018] На Фиг. 1 показана блок-схема примера вычислительного устройства (100), работающего в соответствии с одним или несколькими аспектами настоящего изобретения. В иллюстративных примерах вычислительное устройство (100) может быть реализовано в виде различных вычислительных устройств, включая планшетный компьютер, мобильный телефон, портативный компьютер, настольный компьютер и т.д.

[0019] Вычислительное устройство (100) может содержать процессор (110), соединенный с системной шиной (120). Другие устройства, подключенные к системной шине (120), могут включать устройство памяти (130), дисплей (140), оснащенный сенсорным экраном (180), клавиатуру (150), устройство оптического ввода (160) и один или более коммуникационных интерфейсов (170). Термин «подключен» в этом описании включает электрическое соединения и подключение через одно или более интерфейсных ч, адаптеров и т.п.

[0020] Процессор (110) может представлять собой одно или несколько устройств обработки, включая универсальные процессоры и/или специализированные процессоры. Память (130) может включать одно или несколько устройств энергозависимой памяти (например, микросхем ОЗУ), одно или несколько устройств энергонезависимой памяти (например, микросхем ПЗУ или EEPROM) и одно или несколько запоминающих устройств (например, оптических или магнитных дисков). Оптическое устройство ввода (160) может представлять собой и/или содержать одну или более камер, сканеров, считывателей штрихкодов и/или любых других устройств, способных формировать изображения документа.

[0021] В некоторых вариантах реализации изобретения вычислительное устройство (100) может содержать устройство ввода с сенсорным экраном (180), имеющим область сенсорного ввода и/или чувствительную поверхность, наложенную на дисплей (140). Пример вычислительного устройства, реализующего аспекты настоящего изобретения, будет рассмотрен более подробно ниже со ссылкой на Фиг. 10.

[0022] В некоторых вариантах реализации в устройстве памяти (130) могут храниться команды приложения распознавания и верификации данных (190) для обработки изображений с целью распознавания и верификации данных. В одном варианте реализации приложение (190) может быть реализовано как функция, которая будет вызываться из пользовательского интерфейса другого приложения (например, приложения биллинга, приложения бухгалтерского учета, приложения редактирования электронных документов и т.д.). Альтернативно или дополнительно приложение (190) может быть реализовано в виде отдельного приложения.

[0023] Например, приложение (190) может получать изображение документа (например, счета, формы и т.д.). Изображение может быть получено с помощью оптического устройства ввода (160) или любого другого устройства. Изображение может иметь любой подходящий формат, например, PDF, JPEG, PNG, BMP и т.д. Изображение может быть представлено с помощью структуры данных, содержащей множество битовых групп пикселей визуального представления одной или более частей документа.

[0024] Приложение (190) может обрабатывать полученное изображение с помощью метода оптического распознавания символов (OCR) и/или любого другого подходящего метода и преобразовать изображение в машиночитаемый формат, пригодный для поиска, содержащий текстовую информацию, извлеченную из изображения документа. Приложение 190 может содержать функциональные возможности OCR или являться отдельной программой или модулем, который использует данные с выхода приложения OCR.

[0025] На Фиг. 4 показан пример изображения документа (400), который может быть обработан приложением (190), выполняемом в вычислительном устройстве (100) в соответствии с одним или несколькими аспектами настоящего изобретения. Приложение (190) может проанализировать изображение (400), чтобы обнаружить в изображении одну или несколько частей изображения, содержащих текстовые блоки (410А)-(410В). Изображенные элементы компоновки документа были отобраны только для иллюстративных целей и не устанавливают каких-либо ограничений для объема настоящего описания изобретения. Приложение (190) может дополнительно проанализировать каждый из блоков (410А) и (410В) для обнаружения нескольких текстовых строк (420А)-(420М). Внутри каждой части изображения, содержащей текстовую строку (420), приложение (190) может обнаружить одну или более областей изображения (430А)-(430М), содержащих последовательности символов, разделенных пробелами. Такая последовательность символов может представлять собой, например, слово, содержащее одну или более букв, число, содержащее одну или более цифр, и т.д. Приложение (190) может связать каждую из последовательностей символов с одним или несколькими типами данных, например, «строка символов», «цифровые данные», «целое число», «десятичное число» и т.д.

[0026] Приложение (190) может связать друг с другом распознанные последовательности символов, содержащие соответствующую информацию. Например, приложение (190) может связать последовательность символов, содержащую числовые данные, с последовательностью символов, содержащей описание числовых данных (например, строкой символов). В некоторых вариантах реализации две или более связанные последовательности символов могут быть включены в одну область изображения. В более конкретном примере, показанном на Фиг. 5, приложение (190) может обработать изображение (500) с помощью метода OCR и методов извлечения, и выявить область изображения (510), соответствующую символам «18:45» и описание этих символов, то есть «FINISH» (Конец).

[0027] Кроме того, приложение (190) может определить положение извлеченной информации относительно областей изображения, геометрических структур (например, разделительные линии, расположенные между двумя или более распознанными последовательностями символов, табличные структуры и т.д.), и/или любого другого компонента изображения. Например, как показано на Фиг. 4, изображение (400) может содержать области изображений (430А)-(430М), причем приложение (190) может обнаружить границы каждой области изображения (430), соответствующей извлеченным данным, используя метод распознавания OCR, метод обнаружения границ и/или любой другой способ обработки изображения или комбинацию таких методов. Другой пример: для каждой области изображения (430) приложение (190) может определить одну или несколько координат, указывающих на положение области изображения (например, координаты, связанные с вершинами областей изображения, координаты, связанные с границами областей изображения и т.д.). Еще один пример: приложение (190) может обнаружить одну или несколько разделительных линий (например, разделителей/сепараторов), расположенных на изображении, и одну или более координат, связанных с каждой из разделительных линий (например, как показано на Фиг. 5, часть (550) изображения (500) может содержать разделительные линии (531), (533), (535) и (537)).

[0028] После выявления последовательностей символов и соответствующих им областей на изображении, приложение (190) может извлечь последовательности символов и/или любых других данных из областей изображения. Затем приложение (190) может сопоставить извлеченные данные с соответствующими им областями изображения.

[0029] Приложение (190) также может идентифицировать одну или более из распознанных областей изображения, которые соответствуют данным (например, распознанные последовательности символов, как описано выше), которые должны быть верифицированы пользователем. В одном варианте реализации приложение (190) определяет, что область изображения соответствует данным, которые будут верифицированы на основе показателей уверенности распознавания, соответствующих степени уверенности или неуверенности в отношении корректности данных, извлеченных из области изображения. В более конкретном примере приложение (190) может определить, что данные, извлеченные из области изображения, должны быть верифицированы, если установлено, что показатель уверенности не выходит за некоторое пороговое значение.

[0030] В другом примере приложение (190) определяет, что область изображения соответствует данным, которые будут верифицированы при обнаружении одной или более ошибок в отношении данных, извлеченных из области изображения. В более конкретном примере область изображения содержит один или более символов или данных любого другого типа, которые не могут быть распознаны приложением (190) и/или которые не могут быть распознаны с пороговой степенью достоверности (например, с пороговым показателем уверенности).

[0031] В еще одном более конкретном примере устройство обработки может выявить несколько областей изображения, содержащих соответствующие данные. Затем устройство обработки определяет, правильно ли распознаны соответствующие данные на основе одного или нескольких заранее определенных правил или правил, реализуемых компьютером или оператором. Например, более конкретно, приложение (190) определяет, что данные распознаны правильно, если установлено, что данные могут быть связаны в соответствии с одной или более известными формулами. В более конкретном примере, показанном на Фиг. 9, приложение (190) выявляет области изображения (911a-d) как области, содержащие связанные данные при определении того, что области изображения (911a-d) соответствуют графам "tax rate," "net amount," "tax amount," and "invoice amount in EUR," («ставка налога», «общая сумма», «сумма налога» и «сумма счета в евро»), соответственно. Затем приложение (190) определяет, соответствуют ли данные, извлеченные из областей изображения (911а-с), одному или более заранее определенным правилам, реализуемым компьютером. Например, в частности, приложение (190) определяет, можно ли объединить данные, извлеченные из областей изображения (911а-с) в соответствии с одной или более формул (например, «общая сумма» + «ставка налога» × «общая сумма» = «сумма счета», «ставка налога» × «общая сумма» = «сумма налогов» и т.д.). Если установлено, что сочетание данных не соответствует одной или более формулам, приложение (190) может выявить одну или более из областей изображения, как соответствующие данным, которые требуется верифицировать.

[0032] В некоторых вариантах реализации приложение (190) может выдать пользователю запрос на определение одной или нескольких областей на изображении, соответствующих данным, которые требуется верифицировать (например, путем представления одного или более подходящих средств пользовательского интерфейса).

[0033] Приложение (190) может представлять одну или более частей изображения в связи с данными, извлеченными из изображения, используя один или несколько подходящих средств пользовательского интерфейса. Пример пользовательского интерфейса (700) для верификации данных показан на Фиг. 7. Показанный на рисунке пользовательский интерфейс (700) содержит форму (701) для отображения данных, распознанных в изображении (702). Например, форма данных (701) содержит поле отображения (703) для представления значения данных, распознанных в области изображения (704) изображения (702). Поле отображения (705) может содержать исходные данные из области изображения (704). Поле отображения (703) может быть расположено выше, ниже, рядом и т.д. поля отображения (705). Пользователь может сравнить значение, отображаемое в поле отображения (703), с исходными данными, показанными в поле отображения (705). Пользователь может подтвердить правильность значения, нажимая на одну клавишу, или исправить ошибочно распознанное значение.

[0034] Поле на экране для отображения значения данных, распознанных из одной или нескольких областей изображения, может представлять собой один или более полупрозрачных ярлыков (706) и/или содержать эти ярлыки которые могут размещаться над этим изображением. В одном из вариантов реализации приложение (190) может делать ярлыки полупрозрачными, если указатель мыши перемещается пользователем над соответствующим исходным изображением.

[0035] В некоторых вариантах реализации после выявления одной или более областей изображения, соответствующих данным, которые будут верифицированы пользователем, приложение (190) может разделить изображение на несколько сегментов (также называемые ниже «сегментами изображения») для представления данных, соответствующих выявленным областям изображения для верификации. «Выявление области изображения для верификации» относится к процессу выявления извлеченных данных, которые должны быть верифицированы, и определению соответствующей области изображения для этих данных. В одном варианте реализации сегменты изображения соответствуют составным частям изображения.

[0036] Приложение (190) разделяет изображение на основе информации о положении, связанной с выявленными областями изображения и/или с другими областями изображения, распознанными в изображении, на основе информации о положении относительно геометрических структур (например, разделительных линий, табличных структур и т.д.) на изображении, и/или любой другой подходящей информации.

[0037] Приложение (190) может разделять изображение, создавая одну или нескольких линий разрезов, разделяющих изображение на несколько сегментов. Например, одна или более из линий разреза могут быть совмещены с первым направлением (например, горизонтальным, вертикальным или любым другим направлением) или со вторым направлением (например, направлением, перпендикулярным первому направлению). Одна или более из линий разреза могут быть получены на основе информации о положении области изображения, которая соответствует подлежащим верификации данным. Одна или более из линий разреза могут быть получены на основе информации о положении относительно одной или более разделительных линий, расположенных между двумя или более областями изображения (например, линия на изображении, которая распознана с помощью метода OCR). Приложение (190) может разделить изображение на сегменты изображения, используя любой подходящий способ или способы. Например, сегменты изображения могут быть получены путем выполнения одной или нескольких операций, описанных ниже в связи с Фиг. 2-3С.

[0038] В примере, показанном на Фиг. 5, изображение (500) может быть разделено на сегменты изображения (503) и (505), разделенные линиями разреза (520а-е). Сегмент изображения (505) содержит область изображения (510), соответствующую данным, подлежащим верификации пользователем. Как показано на этом рисунке, каждая линия разреза (520а-е) параллельна первому направлению (например, горизонтальному направлению) или второму направлению (например, вертикальному направлению). В некоторых реализациях второе направление перпендикулярно первому направлению. Линия разреза (521а) может быть построена на основе границы области изображения (510) (например, верхней границы). Например, более конкретно, линия разреза (520а) может быть совмещена с верхней границей области изображения (510). Линии разреза (520b-е) могут быть определены на основе информации о положении геометрических структур (например, разделительных линий, таблиц и т.д.) на изображении (500). Например, линии разреза 520b-е могут соответствовать разделительным линиям (531), (533), (535) и (537), показанным на части изображении (550), соответственно.

[0039] В другом примере, показанном на Фиг. 6, изображение (600) может быть разделено на два сегмента изображения по линям разреза (631а-е) для представления данных, извлеченных из областей изображения (621а-с). Как показано на рисунке, линии разреза (631а), (631с), (631d) и (631е) соответствуют границам областей изображения (621а), (621b) и (621с). Линия разреза (631b) соответствует разделительной линии, расположенной между областями изображения (621а) и (621b).

[0040] Приложение (190) может представлять сегменты изображения в связи с данными из распознанных областей изображения. Например, приложение (190) представляет значение данных, извлеченных из заданной области изображения в мини-форме, расположенной выше, ниже, рядом с областью изображения и т.д. Мини-форма может быть расположена между несколькими сегментами изображения. В некоторых реализациях мини-форма не перекрывается с сегментами изображения.

[0041] В более конкретном примере, показанном на Фиг. 8, представления пользовательского интерфейса (810) и/или (820) могут использоваться для отображения распознанных данных для верификации. Представление пользовательского интерфейса (810), (820) содержит сегмент изображения (811a-b), а также сегмент изображения (813а-b), включающий область изображения (815а-b), мини-форму (817а-b) и формы данных (819а-b). Формы данных (819а-b) являются иллюстративными, они могут быть не включенными в представления пользовательского интерфейса (810) и/или (820). Приложение (190) представляет значение данных, извлеченных из области изображения (815а-b) в мини-форме (817а-b) и/или одном или нескольких формах данных (819а-b). В некоторых реализациях, мини-формы (817а-b) и/или формы данных (819а-b) доступны для редактирования. Пользователь может ввести значение данных, содержащихся в областях изображения (815а-b) в мини-формы (817а-b) и/или в формы данных (819а-b).

[0042] В другом более конкретном примере представления пользовательского интерфейса (910) и/или (920) на Фиг. 9 могут использоваться для представления распознанных данных, подлежащих верификации. Как показано на рисунке, одна или несколько частей сегментов изображения (901), (903) и (905) могут быть представлены в ассоциации с мини-формами (913а-с). Каждая из мини-форм (913а-с) содержит значение данных, извлеченных из области изображения (911а-с), соответственно. Каждая мини-форма (913а-с) может быть расположена над соответствующей областью изображения для верификации данных. В некоторых реализациях мини-формы (913а-с) не перекрывают области изображения (911а-с).

[0043] На Фиг. 2 показана блок-схема, иллюстрирующая способ верификации данных (200) в соответствии с одним из вариантов реализации изобретения. Способ (200) и/или каждая из его отдельных функций, процедур, подпрограмм или операций может выполняться одним или более устройствами обработки в компьютерной системе (например, вычислительным устройством (100) на Фиг. 1), в котором реализован этот способ. В некоторых вариантах реализации способ (200) может выполняться в одном потоке обработки. Кроме того, способ (200) может выполняться, используя два или более потоков обработки, причем каждый поток выполняет одну или несколько отдельных функций, процедур, подпрограмм или операций способа. В качестве иллюстративного примера, потоки обработки, в которых реализован способ (300), могут быть синхронизированы (например, с использованием семафоров, критических секций и/или других механизмов синхронизации потоков). При альтернативном подходе потоки обработки, реализующие способ (300), могут выполняться асинхронно по отношению друг к другу.

[0044] Способ (200) начинается в блоке (210), где устройство обработки получает изображение по меньшей мере части документа (например, страницу документа). Например, изображение может быть получено с помощью оптического устройства ввода (130) устройства обработки (100), как описано выше в связи с Фиг. 1.

[0045] В блоке (220) устройство обработки может обрабатывать изображение, чтобы преобразовать его в машиночитаемый текст. Перед преобразованием изображения в машиночитаемый вид могут выполняться различные методы предварительной обработки изображения (например, устранение искажений, выравнивание и т.п.); например, устройство обработки может обрабатывать изображение с помощью метода OCR и/или любых других подходящих приемов извлечения последовательности символов и/или любых других данных из изображения. Для выявления элементов макета документа, например, логической структуры документа, фрагментов текста, блоков изображения, сепараторов и т.д., можно использовать различные методы анализа документа. Распознанные данные могут быть обработаны с помощью известных методов, для того чтобы ассоциировать последовательности символов, содержащих числовые или текстовые данные, с последовательностью символов, содержащих описание числовых или текстовых данных. В более конкретном примере, описанном выше в связи с Фиг. 1, устройство обработки обнаруживает одну или более областей изображения, содержащих последовательности символов, используя метод OCR, и распознает последовательности символов. Кроме того, устройство обработки может связать каждую из последовательностей символов с одним или несколькими типами данных, например, «строка символов», «числовые данные», «целое число», «десятичное число» и т.д.

[0046] В другом примере устройство обработки данных может определить информацию о положении, относящуюся к областям изображения и геометрическим структурам (например, разделительным линиям, таблицам или любым другим табличным структурам и т.д.) на изображении. В одном варианте реализации информация о положении, относящаяся к области изображения или геометрической структуре в изображении, содержит один или более наборов координат, связанных с областью изображения или геометрической структурой.

[0047] В блоке (230) устройство обработки может определить одну или более областей на изображении (например, «области изображения»), содержащих данные или соотносящихся с данными, которые подлежат верификации. В одном примере устройство обработки определяет, что область изображения соответствует данным, которые должны быть верифицированы на основе показателей уверенности распознавания, указывающих степень определенности или неопределенности в отношении правильности данных, извлеченных из области изображения. В другом примере приложение (190) определяет, что область изображения соответствует данным, которые должны быть верифицированы, в случае обнаружения одной или более ошибок в отношении данных, извлеченных из области изображения. В более конкретном примере область изображения соответствует одному или более символам, знакам, или любому другому типу данных, который не может быть распознан и/или который не может быть распознан с пороговым показателем уверенности распознавания устройством обработки.

[0048] В блоке (240) устройство обработки может разделить изображение на несколько сегментов изображения. В некоторых реализациях изобретения сегменты изображения соответствуют составным частям изображения. Один или более графических сегментов содержат выявленные области изображения, соответствующие подлежащим верификации данным. Изображение может быть разделено на основе любой подходящей информации, такой как информация о положении, связанная с выявленными областями изображения, информация о положении, связанная с геометрическими структурами изображения и т.д.

[0049] Устройство обработки данных может разделить изображение, используя любой подходящий метод или комбинацию методов. Например, устройство обработки может разделить изображение путем выполнения одной или более операций, описанных в связи с блоками (242)-(246) и/или Фиг. 3А - 3С. В некоторых вариантах реализации изобретения устройство обработки делит изображение на сегменты изображения, используя несколько методов, а затем делит изображение на минимальное количество сегментов, что будет описано более подробно ниже.

[0050] В блоке (242) устройство обработки может построить одну или несколько линий разреза, параллельных первому направлению. Первое направление может быть горизонтальным, вертикальным или любым другим направлением. Например, линии разреза могут быть получены на основе информации о положении области изображения, такой как одна или более координат, связанные с областью изображения. В более конкретном примере, показанном на Фиг. 5, линия разреза (520а) может быть построена на основе координат, связанных с областью изображения (510) (например, координатой "y", связанной с верхней границей области изображения (510)). В другом более конкретном примере, показанном на Фиг. 6, линии разреза (631а), (631с) и (631е) могут быть построены на основе координат, связанных с вершинами областей изображений (621а), (621b) и (621с), соответственно.

[0051] В другом примере линии разреза могут быть получены на основе информации о положении относительно разделительной линии, расположенной между двумя областями изображения (например, двумя областями изображения, выявленными в блоке (230)). В более конкретном примере, показанном на Фиг. 6, линия разреза (633f) может быть построена на основе вертикальной линии разреза (643), расположенной между областями изображения (623b) и (623с).

[0052] В блоке (244) устройство обработки строит одну или несколько линий разреза, параллельных второму направлению. В некоторых вариантах реализации второе направление перпендикулярно первому направлению. В одном примере устройство обработки данных может обнаруживать разделительную линию, параллельную второму направлению в системе координат между двумя областями изображения, обнаруженными на этапе (230). Затем устройство обработки строит линию разреза на основе обнаруженной разделительной линии. В более конкретном примере, показанном на Фиг. 5, линии разреза (520b) и (520с) могут быть получены на основе вертикальных разделительных линий (531) и (533) (показанных в части изображения (550)), соответственно. В другом более конкретном примере, показанном на Фиг. 6, линия разреза (631b) может быть построена на основе разделительной линии (641), расположенной между областями изображения (621а) и (621b).

[0053] В другом примере устройство обработки может построить линию разреза на основе информации о положении, связанной с двумя или более областями изображения, которые соответствуют подлежащим верификации данным. В более конкретном примере, показанном на Фиг. 6, линия разреза (631d) строится на основе информации о положении, связанной с областями изображения (621b) и (621с). В частности, например, линию разреза (631d) можно построить на основе координат, связанных с областью изображения (621с) и с областью изображения (621b).

[0054] В блоке (246) устройство обработки может разделить изображение на несколько сегментов на основе линий разреза. Например, устройство обработки создает два сегмента изображения вдоль одной или более линий разреза между двумя сегментами изображения. В более конкретном примере, показанном на Фиг. 5, изображение (500) может быть разделено на сегменты изображения (503) и (505) по линиям разрезка (520а-е).

[0055] В блоке (250) устройство обработки может представлять сегменты изображения в сочетании с подлежащими верификации данными. Например, устройство обработки выводит мини-форму, включающее значение данных, извлеченных из заданной области изображения и сегмента изображения, включающего область изображения. Между несколькими областями изображения может быть расположена мини-форма. В некоторых вариантах реализации мини-форма и области изображения не перекрываются. В другом примере устройство обработки представляет несколько мини-форм, включающих значения данных, извлеченных из нескольких областей изображения для верификации в пользовательском интерфейсе. Каждая мини-форм может содержать значения данных, извлеченные из одной из областей изображения, и может быть расположена над частью сегмента изображения, включающего соответствующую область изображения. Сегменты изображения и подлежащие верификации данные могут быть представлены с использованием одного или нескольких методов, описанных выше в связи с Фиг. 1 и 7-9.

[0056] На Фиг. 3А, 3В и 3С представлены схемы последовательности операций, иллюстрирующие способы (310), (350) и (370) сегментации изображения для верификации данных в соответствии с некоторыми вариантами реализации изобретения. Более конкретно эти варианты реализации относятся к случаям, когда имеется несколько областей изображения, соответствующих извлеченным подлежащим верификации данным. Эти извлеченные данные могут использоваться совместно с одним из правил верификации. Способы (310), (350) и (370) и/или каждая из их индивидуальных функций, процедур, подпрограмм или операций могут быть выполнены с помощью одного или более устройств обработки компьютерной системы (например, с помощью вычислительного устройства (100) на Фиг. 1), в котором реализован этот способ. В некоторых вариантах реализации способы (310), (350) и (370) могут выполняться в одном потоке обработки. При альтернативном подходе способы (310), (350) и (370) могут выполняться с помощью двух или более потоков обработки, причем каждый поток выполняет одну или несколько отдельных функций, процедур, подпрограмм или операций способа. В иллюстративном примере потоки обработки реализации способов (310), (350) и (370) могут быть синхронизированы (например, с использованием семафоров, критических секций и/или других механизмов синхронизации потоков). При альтернативном подходе процессы обработки, реализующие способы (310), (350) и (370), могут выполняться асинхронно по отношению друг к другу.

[0057] В блоке (312) устройство обработки может определить на изображении область изображения, соответствующую подлежащим верификации данным. Например, область изображения может быть выявлена так, как описано выше в связи с блоком (230) на Фиг. 2. В одном примере, показанном на Фиг. 5, устройство обработки обнаруживает ошибку, связанную с данными, извлеченными из области изображения (510) (например, символ «:», который не может быть распознан устройством обработки или который не может быть распознан с пороговой степенью уверенности). Затем устройство обработки изображения определяет область (510) как соответствующую подлежащим верификации данным.

[0058] В блоке (314) устройство обработки может определить информацию о положении, относящуюся к области изображения. Информация о положении может быть определена с использованием метода OCR и/или любого другого способа обработки изображения или сочетания способов. Информация о положении может содержать любую подходящую информацию, которая может использоваться для определения местоположения области изображения. Например, информация о положении содержит информацию, относящуюся к границам области изображения, определенную с использованием методики OCR, метода о