Способ обработки цифровых рукописных примечаний для распознавания, привязки и переформатирования цифровых рукописных примечаний и система для его осуществления

Способ обработки цифровых рукописных примечаний для распознавания, привязки и переформатирования цифровых рукописных примечаний и система для его осуществления

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к обработке цифровых документов, в частности к способу и системе для обработки цифровых рукописных примечаний произвольного вида, выполненных в цифровом документе, с тем чтобы при модификации компоновки цифрового документа (в результате его редактирования либо отображения на других отображающих устройствах) имела место соответствующая адаптация компоновки примечания.

Предшествующий уровень техники

Снабжение рукописными примечаниями бумажных документов является привычной и необходимой операцией в самых разных сферах бизнеса и образования. Снабжение документа примечаниями представляет собой действие, состоящее в «маркировке» или размещении критических и поясняющих замечаний и ремарок на документе. Эти замечания и ремарки могут быть текстовыми, графическими либо теми и другими.

Широкую популярность среди потребителей получили вычислительные устройства на основе перьевых указателей, таких как «пен-компьютеры» (компьютеры с перьевым указателем), планшетные персональные компьютеры и персональные цифровые информационные устройства (PDA), в связи с чем весьма полезной и важной становится возможность снабжения цифровых документов примечаниями. В вычислительных устройствах, построенных на основе перьевых указателей, для ввода вместо клавиатуры используют электронный перьевой указатель (так называемое перо). Перьевые указатели используют для ввода потому, что во многих случаях вычислительные устройства слишком малы, чтобы в них можно было уместить клавиатуру. Кроме того, встречается множество ситуаций, когда перьевой указатель вместе с блокнотом более удобен пользователю, чем клавиатура. Такие вычислительные устройства на основе перьевых указателей обычно имеют специальные операционные системы, которые поддерживают распознавание рукописных символов, что позволяет пользователю взаимодействовать с устройством путем выполнения записи на экране или на планшете вместо печатания на клавиатуре.

Несмотря на доступность и полезность вычислительных устройств на основе перьевых указателей, при чтении и снабжении документов примечаниями большинство людей все еще предпочитают бумагу и ручку. Одной из главных причин этого является то, что бумага и ручка позволяют читателю с легкостью делать свои заметки и рисунки в неструктурированной или произвольной форме в соответствии с содержанием документа.

Несмотря на преимущества, которые имеют бумажные документы в плане возможностей снабжения их примечаниями, в настоящее время наблюдается тенденция, состоящая в том, что цифровые документы и примечания становятся более гибкими, чем их бумажные аналоги. Например, цифровые документы, в отличие от бумажных, легче редактировать и адаптировать для совмещения с дисплеями. Помимо этого, в то время как снабженные примечаниями бумажные документы часто оказываются в мусорной корзине, цифровые примечания могут продолжать существовать на протяжении всего времени существования цифрового документа. Кроме того, цифровые документы и примечания легче фильтровать, систематизировать и совместно использовать.

Благодаря такой гибкости цифровые документы можно использовать в самых разных сферах. Например, один цифровой документ можно считывать в нескольких различных форматах, отображать на множестве различных устройств и представлять во множестве окон различных размеров. Цифровой документ можно редактировать, объединять с другими документами и возможно даже динамически адаптировать его содержание. Таким образом, в отличие от бумажного документа, цифровой документ обычно не имеет постоянную компоновку.

Отсутствие постоянной компоновки создает серьезную техническую проблему при рассмотрении в цифровом документе цифровых рукописных примечаний произвольной формы. Например, каждый раз, когда цифровой документ адаптируют к новой компоновке, необходима также адаптация связанных с ним примечаний. Другими словами, при редактировании цифрового документа либо отображении его на различных устройствах или в окнах разных размеров компоновку цифрового документа изменяют с целью адаптации к новой ситуации. Любые «цифровые рукописные» примечания, сделанные в цифровом документе, должны быть аналогичным образом адаптированы (или «переформатированы») к новым параметрам компоновки.

Для поддержки переформатирования цифровых рукописных примечаний произвольной формы необходимо решить три проблемы: во-первых, примечания, создаваемые читателем, необходимо распознать и классифицировать в качестве примечания, относящегося к одному из нескольких типов (например, «подчеркивание», «кружок», «комментарий на полях» и т.д.); затем каждое примечание необходимо привязать к тому конкретному месту в документе, к которому данное примечание относится; наконец, если компоновка базового документа в какой-то момент в будущем изменится, то существующие в документе примечания необходимо будет правильно переформатировать, с тем чтобы они продолжали соответствовать исходной цели читателя (автора примечаний).

Исторически сложилось так, что большинство усилий исследователей и разработчиков, связанных с цифровыми рукописными текстами, сконцентрировано на распознавании рукописных символов. Однако в раскрытом здесь способе и системе цифровых рукописных примечаний распознавание рукописных символов не используется. Причина этого состоит в том, что можно выполнить переформатирование цифровых рукописных примечаний просто на основе информации о том, являются ли они рукописными или нет (что является задачей классификации высокого уровня), без необходимости конкретного знания о смысле этих примечаний (что является задачей мелкоструктурного распознавания).

В последнее время отмечается использование нескольких подходов к распознаванию рукописных форм для поддержки различных интерфейсов на основе упрощенных эскизов. В этих подходах для распознавания ряда форм или «жестов» (графических знаков, программируемых пользователем) используются эвристические способы или способы на основе обучения машин. Однако анализ возможности их использования для поддержки цифровых рукописных примечаний показал один недостаток, присущий этим подходам, который состоит в том, что в них отсутствует привязка рукописных штрихов к независимому контексту, такому как базовый документ, и, следовательно, упомянутые подходы не могут модифицировать рукописные знаки пользователя в соответствии с изменениями в указанном контексте.

Существует по меньшей мере один подход, где применяется распознавание форм для цифровых рукописных примечаний с последующим использованием результатов распознавания для адаптации рукописных примечаний произвольной формы к ограниченным изменениям параметров просмотра (например, изменение размера шрифта в документе). При этом подходе изначально предлагается простая эвристика для выполнения распознавания; однако было установлено, что этого недостаточно. Далее этот подход предполагает использование способов обучения машин для распознавания и «сверхлокальную» привязку для связывания частей рукописных штрихов с индивидуальными признаками контекста. Одна из проблем, связанных с этим подходом, состоит в том, что он не включает в себя ручную классификацию. Ручную классификацию необходимо ввести в систему с тем, чтобы предоставить пользователю возможность ручного выбора, когда автоматическая классификация, привязка или переформатирование не удалось либо не выполнимо. Также «сверхлокальная» привязка (например, когда части отдельных рукописных штрихов по отдельности привязываются к контекстным признакам документа) подходит для адаптации примечаний к тем ограниченным изменениям параметров просмотра, с которыми был связан этот подход; однако такая привязка оказывается недостаточной для поддержки ничем не ограниченного переформатирования цифровых рукописных примечаний, поскольку при преобразовании примечания необходимо учесть все рукописные штрихи, входящие в состав данного примечания, и все признаки в контексте привязки примечания.

Таким образом, имеется потребность в способе и системе для обработки документов, в которых преодолеваются вышеупомянутые проблемы и ограничения. В частности, имеется необходимость в системе и способе, которые сохраняют цель и визуальное значение цифровых рукописных примечаний при каждой модификации исходного документа.

Сущность изобретения

Раскрытое здесь изобретение включает в себя способ и систему обработки цифровых рукописных примечаний для сохранения цели и значения цифровых рукописных примечаний в исходном документе всякий раз, когда исходный документ получает новую компоновку в результате редактирования либо отображения на другом устройстве отображения или в окне другого размера. В общем случае способ и система включают в себя три широких аспекта. Во-первых, когда пользователь выполняет разметку документа, выполняется группировка цифровых рукописных штрихов для определения примечания и классификации примечания в качестве одного из нескольких «типов» примечаний. Эти «типы» примечаний включают в себя примечания типа подчеркивания, примечания типа выделения, примечания типа скобки на полях, примечания типа кружка, примечания типа сноски, и примечания типа выноски или соединителя. Во-вторых, каждое примечание должно быть привязано к окружающему его контексту в документе. Наконец, при изменении компоновки базового или исходного документа каждое примечание необходимо преобразовать для обеспечения соответствия и согласования с новой компоновкой его контекста. Этот заключительный шаг называют «переформатированием» документа и примечаний. Эти три аспекта позволяют раскрытым здесь способу и системе обработки цифровых рукописных примечаний обрабатывать цифровые рукописные примечания в цифровом документе так, чтобы примечания сохраняли связь с тем местом в документе, к которому они относятся. Это поддерживается даже в том случае, если документ редактируется, изменяются его размеры или он отображается на другом устройстве либо подвергается иной модификации.

В общем случае система цифровых рукописных примечаний включает в себя несколько компонент для обработки цифрового документа и примечаний, обеспечивающих правильное позиционирование примечаний в переформатированном цифровом документе. Система включает в себя модуль классификации, модуль привязки, модуль переформатирования и модуль очистки. Модуль классификации группирует цифровые рукописные штрихи для определения примечания, а затем классифицирует это примечание. Модуль привязки строит обобщенную двухмерную модель компоновки документа и использует способы жесткой привязки для соединения (или «привязки») примечания с той областью цифрового документа, с которой связано данное примечание. Модуль переформатирования использует классификацию и информацию о контексте привязки, связанную с каждым примечанием, для переформатирования или повторной визуализации примечания на основе изменений в цифровом документе. Модуль переформатирования обеспечивает сохранение исходной цели и значения примечания, заданных пользователем, при каждой модификации цифрового документа. Модуль очистки является необязательной компонентой, которую можно использовать для исключения исходных рукописных примечаний пользователя и повторного отображения формализованных «очищенных» версий примечаний. Модуль очистки осуществляет «стилизацию» каждого примечания путем изначального определения его классификации. Затем на основе правил очистки классификации рукописное примечание преобразуют в стилизованное примечание.

Модуль классификации инкапсулирует способ обработки, посредством которого группируют и классифицируют соседние рукописные штрихи в цифровом документе для определения цифрового рукописного примечания. Это выполняется путем выделения и анализа признаков цифровых рукописных штрихов для определения начальной группировки и классификации с последующей детализацией этой группировки и классификации на основе гипотетического контекста привязки для примечания в цифровом документе. На основе результата детализированной группировки и классификации определяют более точную оценку для контекста привязки и так далее. После ряда циклических повторений операций группировки и классификации и определения контекста привязки система получает окончательный результат группировки и классификации с соответствующим доверительным уровнем и контекстом привязки. Если способ группировки и классификации приводит к оценке с низким доверительным уровнем для классификации и/или контекста привязки для конкретного примечания (например, ниже некоторого порогового значения), то тогда определяют, что необходимо использовать ручную группировку и обращаются за консультацией к пользователю.

Группировка рукописных штрихов может быть основана на временном порядке следования штрихов, их пространственном расположении или комбинации того и другого. В способе обработки цифровых рукописных примечаний автоматически распознают по меньшей мере шесть типов или классов цифровых рукописных примечаний: примечания типа подчеркивания, примечания типа выделения, примечания типа сноски, примечания типа кружка, примечания типа скобки на полях и примечания типа выноски или соединителя. Каждый из этих классов имеет отдельные характеристики, которые определяют какой тип контекста привязки ожидается, и какого рода преобразование по переформатированию будет выполнено.

Сразу после группировки рукописных штрихов примечания, классифицирования примечания и определения вероятного контекста привязки модуль привязки осуществляет привязку примечания к намеченному контексту. Другими словами, примечание должно быть логически привязано к той области или позиции в документе, к которой оно относится, так что одна и та же область или позиция в документе может быть восстановлена даже в том случае, если компоновка, формат или содержание документа изменились. Способ привязки определяет правила привязки для каждого класса цифрового рукописного примечания, применяет эти правила привязки к каждому цифровому рукописному примечанию и создает логическую привязку для каждого примечания. Кроме того, способ привязки определяет действительность привязки на основе контекста примечания в документе и выясняет, необходимо ли взаимодействие с пользователем, на основе оценки достоверности привязки. Например, если определено, что в результате редактирования контекст отсутствует, то привязка данного примечания определяется как недействительная, и к пользователю обращаются за консультацией с тем, чтобы он определил, что делать с подвижным примечанием.

Если компоновка документа, к которому привязано примечание, затем изменяется, но привязка примечания не признана недействительной в результате такого изменения, то модуль переформатирования вновь визуализирует примечание на основе его классификации и контекста привязки. Модуль переформатирования определяет новую компоновку цифрового документа, затем преобразует и вновь визуализирует примечание для согласования с новой компоновкой без потери значения или цели примечания.

Кроме того, система цифровых рукописных примечаний включает в себя модуль обратной связи с пользователем. Модуль обратной связи с пользователем предоставляет интерфейс, посредством которого пользователь может взаимодействовать с системой для повышения точности и эффективности системы. Интерфейс обратной связи с пользователем находится на связи с модулем классификации, модулем привязки, модулем переформатирования и модулем очистки. Пользователь может также заблокировать автоматические функции системы в любой момент времени и выполнить задачу (такую, как группировка или классификация) вручную.

Перечень фигур чертежей

Настоящее изобретение может быть более детально осмыслено при обращении к последующему описанию и прилагаемым чертежам, которые иллюстрируют аспекты настоящего изобретения. Другие признаки и преимущества станут очевидными из последующего подробного описания, которое следует рассматривать вместе с сопроводительными чертежами, где на примерах иллюстрируются принципы настоящего изобретения.

Обратимся теперь к чертежам, на которых одинаковые ссылочные позиции относятся к соответствующим частям на всех чертежах:

фиг. 1 - блок-схема, иллюстрирующая среду для обработки примечания, включающую в себя раскрытые здесь систему и способ обработки цифровых рукописных примечаний;

фиг. 2А - блок-схема, иллюстрирующая подробности примерного варианта реализации системы для обработки цифровых рукописных примечаний, показанной на фиг. 1, в ходе группировки, классификации и привязки примечаний;

фиг. 2В - блок-схема, иллюстрирующая подробности примерного варианта реализации системы 100 для обработки цифровых рукописных примечаний, показанной на фиг. 1, в ходе переформатирования примечаний;

фиг. 3 - блок-схема, иллюстрирующая подробности примерного варианта реализации модуля классификации, показанного на фиг. 2А;

фиг. 4 - блок-схема, иллюстрирующая подробности примерного варианта реализации модуля привязки, показанного на фиг. 2А;

фиг. 5 - блок-схема, иллюстрирующая подробности примерного варианта реализации модуля переформатирования, показанного на фиг. 2В;

фиг. 6 - общая блок-схема последовательности операций, иллюстрирующая функционирование способа обработки цифровых рукописных примечаний в системе цифровых рукописных примечаний, показанной на фигурах 1, 2А и 2В;

фиг. 7 - подробная блок-схема последовательности операций, иллюстрирующая функционирование способа классификации для способа обработки цифровых рукописных примечаний, показанного на фиг. 6;

фиг. 8А - иллюстрация того, как пользователь выполняет примечание на цифровом документе путем создания цифровых рукописных штрихов на этом документе;

фиг. 8В - иллюстрация способа ручной группировки и классификации примечания;

фиг. 8С - иллюстрация способа переформатирования документа и примечания с использованием способа обработки цифровых рукописных примечаний;

фиг. 9 - подробная блок-схема последовательности операций, иллюстрирующая функционирование способа классификации привязки для способа обработки цифровых рукописных примечаний, показанного на фиг. 6;

фиг. 10 - подробная блок-схема последовательности операций, иллюстрирующая функционирование способа классификации переформатирования для способа обработки цифровых рукописных примечаний, показанного на фиг. 6;

фиг. 11А - иллюстрация обработки цифрового рукописного примечания типа подчеркивания;

фиг. 11В - иллюстрация обработки цифрового рукописного примечания типа выделения;

фиг. 11С - иллюстрация обработки цифрового рукописного примечания типа сноски;

фиг. 11D - иллюстрация обработки цифрового рукописного примечания типа строчного кружка;

фиг. 11Е - иллюстрация обработки цифрового рукописного примечания типа кружка для области;

фиг. 11F - иллюстрация обработки цифрового рукописного примечания типа скобки на полях;

фиг. 11G - иллюстрация обработки цифрового рукописного примечания типа соединителя;

фиг. 12 - иллюстрация панели инструментальных средств для рабочего примера реализации способа и системы для обработки цифровых рукописных примечаний;

фиг. 13 - пример подходящей вычислительной среды, в которой можно реализовать способ и систему для обработки цифровых рукописных примечаний, показанную на фиг. 1.

Подробное описание изобретения

В последующем описании изобретения сделаны ссылки на сопроводительные чертежи, составляющие его часть, причем эти чертежи приведены в качестве иллюстрации конкретного примера возможной практической реализации изобретения. Следует понимать, что могут быть использованы и другие варианты, а также произведены структурные изменения, не выходящие за рамки объема настоящего изобретения.

I. Введение

На протяжении буквально сотен лет люди пером и чернилами делают примечания на бумажных документах. Обычно примечание представляет собой пометку (текстовую, или графическую), либо символ, добавленный к документу для комментария, пояснения или исправления. Примечания являются естественными и интуитивными средствами записи соображений и впечатлений пользователя о документе. Кроме того, примечание можно использовать для указания ошибок в документе, которые необходимо исправить.

Современная технология позволяет пользователю создавать цифровые рукописные примечания на зафиксированном цифровом документе по аналогии с примечаниями, выполняемыми ручкой на бумажном документе. Например, пользователь настольного персонального компьютера может сделать цифровые рукописные примечания на изображении документа (таком как изображение документа в теговом формате файлов изображений (TIFF)) с использованием пера для записей на экране. Пользователь имеет все гибкие возможности, которые предоставляет ему бумага, однако он также испытывает и все связанные с ней ограничения. Подлинные «динамические» цифровые документы, такие как документы, полученные в результате электронной обработки текстов, или Web-страницы HTML (языка гипертекстовой разметки документов), являются гораздо более гибкими и с большими возможностями изменения, чем их бумажные (или графически отображенные) аналоги. Например, динамические цифровые документы можно легко поместить в окно или переформатировать для отображения на устройстве отображения больших или меньших размеров. В настоящее время отсутствуют способы, которые поддерживают адаптацию примечаний в этих более гибких динамических цифровых документах при изменении их компоновок.

Раскрытые здесь система и способ обработки цифровых рукописных примечаний поддерживают цифровые рукописные примечания в динамическом цифровом документе, так что примечания сохраняют связь с тем местом в документе, к которому они относятся, когда и если изменяется компоновка документа. Это остается в силе даже в том случае, если документ редактируют, изменяют в размерах, отображают на другом устройстве или модифицируют иным образом. Предположим, например, что пользователь подчеркивает однострочное предложение на Web-странице, используя планшетный персональный компьютер. Если Web-страница затем переформатируется для отображения на меньшем экране PDA, то возможно, что подчеркивание придется разбить на множество строк в документе. Этим будет обеспечено подчеркивание всех частей предложения, и исходная цель пользователя (автора примечания) будет сохранена.

II. Общие положения

Система и способ обработки цифровых рукописных примечаний представляют важный шаг в развитии традиционной парадигмы примечаний, выполняемых пером на бумаге, - переход от статических документов к динамическим документам. Имеются по меньшей мере три главных аспекта, относящихся к системе и способу обработки цифровых рукописных примечаний. Первый аспект заключается в том, что цифровые рукописные примечания распознают и классифицируют автоматически либо вручную. Второй аспект заключается в том, что затем классифицированные примечания привязывают к элементам (текст, изображения, таблицы и т.д.) в документе. Это гарантирует, что в случае модификации документа имеющиеся в нем примечания попадут в новую компоновку документа с сохранением исходной цели и значения примечания, подразумеваемых пользователем. Третьим аспектом является способ модификации рукописных штрихов, обеспечивающий правильное отображение цифровых рукописных примечаний после переформатирования документа, его модификации либо после того и другого.

На фиг. 1 представлена блок-схема, иллюстрирующая среду для выполнения примечаний, включающую в себя раскрытые здесь систему и способ обработки цифровых рукописных примечаний. В общем случае система 100 для обработки цифровых рукописных примечаний реализуется в среде 110 для выполнения примечаний таким образом, что пользователь 120 может создать цифровой документ с правильно форматированными примечаниями 130. Система 100 для обработки цифровых рукописных примечаний обычно находится в вычислительном устройстве 140. Как обсуждается ниже в разделе VII, это вычислительное устройство 140 обычно содержит процессор (не показан) для выполнения способа обработки цифровых рукописных примечаний в виде машиноисполняемых команд.

В частности, как показано на фиг. 1, пользователь 120 взаимодействует с вычислительным устройством 140 через пользовательский интерфейс 150. Пользовательский интерфейс 150 позволяет пользователю 120 просматривать цифровой документ 160 и взаимодействовать с ним. Кроме того, пользователь 120 имеет возможность вносить в цифровой документ 160 свои рукописные цифровые примечания 170 в произвольной форме, используя перо или устройство перьевого ввода. Цифровой документ 160 и связанные с ним примечания 170 пользователя передаются в систему 100 цифровых рукописных примечаний для обработки. Как подробно объяснено ниже, система 100 для обработки цифровых рукописных примечаний обрабатывает цифровой документ 160 и примечания 170 пользователя и выдает цифровой документ с примечаниями 130, отформатированными соответствующим образом. Затем цифровой документ вместе с правильно отформатированными примечаниями 130 обрабатывается, как если бы он был цифровым документом 160. Пользователь может добавлять дополнительные примечания (или иным образом взаимодействовать с документом; например, удалять или перемещать существующие примечания, редактировать содержание документа и т.д.), причем указанные команды относят к системе 100 цифровых рукописных примечаний для последующей обработки. Более того, пользователь 120 может также непосредственно взаимодействовать с системой 100 для обработки цифровых рукописных примечаний через пользовательский интерфейс 150, например, для управления параметрами и предпочтениями системы примечаний.

III. Подробности системы

Система 100 для обработки цифровых рукописных примечаний включает в себя несколько компонент. Эти компоненты позволяют системе 100 обрабатывать цифровой документ 160 и примечания 170 пользователя и обеспечивать правильное позиционирование примечаний 170 пользователя в переформатированном цифровом документе.

На фигурах 2А и 2В показаны блок-схемы, иллюстрирующие подробности примерного варианта реализации системы 100 для обработки цифровых рукописных примечаний, показанной на фиг. 1. Обычно, когда пользователь добавляет новые примечания в документ, система 100 для обработки цифровых рукописных примечаний обрабатывает цифровой документ 160 и связанные с ним примечания 170 пользователя, создавая цифровой документ с правильно отформатированными примечаниями 130. Цифровой документ с правильно отформатированными примечаниями 130 можно затем модифицировать вне сферы действия системы 100 цифровых рукописных примечаний, используя какой-нибудь способ внешней модификации (например, документ можно отредактировать либо отобразить в окне другого размера), в результате чего получается модифицированный цифровой документ 135 с примечаниями. В этом случае модифицированный цифровой документ 135 с примечаниями подается в качестве входных данных обратно в систему 100 цифровых рукописных примечаний, так что его примечания могут быть правильно переформатированы, чтобы они «не отставали» от тех мест в новой компоновке документа, к которым они относятся, и создается новый цифровой документ с правильно отформатированными примечаниями 130.

На фиг. 2А представлена блок-схема, иллюстрирующая подробности примерного варианта реализации системы 100 для обработки цифровых рукописных примечаний, показанной на фиг. 1, в ходе группировки, классификации и привязки примечания. В частности, система 100 для обработки цифровых рукописных примечаний, показанная на фиг. 2А, включает в себя модуль 200 классификации и модуль 210 привязки. В качестве входных данных модуль 200 классификации принимает цифровые рукописные штрихи, составляющие примечания 170 пользователя, вместе с цифровым документом 160 и группирует рукописные штрихи вместе для определения комбинаций 230 группировки, классификации и контекста привязки для каждого примечания.

Модуль 210 привязки использует способы жесткой привязки для соединения (или «привязки») группировок рукописных штрихов, выданных модулем 200 классификации, с соответствующим контекстом привязки (например, с областью в цифровом документе, с которой скорее всего связана данная группа). Модуль 210 привязки в качестве входных данных берет контекстные комбинации 230 группировки, классификации и привязки, выдаваемые модулем 200 классификации, и цифровой документ 160. Для каждой группировки модуль 210 привязки выделяет из цифрового документа 160 признаки привязки, описывающие контекст привязки, а затем связывает эти признаки с группировкой. После обработки всех группировок модуль 210 привязки выдает цифровой документ с правильно отформатированными примечаниями 130.

Как показано на фиг. 2В, цифровой документ 130 с правильно отформатированными примечаниями может затем быть модифицирован в результате выполнения некоторого способа 240 внешней модификации вне сферы действия системы 100 цифровых рукописных примечаний для создания модифицированного цифрового документа 135 с примечаниями. Способ 240 внешней модификации может включать в себя любые изменения, такие как редактирование содержания документа, либо отображение документа на другом устройстве или в окне другого размера, которые вызывают изменения в двумерной компоновке документа, но которые не вызывают соответствующую модификацию примечаний. В результате примечания могут появиться в неправильном виде и, следовательно, должны быть преобразованы для согласования с новой компоновкой документа с тем, чтобы сохранить их связь с теми местами, к которым они относятся.

На фиг. 2В показана блок-схема, подробно иллюстрирующая примерный вариант реализации системы 100 для обработки цифровых рукописных примечаний, показанный на фиг.1, во время переформатирования примечаний. Система 100 для обработки цифровых рукописных примечаний включает в себя модуль 250 переформатирования и модуль 260 очистки. Модуль 250 переформатирования в качестве входных данных принимает модифицированный цифровой документ 135 с примечаниями и создает в качестве выходных данных новый цифровой документ 270 с правильно отформатированными примечаниями. То есть модуль 250 переформатирования преобразует и повторно визуализирует примечания, которые присутствуют в модифицированном цифровом документе 135 с примечаниями для адаптации к новой компоновке документа. Модуль 250 выполняет это путем анализа каждого из логических признаков привязки отдельного примечания для обнаружения места перемещения контекста привязки в новой компоновке документа. Каждый отличный от другого тип или класс примечания (подчеркивание, кружок, комментарий на полях и т.д.) имеет свой собственный набор правил, задающий способ переформатирования примечания этого типа. Как только модуль 250 переформатирования определяет место перехода контекста привязки примечания, он выбирает соответствующий набор правил переформатирования, чтобы использовать их для указанного типа или классификации примечания и преобразует данное примечание. Такой способ переформатирования обеспечивает сохранение исходной цели и смысла, подразумеваемого пользователем, всякий раз, когда изменяется цифровой документ 130 с правильно отформатированными аннотациями.

Модуль 260 очистки является необязательной компонентой (показан в виде блока, ограниченного пунктирной линией), которая заменяет исходные рукописные примечания пользователя произвольной формы формализованными, «очищенными» версиями примечаний. Как поясняется ниже, некоторые примечания лучше сохранять в том виде, как их выполнил пользователь, так что они проходят через модуль 260 очистки без замены. Модуль 260 очистки стилизует каждое примечание, определяя в начале его тип или классификацию. Затем, на основе набора правил очистки для конкретного типа примечания, примечание преобразуют в стилизованную форму.

Обратимся к фигурам 2А и 2В, где система 100 для обработки цифровых рукописных примечаний также включает в себя модуль 280 обратной связи с пользователем, который предоставляет интерфейс, посредством которого пользователь может взаимодействовать с системой 100 для обработки цифровых рукописных примечаний. Обратная связь с пользователем гарантирует точность и эффективность работы системы 100. Пользовательский интерфейс 280 обратной связи может управлять аспектами модуля 200 классификации, модуля 210 привязки, модуля 250 переформатирования и модуля 260 очистки и тем самым дает возможность пользователю взаимодействовать с автоматическими функциональными возможностями этих модулей и блокировать их. Пунктирные линии, связывающие пользовательский интерфейс 280 обратной связи с указанными четырьмя модулями, показывают, что в любом случае обратная связь с пользователем является необязательной.

Модуль 200 классификации может, например, отображать через пользовательский интерфейс 280 обратной связи контекст группировки, классификации и привязки примечания. Пользователь может проверить эту информацию и выбрать ее модификацию, например, путем изменения группировки рукописных штрихов, которые составляют примечание, либо изменения классификации примечания, либо изменения области в документе, с которой связано это примечание. Пользователь может использовать пользовательский интерфейс 280 обратной связи для модификации того, каким образом модуль 210 привязки создает логические привязки для примечаний, например, путем изменения типа признаков, которые выделяются из цифрового документа 160 для описания контекстов привязки. Пользователь может использовать пользовательский интерфейс 280 обратной связи для задания вручную того, какой набор правил должен использовать модуль 250 переформатирования при переформатировании конкретного примечания, например, если стандартный набор правил переформатирования для данного типа примечания некорректен, с учетом конкретных характеристик примечания. Наконец, пользователь может использовать пользовательский интерфейс 280 обратной связи для задания вручную набора правил, который должен использовать модуль 260 очистки при отображении формализованной или «очищенной» версии примечания, например, если стандартный набор правил «очистки» для примечания данного типа некорректен, с учетом конкретных характеристик примечания. Посредством пользовательского интерфейса 280 обратной связи пользователь имеет возможность взаимодействовать с системой 100 для дальнейшего повышения ее точности, надежности и эффективности.

На фиг. 3 представлена блок-схема, иллюстрирующая подробности примерного варианта модуля 200 классификации, показанного на фиг. 2А. В общем случае модуль 200 классификации использует признаки примечаний 170 пользователя и контекстуальную информацию из цифрового документа 160 для группировки и классификации каждого примечания и для определения соответствующего контекста привязки и выдает комбинации 230 группировки, классификации и контекста привязки для каждого примечания. Модуль 200 классификации включает в себя: модуль 300 выделения признаков рукописного штриха; модуль 310 классификации и группировки, имеющий модуль 320 временного отсечения и модуль 330 пространственного отсечения; модуль 340 определения контекста привязки; и модуль 350 ручной группировки, классификации и определения привязки.

Модуль 300 выделения признаков рукописных штрихов измеряет характеристики рукописных штрихов в примечаниях 170 пользователя. Для конкретного рукописного штриха эти характеристики могут включать в себя, например: угол ориентации штриха; длину штриха; момент времени создания штриха по отношению ко всем другим рукописным штрихам; и положение штриха относительно в