Способ расчета движения с коррекцией окклюзий

Способ расчета движения с коррекцией окклюзий

Иллюстрации

Показать все

Реферат

Заявляемое изобретение относится к технологиям обработки видео- последовательностей. Более конкретно, заявляемое изобретение относится к способам расчета движения на основе оптического потока, сегментации движения, выявления и исправления окклюзии.

Термин «окклюзия» применяется в ситуации, когда один объект загораживает другой объект. В случаях окклюзии становится затруднительно отличить один объект от другого. Оптический поток представляет собой видимое движение яркостных образов в сцене изображения. Алгоритмы, которые обычно используются для вычисления оптического потока для последовательности изображений, являются полезными для применения в различных приложениях, включая преобразование 2D видео в 3D. Робастные вариационные подходы показали наиболее точные результаты при решении проблемы оптического потока. Алгоритмы расчета движения оптического потока страдают, главным образом, от трех основных проблем: нетекстурированные области, окклюзии и мелкие объекты.

Из уровня техники известны и другие подходы к решению проблемы окклюзии, в частности, в работе Werlberger, Pock, Bischof, "Motion Estimation with Non-Local Total Variation Regularization" [1] предложена унифицированная вариационная схема для решения данной проблемы. Этот способ основан на нелокальной полной регуляризации, которая позволила встроить процесс низкоуровневой сегментации в вариационную модель. Вопреки наиболее распространенным подходам, которые исходят из концепции постоянства линеаризованной яркости (часто называемого уравнением оптического потока), в данной работе предлагается использовать разложение в ряд Тэйлора второго порядка элемента данных, что позволяет использовать более сложные элементы данных, такие как нормализованная взаимная корреляция.

В работе A.Chambolle, Т.Pock A first-order primal-dual algorithm for convex problems with applications to imaging [2] предложен прямо двойственный алгоритм первого порядка для метода выпуклой оптимизации с приложениями по расчету движения оптического потока. Этот алгоритм сходится с показателем 0(1/N) для прямо двойственной задачи разрыва. Этот показатель сходимости является оптимальным для проблем выпуклой оптимизации с известной схемой. Предложенный алгоритм может быть изменен для получения показателя конвергенции 0(1/N²) для проблем, у которых наблюдается некоторая регулярность в первичной или в двойственной цели, и является линейно сходящимся (0(1/e^N) для проблем сглаживания. Прямо двойственный алгоритм может быть достаточно просто адаптирован к расчету движения оптического потока, он прост в применении и может быть эффективно ускорен на оборудовании с параллельным выполнением инструкций, в частности, на графических процессорах (GPUs).

Самыми распространенными в настоящее время регуляризаторами расчета оптического потока являются изотропные и/или анизотропные операторы на основе вариационного сглаживания. Однако у этих способов есть главный недостаток. Когда во входных изображениях присутствует окклюзия, эти способы не могут правильно выполнять расчет потока для закрытой области, и поток в таких закрытых областях представляется избыточно сглаженным или демонстрирующим беспорядочные перемещения. Чтобы решить эту проблему, некоторые исследователи предлагают параметрическую модель или сегментацию движения для разделения области оптического потока на несколько индивидуально гладких частей. К сожалению, из-за изначально присущих параметрической модели ограничений, эти подходы не могут обеспечить правильной обработки нежесткой сцены, где у объектов может наблюдаться иррегулярная деформация.

Американский патент US 7522749 [3] описывает технику расчета оптического потока между изображениями конкретной сцены с сегментацией изображений. Это предусматривает, в первую очередь, определение начальной сегментации изображений и расчет начального оптического потока для каждого сегмента каждого изображения и его соседнего изображения или изображений. Уточненный расчет оптического потока выполняют для каждого сегмента каждого изображения из исходной сегментации данного изображения и исходного оптического потока сегментов данного изображения. Затем сегментацию каждого изображения уточняют на основе последнего из предыдущих расчетов оптического потока для каждого сегмента этого изображения. Этот процесс может продолжиться в повторяющемся режиме дальнейшего уточнения расчетов оптического потока для изображений, используя их соответствующие последние расчеты оптического потока, до тех пор, пока заданное число итераций не будет выполнено.

Американский патент US 7043058 [4] утверждает, что видимые артефакты в изображениях, созданные путем обработки изображения на основе векторных карт движения, могут быть минимизированы путем применения одного или нескольких способов коррекции векторной карты. Вообще, набор векторов движения изменяется путем выбора одной или более частей изображения. Векторы, соответствующие одной или более отобранных частей, модифицируются. Различные операции по обработке изображения, такие как интерполяция с компенсированным движением, могут быть выполнены с использованием измененного набора векторов движения.

Американская патентная заявка US 20060228002 [5] описывает способ расчета оптического потока между изображениями сцены и сегментацией изображений. Этот способ предусматривает, в первую очередь, расчет исходной сегментации изображений, и расчет исходного оптического потока для каждого сегмента каждого изображения и его соседнего изображения или изображений. Уточненный расчет оптического потока вычисляется для каждого сегмента каждого изображения из исходной сегментации данного изображения и исходного оптического потока сегментов данного изображения. Затем сегментация каждого изображения уточняется на основе последнего из предыдущих расчетов оптического потока для каждого сегмента этого изображения. Этот процесс может продолжаться в режиме итераций путем дальнейшего уточнения расчетов оптического потока для изображений на основе соответствующих последних расчетов сегментации с последующим уточненным расчетом сегментации каждого изображения, используя их соответствующие последние расчеты оптического потока до тех пор, пока заданное число повторений не будет выполнено.

Американская патентная заявка US 20100124361 [6] описывает способ и систему для определения области оптического потока между парой изображений. Каждая пара изображений разбивается на пирамиды изображений путем использования «фактора неоктавной пирамиды». Пару разбитых таким образом изображений преобразуют в масштабе первой пирамиды в представления второй производной, исходя из предположения, что градиент яркости пикселей в паре разбитых изображений является константой. Осуществляют расчет дискретных производных представлений вторых производных изображения. Процедуру расчета оптического потока применяют к дискретным производным для получения области необработанного оптического потока. Область необработанного оптического потока масштабируется «фактором неоктавной пирамиды». Вышеназванные шаги повторяются в отношении пары изображений при другом масштабе пирамиды до тех пор, пока все масштабы пирамиды не будут охвачены для получения области окончательного оптического потока, причем расчеты пространственно-временного градиента деформируются предыдущим расчетом необработанного оптического потока.

Американский патент US 7142600 [7] описывает способ, при котором объект в видеопоследовательности отслеживается масками объекта, сгенерированными для кадров, принадлежащих данной последовательности. Большие различия между текущим кадром и следующим кадром свидетельствуют о наличии подозрительных областей, которые могут быть затенены в следующем кадре. Векторы движения в объекте сгруппированы, используя алгоритм K-средних. Векторы движения средней точки кластера сравниваются со средним вектором движения каждой подозрительной области. Когда различия движения являются маленькими, подозрительную область считают частью объекта и удаляют от маски объекта как окклюзию. Большие различия между предшествующим кадром и текущим кадром означают наличие подозрительных недавно обнаруженных областей. Средний вектор движения каждой подозрительной области сравнивается с векторами движения средней точки кластера. Если различия движения являются маленькими, эта подозрительная область добавляется к маске объекта в качестве дисокклюзии.

Большинство современных способов расчета движения основано на предположении постоянства яркости, то есть подразумевается, что интенсивность движущегося пикселя изображения не может существенно изменяться от кадра к кадру. И, несмотря на то, что в реальных видео это ограничение иногда нарушается, современные алгоритмы оптимизации позволяют находить глобальный оптимум, который учитывает некоторые небольшие отклонения от предположения о локальном постоянстве яркости. Методы, которые основаны на ограничении по постоянству яркости, называются методами оптического потока. Типичными областями применения методов оптического потока за последние 10 лет являлись: отслеживание объектов, системы видеонаблюдения и видеостабилизация. Появление более производительных вычислительных мощностей и повышение эффективности алгоритмов оптических потока сделали их перспективными для применения в анализе и обработке более сложных видеопоследовательностей, таких как кинофильмы. Однако у методов оптического потока имеются проблемы, которые ограничивают их применение в решении практических задач, а именно:

• окклюзии;

• избыточное сглаживание;

• неопределенность в нетекстурированных областях (проблема апертуры);

• временная (темпоральная) несогласованность.

Наиболее близкими к заявляемому изобретению признаками обладает решение, представленное в американском патенте US7760911 [8], который описывает способ расчета оптического потока путем применения цветовой сегментации и адаптивной билатеральной фильтрации для регуляризации области потока, обеспечивая более точный расчет области потока. Главный недостаток известных способов сегментации движения заключается в том, что они порождают такие проблемы, как дыры и зазоры, появляющиеся в движущихся объектах, а также ошибки в классификации из-за окклюзии.

Задача, на решение которой направлено заявляемое изобретение, состоит в разработке более эффективного, чем в прототипе, подхода к получению высококачественной карты расчета движения яркостных образов в сцене изображения с четкими границами движения и коррекцией окклюзии. Заявляемое изобретение включает в себя три технических решения, связанных единым изобретательским замыслом.

Технический результат достигается, в первую очередь, за счет разработки улучшенного способа расчета движения с коррекцией окклюзии, основанного на трех входящих кадрах, при этом заявляемый способ предусматривает выполнение следующих операций:

- выполняют начальный расчет четырех векторных полей движения с помощью алгоритма вариационного оптического потока;

- осуществляют детекцию окклюзии и вычисляют карту окклюзии для прямого и обратного движения;

- проводят кластеризацию движения на основе объединенной аффинной модели прямого и обратного движения при использовании вычисленных карт окклюзии и данных о текущем кадре;

- выполняют ретуширование движения в областях окклюзии.

В заявленном изобретении упор сделан на то, чтобы получать высококачественную карту расчета движения с четкими границами движения и коррекцией окклюзии. Основная идея изобретения состоит в том, чтобы составить исходные векторные поля движения «вперед» и «назад», проанализировать эти поля и выполнить сегментацию движения путем использования аффинной модели движения. Полученные кластеры сохраняют хорошие края (границы) движения из векторных полей движения как вперед, так и назад. И, наконец, эти кластеры, наряду с рассчитанным аффинным движением, используются для заполнения окклюзии приемлемым видом движения.

Согласно заявленному изобретению рассчитывают векторное поле прямого движения от предыдущего к текущему кадру, векторное поле обратного движения от текущего кадра к предыдущему кадру, векторное поле прямого движения от текущего кадра к следующему кадру и векторное поле обратного движения от следующего кадра к текущему кадру.

Согласно заявленному изобретению начальный расчет векторных полей движения выполняют с помощью оптимизации по методу чередующихся направлений, при котором энергетические функции определяются как:

E(x, u(x)),w(x)= ∑_x∈Ω ^Lλ·^LE_D(x, u(x))·w(x)+c_λ·^CE_D(x, u(x))+E_S,

L E D = | L I 2 ( x + u ( x ) ) − L I 1 ( x ) + γ ⋅ w ( x ) | 1 ;

C E D = | C I 2 ( x + u ( x ) ) − C I 1 ( x ) | 1

E S = | Δ u ( x ) | 1 + | Δ w ( x ) | 1 = | ( u ( x ) − u ( x + ( 1,0 ) ) ) 2 + ( u ( x ) − u ( x + ( 1,0 ) ) ) 2 | 1 + | ( w ( x ) − w ( x + ( 1,0 ) ) ) 2 + ( w ( x ) − w ( x + ( 1,0 ) ) ) 2 | 1

где Ω - область изображения, Е - минимизируемая энергия, u(x)=(u₁(x), u₂(x)) - поле движения, w(x) - поле, связанное с изменением освещенности, ^Lλ и ^Cλ - параметры, регулирующие значимость пиксела данных для яркостного и цветового каналов соответственно, и γ - параметр, управляяющий регуляризацией изменения освещенности. E_s -энергия гладкости, которая возрастает при локальном изменении u и w, ^LI₁, ^LI₂ - это компоненты яркости текущего и последующего кадров соответственно, ^CI₁, ^CI₂ - цветовые компоненты текущего и последующего кадров соответственно.

Согласно заявленному изобретению начальный расчет векторных полей движения осуществляют с применением архитектуры «от грубого к точному» с параметром λ регуляризации гладкости, который зависит от уровня номер n и определяется следующим образом:

λ(n)=λ_coarsest, n>n_ramp

λ ( n ) = λ c o a r s e s t − ( λ c o a r s e s t − λ f i n e s t ) ⋅ ( n r a m p − n ) n r a m p , n≤n_ramp

где n - уровень пирамиды (нулевое значение n означает самый точный уровень и, следовательно, самую высокую разрешающую способность), λ - параметр регуляризации как функция от n, n_ramp яляется начальной точкой линейной пилообразной функции. Параметры λ_coarsest и λ_finest определяют начальное и конечное значение λ.

Согласно заявленному изобретению для повышения вычислительной эффективности начального расчета векторных полей движения осуществляют расчет нелокальных весов соседних пикселей в соответствии со следующим уравнением:

s ( I 1 ,     x ,     d x ) = e − k S ⋅ | d x | ⋅ e | − 2 ⋅ I 1 ( x ) − I 1 ( x + d x ) − I 1 ( x + 2 ⋅ d x ) | 4 ⋅ k C 2 ;

где s (I₁(x), x, dx) - ненормализованные нелокальные веса, k_c - параметр, который управляет характером нелокальных весов, I₁(x) - изображение текущего кадра, x - вектор координат текущего пикселя изображения, x+dx - определяет координаты пикселя из локального окружения.

Согласно заявленному изобретению детекцию окклюзии осуществляют путем вычисления обратного билинейного преобразования, основанного на субпиксельном поле движения изображения из следующего кадра в текущий кадр.

Согласно заявленному изобретению детекцию окклюзии выполняют на основе проверки прямого и обратного движения согласно следующему неравенству:

| u 23 ( x ) − u 32 ( x + u 23 ( x ) ) < δ     ( 6 ) |

где u₂₃ - движение из текущего кадра в последующий кадр, u₃₂ - обратное движение, и δ - порог для детекции окклюзии.

Согласно заявленному изобретению кластеризация движения позволяет распознавать области изображения, которые движутся совместно.

Согласно заявленному изобретению кластеризация движения позволяет формировать карту сегментации для текущего кадра и рассчитанные аффинные модели для каждых сегментов с использованием вычисленных карт окклюзии, данных текущего кадра, прямого и обратного движения.

Согласно заявленному изобретению ретуширование окклюзии используют для получения карт конечного движения с исправленными окклюзиями.

Согласно заявленному изобретению пересегментация движения основана на расчете аффинных моделей.

Согласно заявленному изобретению сегментацию движения выполняют посредством анализа как окклюзии, так и прямого и обратного движения.

Согласно заявленному изобретению рассчитанные модели движения для сегментов используются для ретуширования загороженных областей правильным движением.

Кроме того, в настоящем изобретении предлагается способ кластеризации двунаправленного движения, включающий в себя следующие стадии:

обнаружение подмножества пикселей, подходящих заданной аффинной модели, при помощи модифицированного стабильного метода оценки параметров модели на основе случайных выборок (метода RANSAC см. http://www.ai.sri.com/pubs/files/836.pdf) [9] с использованием векторных полей прямого движения, векторных полей обратного движения, карты окклюзии прямого движения и карты окклюзии обратного движения;

ретуширование кластера.

Согласно заявленному изобретению с помощью упомянутого адаптивного способа RANSAC оценивают несовпадение модели движения в соответствии со следующим уравнением:

J ( θ 23 , θ 21 ) = ∑ x ∈ Ω e − | u 23 ( x ) − M ( θ 23 , x ) | 2 + | u 21 ( x ) − M ( θ 21 , x ) | 2 2 ⋅ k 2 ,

где Ω - область изображения, u₂₃(x) и u₂₁(x) - векторные поля движения, М(θ, x) - движение, предсказанное моделью с параметрами 9 в точке x изображения, и k - параметр, который взвешивает дисперсию несовпадения, J - функция оценки.

Согласно заявленному изобретению упомянутое ретуширование кластера включает в себя:

выбор векторов движения, не принадлежащих какому-либо кластеру;

назначение номера кластера согласно следующему уравнению:

W x , y ( k ) = ∑ i , j ∈ Ω { e − | I 1 ( x , y ) − I 1 ( i , j ) | 2 2 ⋅ σ 2 ;   C ( i , j ) = k 0 ;   C ( i , j ) ≠ k

C(x,y)=argmax(W_x,y(k);

где Ω - область локального окружения; I₁(x,y) - пиксель текущего изображения с координатами x, y; C(x,y) - индекс кластера пикселя с координатами x, y; W_x,y(k) - вес кластера k для пикселя с координатами x, y; σ - параметр, управляющий значимостью цветового подобия текущего и соседнего пикселей.

Кроме того, в настоящей заявке предложен способ ретуширования окклюзии, основанный на прямом движении, обратном движении, карте окклюзии, карте кластеров и моделях движения, включающий в себя:

выбор загороженных и кластеризованных пикселей,

вычисление движения упомянутых выбранных пикселей с применением модели рассчитанного движения, соответствующей распределению каждого пикселя по кластерам,

билинейную фильтрацию движения на основе использования данных об интенсивностях пикселей текущего кадра.

Заявляемое изобретение отличается от традиционного способа расчета движения и коррекции окклюзии следующими основными признаками:

- изобретение обеспечивает преобразование двумерного видео в трехмерное (2D в 3D);

- применена пересегментация движения, основанная на расчете аффинных моделей вместо сегментации, основанной на интенсивности;

- сегментация движения выполняется путем анализа прямого и обратного движения и окклюзии;

- изобретение использует рассчитанные модели сегментов движения для ретуширования закрытых областей правильным движением;

- изобретение использует особую технику взвешивания локального окружения пикселя изображения для снижения вычислительной сложности.

Для лучшего понимания настоящего изобретения далее приводится подробное описание со ссылкой на чертежи.

Фиг.1 описывает основные шаги для расчета движения и исправления окклюзии.

Фиг.2 описывает поток информации согласно изобретению. Фиг.3 Демонстрирует схему расчета пирамиды оптического потока.

Фиг.4 иллюстрирует связь незаполненных участков (дыр) движения с окклюзиями.

Фиг.5 описывает шаги заявляемого алгоритма (избыточной) кластеризации движения.

Фиг.6 описывает основные шаги ретуширования окклюзии.

Фиг.7 объясняет подробно шаг 601, касающийся ретуширования прямого и обратного движения.

Фиг.8 - пример, поясняющий, как работает заявляемое изобретение.

Заявляемое изобретение может быть представлено последовательностью шагов, необходимых для формирования карты движения с исправленными окклюзиями. На Фиг.1 представлена блок-схема функционирования способа согласно заявляемому изобретению. Фиг.2 демонстрирует поток данных, соответствующий алгоритму по Фиг.1. Начальный этап способа состоит в выполнении расчета движения с помощью вариационного алгоритма оптического потока (101, 204, 205), который использует три кадра, а именно, текущий кадр 202, предыдущий кадр 201 и следующий кадр 203 для расчета четырех векторных полей движения: прямого движения («вперед») от предыдущего к текущему кадру 206, обратного движения («назад») от текущего кадра к предыдущему кадру 207, прямого движения от текущего кадра к следующему кадру 208 и обратного движения от следующего кадра к текущему кадру 209.

На следующем шаге 102 алгоритм детекции окклюзии 210, 211 формирует карты 213 окклюзии для прямого движения и карты 212 для обратного движения. Используя вычисленные карты окклюзии, данные о текущем кадре, о прямом и обратном движении, выполняется кластеризация 103, 214 на основе объединенной аффинной модели движения «вперед-назад». Результатом этих шагов являются карта сегментации для текущего кадра 216 и расчитанные аффинные модели для каждого из сегментов 217. Число сегментов определяется автоматически и имеет тенденцию к формированию пересегментированной карты движения.

Заключительным шагом алгоритма является ретуширование в областях окклюзии 104, 217. На этом шаге принимается решение относительно того, какое движение должно быть присвоено областям, определенным как окклюзии. Результатом этих операций являются две области движения: движение 219 от текущего кадра к следующему и движение 218 от текущего кадра к предыдущему кадру.

Далее приводится более детальное описание каждого шага, представленного на Фиг.1.

Расчет оптического потока. Вариационный подход используется для начального двухкадрового оптического потока. Этот подход оптимизирует функционал, который взвешивает ошибку значений спроецированного пикселя изображения и гладкость полученной области движения. Задача вариационной минимизации имеет вид (1) и решается на нескольких дискретных сетках согласно пирамидальной схеме, приведенной на Фиг.3. Выражение E_D ограничивает ошибку соответствия данных изображения из изображения I₁ 301 в изображение I₂ 302. Выражение E_S ограничивает ошибку негладкости решения.

Результаты, а также стабильность решения (1) в высшей степени зависят от выбора функции ошибки и ее параметров. Заявляемый вариант реализации изобретения предусматривает оптимизацию двух различных вариационных формулировок оптического потока, которые описаны ниже. Схема пирамиды на входе имеет изображения 201 и 202. Блок 203 выполняет цветовое преобразование в цветовое пространство Y'CbCr. Цветовое пространство Y'CbCr отделяет канал яркости от каналов цветности и делает каналы более статистически независимыми. Преобразование Y'CbCr описано в ITU R Recommendation ВТ 601 [10] и широко используется в сжатии видеосигналов (например, MPEG).

E = ∫ Ω λ ⋅ E D ( x ,   I 1 ( x ) ,   I 2 ( x ) ,   u ( x ) ) + E S ( x , u ( x ) ) ⋅ d x ,     ( 1 )

где Ω - область изображения, x=(x₁, x₂) - координаты, I₁(x) и I₂(x) - изображения, и (x)=(u₁(x), u₂(x)) - рассчитанное поле векторов движения, и λ - параметр регуляризации, который управляет компромиссом между гладкостью и (x) и условием постоянства яркости.

Структура пирамиды, которая создается на шаге 304, является обычным подходом компьютерного зрения к решению проблемы различного масштабирования элементов в изображениях. В описанном варианте реализации сформированы пирамиды 305 и 306. Пирамидой для одного входящего изображения является набор изображений с уменьшающейся разрешающей способностью. Решающими параметрами при создании пирамиды являются разрешающая способность самого высокого уровня, межуровневый коэффициент уменьшения разрешения, число уровней и способ изменения размеров вместе с параметрами сглаживания или устранения контурных неровностей. Центральным блоком при расчете оптического потока является блок 308, который представляет собой итеративный алгоритм для решения задачи оптического потока, сформулированной в общем виде в (1) на единственном уровне разрешающей способности. На шаге 309 найденное поле движения преобразуется в более высокое разрешение, а найденные векторы умножаются на межуровневый коэффициент изменения разрешения. Способ билинеарного изменения размеров используется для того, чтобы изменить размер кадра между уровнями, поскольку он имеет сглаживающие свойства. После решения этой задачи получают поле 310 векторов движения оптического потока с самым высоким уровнем. Чтобы получить более высокое качество поля движения на верхнем уровне, параметр регуляризации λ изменяется между уровнями пирамиды. На более грубых уровнях предпочтение отдается выявлению очевидного движения на входящих изображениях, несмотря на более зашумленные векторы движения. С другой стороны, применение способа расчета движения требует наличия областей гладкого движения для успешного преобразования 2D в 3D. Следовательно, векторы движения должны быть сглажены на более высоких уровнях с изменением параметра λ как функции уровня пирамиды. Изменение параметра λ должно быть постепенным, чтобы не создавать слишком больших нестабильностей в численном решении уравнения (1). Приемлемая форма λ(n) представлена как (2), и приемлемые результаты получаются, если λ_coarsest в 2-3 раза превышает λ_finest и n_ramp определяет уровень, который составляет от 1/2 до 1/3 наибольшего разрешения.

λ(n)=λ_coarsest, n>n_ramp

λ ( n ) = λ c o a r s e s t − ( λ c o a r s e s t − λ f i n e s t ) ⋅ ( n r a m p − n ) n r a m p , n≤n_ramp

E ( x ,   u ( x ) ,   w ( x ) ) = ∑ x ∈ Ω L λ ⋅ L E D ( x ,   u ( x ) ,   w ( x ) ) + C λ ⋅ C E D ( x ,   u ( x ) ,   w ( x ) ) + E S

L E D = | L I 2 ( x + u ( x ) ) − L I 1 ( x ) + γ ⋅ w ( x ) | 1 ;

C E D = | C I 2 ( x + u ( x ) ) − C I 1 ( x ) | 1

E S = | Δ u ( x ) | 1 + | Δ w ( x ) | 1 = | ( u ( x ) − u ( x + ( 1,0 ) ) ) 2 + ( u ( x ) − u ( x + ( 1,0 ) ) ) 2 | 1 + | ( w ( x ) − w ( x + ( 1,0 ) ) ) 2 + ( w ( x ) − w ( x + ( 1,0 ) ) ) 2 | 1

E S = ∑ d ∈ Ψ s n ( I 1 ,   x ,   d x ) ⋅ | u ( x + d x ) − u ( x ) | 1 + | Δ w ( x ) | 1

s ( I 1 ,     x ,     d x ) = e − k S ⋅ | d x | ⋅ e | − 2 ⋅ I 1 ( x ) − I 1 ( x + d x ) − I 1 ( x + 2 ⋅ d x ) | 4 ⋅ k C 2

s n ( I 1 ,   x ,   x d ) = s n ( I 1 ,   x ,   x d ) Σ d x ∈ Ψ   s ( I 1 ,   x ,   x d )

s ( I 1 ,     x ,     d x ) = e − k S ⋅ | d x | ⋅ e | − 2 ⋅ I 1