Способ компенсации движения в цифровых динамических стереовидеоизображениях

Способ компенсации движения в цифровых динамических стереовидеоизображениях

Иллюстрации

Показать все

Реферат

Техническое решение относится к области цифрового телевидения, в частности, к способам компенсации движения в цифровых динамических стереовидеоизображениях и может быть применено в цифровых телевизионных системах широкого вещания, использующих стереовидеокодеки и работающих в режиме реального времени.

Известен аналогичный способ компенсации движения в цифровых динамических стереовидеоизображениях на основе расширения стандарта MPEG-4 стерео и многоракурсного кодирования с применением базового профиля, описанный в статье Vetro, A.; Wiegand, Т.; Sullivan G.J. «Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard», TR 2011-022 January 2011, http://www.merl.com, а также в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения» Москва: Техносфера, 2005. - 368 с. и состоящий в следующем: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индекы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, перед проведением поиска макроблочных прогнозов осуществляют сначала подгонку макроблоков ссылочных кадров с применением интерполяции значений сигналов неподвижных пикселов этих кадров по значениям сигналов их подвижных пикселов, а затем экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом для проведения подгонки используют признаки движения всех макроблоков и маски движения граничных макроблоков ссылочных кадров, а размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений. Недостатком данного аналога является низкое среднее значение пропускной кадровой способности при обработке стереовидеопотока в режиме реального времени, обусловленное применением поискового алгоритма компенсации движения для прогнозируемых кадров стереовидеопотока.

В качестве прототипа выбран способ компенсации движения в цифровых динамических стереовидеоизображениях на основе расширения стандарта MPEG-4 стерео и многоракурсного кодирования с применением базового профиля, описанный в статье Vetro, A.; Wiegand, T.; Sullivan G.J. «Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard», TR2011-022 January 2011, http://www.merl.com, а также в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения» Москва: Техносфера, 2005. - 368 с. и состоящий в следующем: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индекы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, перед проведением поиска макроблочных прогнозов осуществляют сначала подгонку макроблоков ссылочных кадров с применением интерполяции значений сигналов неподвижных пикселов этих кадров по значениям сигналов их подвижных пикселов, а затем экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом для проведения подгонки используют признаки движения всех макроблоков и маски движения граничных макроблоков ссылочных кадров, а размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений. Недостатком прототипа является низкое среднее значение пропускной кадровой способности при обработке кадрового стереовидеопотока в режиме реального времени, обусловленное применением поискового алгоритма компенсации движения для прогнозируемых кадров стереовидеопотока.

Задачей технического решения является существенное увеличение средних значений пропускных кадровых способностей стереовидеокодеков при обработке кадровых стереовидеопотоков в режиме реального времени, и при незначительном снижении средних значений объемов кода и качества декодируемых изображений.

Поставленная задача решается благодаря тому, что в способе компенсации движения в цифровых динамических видеоизображениях, содержащем следующую последовательность действий: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индексы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, а перед проведением поиска макроблочных прогнозов осуществляют экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений; предусмотрены следующие отличия: в процессе проведения видеокодеком компенсации движения в стереопарах видеопотока, используют сочетание поискового алгоритма компенсации движения кадровых фрагментов с получением плоскостных кадровых проекций динамически отслеживаемой и периодически приближенно геометрически реконструируемой реальной запечатленной пространственной поверхности, а также с аппроксимацией движения кадровых фрагментальных проекций приближенными физическими законами движения реальных запечатленных подвижных объектов, соответствующих данным проекциям, для этого, перед эксплуатацией видеокодека, проверяют наличие таймера в составе кодера, причем, в случае его изначального отсутствия, в состав кодера дополнительно вводят таймер, в процессе обработки кадрового стереопотока, сразу после получения каждой очередной стереопары, кодером опрашивают таймер, после чего, по данным опроса таймера, за стереопарой закрепляют отметку реального времени, при этом единицы измерения времени задают предварительно, а после получения временной отметки текущей стереопары ее значение сравнивают со значением временной отметки предыдущей стереопары, причем в случае равенства, по результатам сравнения значений этих временных отметок к значению временной отметки текущей стереопары, добавляют коррекционное значение временных отметок стереопар, величину которого устанавливают предварительно положительным числом, меньшим или равным выбранной единице измерения времени, в процессе обработки стереопотока для каждой опорной стереопары кодером осуществляют прогноз компенсации движения по тем же правилам и с использованием тех же параметров, что и при обработке прогнозируемой стереопары, но данные результата этого прогноза не используют для кодирования и передачи декодеру, кроме данных результата прогноза правого кадра, для внутренних и граничных макроблоков левого кадра каждой стереопары в процессе компенсации движения кодером дополнительно ищут параллельные векторы смещения, при этом в качестве параллельного ссылочного кадра, выбирают параллельный правый кадр видеопоследовательности, а алгоритм поиска лучших смещений задают аналогичным алгоритму поиска векторов параллельных макроблочных прогнозов правого кадр, в добавок к левому и правому кадровым потокам стереопары дополнительно вводят искуственный центральный кадровый поток, каждый кадр искуственного центрального потока логически разбивают на фрагменты, количество и взаимное расположение которых соответствует количеству и взаимному расположению макроблоков соответствующего левого кадра, за фрагментами центрального кадра закрепляют те же характеристики, что и за макроблоками левого кадра, далее в плоскостях кадровых изображений для всех кадровых потоков, включая искусственный центральный, перезадают три плоскостные прямоугольные декартовы системы координат, начала которых для всех потоков, включая центральный, задают центрами соответствующих им кадровых прямоугольников, оси абсцисс направляют вправо, оси ординат вверх, а в качестве единиц измерения по осям принимают пикселы, далее в дополнение к плоскостным системам координат вводят три пространственные прямоугольные декартовы системы координат, начала которых для левого и правого потоков совмещают с центральными точками прямоуголиников рабочих поверхностей соответствующих датчиков стереопары, а начало координат искуственного центрального кадрового потока задают серединой отрезка, соединяющего начала левой и правой пространственной систем координат, оси абсцисс направляют вправо, оси ординат вверх, оси аппликат направляют в сторону съемочной сцены, а в качестве единиц измерения по осям принимают метры, сразу после введения пространственных систем координат для всех фрагментов произвольно задают координаты положения их пространственных копий в центральной пространственной системе координат, затем для всех фрагментов и макроблоков перезадают координаты их положения в соответствующих плоскостных системах координат, причем плоскостные координаты каждого фрагмента и каждого макроблока задают координатами одной из его точек, а координатные точки фрагментов и макроблоков назначают таким образом, чтобы при перемещении любых двух фрагментов или макроблоков до совмещения их координатных точек наблюдалось бы полное совпадение положений остальных соответствующих точек фрагментов или макроблоков, в процессе обработки стереопотока матрицы сигналов фрагментов центрального кадра, признаки движения фрагментов, а также маски движения граничных фрагментов перезагружают соответствующими данными левого кадра сразу после их получения, для каждого кадра центрального видеопотока проводят последовательную компенсацию движения, аналогичную последовательной компенсации движения прогнозируемых кадров левого потока, при этом в качестве последовательного ссылочного прогнозового кадра используют предыдущий кадр центрального потока, каждый текущий кадр искуственного центрального потока, сразу после его фрагментации, дополнительно логически разбивают на системные блоки, при этом за каждым системным блоком закрепляют признак обработки системного блока с двумя возможными состояниями, соответствующими отсутствию обработки и наличию обработки, а форму и размер системных блоков выбирают такими, чтобы внутри системного блока содержалось целое число фрагментов и чтобы внутри системного блока имелись, как минимум, три фрагмента вместе с их ближайшими предыдущими соседями по координатным осям, далее внутри каждого системного блока выбирают по три расчетных фрагмента с условием наличия в текущем системном блоке ближайших предыдущих соседей выбранных расчетных фрагментов по координатным осям, затем за каждым фрагментом центрального кадра, а также за каждым макроблоком каждого кадра стереопары закрепляют признак аппроксимации движения с четырьмя возможными состояниями, соответствующими отсутствию аппроксимации движения, наличию системной аппроксимации движения, наличию индивидуальной аппроксимации движения и наличию поисковой аппроксимации движения, для всех стереопар видеопотока перед применением в кодере алгоритма поиска целочисленных векторов смещений макроблоков к лучшим прогнозам, но после экстраполяции ссылочных кадров проводят реконструкцию текущей запечатленной пространственной поверхности на основе динамического перерасчета пространственных координат копий фрагментов изображения, а затем, начиная с третьей и для всех последующих стереопар компенсацию движения в стереопарах с применением анализа движения фрагментов в плоскости кадрового изображения центрального потока с последующим проецированием изображений фрагментов на кадры стереопар посредством учета текущих рассчитанных пространственных координат копий фрагментов, при проведении приближенной геометрической реконструкции текущей запечатленной пространственной поверхности проводят сначала пространственную системную, а затем пространственную индивидуальную аппроксимацию движения копий фрагментов в центральной пространственной системе координат, причем непосредственно перед проведением пространственных аппроксимаций движения признаки обработки всех системных блоков сбрасывают в состояние отсутствия обработки, признаки аппроксимации движения всех фрагментов сбрасывают в состояние отсутствия аппроксимации движения, текущим скоростям движения пространственных копий внешних фрагментов присваивают нулевые значения, а текущие координаты пространственных копий внешних фрагментов загружают предыдущими значениями, при проведении пространственной системной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала выявляют системные блоки, не содержащие внешних фрагментов, после чего признаки обработки данных системных блоков устанавливают в состояние наличия обработки и, далее, для копий вложенных фрагментов каждого такого системного блока по каждой из трех пространственных координатных осей проводят аппроксимацию движения пространственных копий фрагментов, при этом для проведения пространственной системной аппроксимации движения используют уравнение пространственной системной аппроксимации движения вида

u_s - скорость пространственных копий фрагментов текущего системного блока по текущей координатной оси;

t - время;

x - абсцисса фрагментов в заданной плоскостной центральной системе координат;

y - ордината фрагментов в заданной плоскостной центральной системе координат;

a_s,1, a_s,2, a_s,3 - коэффициенты пространственной системной аппроксимации движения копий фрагментов текущего системного блока по текущей координатной оси;

в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты пространственной системной аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными рассчетными фрагментами, далее признаки аппроксимации движения вложенных фрагментов обрабатываемых системных блоков переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар для копий фрагментов с признаками системной аппроксимации движения рассчитывают текущие пространственные скорости движения копий фрагментов с применением указанного уравнения пространственной системной аппроксимации движения, а потом аппроксимационные значения текущих пространственных координат положения копий фрагментов, после чего проверяют условие незначительного изменения текущих пространственных координат копии фрагментов по сравнению с предыдущими координатами, причем математическую модель этого условия задают предварительно, в случае невыполнения данного условия текущие пространственные координаты копии фрагмента перезагружают предыдущими значениями, а признак аппроксимации движения соответствующего фрагмента сбрасывают в состояние отсутствия аппроксимации движения, при проведении пространственной индивидуальной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждой копии фрагмента с признаком индивидуальной аппроксимации движения по каждой из трех пространственных координатных осей проводят пространственную аппроксимацию движения с использованием уравнения пространственной индивидуальной аппроксимации движения вида

u_s - скорость движения пространственной копии текущего фрагмента