Способ автоматического редактирования видеоконтента

Способ автоматического редактирования видеоконтента

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к редактированию видеоизображения.

Цифровые видеокамеры становятся все более и более распространенными среди широких масс населения. Многие мобильные устройства оборудованы видеокамерами, предлагающими пользователям возможности снимать видеофрагменты и пересылать их по беспроводным сетям.

Чтобы обеспечивать возможность пользователям производить качественные видеоизображения на их терминалах, необходимо обеспечивать возможности редактирования видеофрагментов в электронных устройствах, таких как мобильные телефоны, смартфоны, карманные коммуникационные устройства и ПЦА (персональные цифровые ассистенты), которые оборудованы видеокамерой. Редактирование видеофрагментов представляет собой процесс модифицирования имеющихся в наличии последовательностей видеоданных в новую последовательность видеоданных, включая возможность удаления некачественных или нежелательных фрагментов с сохранением остальных фрагментов. Инструментальные средства редактирования видеофрагментов дают возможность пользователям применять набор эффектов к их видеофрагментам, стремясь произвести функционально и эстетически лучшее их представление (см. RU №2370906, H04N 7/24, G11B 27/031, G06T 5/00, 2006). Чтобы применять эффекты редактирования видеофрагментов, используют серийно выпускаемую программную продукцию, которая нацелена главным образом на платформы ПК (персональных компьютеров).

Методы, используемые в такой программной продукции редактирования видеофрагментов, производят операции с последовательностями видеоданных главным образом в их необработанных форматах в пространственной области. Другими словами, сжатые видеоданные сначала декодируются, затем в пространственной области вводятся эффекты редактирования, и, наконец, видеоданные кодируются снова. Это известно как операции редактирования видеофрагментов в пространственной области.

Такая схема не может применяться на мобильных телефонах со сравнительно невысокими ресурсами в вычислительной мощности, пространстве памяти, имеющейся свободной памяти и энергии аккумуляторной батареи. Декодирование последовательности видеоданных и ее повторное кодирование представляют собой дорогостоящие операции, которые занимают много времени и потребляют много энергии аккумуляторной батареи. Кроме того, известное решение не обеспечивает возможность сокращения объема видеоматериала за счет удаления фрагментов, не удовлетворяющих пользователя.

Известен также способ автоматического редактирования видеоконтента, включающий демонстрацию пользователю его отдельных фрагментов, оценку фрагментов контента пользователем в соответствии со своими предпочтениями во время их демонстрации и управление системой монтажа, редактирующей видеоконтент с использованием настроек, созданных на основе оценок пользователя (см. US №8290334, G11B 27/034; H04N 21/4532; H04N 21/4756; H04N 21/854; H04N 7/163, 2005).

Недостаток известного способа - пользователь производит оценку только избраных кадров видеоматериалов, далее система редактирования, используемая при реализации способа, сама принимает решения, используя алгоритмы, интерполирующие оценку избранных участков видеоматериала, что придает принимаемым ею монтажным решениям вероятностный характер, не всегда достаточно адекватный. Это не позволяет обеспечить высокое качество редактирования видеоконтента. Кроме того, избранные кадры выделяются из видеоконтента по косвенным признакам: разрыв в таймкоде, разрыв в аудио, изменения содержания видео и т.п., что не дает гарантии того, что избранный кадр является характерным, т.е. в полной мере демонстрирует пользователю содержание видеоконтента в областях, прилегающих к избранному кадру, что значительно повышает вероятность ошибочной оценки пользователя и, как следствие, критического снижения качества монтажа, при котором в отредактированное видео попадают фрагменты исходного видеоконтента не соответствующие предпочтениям пользователя или, напротив, не попадают фрагменты, соответствующие предпочтениям пользователя.

Задача, на решение которой направлено заявленное решение, обеспечение высокого качества редактирования видеоконтента (полное соответствие содержания видеоматериалов предпочтениям пользователя) непосредственно на мобильных электронных устройствах.

Технический результат, получаемый при решении поставленной технической задачи, выражается в обеспечении возможности редактирования видеоматериалов непосредственно на мобильных электронных устройствах, в т.ч. непосредственно после формирования таких видеоматериалов посредством видеокамер, которыми оснащены упомянутые устройства.

Для решения поставленной задачи способ автоматического редактирования видеоконтента, включающий демонстрацию пользователю его отдельных фрагментов, оценку фрагментов контента пользователем в соответствии со своими предпочтениями во время их демонстрации и управление системой монтажа, редактирующей видеоконтент с использованием настроек, созданных на основе оценок пользователя, отличается тем, что видеоконтент делят на фрагменты, продолжительность которых на первом этапе редактирования устанавливают из выражения

F=L_min·S·(1/К)ⁱ, сек,

где F - продолжительность фрагментов контента на первом этапе редактирования, сек;

L_min - минимальная длина монтажного кадра, сек;

S - принятое число частей, на которые может быть разделен фрагмент;

К - коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования;

i - планируемое число этапов редактирования,

после чего пользователь последовательно просматривает все фрагменты, по каждому из которых принимает решение оставить или удалить весь фрагмент или его части, первоначально принятое число которых составляет от 2 до 10, затем система монтажа удаляет намеченные к удалению фрагменты и/или их части и объединяет оставленные фрагменты и части фрагментов в новый видеоконтент, после чего процедуры подготовки к просмотру и просмотра видеоконтента повторяют с повторением при необходимости процедуры оценки фрагментов видеоконтента и/или их частей и с последующим удалением фрагментов и/или их частей, отнесенных к удаляемым, до полного исчерпания таких видеофрагментов и/или их частей, кроме того, продолжительность фрагментов на каждом последующем этапе редактирования уменьшают по сравнению с продолжительностью фрагмента на предшествующем этапе, для чего коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования принимают в пределах 0,3-0,95, кроме того, если длина части фрагмента, получаемая при разбиении последнего на принятое число часте, получается менее минимальной продолжительности монтажного кадра, исходное число частей, на которые делят фрагмент, уменьшают на единицу и повторяют эту процедуру до получения величины длины части фрагмента, не меньшей минимальной длины монтажного кадра, или принятия числа частей, на которые может быть разделен фрагмент, равным 1. Кроме того, продолжительность фрагментов на первом этапе редактирования принимают в пределах 9-18 секунд. Кроме того, планируемое число этапов редактирования принимают в пределах 2-5. Кроме того, первоначально принятое число частей, на которые может быть разделен фрагмент, равно 3. Кроме того, просмотр видеоконтента осуществляют в режиме ускоренного просмотра, по меньшей мере, на первых этапах редактирования.

Сопоставительный анализ признаков заявленного решения с признаками прототипа и аналогов свидетельствует о соответствии заявленного решения критерию "новизна".

Признаки отличительной части формулы изобретения решают следующие функциональные задачи:

Признаки…" видеоконтент делят на фрагменты, продолжительность которых на первом этапе редактирования устанавливают из выражения

F=L_min·S·(1/К)ⁱ, сек,

где F - продолжительность фрагментов контента на первом этапе редактирования, сек;

L_min - минимальная длина монтажного кадра, сек;

S - принятое число частей, на которые может быть разделен фрагмент;

К - коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования;

i - планируемое число этапов редактирования»,

позволяют разбить весь видеоряд на фрагменты, продолжительность которых с одной стороны достаточна для надежной однозначной их оценки (с позиций оставлять фрагмент или удалять), а с другой позволяет при необходимости провести несколько этапов редактирования с возможностью варьирования продолжительности видеофрагментов от этапа к этапу и тем самым варьирования местоположения границ видеофрагментов на этапах редактирования. При этом возможность дробления фрагментов на отдельные части позволяет ускоренно редактировать видеоматериал, удаляя «бракованные» части на более ранних этапах редактирования.

Признаки, указывающие, что «пользователь последовательно просматривает все фрагменты, по каждому из которых принимает решение оставить или удалить весь фрагмент или его части», обеспечивают возможность достижения высокого качества редактирования видеоконтента - его полное соответствие предпочтениям пользователя. При этом возможность дробления фрагментов на отдельные части позволяет ускоренно редактировать видеоматериал, удаляя «бракованные» части на более ранних этапах редактирования.

Признаки, указывающие, что «первоначально принятое число частей, на которые делят фрагмент, составляет от 2 до 10», позволяют при необходимости варьировать возможность настройки системы редактирования на разную степень «избирательности» более точного соответствия длины удаляемых частей фрагмента длине «бракованных» участков контента.

Признаки, указывающие, что после разбраковки фрагментов «система монтажа удаляет намеченные к удалению фрагменты и/или их части и объединяет оставленные фрагменты и части фрагментов в новый видеоконтент», позволяют подготовить ко второму этапу редактирования видеоконтент, доля продолжительности «удовлетворительных» участков которого повысилась по сравнению с исходной.

Признаки, указывающие, что после формирования нового видеоконтента «процедуры подготовки к просмотру и просмотра видеоконтента повторяют с повторением при необходимости процедуры оценки фрагментов видеоконтента и/или их частей и с последующим удалением фрагментов и/или их частей, отнесенных к удаляемым, до полного исчерпания таких видеофрагментов и/или их частей», обеспечивают возможность последовательного проведения нескольких этапов редактирования и избавление видеоматериала от непригодных фрагментов.

Признаки, указывающие, что «продолжительность фрагментов на каждом последующем этапе редактирования уменьшают по сравнению с продолжительностью фрагмента на предшествующем этапе, для чего коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования принимают в пределах 0,3-0,95», обеспечивают возможность «перемещения границ видеофрагментов» по длине видеоматериала от одного этапа редактирования к другому и тем самым варьирования содержимого этих фрагментов, при этом заданный диапазон изменения коэффициента уменьшения длины фрагментов на каждом последующем этапе редактирования обеспечивает возможность варьирования продолжительности процедуры редактирования. Кроме того, уменьшение продолжительности фрагмента и соответственно его частей позволяет все более точно устанавливать границы непригодных фрагментов за счет сокращения расстояния между границами частей видеофрагмента.

Признаки, указывающие, что «если длина части фрагмента, получаемая при разбиении последнего на принятое число частей, получается менее минимальной продолжительности монтажного кадра, исходное число частей, на которые делят фрагмент, уменьшают на единицу и повторяют эту процедуру до получения величины длины части фрагмента, не меньшей минимальной длины монтажного кадра, или принятия числа частей, на которые может быть разделен фрагмент, равным 1», обеспечивают поддержание длины фрагмента не меньшей продолжительности, при которой сохраняется целостность его восприятия (при которой он не воспринимается «нарезкой» отдельных не связанных друг с другом логически кадров, когда органы чувств и сознание человека в состоянии уловить продемонстрированное изображение и осознать его содержание.

Признаки, указывающие, что «продолжительность фрагментов на первом этапе редактирования принимают в пределах 9-18 секунд», задает длину фрагмента, оптимальную с позиций продолжительности процедуры редактирования. Признаки, указывающие, что «планируемое число этапов редактирования принимают в пределах 2-5», определяют общую продолжительность процедуры редактирования.

Признаки, указывающие, что «первоначально принятое число частей, на которые может быть разделен фрагмент, равно 3», оптимальны с позиций скорости редактирования.

Признаки, указывающие, что «просмотр видеоконтента осуществляют в режиме ускоренного просмотра, по меньшей мере, на первых этапах редактирования», позволяют уменьшить продолжительность процедуры редактирования.

На фиг. 1-7 показана схема, поясняющая процедуры способа; на фиг. 1 показан исходный видеоконтент; на фиг. 2 показан вид исходного видеоконтента после операции оценки его фрагментов и удаления забракованных; на фиг. 3 показан вид нового видеоконтента после первого этапа редактирования; на фиг. 4 показан вид нового видеоконтента после операции оценки его фрагментов и удаления забракованных; на фиг. 5 показан вид второго нового видеоконтента (после второго этапа редактирования); на фиг. 6 показан вид второго нового видеоконтента на третьем этапе редактирования; на фиг. 7 показан вид отредактированного видеоконтента.

На чертежах показаны 1 - фрагменты, на которые делится контент на первом этапе редактирования, 2 - первый бракованный участок, 3 - второй бракованный участок, 4 - границы участков, на которые может быть разделен фрагмент, 5 - фрагмент контента на втором этапе редактирования, 6 - фрагмент контента на третьем этапе редактирования, 7 - отредактированный видеоконтент.

Заявленный способ автоматического редактирования видеоконтента предназначен для использования в мобильных электронных устройствах, таких как мобильные телефоны (далее по тексту упоминаются только они, хотя это не исключает возможность использования карманных коммуникационных устройств и ПЦА). Способ реализуется посредством программного обеспечения, устанавливаемого на эти устройства, обеспечивающего выполнение нижеперечисленных операций.

Способ реализуется следующим образом. В исходном положении видеоконтент известным образом «закачен» готовым или снят на видеокамеру мобильного телефона.

Вначале программным путем вычисляют продолжительность фрагментов 1 контента (F) на первом этапе его редактирования при задаваемых пользователем значениях параметров, используемых в заявленном математическом выражении F=L_min·S·(1/К)ⁱ,

где F - продолжительность фрагментов контента на первом этапе редактирования;

L_min - минимальная длина монтажного кадра, сек;

S - принятое число частей, на которые может быть разделен фрагмент;

К - коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования;

i - планируемое число этапов редактирования.

Если при этом учесть тот факт, что L_min - минимальная длина монтажного кадра (продолжительность демонстрации кадра, которую органы чувств человека способны воспринять как цельную картину), составляет порядка 1-2 секунд, задать коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования (К=0,3-0,95, предпочтительно порядка 0,7), принятое число частей, на которые может быть разделен фрагмент (S=2-10, предпочтительно 3), и планируемое число этапов редактирования (i=2-5, предпочтительно 3), то F должно составить 9-18 секунд.

Далее известным образом на дисплее мобильного телефона пользователь просматривает последовательно все видеофрагменты видеоконтента, подлежащего редактированию. При этом во время их демонстрации пользователь выполняет оценку фрагментов 1 контента в соответствии со своими предпочтениями и управляет системой монтажа, редактирующей видеоконтент (принимает формальное решение оставить данный фрагмент или его часть или же удалить), сообщая устройству свое решение любым применимым для этого способом: нажимая соответствующие кнопки (виртуальные - выводимые на дисплей) или реальные кнопки управления телефоном, голосовыми командами, жестами, мимикой и т.п. Причем если длина неудачного фрагмента полностью перекрывает длину фрагмента, то подлежит удалению весь фрагмент целиком. Если длина неудачного фрагмента перекрывает только часть длины фрагмента, но полностью перекрывает длину участка, на который этот фрагмент может быть разделен, то подлежит удалению весь такой участок целиком.

В результате (см. фиг. 1) можно удалить среднюю часть забракованного участка 2, последнюю часть третьего (считая слева) фрагмента, составляющую часть бракованного участка 3, и полностью последний слева фрагмент на бракованном участке 3. Затем система монтажа удаляет забракованный фрагмент и участки фрагментов и объединяет оставленные фрагменты в новый видеоконтент. В данном случае из четырех исходных фрагментов остается два с половиной. Их и объединяют в новый видеоконтент.

После этого повторяют процедуру разбиения видеоконтента на фрагменты (но уже фрагменты 5). Эту процедуру реализуют программным путем, при этом продолжительность фрагментов 5, используемых на втором этапе редактирования, будет 13 сек - меньше по сравнению с продолжительностью фрагмента 1 на первом этапе (18 сек).

Далее, также как и на первом этапе редактирования, на дисплее мобильного телефона пользователь просматривает последовательно все видеофрагменты 5 нового видеоконтента, подлежащего редактированию. При этом во время их демонстрации пользователь также, как и ранее, выполняет оценку фрагментов 5 контента в соответствии со своими предпочтениями и управляет системой монтажа, редактирующей видеоконтент (принимает формальное решение оставлять данный фрагмент или его часть или же удалять). При этом уменьшение продолжительности фрагмента на этом этапе позволит удалить бракованные вторую и третью части второго (слева) видеофрагмента (остаток первого бракованного участка), а также последнюю часть последнего (слева) видеофрагмента (остаток второго бракованного участка). Затем система монтажа также, как и ранее, удаляет забракованные участки и объединяет оставленный видеоматериал во второй новый видеоконтент.

Далее процедуры подготовки к просмотру (разбиения на фрагменты 6) и просмотра видеоконтента повторяют с повторением при необходимости процедуры оценки фрагментов видеоконтента и последующим удалением забракованных фрагментов до полного исчерпания бракуемых видеофрагментов. Продолжительность фрагмента 6 на этом этапе редактирования будет 9 сек - меньше по сравнению с продолжительностью фрагмента 5 на втором этапе (13 сек).

Кроме того, если длина части фрагмента, получаемая при разбиении последнего на принятое число (S) частей, получается менее минимальной продолжительности монтажного кадра (1-2 сек), исходное число частей, на которые делят фрагмент, уменьшают на единицу и повторяют эту процедуру до получения величины длины (продолжительности) части фрагмента, не меньшей минимальной длины монтажного кадра, или принятия числа частей, на которые может быть разделен фрагмент, равным 1. Т.е. для примера, показанного на фиг. 1 - фиг. 7 (исходное S=3), если бы возникла описанная ситуация, вначале приняли бы S равной 2, а затем, если бы длина (продолжительность) части фрагмента после его разбиения оказалась бы меньше минимальной длины монтажного кадра, пришлось бы принять S равной 1 (отказаться от разбиения фрагмента на части).

Фактически уже после третьего этапа редактирования видеоконтент 7 лишается участков, не удовлетворяющих пользователя.

Как показывает опыт реализации способа, для оптимизации видеоконтента (завершения его редактирования), как правило, достаточны 2-3 итерации (этапа редактирования). При этом просмотр видеоконтента в режиме ускоренного просмотра, по меньшей мере, на первых этапах редактирования позволяет дополнительно сократить процедуру редактирования.

1. Способ автоматического редактирования видеоконтента, включающий демонстрацию пользователю его отдельных фрагментов, оценку фрагментов контента пользователем в соответствии со своими предпочтениями во время их демонстрации и управление системой монтажа, редактирующей видеоконтент с использованием настроек, созданных на основе оценок пользователя, отличающийся тем, что видеоконтент делят на фрагменты, продолжительность которых на первом этапе редактирования устанавливают из выраженияF=L_min·S·(1/K)ⁱ, сек,где F - продолжительность фрагментов контента на первом этапе редактирования, сек;L_min - минимальная длина монтажного кадра, сек;S - принятое число частей, на которые может быть разделен фрагмент;К - коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования;i - планируемое число этапов редактирования,после чего пользователь последовательно просматривает все фрагменты, по каждому из которых принимает решение оставить или удалить весь фрагмент или его части, первоначально принятое число которых составляет от 2 до 10, затем система монтажа удаляет намеченные к удалению фрагменты и/или их части и объединяет оставленные фрагменты и части фрагментов в новый видеоконтент, после чего процедуры подготовки к просмотру и просмотра видеоконтента повторяют с повторением при необходимости процедуры оценки фрагментов видеоконтента и/или их частей и с последующим удалением фрагментов и/или их частей, отнесенных к удаляемым, до полного исчерпания таких видеофрагментов и/или их частей, кроме того, продолжительность фрагментов на каждом последующем этапе редактирования уменьшают по сравнению с продолжительностью фрагмента на предшествующем этапе, для чего коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования принимают в пределах 0,3-0,95, кроме того, если длина части фрагмента, получаемая при разбиении последнего на принятое число частей, получается менее минимальной продолжительности монтажного кадра, исходное число частей, на которые делят фрагмент, уменьшают на единицу и повторяют эту процедуру до получения величины длины части фрагмента, не меньшей минимальной длины монтажного кадра, или принятия числа частей, на которые может быть разделен фрагмент, равным 1.

2. Способ по п. 1, отличающийся тем, что продолжительность фрагментов на первом этапе редактирования принимают в пределах 9-18 секунд.

3. Способ по п. 1, отличающийся тем, что планируемое число этапов редактирования принимают в пределах 2-5.

4. Способ по п. 1, отличающийся тем, что первоначально принятое число частей, на которые может быть разделен фрагмент, равно 3.

5. Способ по п. 1, отличающийся тем, что просмотр видеоконтента осуществляют в режиме ускоренного просмотра, по меньшей мере, на первых этапах редактирования.