Способ автоматического редактирования видеоконтента

Способ автоматического редактирования видеоконтента

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к редактированию видеоизображения.

Цифровые видеокамеры становятся все более и более распространенными среди широких масс населения. Многие мобильные телефоны оборудованы видеокамерами, предлагающими пользователям возможности снимать видеофрагменты и пересылать их по беспроводным сетям.

Чтобы обеспечивать возможность пользователям производить качественные видеоизображения на их терминалах, необходимо обеспечивать возможности редактирования видеофрагментов в электронных устройствах, таких как мобильные телефоны, карманные коммуникационные устройства и ПЦА (персональные цифровые ассистенты), которые оборудованы видеокамерой. Редактирование видеофрагментов представляет собой процесс модифицирования имеющихся в наличии последовательностей видеоданных в новую последовательность видеоданных. Инструментальные средства редактирования видеофрагментов дают возможность пользователям применять набор эффектов к их видеофрагментам, стремясь произвести функционально и эстетически лучшее представление их видеофрагментов. Чтобы применять эффекты редактирования видеофрагментов к последовательностям видеоданных, существует несколько видов серийно выпускаемой программной продукции. Однако эта программная продукция нацелена главным образом на платформы ПК (персональных компьютеров).

Поскольку ограничения вычислительной мощности, запоминания и хранения в настоящее время не представляют собой проблему в платформе ПК, методы, используемые в такой программной продукции редактирования видеофрагментов, производят операции с последовательностями видеоданных главным образом в их необработанных форматах в пространственной области. Другими словами, сжатые видеоданные сначала декодируются, затем в пространственной области вводятся эффекты редактирования, и, наконец, видеоданные кодируются снова. Это известно как операции редактирования видеофрагментов в пространственной области.

Вышеупомянутая схема не может применяться на устройствах, таких как мобильные телефоны, со сравнительно невысокими ресурсами в вычислительной мощности, пространстве памяти, имеющейся свободной памяти и энергии аккумуляторной батареи. Декодирование последовательности видеоданных и ее повторное кодирование представляют собой дорогостоящие операции, которые занимают много времени и потребляют много энергии аккумуляторной батареи.

Известен также способ автоматического редактирования видеоконтента, включающий демонстрацию пользователю его отдельных фрагментов, оценку фрагментов контента пользователем, в соответствии со своими предпочтениями, во время их демонстрации и управление системой монтажа, редактирующей видеоконтент с использованием настроек, созданных на основе оценок пользователя (см. US № 8290334, G11B 27/034; H04N 21/4532; H04N 21/4756; H04N 21/854; H04N 7/163, 2005).

Недостаток известного способа - для его реализации необходимо использовать достаточно большие вычислительные мощности, что не позволяет его использовать в мобильных электронных устройствах, таких как мобильные телефоны, карманные коммуникационные устройства и ПЦА (персональные цифровые ассистенты. Кроме того, пользователь производит оценку только части видеоматериалов, далее система редактирования, используемая при реализации способа, сама принимает решения, используя алгоритмы, интерполирующие оценку остальных участков видеоматериала, что придает принимаемым ею монтажным решениям вероятностный характер, не всегда достаточно адекватный. Все это не позволяет обеспечить высокое качество редактирования видеоконтента.

Задача, на решение которой направлено заявленное решение - обеспечение высокого качества редактирования видеоконтента (полное соответствие содержания видеоматериалов предпочтениям пользователя) непосредственно на мобильных в электронных устройствах,

Технический результат, получаемый при решении поставленной технической задачи, выражается в обеспечении возможности редактирования видеоматериалов, непосредственно на мобильных в электронных устройствах, в т.ч. непосредственно после формирования таких видеоматериалов посредством видеокамер, которыми оснащены упомянутые устройства.

Для решения поставленной задачи способ автоматического редактирования видеоконтента, включающий демонстрацию пользователю его отдельных фрагментов, оценку фрагментов контента пользователем, в соответствии со своими предпочтениями, во время их демонстрации и управление системой монтажа, редактирующей видеоконтент с использованием настроек, созданных на основе оценок пользователя, отличается тем, что видеоконтент делят на фрагменты, продолжительность которых на первом этапе редактирования устанавливают из выражения

F=L_min·(1/K)ⁱ,

где F - продолжительность фрагментов контента на первом этапе редактирования;

L_min - минимальная длина монтажного кадра, сек;

K - коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования;

i - планируемое число этапов редактирования,

после чего пользователь последовательно просматривает все фрагменты, по каждому из которых принимает решение оставить или удалить, затем система монтажа удаляет забракованные фрагменты и объединяет оставленные фрагменты в новый видеоконтент, после чего процедуры подготовки к просмотру и просмотра видеоконтента повторяют, с повторением, при необходимости процедуры оценки фрагментов видеоконтента и последующим удалением забракованных фрагментов, до полного исчерпания бракуемых видеофрагментов, кроме того, продолжительность фрагментов, на каждом последующем этапе редактирования уменьшают по сравнению с продолжительностью фрагмента на предшествующем этапе, для чего коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования принимают в пределах 0,3-0,95. Кроме того, продолжительность фрагментов на первом этапе редактирования принимают в пределах 3-6 секунд. Кроме того, планируемое число этапов редактирования принимают в пределах 2-5. Кроме того, просмотр видеоконтента осуществляют в режиме ускоренного просмотра, по меньшей мере на первых этапах редактирования.

Сопоставительный анализ признаков заявленного решения с признаками прототипа и аналогов свидетельствует о соответствии заявленного решения критерию "новизна".

Признаки отличительной части формулы изобретения решают следующие функциональные задачи:

Признаки… «видеоконтент делят на фрагменты, продолжительность которых на первом этапе редактирования устанавливают из выражения

F=L_min·(1/K)ⁱ,

где F - продолжительность фрагментов контента на первом этапе редактирования;

L_min - минимальная длина монтажного кадра, сек;

К - коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования;

i - планируемое число этапов редактирования» позволяют разбить весь видеоряд на фрагменты, продолжительность которых, с одной стороны, достаточна для надежной однозначной их оценки (с позиций оставлять фрагмент или удалять), а с другой - позволяет при необходимости провести несколько этапов редактирования, с возможностью варьирования продолжительности видеофрагментов от этапа к этапу и, тем самым варьирования местоположения границ видеофрагментов на этапах редактирования.

Признаки, указывающие, что «пользователь последовательно просматривает все фрагменты, по каждому из которых принимает решение оставить или удалить», обеспечивают возможность достижения высокого качества редактирования видеоконтента - его полное соответствие предпочтениям пользователя.

Признаки, указывающие, что после разбраковки фрагментов «система монтажа удаляет забракованные фрагменты и объединяет оставленные фрагменты в новый видеоконтент», позволяет подготовить ко второму этапу редактирования видеоконтент, доля продолжительности « удовлетворительных» участков которого повысилась.

Признаки, указывающие, что после формирования нового видеоконтента «процедуры подготовки к просмотру и просмотра видеоконтента повторяют, с повторением, при необходимости процедуры оценки фрагментов видеоконтента и последующим удалением забракованных фрагментов, до полного исчерпания бракуемых видеофрагментов» обеспечивают возможность последовательного проведения нескольких этапов редактирования и избавление видеоматериала от непригодных фрагментов.

Признаки, указывающие, что «продолжительность фрагментов на каждом последующем этапе редактирования уменьшают по сравнению с продолжительностью фрагмента на предшествующем этапе, для чего коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования принимают в пределах 0,3-0,95», обеспечивают возможность «перемещения границ видеофрагментов» по длине видеоматериала от этапа редактирования, к этапу и тем самым варьирования содержимого этих фрагментов, при этом заданный диапазон изменения коэффициента уменьшения длины фрагментов на каждом последующем этапе редактирования обеспечивает возможность варьирования продолжительности процедуры редактирования.

Признаки, указывающие, что «продолжительность фрагментов на первом этапе редактирования принимают в пределах 3-6 секунд», задают длину фрагмента, оптимальную с позиций продолжительности процедуры редактирования.

Признаки, указывающие, что «планируемое число этапов редактирования принимают в пределах 2-5», определяют общую продолжительность процедуры редактирования.

Признаки, указывающие, что «просмотр видеоконтента осуществляют в режиме ускоренного просмотра, по меньшей мере на первых этапах редактирования» позволяют уменьшить продолжительность процедуры редактирования.

На фиг. 1-6 показана схема, поясняющая процедуры способа; на фиг. 1 показан исходный видеоконтент; на фиг. 2 показан вид нового видеоконтента после первого этапа редактирования; на фиг. 3 показан вид видеоконтента в процессе второго этапа редактирования; на фиг. 4 показан вид видеоконтента после второго этапа редактирования; на фиг. 5 показан вид второго нового видеоконтента перед третьим этапом редактирования; на фиг. 6 показан вид нового отредактированного видеоконтента.

На чертежах показаны 1 - фрагмент контента на первом этапе редактирования, 2 - первый бракованный участок, 3 - второй бракованный участок, 4 - фрагмент контента на втором этапе редактирования, 5 - фрагмент контента на третьем этапе редактирования, 6 - отредактированный контент.

Заявленный способ автоматического редактирования видеоконтента предназначен для использования в мобильных электронных устройствах, таких как мобильные телефоны, далее по тексту упоминаются только они (хотя это не исключает возможность использования карманных коммуникационных устройств и ПЦА). Способ реализуется посредством программного обеспечения устанавливаемого на эти устройства, обеспечивающего выполнение нижеперечисленных операций.

Способ реализуется следующим образом. В исходном положении видеоконтент известным образом «закачен» готовым или снят на видеокамеру мобильного телефона.

Вначале пользователь задает продолжительность фрагментов контента (F) на первом этапе его редактирования. Для этого используют заявленное выражение F=L_min·(1/K)ⁱ,

где F - продолжительность фрагментов контента на первом этапе редактирования;

L_min - минимальная длина монтажного кадра, сек;

K - коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования;

i - планируемое число этапов редактирования.

Если при этом учесть тот факт, что L_min - минимальная длина монтажного кадра (продолжительность демонстрации кадра, которую органы чувств человека способны воспринять, как цельную картину), составляет порядка 1-2 секунд, задать коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования (K=0,3-0,95, предпочтительно порядка 0,7) и планируемое число этапов редактирования (i=2-5, предпочтительно 3), то F должно составить 3-6 секунд.

Далее известным образом, на дисплее мобильного телефона, пользователь просматривает последовательно все видеофрагменты видеоконтента, подлежащего редактированию. При этом, во время их демонстрации, пользователь выполняет оценку фрагментов 1 контента, в соответствии со своими предпочтениями, и управляет системой монтажа, редактирующей видеоконтент (принимает формальное решение или оставить данный фрагмент или удалить), нажимая соответствующие кнопки (виртуальные (выводимые на дисплей) или реальные кнопки управления телефоном. В результате (см. фиг. 1) можно удалить только один бракованный участок 3, длина которого соизмерима с заданной продолжительностью фрагмента. Затем система монтажа удаляет забракованный фрагмент и объединяет оставленные фрагменты в новый видеоконтент. В данном случае из четырех фрагментов остается три. Их и объединяют в новый видеоконтент.

После этого повторяют процедуру разбиения видеоконтента на фрагменты 4 (реализуемую программным путем), но при этом продолжительность фрагментов 4, на втором этапе редактирования будет 4 сек - меньше по сравнению с продолжительностью фрагмента 1 на первом этапе (6 сек).

Далее, также как и на первом этапе редактирования, на дисплее мобильного телефона пользователь просматривает последовательно все видеофрагменты 4 нового видеоконтента, подлежащего редактированию. При этом, во время их демонстрации, пользователь выполняет оценку фрагментов контента, в соответствии со своими предпочтениями, и управляет системой монтажа, редактирующей видеоконтент (принимает формальное решение или оставить данный фрагмент или удалить), также как и на первом этапе редактирования. При этом уменьшение продолжительности фрагмента уже на этом этапе позволит удалить бракованный полный видеофрагмент 2. Затем система монтажа вновь удаляет забракованные фрагменты и объединяет оставленные фрагменты в очередной видеоконтент.

Далее процедуры подготовки к просмотру (разбиения на фрагменты 5) и просмотра видеоконтента повторяют, с повторением при необходимости процедуры оценки фрагментов видеоконтента и последующим удалением забракованных фрагментов, до полного исчерпания бракуемых видеофрагментов. Продолжительность фрагмента 5 на этом этапе редактирования будет 3 сек - меньше по сравнению с продолжительностью фрагмента 4 на втором этапе (4 сек).

Фактически, уже после третьего этапа редактирования видеоконтент 6 лишается участков, неудовлетворяющих пользователя.

Как показывает опыт реализации способа, для оптимизации видеоконтента (завершения его редактирования), как правило, достаточны 3 итерации (этапа редактирования). При этом, просмотр видеоконтента в режиме ускоренного просмотра по меньшей мере на первых этапах редактирования позволяет дополнительно сократить процедуру редактирования.

1. Способ автоматического редактирования видеоконтента, включающий демонстрацию пользователю его отдельных фрагментов, оценку фрагментов контента пользователем, в соответствии со своими предпочтениями, во время их демонстрации и управление системой монтажа, редактирующей видеоконтент с использованием настроек, созданных на основе оценок пользователя, отличающийся тем, что видеоконтент делят на фрагменты, продолжительность которых на первом этапе редактирования устанавливают из выраженияF=L_min·(1/K)ⁱ,где F - продолжительность фрагментов контента на первом этапе редактирования;L_min - минимальная длина монтажного кадра, сек;K - коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования;i - планируемое число этапов редактирования,после чего пользователь последовательно просматривает все фрагменты, по каждому из которых принимает решение оставить или удалить, затем система монтажа удаляет забракованные фрагменты и объединяет оставленные фрагменты в новый видеоконтент, после чего процедуры подготовки к просмотру и просмотра видеоконтента повторяют, с повторением, при необходимости, процедуры оценки фрагментов видеоконтента с последующим удалением забракованных фрагментов, до полного исчерпания бракуемых видеофрагментов, кроме того, продолжительность фрагментов на каждом последующем этапе редактирования уменьшают по сравнению с продолжительностью фрагмента на предшествующем этапе, для чего коэффициент уменьшения длины фрагментов на каждом последующем этапе редактирования принимают в пределах 0,3-0,95.

2. Способ по п. 1, отличающийся тем, что продолжительность фрагментов на первом этапе редактирования принимают в пределах 3-6 секунд.

3. Способ по п. 1, отличающийся тем, что планируемое число этапов редактирования принимают в пределах 2-5.

4. Способ по п. 1, отличающийся тем, что просмотр видеоконтента осуществляют в режиме ускоренного просмотра, по меньшей мере на первых этапах редактирования.