Технология для оценки качества видео

Технология для оценки качества видео

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие сущности, в общем, относится к технологии для оценки качества видео и, в частности, к технологии оценки качества видео на основе потока битов.

Предшествующий уровень техники

Видео в настоящее время является стандартной мультимедийной услугой и быстро завоевывает популярность у конечных пользователей. Видео, передаваемое по сети связи в качестве потока битов, может быть подвержено ограничениям или проблемам связи, которые могут приводить к таким ошибкам, как потери данных или задержка передачи данных. Такие ошибки могут приводить к ухудшению визуального качества, которое ощущают конечные пользователи. Зачастую такое визуальное ухудшение качества обнаруживается как замороженные или искаженные изображения.

Мониторинг качества является важной функциональной схемой для поддержания поставщиками услуг удовлетворительного качества работы (QoE) для услуг передачи видео. Для этого требуются хорошие технологии, которые точно и своевременно квалифицируют качество видео, что ни в коей мере не является тривиальной задачей.

Возможно, самой точной технологией квалификации качества видео является субъективное тестирование, при котором собираются мнения множества конечных зрителей, и на их основе формируется общее представление качества. Тем не менее, субъективное тестирование является дорогим, трудоемким, выполняется вручную и во многих случаях просто неосуществимо; например, невозможно осуществлять субъективное тестирование для мониторинга качества видео в сетях связи или абонентских приставках. Следовательно, должно предоставляться средство для того, чтобы оценивать субъективное качество видео на основе объективного измерения. Эта потребность стимулирует разработку технологий объективной квалификации качества видео. Объективная оценка качества видео может не только заменять субъективное тестирование в квалификации качества видео, но она также может предоставлять автоматическую квалификацию в реальном времени субъективного качества.

В контексте настоящего раскрытия сущности такие слова, как "оценивать", "квалифицировать", "измерять", используются взаимозаменяемо.

В последние годы предложены и разработаны различные модели технологий для объективного качества видео. На основе используемых входных параметров они могут классифицироваться как перцепционные модели и параметрические модели. Параметрические модели также известны как модели сетевого уровня.

Перцепционные модели принимают декодированное видео, а иногда также опорное видео в качестве ввода в модель. Например, для так называемой полнофункциональной опорной (FR) модели входными параметрами являются пиксельные данные исходного видео, а также пиксельные данные декодированного видео. Перцепционные модели обычно обеспечивают высокую точность в оценке качества видео, но они являются чрезвычайно сложными, трудоемкими и ресурсоемкими (в отношении вычислительной мощности), что делает их неподходящими для многих случаев, таких как мониторинг в реальном времени. Кроме того, когда опорное видео используется в перцепционной модели, модель должна быть нацелена на то, чтобы разрешать крайне важную проблему синхронизации опорного видео с декодированным видео.

Интерес к легким моделям качества видео привел к последней разработке параметрических моделей. Параметрическая модель принимает информацию заголовков пакетов в качестве ввода и вычисляет показатель качества на ее основе. Информация заголовков сетевых протоколов обычно принимается из одного или более из уровней Интернет-протокола (IP), протокола пользовательских датаграмм (UDP), транспортного протокола реального времени (RTP) и транспортного потока по стандарту Экспертной группы по киноизображению 2 (MPEG2TS). Параметрические модели являются относительно несложными по сравнению с перцепционными моделями, но точность оценки, которую они могут предоставлять, является довольно низкой вследствие ограниченной информации, которая может быть извлечена из заголовков сетевого протокола. Например, очень трудно осуществлять полезную оценку того, насколько видимыми являются потери данных в декодированном видео.

Сущность изобретения

Соответственно, существует потребность в улучшенной технологии для того, чтобы объективно оценивать или квалифицировать качество видео. Как отмечено ниже, технология, представленная в данном документе, достигает, помимо прочего, удовлетворительной точности оценки качества видео и одновременно является менее сложной и использует немного вычислительных ресурсов.

Согласно первому аспекту предоставляется способ оценки качества видео. Способ содержит этапы приема потока видеобитов, содержащего последовательность кадров изображений; определения возникновения ошибки в кадре изображения (например, определение того, что ошибка возникает в кадре изображения, а также позиции ошибки в кадре изображения); определения распространения ошибки с учетом по меньшей мере одного из временного распространения и пространственного распространения ошибки (например, определения по меньшей мере одного из временного распространения и пространственного распространения ошибки); и на основе результата вышеуказанного определения (например, определенного распространения ошибки), оценки качества потока видеобитов. Ошибка может возникать вследствие задержки или потерь информации (например, вследствие задержки или потерь пакета, кадра изображения, сегмента кадра изображения и т.д.). Кроме того, этап оценки качества может быть основан на схеме количественной оценки.

Способ дополнительно может содержать этап определения (например, оценки или измерения) визуального ухудшения качества, вызываемого посредством ошибки. Другими словами, этот этап предназначен для определения видимости ошибки или влияния на качество видео, вызываемых посредством ошибки. Визуальное ухудшение качества является конкретной и измеримой мерой для видимости ошибки. В одном варианте осуществления определение визуального ухудшения качества содержит определение штрафного значения, указывающего визуальное ухудшение качества, вызываемое посредством ошибки.

Кадр изображения может содержать множество сегментов (к примеру, но не только, пикселы, макроблоки и т.п.). Ошибка может возникать или влиять на один или более сегментов кадра изображения. Помимо этого, с учетом эффекта разброса, ошибка, которая возникает в одном кадре изображения, может влиять на один или более сегментов в одном или более других кадрах изображений. Соответственно, определение визуального ухудшения качества, вызываемого посредством ошибки, может содержать этап вычисления отдельного штрафного значения для каждого затронутого ошибкой сегмента или кадра изображения. Штрафное значение является значением, указывающим величину или степень визуального ухудшения качества, вызываемого посредством ошибки в видео.

Штрафное значение может вычисляться или назначаться согласно набору правил. Правила могут предварительно задаваться и адаптироваться.

Ниже приведен неполный список правил для вычисления штрафного значения:

более высокое штрафное значение назначается ошибке, если ошибка возникает при смене сцены (чем в случае, если ошибка является ошибкой, не связанной со сменой сцены);

движение в кадре изображения может быть использовано для того, чтобы определять визуальное ухудшение качества, вызываемое посредством ошибки; если поток видеобитов содержит данные движения непосредственно после затронутого ошибкой кадра изображения, назначается более высокое штрафное значение, в частности, если существует большое движение непосредственно после ошибки, а более конкретно, если относительная величина движения является большой. Например, небольшая ошибка движения в иной сцене без движения с большой вероятностью является более очевидной, т.е. видимой, чем средняя ошибка движения в сцене с интенсивным движением;

штрафное значение не назначается затронутому ошибкой сегменту, если сегмент является пропуском или оцененным пропуском. Необязательное исключение в это правило может допускаться, если существует смена сцены или оцененная смена сцены;

снижение штрафного значения, назначаемого ошибке, по меньшей мере, для одного из последующих кадров изображений на предварительно определенную величину или коэффициент. Например, штрафное значение может снижаться на конкретную величину или коэффициент для каждого последующего кадра изображения; и

штрафное значение сбрасывается при приеме внутренне кодированного кадра изображения или внутренне кодированного сегмента (например, внутренне кодированного макроблока).

Каждое из вышеуказанных правил, а также любые другие правила могут быть избирательно реализованы в способе оценки качества видео. Другими словами, можно применять любую комбинацию правил для определения визуального ухудшения качества, вызываемого посредством ошибки.

Последовательность кадров изображений может содержать по меньшей мере одно опорное изображение и по меньшей мере одно прогнозное изображение, при этом прогнозное изображение содержит по меньшей мере один вектор движения, указывающий на позицию в опорном изображении. Временное распространение и/или пространственное распространение ошибки может быть определено на основе вектора(ов) движения, включенного в прогнозное изображение. В одном примере распространение ошибки может быть определено посредством отслеживания вектора(ов) движения и опорного изображения, на которое указывает вектор(ы) движения.

Результат определения, включающий в себя информацию сегментов и определенное визуальное ухудшение качества, может размещаться, например сохраняться, на карте штрафов за потери. Карта штрафов за потери может принимать форму двумерной структуры данных, к примеру таблицы.

Карта штрафов за потери может иметь разрешение, идентичное разрешению ассоциированного кадра изображения (т.е. пиксельной карты кодированного видео). Это обеспечивает преимущество абсолютно точного представления визуального ухудшения качества. Тем не менее, если требуется понижать сложность технологии, карта штрафов за потери имеет меньшее разрешение, чем разрешение ассоциированной карты кадров изображений или пиксельной карты. С этой целью штрафное значение может вычисляться при меньшем разрешении. Например, кадр изображения может содержать множество сегментов, каждый из которых содержит множество пикселов. Сегменты могут размещаться в форме двумерной структуры данных (например, в качестве карты сегментов). В этом случае разрешение карты штрафов за потери может задаваться идентичным разрешению карты сегментов.

Чтобы еще более понижать сложность технологии, определение распространения ошибки, т.е. определение по меньшей мере одного из временного распространения и специального распространения ошибки дополнительно может содержать взвешивание одного или более значений визуального ухудшения качества (например, штрафных значений), определенных для предыдущей ошибки.

В дополнение к определению распространения ошибки и визуального ухудшения качества, вызываемого посредством ошибки, способ оценки качества видео, представленный в данном документе, дополнительно может агрегировать визуальное ухудшение качества и вычислять показатель (качества) на основе результата агрегирования. Визуальное ухудшение качества, вызываемое посредством ошибки, может быть агрегировано по меньшей мере в одном из времени и пространства. Вычисленный показатель, следовательно, служит для того, чтобы указывать общее качество потока видеобитов.

При агрегировании визуального ухудшения качества может быть использован алгоритм взвешивания. В одном варианте осуществления затронутые сегменты или кадры изображений агрегируются равномерно. В другом варианте осуществления визуальное ухудшение качества с небольшим значением может взвешиваться при более высоком коэффициенте, чем большое значение визуального ухудшения качества.

Агрегирование может быть выполнено пошагово во времени. Например, значения визуального ухудшения качества могут равномерно суммироваться каждую секунду (согласно, например, кадрам из 25 изображений), и затем другая функция используется для того, чтобы учитывать эти меньшие составляющие суммы.

Показатель качества может вычисляться периодически или с использованием подхода на основе окна переменной длительности. В одном варианте осуществления подхода на основе окна переменной длительности новый показатель для определенной стороны окна, т.е. предварительно заданной длительности, вычисляется с предварительно заданной частотой.

Способ оценки качества видео, описанный выше, может быть основан на модели оценки качества потока видеобитов. Поток видеобитов может содержать, по меньшей мере, часть уровня кодирования видео (VCL), который содержит один или более параметров, и по меньшей мере одно из определения возникновения ошибки, определения распространения ошибки и оценки качества видео может быть основано по меньшей мере на одном или более параметров без декодирования потока видеобитов. VCL-параметры могут включать в себя параметры сегментов (например, макроблоков), параметры внутреннего кодирования, связанные с движением параметры и т.д.

Согласно второму аспекту предоставляется компьютерная программа для оценки качества потока видеобитов, содержащего множество кадров изображений. Компьютерная программа содержит части программного кода, которые, при выполнении на компьютере, инструктируют компьютеру осуществлять этапы способа, поясненные в данном документе. Компьютерная программа может быть сохранена на носителе записи, который является машиночитаемым и содержится в компьютерном программном продукте, таком как запоминающее устройство в форме жесткого диска, ROM, RAM, EEPROM или флэш-память.

Согласно третьему аспекту, предоставляется устройство для оценки качества видео. Устройство содержит приемное устройство, выполненное с возможностью принимать поток видеобитов, содержащий последовательность кадров изображений, первый модуль определения, выполненный с возможностью определять возникновение ошибки в кадре изображения, второй модуль определения, выполненный с возможностью определять распространение ошибки с учетом по меньшей мере одного из временного распространения и пространственного распространения ошибки, и модуль оценки, выполненный с возможностью оценивать качество потока видеобитов на основе результата определения, например определенного распространения ошибки.

Устройство дополнительно может содержать третий модуль определения, выполненный с возможностью определять видимость ошибки или визуальное ухудшение качества, вызываемое посредством ошибки. В частности, третий модуль определения может быть выполнен с возможностью определять визуальное ухудшение качества посредством определения штрафного значения, указывающего визуальное ухудшение качества, вызываемое посредством ошибки.

Ошибка может влиять на один или более сегментов одного или более кадров изображений. Соответственно, третий модуль определения может быть дополнительно выполнен с возможностью определять визуальное ухудшение качества посредством вычисления штрафного значения для каждого затронутого ошибкой сегмента в видео в качестве индикатора относительно величины или степени визуального ухудшения качества, вызываемого посредством ошибки.

Дополнительно, третий модуль определения может быть выполнен с возможностью вычислять штрафное значение согласно одному или более правил, которые могут быть (но не только) следующими:

назначение более высокого штрафного значения ошибке, если ошибка возникает при смене сцены;

движение кадра изображения может быть использовано для того, чтобы определять (например, оценивать или измерять) визуальное ухудшение качества, вызываемое посредством ошибки; следовательно, назначение более высокого штрафного значения ошибке, если поток видеобитов содержит данные движения непосредственно после затронутого ошибкой кадра изображения, и, в частности, если относительная величина движения является большой;

не назначение штрафного значения затронутому ошибкой сегменту, если сегмент является пропуском или оцененным пропуском. Необязательное исключение в это правило может допускаться, если существует смена сцены или оцененная смена сцены;

снижение штрафного значения, назначаемого ошибке по меньшей мере для одного из последующих кадров изображений на предварительно определенную величину или коэффициент; и

сброс штрафного значения при приеме внутренне кодированного кадра изображения или внутренне кодированного сегмента.

Третий модуль определения может применять любую комбинацию правил.

Последовательность кадров изображений может содержать по меньшей мере одно опорное изображение и по меньшей мере одно прогнозное изображение, при этом прогнозное изображение содержит по меньшей мере один вектор движения, указывающий на позицию в опорном изображении. Третий модуль определения устройства может быть выполнен с возможностью определять по меньшей мере одно из временного распространения и пространственного распространения визуального ухудшения качества посредством отслеживания вектора движения и опорного изображения, на которое указывает вектор движения.

Движение затронутого ошибкой кадра изображения может быть использовано для того, чтобы определять визуальное ухудшение качества, вызываемое посредством ошибки. Следовательно, второй модуль определения может быть дополнительно выполнен с возможностью определять визуальное ухудшение качества на основе вектора(ов) движения.

Устройство дополнительно может содержать модуль сбора, выполненный с возможностью собирать визуальное ухудшение качества в двумерной структуре данных, извлекаемой из кадра изображения (например, на карте штрафов за потери).

Дополнительно, устройство может содержать модуль агрегирования, выполненный с возможностью агрегировать визуальное ухудшение качества, вызываемое посредством ошибки по меньшей мере в одном из времени и пространства. Устройство дополнительно может содержать модуль вычисления, выполненный с возможностью вычислять показатель, указывающий качество потока видеобитов, на основе результата агрегирования.

Вышеуказанные компоненты устройства, а также все дополнительные компоненты могут быть реализованы в отдельных физических единицах. Альтернативно, некоторые или все компоненты могут быть комбинированы в одной физической единице. Все физические единицы могут размещаться в одном корпусе, но также можно распределять некоторые или все из них в различных узлах или терминалах, участвующих во всей услуге передачи видео. Каждый из приемного устройства, первого модуля определения, второго модуля определения, третьего модуля определения, модуля агрегирования, модуля вычисления и модуля оценки может быть реализован как конкретные аппаратные схемы, к примеру ASIC (специализированные интегральные схемы) и/или DSP (процессоры цифровых сигналов), или как комбинация по меньшей мере одного процессора, к примеру, микропроцессора и компьютерной программы, упомянутой выше, когда она выполняется на процессоре. Компьютерная программа, следовательно, может содержать модуль приемного устройства, первый модуль определения, второй модуль определения, третий модуль определения, модуль агрегирования, модуль вычисления и модуль оценки, которые при выполнении на процессоре инструктируют устройству осуществлять соответствующие вышеупомянутые этапы.

Согласно четвертому аспекту предоставляется серверный узел, выполненный с возможностью предоставлять поток видеобитов. Серверный узел содержит вышеупомянутое устройство для объективной оценки качества видео.

Согласно пятому аспекту предоставляется клиентский терминал, выполненный с возможностью декодировать поток видеобитов, при этом клиентский терминал содержит вышеуказанное устройство для объективной оценки качества видео.

Согласно шестому аспекту предоставляется сетевой узел для обмена данными между видеосерверным узлом и клиентским видеотерминалом. Сетевой узел содержит вышеуказанное устройство для оценки качества видео.

Технология оценки качества видео в данном документе является подходящей для оценки качества видео, кодируемых во всех видах технологий, к примеру наиболее в широко используемых современных стандартах кодирования видео, которые включают в себя H.264, H 263, MPEG-2, MPEG4 и т.д. Технология объективной оценки качества видео, представленная в данном документе, также может быть подходящей для любых будущих стандартов кодирования видео или технологий.

Технология оценки качества видео, представленная в данном документе, не ограничена какими-либо конкретными услугами. Например, она может быть развернута для широкого диапазона услуг, таких как потоковая передача видео, мобильное телевидение, видеотелефонная связь, Интернет-мультимедиа, к примеру, IPTV, видеоконференц-связь и линейное телевидение.

Краткое описание чертежей

Ниже сущность изобретения иллюстрируется чертежами, на которых

Фиг. 1 является блок-схемой, иллюстрирующей вариант осуществления системы для технологии оценки качества видео;

Фиг. 2 показывает структуру примерного уровня кодирования видео;

Фиг. 3 показывает структуру другого примерного уровня кодирования видео;

Фиг. 4 показывает структуру примерного взаимно кодированного кадра изображения;

Фиг. 5 показывает пример прогнозирования векторов движения для сегмента 16×16;

Фиг. 6 показывает вариант осуществления способа для технологии оценки качества видео;

Фиг. 7 является блок-схемой, иллюстрирующей вариант осуществления устройства для технологии оценки качества видео;

Фиг. 8 является блок-схемой, иллюстрирующей вариант осуществления компьютерной программы для технологии оценки качества видео;

Фиг. 9 является блок-схемой последовательности операций способа, иллюстрирующей другой вариант осуществления способа для технологии оценки качества видео;

Фиг. 10 является снимком видеоэкрана, показывающим пример потерь пакетов в видео;

Фиг. 11 является снимком видеоэкрана, показывающим идентичный пример по фиг. 8 с картой штрафов за потери в качестве наложения; и

Фиг. 12 является блок-схемой, иллюстрирующей другой вариант осуществления устройства для технологии оценки качества видео;

Фиг. 13 является блок-схемой, иллюстрирующей другой вариант осуществления компьютерной программы для технологии оценки качества видео;

Фиг. 14 является блок-схемой, иллюстрирующей дополнительный вариант осуществления устройства для технологии оценки качества видео;

Фиг. 15 является блок-схемой, иллюстрирующей дополнительный вариант осуществления компьютерной программы для технологии оценки качества видео; и

Фиг. 16 показывает ограниченную логарифмическую функцию с различными значениями для d, при этом функция используется для моделирования агрегирования штрафных значений согласно варианту осуществления технологии оценки качества видео.

Подробное описание изобретения

Далее, в целях пояснения, а не ограничения, изложены конкретные подробности, чтобы предоставлять полное понимание технологии объективной оценки качества видео, представленной в данном документе. Специалистам в данной области техники должно быть очевидным, что технология может осуществляться на практике в вариантах осуществления, которые отступают от этих конкретных подробностей. Например, хотя примерные варианты осуществления описываются в связи с конкретной топологией сети по фиг. 1, специалисты в данной области техники могут легко принимать во внимание, что технология является в равной степени применимой к топологиям сети других типов. В качестве другого примера, хотя примерные варианты осуществления поясняются в отношении видео в соответствии со стандартом H.264, MPEG-2, MPEG-4 или H 263, технология объективной оценки качества видео, представленная в данном документе, может быть использована для того, чтобы оценивать качество видео, кодируемого с помощью всех типов технологий или стандартов кодеков, включающих в себя H.264, MPEG-2, MPEG-4, H 263, а также все остальные современные технологии или стандарты видеокодеков и даже будущие технологии видеокодеков. Дополнительно, технология, представленная в данном документе, не ограничена какими-либо конкретными услугами; напротив, она может быть развернута для широкого диапазона услуг, таких как потоковая передача видео, мобильное телевидение, видеотелефония, IPTV, видеоконференц-связь, линейное телевидение и больше.

Специалисты в данной области техники дополнительно должны принимать во внимание, что технология, поясненная в данном документе, может быть реализована с помощью аппаратных схем, программных средств или комбинации вышеозначенного. Программные средства могут сочетаться с программируемым микропроцессором или компьютером общего назначения с использованием по меньшей мере одного из специализированной интегральной схемы (ASIC) и процессора цифровых сигналов (DSP). Также следует принимать во внимание, что когда технология описывается в качестве способа, она также может быть осуществлена в процессоре компьютера и в запоминающем устройстве, соединенном с процессором, при этом устройство кодируется с помощью одной или более программ, которые осуществляют способ при выполнении посредством процессора.

Чтобы достигать вышеупомянутых целей, т.е. гарантировать низкую сложность и удовлетворительную точность оценки, представляется такая технология оценки качества видео, которая выполняет оценку качества не только на основе информации заголовков сетевых протоколов (к примеру, используемых в параметрических моделях), но также и на основе определенных параметров из уровня кодирования видеопотока видеобитов. Соответственно, можно сказать, что технология основана на модели потока битов. Эта технология имеет потенциал оценки качества видео с более высокой точностью, чем традиционные параметрические модели, при этом имея такую легкость, что она подходит для мониторинга качества видео всех видов, в частности мониторинга в реальном времени.

Фиг. 1 является блок-схемой, иллюстрирующей вариант осуществления системы для технологии оценки качества видео, представленной в данном документе. Как показано на фиг. 1, поток видеобитов передается из видеосервера 2 в клиентский видеотерминал 4 через сеть 6 связи. По меньшей мере один сетевой узел 8 или "промежуточный" узел постоянно размещается в сети связи и участвует в передаче видео. После поступления на клиентский терминал 4 видео декодируется для отображения конечному пользователю.

Технология оценки качества видео может быть реализована в различных узлах или терминалах. Например, она может быть реализована в серверном узле, который предоставляет поток видеобитов. Серверный узел может быть таким узлом, как видеосервер 2 на фиг. 1, для передачи потока видеобитов в один или более клиентских терминалов 4 или промежуточных узлов 8 в сети 6 связи. В качестве конкретного варианта осуществления серверный узел может быть мобильным терминалом, широковещательным телевизионным сервером, сервером "видео по запросу" или компьютером общего назначения, допускающим передачу видеопотоков. Технология оценки качества видео также может быть реализована в клиентском терминале, к примеру в клиентском терминале 4 на фиг. 1, который может декодировать видеопоток. Клиентский терминал может быть мобильным терминалом, компьютером, абонентской приставкой, игровым устройством, телевизором и т.п. Дополнительно, технология может быть реализована в сетевом узле, таком как сетевой узел 8 на фиг. 1, для обмена данными между видеосерверным узлом 2 и клиентским видеотерминалом 4. Еще дополнительно, составляющие функции технологии могут быть распределены по нескольким узлам или терминалам, к примеру по любой комбинации одного или более серверных узлов, одного или более сетевых узлов и одного или более клиентских терминалов. В качестве конкретного варианта осуществления технология может быть реализована таким образом, что параметры потока битов извлекаются по меньшей мере из одного из сервера, сетевого узла и клиентского терминала, в то время как обработка параметров выполняется в еще одном другом узле или терминале. Наконец, что не менее важно, технология также может быть использована в вариантах осуществления с менее строгими временными ограничениями, таких как производство контента.

Как упомянуто выше, ввод в модель потока битов включает в себя параметры, извлеченные из уровня кодирования видео. Чтобы лучше понимать эти параметры, сначала представляется краткое пояснение структуры уровней кодирования видео со ссылкой на фиг. 2-5, которые иллюстрируют примерные уровни кодирования видео, структурированные согласно определенным современным стандартам видеокодеков, таким как H.264, MPEG-2 и H 263.

Все наиболее широко используемые современные стандарты кодирования видео, такие как H.264, MPEG-2 и H 263, используют подход на основе сегментов. В видеокодеке на основе сегментов каждое видеоизображение (также может упоминаться как "видеокадр", "кадр изображения" или просто "изображение") разделяется на меньшие сегменты, называемые некоторыми специалистами блоками, к примеру макроблоками (MB). Для вышеупомянутых стандартов кодеков размер макроблока обычно задается как 16x16 пикселов. Конечно, сегмент может иметь любой другой надлежащий размер.

Изображения в вышеупомянутых стандартах видеокодеков могут иметь три различных типа: внутренне кодированное (I-изображение), прогнозирующее кодированное (P-изображение) или сдвоенное прогнозирующе кодированное (B-изображение). I-изображения могут использовать только информацию из текущего изображения для сжатия данных, что дает возможность их использования в качестве точек произвольного доступа в видео, обеспечивая то, что потенциальная ошибка, предшествующая I-изображению, обновляется. (Чтобы обеспечивать полное обновление в H.264, только одно опорное изображение, используемое для прогнозирования P- и B-изображений, должно сохраняться в буфере; альтернативно, IDR-изображение может быть использовано вместо I-изображения). P-изображения могут прогнозировать из одного опорного изображения для каждого прогнозирования. B-изображения могут использовать два различных опорных изображения для каждого прогнозирования. Изображения упорядочиваются в группах изображений (GOP), причем GOP обычно начинается с I-изображения и завершается в изображении, предшествующем следующему I-изображению.

Фиг. 2 иллюстрирует пример GOP-структуры, включающей в себя I-, P- и B-изображения.

Фиг. 3 иллюстрирует пример GOP-структуры, содержащей только I- и P-изображения.

Фиг. 4 иллюстрирует пример P-изображения для QCIF-видео (176x144 пикселов) с макроблоками 11x9. Как можно видеть на фиг. 4, P-изображение может включать в себя внутренне кодированные макроблоки (I-MB), которым разрешено принимать информацию только из текущего изображения, и прогнозирующие макроблоки (P-MB), которые могут принимать информацию из других изображений посредством прогнозирования. Макроблоки могут быть разделены на еще меньшие сегменты. Иллюстрация на фиг. 4 показывает сегменты P-MB с размером 16×16 пикселов, 16×8 пикселов, 8×16 пикселов и 8×8 пикселов. Стандарт H.264 разрешает такие сегменты, иногда называемые субблоками, вплоть до размера 4×4 пикселов. Каждый сегмент P-MB использует вектор движения (MV), указывающий на позицию в ранее декодированном опорном изображении, чтобы осуществлять прогнозирование. См. фиг. 5 для примера MV-прогнозирования для сегмента 16x16. Видеокодер также может выбирать экономить биты посредством пропуска макроблока, инструктируя декодеру просто копировать эту часть из ранее декодированного изображения.

Из уровня кодирования видео различные параметры могут извлекаться (или получаться из извлеченных параметров) и использоваться посредством модели качества потока битов для оценки качества видео. Примерами таких параметров являются, но не только, тип кадра, GOP-тип, GOP-длина, число принятых/потерянных/отброшенных пакетов I-, P- и B-кадров и число хороших/поврежденных I-, P- и B-кадров, информация движения, макроблоков. Параметры могут быть извлечены посредством анализатора потока битов.

Кроме вышеуказанных параметров, другая информация из потока видеобитов также может быть использована для того, чтобы оценивать качество видео. Важный аспект технологии оценки качества видео, представленной в этом раскрытии сущности, состоит в том, чтобы оценивать распространение ошибки и видимость ошибки в видео из признаков, обнаруженных на уровне кодирования видеопотока битов. За счет этого может быть вычислен более точный показатель оценки качества видео.

В контексте настоящего раскрытия сущности ошибка включает в себя или является результатом потерь или задержки видеоданных, таких как потери или задержка пакета потока видеобитов. Тем не менее, не все потери данных или задержка передачи данных в потоке видеобитов имеют воспринимаемое человеком влияние на качество видео. Другими словами, не каждая ошибка имеет субъективный визуальный эффект для конечных зрителей и воспринимается как визуальное ухудшение качества. Например, потери одного B-кадра имеют незначительное влияние, поскольку другие кадры не зависят от этого кадра, и, следовательно, изображение искажается только на долю секунды, соответствующую одному B-кадру. Потери опорного кадра (I-кадра или P-кадра), тем не менее, влияют на любой P-кадр или B-кадр, который ссылается на опорный кадр. Последовательность потерь пакетов (в частности, тех, которые заключают в себе опорные кадры) начинает вызывать воспринимаемые человеком ухудшения качества видеоизображения. Кроме того, потери опорных кадров в начале смены сцены или в ходе видеопоследовательностей с интенсивным движением с большей вероятностью вызывают воспринимаемые человеком искажения, чем потери опорных кадров в относительно статических видеопоследовательностях. Наоборот, потери неопорных кадров в ходе смен сцен или видеопоследовательностей с интенсивным движением с меньшей вероятностью формируют заметные искажения, поскольку визуальный артефакт скрывается посредством быстрых изменений в изображениях, представленных зрителю.

Следовательно, недостаточно просто обнаруживать возникновение ошибки в потоке видеобитов, а требуется также квалифицировать или оценивать, насколько "видимой" является ошибка для человека-зрителя. Видимость ошибки (или вкратце видимость) является термином, используемым для того, чтобы измерять это визуальное влияние или эффект. Абсолютная величина видимости ошибки указывает, насколько сильно или серьезно ошибка влияет на воспринимаемое человеком качество видео. Одним конкретным способом количественного определения видимости ошибки является значение визуального ухудшения качества видео, вызываемого посредством ошибки.

Ключевая характеристика технологии оценки качества видео, предложенная в этом раскрытии сущности, заключается в том, чтобы отслеживать по меньшей мере одно из временного распространения и пространственного распространения ошибки. Для этого технология отслеживает то, где ошибки возникают в видео, во времени и/или в пространстве, оценивает то, в течение какого времени ошибки длятся, и/или то, насколько они разбросаны в пространстве (т.е. оценивает распространение ошибки по меньшей мере в одном из времени и пространства), и насколько они видимые. Например, ошибка стремится к пространственному разбросу, когда существует большое движение, и должна исчезать, когда поступает внутренне кодированное изображение.

Вариант осуществления способа, осуществляющий существенный аспект упомянутой выше технологии оценки качества видео, показан на фиг. 6. В частности, фиг. 6 иллюстрирует способ объективной оценки качества видео 10, который со