Улучшение качества видео
Иллюстрации
Показать всеИзобретение относится к потоковой передаче данных. Техническим результатом является обеспечение требуемого качества воспроизведения медиаконтента. Предложена технология для поддержки динамической адаптивной потоковой передачи по гипертекстовому транспортному протоколу (DASH). Показатель качества может быть определён на сетевом устройстве для каждого из множества сегментов медиаконтента в заданной репрезентации, которые описаны в файле описания медиапрезентаций (MPD). В заданной репрезентации могут быть идентифицированы сегменты медиаконтента, в которых определённый показатель качества ниже выбранного порога. Идентифицированные сегменты медиаконтента могут быть заменены соответствующими сегментами медиаконтента из другой репрезентации, описанными в файле MPD, для формирования модифицированного файла MPD, в котором показатель качества соответствующих сегментов медиаконтента выше выбранного порога, чтобы обеспечить. по существу, постоянное качество воспроизведения сегментов медиаконтента в заданной репрезентации. 3 н. и 17 з.п. ф-лы, 10 ил.
Реферат
Уровень техники
Развитие мультимедийных услуг, включая потоковую передачу данных и диалоговые услуги, является одним из главных двигателей эволюции новых мобильных широкополосных технологий и стандартов. Цифровой видеоконтент во всё большем объёме потребляется с помощью мобильных устройств. Существует множество видеоприложений, широко используемых на мобильных устройствах на повседневной основе. Например, потоковая передача данных онлайн включает в себя популярные сервисы, такие как YouTube и Hulu. Видеозапись и видеоконференц-связь включают в себя такие сервисы, как Skype и Google Hangout. В 2011 году YouTube набрал больше 1 триллиона просмотров по всему миру. Десять процентов просмотров были осуществлены с мобильных телефонов или планшетов. С ростом продаж смартфонов, планшетов и других мобильных компьютерных устройств будет резко расти их использование для видеозаписи и видеоконференц-связи. При таком высоком спросе на мультимедийные услуги в сочетании с развитием in media compression and инфраструктур беспроводных сетей представляет интерес улучшение возможностей мультимедийных услуг будущих сотовых и мобильных широкополосных систем и предоставление потребителям высокого качества восприятия (КВ) (quality of experience (QoE)), чтобы тем самым гарантировать повсеместный доступ к видеоконтенту и услугам из любого места, в любое время, с помощью любого устройства и технологии.
Краткое описание чертежей
Особенности и преимущества изобретения станут очевидны из приведённого ниже подробного описания в сочетании с приложенными чертежами, которые вместе иллюстрируют на примерах особенности изобретения.
Фиг. 1 иллюстрирует блок-схему конфигурации файла метаданных описания медиапрезентаций (МРD) согласно примеру.
Фиг. 2 иллюстрирует блок-схему потоковой передачи гипертекстового транспортного протокола (НТТР) согласно примеру.
Фиг. 3 иллюстрирует блок-схему архитектуры сети радиодоступа (RAN) с распознаванием энергетических характеристик для потоковой передачи видео на основе гипертекстового транспортного протокола (НТТР) на примере.
Фиг. 4 является схемой процесса выработки файла описания медиапрезентаций (МPD) динамической адаптивной потоковой передачи по гипертекстовому транспортному протоколу (DАSH по НТТР) на примере.
Фиг. 5 иллюстрирует варьирование качества среди сегментов медиаконтента внутри репрезентации сегментов медиаконтента на примере.
Фиг. 6 является схемой процесса выработки файла описания медиапрезентаций (МPD) динамической адаптивной потоковой передачи по гипертекстовому транспортному протоколу (DАSH по НТТР), который включает в себя технологию последующей обработки на примере.
Фиг. 7 изображает алгоритм работы схемы сетевого устройства с возможностью поддержки динамической адаптивной потоковой передачи по гипертекстовому транспортному протоколу (DАSH по НТТР) на примере.
Фиг. 8 изображает блок-схему способа поддержки динамической адаптивной потоковой передачи по гипертекстовому транспортному протоколу (DАSH по НТТР) на примере.
Фиг. 9 изображает алгоритм работы схемы сетевого устройства с возможностью поддержки динамической адаптивной потоковой передачи по гипертекстовому транспортному протоколу (DАSH по НТТР) на примере.
Фиг. 10 иллюстрирует схему беспроводного устройства (к примеру, пользовательской аппаратуры) на примере.
Ниже приведены ссылки на иллюстрированные примеры вариантов осуществления, и для их описания будет использована специальная терминология. Тем не менее, следует понимать, что здесь нет намерения как-либо ограничить объём изобретения.
Подробное описание
Перед тем, как раскрыть и описать настоящее изобретение, следует отметить, что это изобретение не ограничено конкретными раскрытыми здесь структурами, этапами процесса или материалами, но распространяется на их эквиваленты, что будет понятно для средних специалистов в данной области. Следует также понимать, что используемая здесь терминология служит для описания лишь конкретных примеров, а не ограничения. Одинаковыми номерами ссылочных позиций на разных чертежах обозначены одинаковые элементы. Номера, содержащиеся в блок-схемах и процессах, даны для наглядного иллюстрирования этапов и операций и не обязательно обозначают конкретный порядок или последовательность.
Примеры вариантов осуществления
Ниже приведён предварительный обзор вариантов осуществления технологии, а затем более подробно описаны конкретные варианты осуществления технологии. Это предварительное раскрытие призвано помочь читателям быстрее понять технологию, но не определять ключевые особенности или основные свойства технологии, также оно не должно ограничивать объём заявленного объекта изобретения.
Описана технология группировки сегментов медиаконтента одинакового качества внутри сегментов репрезентации медиаконтента в файле описания медиапрезентаций (МPD). Например, файл МPD может описывать первый набор файлов медиаконтента в первой репрезентации (к примеру, репрезентации на относительно высокой скорости потока). Кроме того, файл MPD может описывать второй набор файлов медиаконтента во второй репрезентации (к примеру, репрезентации на относительно низкой скорости потока). Репрезентация может ссылаться на набор файлов медиаконтента на определённом уровне качества и (или) определённой скорости потока. Показатель качества может быть определён для каждого из множества сегментов медиаконтента внутри одной и той же репрезентации (к примеру, сегментов медиаконтента, имеющих относительно низкую скорость потока). Могут определяться сегменты медиаконтента, имеющие показатель качества ниже выбранного порога. Например, в группе сегментов медиаконтента в репрезентации один из сегментов медиаконтента может быть относительно низкого качества (что подтверждается тем, что показатель качества одного сегмента медиаконтента ниже выбранного порога). Сегменты медиаконтента в репрезентации, имеющие показатели качества ниже выбранного порога, могут быть заменены другими сегментами медиаконтента. Например, сегмент медиаконтента с показателем качества ниже выбранной средней величины, может быть заменён соответствующим сегментом медиаконтента из другой репрезентации. Другая репрезентация может включать в себя набор файлов медиаконтента с относительно более высокой скоростью потока. Соответствующий сегмент медиаконтента может быть взят по существу из того же интервала времени по сравнению с заменяемым сегментом медиаконтента. В результате все сегменты медиаконтента для репрезентации могут иметь относительно одинаковый уровень качества (хотя скорость потока сегментов медиаконтента может немного различаться). Может быть выработано модифицированное MPD, включающее в себя сегменты медиаконтента, имеющие относительно одинаковые уровни качества. Модифицированное MPD может быть передано программе-клиенту, где модифицированное MPD может обеспечить воспроизведение практически постоянного качества сегментов медиаконтента на стороне клиента.
В альтернативной конфигурации сегменты медиаконтента в репрезентации, имеющие показатель качества ниже выбранного порога, могут быть перекодированы. Перекодирование сегментов медиаконтента может улучшить уровень качества, так, чтобы показатель качества перекодированных сегментов медиаконтента мог оказаться выше выбранного порога. Может быть выработано модифицированное MPD, включающее в себя перекодированные сегменты медиаконтента. В результате сегменты медиаконтента в репрезентации (т.е. и перекодированные сегменты медиаконтента, и те сегменты медиаконтента, что не были перекодированы) могут иметь относительно одинаковые уровни качества.
В качестве формы мультимедиа-доставки интернет-видео может быть использована адаптивная потоковая передача (HАS) по гипертекстовому транспортному протоколу (НТТР). Доставка на основе НТТР может обеспечить надёжность и простоту развёртывания благодаря широкому применению и НТТР, и протоколов, лежащих в основе НТТР, включая протокол управления передачей (TCP)/Интернет-протокол (IP). Доставка на основе НТТР может обеспечить возможность лёгких и не требующих усилий услуг потоковой передачи, избегая преобразования сетевых адресов (NAT) и проблем с обходом брандмауэра. Доставка на основе НТТР или потоковая передача может также обеспечить возможность использовать стандартные НТТР-серверы и кэши вместо специальных серверов потоковой передачи (стрим-серверов). Доставка на основе НТТР может обеспечить масштабируемость благодаря минимальной или сокращённой информации о состоянии на стороне сервера.
При использовании HАS по НТТР для доставки мультимедийного контента из интернета, установленный на мобильном устройстве видеоклиент может быть конфигурирован так, чтобы играть главную роль в адаптации скорости путём выбора и запроса подходящих уровней видео-репрезентации с видеосервера, используя команду HTTP GET или частичную команду GET для забора данных с определённого ресурса, такого как мультимедийный сервер. Изначально видеоклиент наращивает буфер до определённого уровня до того, как начать воспроизведение потокового мультимедийного контента, такого как аудио- или видеоданные. Эта фаза обозначена как фаза запуска. После этого клиент начинает воспроизведение буферизованного мультимедийного контента. Качество и разрешение мультимедийного воспроизведения клиентом зависит от доступной пропускной способности канала. Видеоклиент обычно оценивает доступную пропускную способность канала на основе оценки пропускной способности высшего уровня, такой как пропускная способность потокового видео уровня НТТР или пропускная способность протокола управления передачей (TCP).
Потоковая передача мультимедиа в высокомобильной среде может быть затруднена, когда изменения состояния сети (т.е. изменчивость сети) снижают скорость передачи данных, связанную с мультимедийным контентом. Когда из-за перегрузки сети снижается скорость передачи данных, может также снизиться качество восприятия (QoE) конечного пользователя. Например, мультимедийный контент, принятый мобильным устройством, может иметь меньшее разрешение или худшее качество и (или) мультимедийный контент, поступающий по перегруженной сети, может периодически зависать или останавливаться.
В мобильных сетях с ограниченными ресурсами может быть нежелательно использовать технологии потоковой передачи на основе поэтапной загрузки из-за неэффективного использования пропускной способности и плохого качества восприятия конечного пользователя. Как подробнее описано ниже, компенсировать слабости потоковой передачи на основе поэтапной загрузки услуги можно с помощью потоковой передачи на основе гипертекстового транспортного протокола (НТТР), такой как динамическая адаптивная потоковая передача (DАSH) по НТТР.
Мультимедийный контент, передаваемый потоковым способом клиенту, например пользовательской аппаратуре (ПА), может включать в себя множество сегментов мультимедийного контента. Каждый из сегментов мультимедийного контента может содержать разные кодированные версии, представляющие разные уровни качества мультимедийного контента. Разные кодированные версии могут позволять клиенту легко адаптироваться к изменяющемуся состоянию сети. Например, когда состояние сети хорошее (то есть выше заранее определённого порога), клиент может запрашивать сегменты мультимедийного контента с более высоким качеством видео. Когда состояние сети плохое (то есть ниже заранее определённого порога), клиент может запрашивать сегменты мультимедийного контента с более низким качеством видео. В результате клиент может сохранять возможность принимать сегменты мультимедийного контента (хотя с более низким качеством) при плохом состоянии сети, и вероятность прерывания адаптивного медиапотока может быть снижена.
При DАSH по НТТР клиент может выбирать сегменты мультимедийного контента с наиболее высокой скоростью потока, так, чтобы сегменты мультимедийного контента могли быть загружены клиентом вовремя для воспроизведения медиа без повторной буферизации при воспроизведении медиа. Другими словами, клиент может не выбирать сегменты мультимедийного контента с таким высоким качеством, что адаптивный медиапоток периодически прерывается для кэширования или предварительной загрузки части медиаконтента в клиент, прежде чем возобновить воспроизведение медиа клиентом. В одном из примеров неблагоприятное состояние сети может ухудшить качество потока медиаконтента. Неблагоприятное состояние сети может включать в себя пробелы в покрытии, внезапные изменения пропускной способности, потерю пакетов, существенное непостоянство времени задержки и т.д. Хотя адаптивные потоковые технологии могут учитывать текущее состояние сети, вычисляя доступную пропускную способность и определяя подходящую скорость потока при потоковой передаче на основе доступной пропускной способности, непрерывное воспроизведение медиа клиентом не может быть гарантировано при внезапных изменениях в сети и (или) неблагоприятном состоянии сети.
Следовательно, чтобы поддерживать желаемое качество восприятия адаптивного медиапотока на стороне клиента, намеченный маршрут клиента и текущее состояние сети на намеченном маршруте могут быть использованы для стратегического кэширования сегментов мультимедийного контента на клиенте, что приводит к более непрерывному воспроизведению медиа и улучшению качества восприятия клиентом. Клиент может выбирать намеченный маршрут (т.е. географический маршрут, по которому клиент будет перемещаться). Клиент может пользоваться потоковой передачей медиаконтента (к примеру, фильма), перемещаясь по намеченному маршруту. В одном из примеров клиент может включать в себя мобильное устройство, размещенное внутри транспортного средства или автомобильного компьютера. Клиент может принимать текущее состояние сети на намеченном маршруте из базы данных информации каналов (CID). Текущее состояние сети может включать в себя определённые точки на намеченном маршруте (к примеру, туннели, мосты, отдалённые участки), где соответствующее состояние сети ниже заранее определённого порога. Клиент может запросить дополнительные сегменты медиаконтента (к примеру, дополнительные сегменты фильма) с сервера медиаконтента и затем сохранить дополнительные сегменты медиаконтента в кэше. Когда клиент достигает точки на намеченном маршруте, где состояние сети ниже заранее определённого порога, клиент может воспроизводить медиаконтент, сохранённый в кэше. В результате клиентом может быть практически обеспечено непрерывное воспроизведение медиа даже в периоды времени, когда текущее состояние сети на намеченном маршруте ниже заранее определённого порога.
Стандарты беспроводного мультимедиа
Существует множество мультимедийных стандартов, разработанных для того, чтобы передавать мультимедийные данные на, с или между мобильными компьютерными устройствами. Например, для потокового видео Проект партнёрства третьего поколения (3GPP) разработал техническую спецификацию (ТС) 26.234 (к примеру, Release 11.0.0), который описывает услуги потоковой передачи с коммутацией пакетов (PSS), основанные на потоковом протоколе реального времени (RTSP) для одноадресной потоковой передачи контента по требованию или в режиме реального времени. Кроме того, потоковые услуги на основе гипертекстового транспортного протокола (НТТР), включающие в себя передачу с поэтапной загрузкой и динамическую адаптивную потоковую передачу (DАSH) по НТТР, описаны в ТС 26.247 3GPP (к примеру, Release 11.0.0). Спецификация ТС 26.346 услуг мультимедийного широковещания и многоадресной передачи (МBМS) на основе 3GPPP (к примеру, Release 11.0.0) определяет технологии потоковой передачи и загрузки для многоадресного/широковещательного распределения контента. Соответственно, мобильные компьютерные устройства на основе DАSH PSS/MBMS, такие как пользовательская аппаратура (ПА), декодируют и обрабатывают потоковое видео не устройствах ПА. Во всех этих спецификациях для поддержки случаев загрузки файлов и потоковой передачи на основе НТТР обязательна поддержка формата файлов 3GP в ТС 26.244 3GPP (к примеру, Release 11.0.0).
Один из примеров стандарта диалоговой видеосвязи, такого как видеоконференц-связь, обеспечен в ТС 26.114 3GPP (к примеру, Release 11.0.0). Стандарт описывает услуги мультимедийной телефонии по подсистеме передачи мультимедийных данных по IMS (MTSI), который позволяет предоставлять передовые мультимедийные диалоговые услуги и передавать контент по сетям на основе подсистем передачи мультимедийных данных по интернет-протоколу (IP). IMS стандартизована в ТС 26.140 3GPP (к примеру, e.g. Release. 11.0.0). Передающий терминал ПА на основе MTSI может фиксировать и записывать видеоданные и затем пересылать видеоданные на терминал ПА с приёмником на основе MTSI на сети 3GPP. Принимающий терминал ПА затем может декодировать и обработать видеоданные. ТС 26.140 3GPP также позволяет осуществлять видеообмен с помощью услуг обмена мультимедийными сообщениями (услуг мультимедийных сообщений, MMS), в которых обеспечена поддержка формата файлов 3GP.
Описанные выше стандарты приведены в качестве примеров стандартов беспроводного мультимедиа, которые могут использоваться для передачи мультимедийных файлов на, с и (или) между мультимедийными устройствами. Эти примеры не должны восприниматься как ограничения. Дополнительные стандарты могут использоваться для обеспечения потоковой передачи видеоданных, диалогового видео или обмена видеоданными.
Стандарты потокового мультимедиа
Здесь в контексте вариантов осуществления настоящего изобретения приведено более подробное объяснение потоковой передачи НТТР и, конкретнее, стандарта DАSH по НТТР. Подробное описание не должно восприниматься как ограничение. Как будет объяснено далее в последующих абзацах, варианты осуществления настоящего изобретения могут быть использованы для эффективной передачи мультимедийных данных с, на и (или) между мобильными устройствами путём разрешения мобильным устройствам или серверам, связанным с мобильными устройствами, выбирать и (или) передавать мультимедийные данные, имеющие желаемые энергетические характеристики. Мультимедийные данные могут передаваться с помощью стандартизованной или нестандартизованной схемы связи.
Потоковая передача по гипертекстовому транспортному протоколу (НТТР) может использоваться в качестве формы мультимедийной доставки интернет-видеоданных. При потоковой передаче по НТТР мультимедийный файл может быть разделён на один или несколько сегментов и доставлен на клиент с помощью протокола НТТР. Доставка на основе НТТР может обеспечить надёжность и простоту использования благодаря широкому применению и НТТР, и протоколов, лежащих в основе НТТР, включая протокол управления передачей (TCP)/Интернет-протокол (IP). Доставка на основе НТТР может обеспечить возможность упрощённых услуг потоковой передачи, избегая преобразования сетевых адресов (NAT) и проблем с обходом брандмауэра. Доставка на основе НТТР или потоковая передача может также обеспечить возможность использовать стандартные НТТР-серверы и кэши вместо специальных серверов потоковой передачи (стрим-серверов). Доставка на основе НТТР может обеспечить масштабируемость благодаря минимальной или сокращённой информации о состоянии на стороне сервера. Примеры технологий потоковой передачи на основе НТТР могут включать плавную потоковую передачу Microsoft IIS, потоковое вещание Apple HTTP и динамическую потоковую передачу Adobe HTTP.
DАSH является стандартизованным протоколом потоковой передачи по НТТР. Как показано на Фиг. 1, DАSH может устанавливать разные форматы файла 102 метаданных описания медиапрезентаций (MPD), который предоставляет информацию о структуре и различных версиях репрезентаций медиаконтента, хранящихся на сервере, так же как и форматы сегментов. Файл метаданных MPD содержит информацию о начальной загрузке и сегментах медиаданных для медиаплеера (к примеру, медиаплеер может обращаться к сегменту начальной загрузки для определения формата контейнера и информации о времени медиаданных), чтобы гарантировать увязку сегментов в график медиапрезентациидля переключения и синхронной презентации с другими репрезентациями. Технология DАSH также была стандартизована другими организациями, например экспертной группой по движущимся изображениям (MPEG), Открытый форум по IP-телевидению и Гибридное широковещательное широкополосное телевидение.
Клиент DАSH может принимать контент путём загрузки сегментов серией транзакций «запрос-ответ» НТТР. DАSH может обеспечить возможность динамически переключаться между репрезентациями медиаконтента с различной скоростью потока по мере изменения пропускной способности, доступной для мобильного устройства. Таким образом, DАSH может допускать быструю адаптацию к изменяющемуся состоянию сети и беспроводной связи, предпочтениям пользователя и возможностям устройства, таким как разрешение дисплея, тип задействованного центрального процессора (ЦП), доступные ресурсы памяти и т.д. Динамическая адаптация DАSH может обеспечить лучшее качество восприятия (QoE) для пользователя, с более короткими задержками при запуске и меньшим количеством эпизодов повторной буферизации, чем другие протоколы потоковой передачи.
При DАSH по НТТР метаданные 102 описания медиапрезентаций (MPD) могут предоставить информацию о структуре и различных версиях репрезентаций медиаконтента, хранящихся на веб-сервере (медиасервере) 212, как показано на Фиг. 2. В примере, показанном на Фиг. 1, метаданные MPD временно разделено на периоды, имеющие заранее определённую длину, в этом примере – 60 секунд. Каждый период может включать в себя множество адаптационных наборов 104. Каждый адаптационный набор может предоставить информацию об одном или нескольких медиакомпонентах с рядом кодированных вариантов. Например, адаптационный набор 0 в этом примере может включать в себя множество по-разному кодированных вариантов аудио, таких как различные скорости потока, моно, стерео, пространственное звучание и т.д. В дополнение к предложению аудиоданных разного качества для мультимедийной презентации по ID периода, адаптационный набор может также включать в себя аудио на разных языках. Различные варианты, предлагаемые в адаптационном наборе, обозначены как репрезентации 106.
На Фиг. 1 адаптационный набор 1 показан как предложение видео с разной скоростью потока, например, 5 мегабит в секунду (Мбит/с), 3 Мбит/с, 500 килобит в секунду (Кбит/с) или в режиме ускоренной (или обратной) перемотки. Этот режим можно использовать для поиска, быстрого просмотра, «перемотки» или других изменений местоположения в потоковом мультимедийном файле. Кроме того, видео может также быть доступно в разных форматах, например двумерного (2D) или трёхмерного (3D) видео. Каждая из репрезентаций 106 может включать в себя информацию 108 сегмента. Информация сегмента может включать в себя информацию 110 запуска и данные 112 фактического медиасегмента. В этом примере файл MPEG4 (MP4) передаётся потоковым способом с сервера на мобильное устройство. Хотя в этом примере используется MP4, может быть использовано множество различных кодеков, как было упомянуто ранее.
Мультимедийные данные в адаптационном набор могут далее быть разделены на меньшие сегменты. В примере по Фиг. 1 60-секундный видеосегмент адаптационного набора 1 далее разделён на 4 подсегмента 112 по 15 секунд каждый. Эти примеры не должны восприниматься как ограничения. Фактическая длина адаптационного набора и каждого медиасегмента или подсегмента зависит от типа медиаданных, системных требований, типов потенциальных помех и т.д. Длина фактических медиасегментов или подсегментов может быть от менее чем секунды до нескольких минут.
Как показано на Фиг. 2, информация метаданных MPD может быть передана на клиент 220, такой как мобильное устройство. Мобильное устройство может являться беспроводным устройством, выполненным для приёма и отображения потоковых медиаданных. В одном из вариантов осуществления мобильное устройство может выполнять только часть этих функций, например, принимать потоковые медиаданные и затем передавать их на другое устройство или устройство отображения для обработки. Мобильное устройство может быть выполнено так, чтобы выполнять клиент 220. Клиент может запрашивать сегменты с помощью сообщения 240 НТТР GET или серии частичных сообщений GET. Клиент может управлять потоковым сеансом, например, управлять своевременным запросом и плавным проигрыванием последовательности сегментов или потенциально корректировать скорости потока или другие признаки в ответ на изменения беспроводного соединения, состояния устройства или предпочтений пользователя.
Фиг. 2 иллюстрирует потоковую оболочку на основе DАSH по НТТР. Кодировщик 214 медиаданных в веб-сервере (медиа-сервере) 212 может кодировать входящие медиаданные с устройства 210 ввода аудио/видео в формате хранения или потоковой передачи. Сегментатор 216 может использоваться для разбиения входящих медиаданных на серии сегментов 232, которые могут подаваться на веб-сервер 218. Клиент 220 может запрашивать новые данные в сегментах с помощью сообщений 234 НТТР GET, посланных на веб-сервер (к примеру, НТТР-сервер).
Например, веб-браузер 222 клиента 220 может запрашивать мультимедийный контент с помощью сообщения НТТР GET (240). Веб-сервер 218 может предоставить клиенту MPD 242 для мультимедийного контента. MPD может использоваться для передачи индекса каждого сегмента и соответствующих местоположений сегмента, как показано в сопутствующей информации метаданных (252). Веб-браузер может извлекать медиаданные с сервера сегмент за сегментом в соответствии с MPD 242, как показано на 236. Например, веб-браузер может запрашивать первый сегмент с помощью HTTP GET URL (frag 1 req) (244). Унифицированный указатель ресурса (URL) или универсальный указатель ресурса может использоваться для того, чтобы сообщить веб-серверу, какие сегменты клиент должен запросить (254). Веб-сервер может предоставить первый фрагмент (т.е. сегмент 1 (246)). Для последующих сегментов веб-браузер может запрашивать сегмент i с помощью HTTP GET URL (frag i req) (248), где i является целочисленным индексом сегмента. В результате веб-сервер может обеспечить сегмент i (250). Сегменты могут быть представлены клиенту посредством декодера/проигрывателя 224 медиаданных.
Фиг. 3 иллюстрирует движение мультимедийного контента 312 между НТТР-сервером 310, предоставляющим мультимедийный контент 3GPP-клиенту 338, функционирующему на мобильном устройстве, таком как ПА 336. НТТР-сервер может подключаться к общедоступной или частной сети 322 (или Интернету) в связи с базовой сетью 324 или беспроводной глобальной сетью (WWAN). В одном из вариантов осуществления WWAN может являться сетью на основе 3GPP LTE или сетью на основе IEEE 802.16 (т.е. 802.16-2009). Базовая сеть может получать доступ к беспроводной сети 330, такой как развитая пакетная система (EPS) посредством сети радиодоступа (RAN) 332. СРД 332 может предоставлять мультимедийный контент клиенту, управляя ПА 336 через узел (к примеру, развитый узел B (eNB) 334).
НТТР-сервер 310 может быть подключён к базе 350 данных информации каналов. База 350 данных информации каналов может включать в себя текущее состояние сети для множества географических местоположений. Множество географических местоположений может включать в себя конкретные дороги, улицы, районы, географические местности, мосты, тоннели и т.д. Текущее состояние сети может быть основано на наблюдении в режиме реального времени за текущим состоянием сети во множестве географических местоположений. Следовательно, база 350 данных информации каналов может динамически обновляться вследствие изменений текущего состояния сети. Или же текущее состояние сети может быть выведено логически на основе предыдущей информации о текущем состоянии сети для множества географических местоположений. В другом примере текущее состояние сети может быт определено с помощью информации о текущем состоянии сети, полученной методом краудсорсинга.
При DASH медиаконтент может храниться в различных репрезентациях (к примеру, соответствующих уровням качества). Каждая репрезентация может включать в себя список сегментов медиаконтента, которые может запросить клиент (к примеру, мобильное устройство). Информация по различным репрезентациям и список сегментов медиаконтента для каждой из репрезентаций могут быть скомпилированы в MPD и загружены клиентом, и клиент на основе MPD может запрашивать различные сегменты медиаконтента с сервера.
В одном из примеров различные операции постобработки могут выполняться по отношению к контенту, форматированному способом DASH по НТТР, и связанным с ним файлам MPD, т.е. файлам описания, чтобы осуществить варьирование качества, введённое процессом кодирования. Характеристики видеоконтента часто меняются в зависимости от содержания контента; в том числе по этой причине кодировщики не всегда могут производить контент стабильного качества и одновременно производить цифровые потоки, имеющие определённые, конкретные скорости потока. Например, быстро сменяющиеся сцены с относительно интенсивным движением, такие как спортивные видеоклипы, может быть затруднительно кодировать в стабильном качестве и, следовательно, качество кодированных данных может значительно колебаться. Другой пример: переход между сценами может быть затруднительно кодировать без варьирования качества до некоторой степени. С другой стороны, медленно меняющиеся сцены можно кодировать с меньшим варьированием качества, потому что для презентации таких сцен используется относительно меньшее число бит.
Ряд коммерческих кодировщиков (или видеокодеров) производят кодированные сегменты медиаконтента с переменными уровнями качества. Видеокодек является устройством или программным обеспечением, которое позволяет сжимать или развёртывать цифровые видеоданные. Некоторые примеры видеокодеков включают в себя H.265 или «Высокоэффективное видеокодирование» Экспертной группы по движущимся изображениям (MPEG-H HEVC), H.264 или «Продвинутое видеокодирование» Экспертной группы по движущимся изображениям (MPEG-4 AVC), или H.263/MPEG-4 часть 2.
Фиг. 4 является схемой примера процесса выработки файла описания медиапрезентации (MPD) динамической адаптивной потоковой передачи по гипертекстовому транспортному протоколу (DASH). В некоторых примерах процесс выработки файла MPD DASH может протекать на сервере (к примеру, на пограничном сервере) в сети доставки контента (СDN) или в сети операторов. Входящие видеоданные могут быть приняты на сервере. Входящие видеоданные могут включать в себя медиаконтент, такой как спортивный матч или выпуск новостей. Медиаконтент, принятый на сервере, может включать в себя одиночный файл (к примеру, файл двухчасового события). Кроме того, входящие видеоданные могут представлять собой исходный, несжатый видеосигнал. На этапе 402 может быть выполнен процесс видео- или аудиокодирования медиаконтента. Процесс кодирования видеоданных (или процесс перекодирования видеоданных) может перевести медиаконтент в цифровой формат, совместимый с веб-проигрывателями и мобильными устройствами. Другими словами, медиаконтент может быть подвергнут видеокодированию для перевода медиаконтента в формат, доступный для просмотра на различных устройствах. Примеры видеокодеков могут включать в себя H.265, H.264, Windows Media Video (WMV) и т.д. Примеры аудиокодеков включают в себя MPEG-1 или MPEG-2 аудиоплеер III (MP3) и Windows Media Audio (WMA). На этапе 404 может быть выполнен процесс мультиплексирования видео для чередования аудиоконтента и видеоконтента.
На этапе 406 медиаконтент (с чередованием видео- и аудиоданных) может быть подвергнут сегментированию. Другими словами, медиаконтент может быть сегментирован на множество сегментов медиаконтента. Например, каждый сегмент медиаконтента может иметь длину 0.5 секунды, 1 секунду, 2 секунды и т.д. На этапе 408 может быть выработано MPD DASH, описывающее сегменты медиаконтента. Процесс выработки файла MPD DASH может быть повторён для каждой скорости потока, определённой поставщиком контента. Таким образом, MPD может содержать несколько репрезентаций, каждая для данной скорости потока. Скорости потока могут отличаться от одной репрезентации к другой (к примеру, 500, 1000, 1500 Кбит/с) с целью обеспечения адаптивной потоковой передачи медиаконтента. MPD DASH может передаваться клиенту, и клиент может использовать MPD DASH, чтобы запрашивать с сервера определённые сегменты медиаконтента для воспроизведения клиентом.
Фиг. 5 иллюстрирует пример варьирования качества среди сегментов медиаконтента внутри репрезентации сегментов медиаконтента. Как показано на Фиг. 5, уровень качества стандартной репрезентации может оставаться в целом постоянным, но репрезентация может включать в себя отклонения как более высокого, так и более низкого качества. Сегменты медиаконтента, получаемые в результате процессов кодирования, мультиплексирования и сегментирования (как описано на Фиг. 4) могут отличаться уровнем качества (к примеру, некоторые сегменты медиаконтента могут иметь более высокий или более низкий уровень качества по сравнению с другими сегментами медиаконтента) из-за типа кодирования переменной скорости потока, кодируемого медиаконтента и различных технологий кодирования, применяемых в процессе видеокодирования. Другими словами, процесс кодирования несжатого видеосигнала может привести к различиям в качестве.
В одном из примеров динамичная сцена видеоконтента и медленная сцена видеоконтента могут быть кодированы с помощью одной и той же технологии кодирования. Однако из-за относительно большого числа бит, используемых в динамичной сцене, и относительно малого числа бит, используемых в медленной сцене, динамичная сцена может иметь более низкое качество, чем медленная сцена, хотя обе сцены находятся в одной репрезентации. Если клиент поддерживает разные скорости потока, варьирование качества разных сегментов медиаконтента может быть заметно для клиента. Другими словами, пользователь клиента может заметить различия в качестве разных сцен или кадров, что тем самым приведёт к ухудшению восприятия пользователем.
Фиг. 6 является схемой примера процесса выработки файла описания медиапрезентаций (MPD) динамической адаптивной потоковой передачи по гипертекстовому транспортному протоколу (DASH), который включает в себя технологию постобработки MPD. В некоторых примерах процесс выработки файла MPD DASH с технологий постобработки MPD может выполняться на сервере (к примеру, на пограничном сервере) в сети доставки контента (СDN) или в сети операторов. Входящие видеоданные могут приниматься сервером. Входящие видеоданные могут включать в себя медиаконтент, например, спортивный матч или выпуск новостей. На этапе 602 может быть выполнен процесс видео- и аудиокодирования медиаконтента. На этапе 604 может быть выполнен процесс мультиплексирования видео для чередования аудиоконтента и видеоконтента. На этапе 606 видео- и аудиоконтент (или поток медиаконтента) может быть подвергнут сегментированию. Другими словами, поток медиаконтента может быть сегментирован на множество сегментов медиаконтента. На этапе 608 может быть выработано MPD DASH, описывающее сегменты медиаконтента. На этапе 610 технология постобработки MPD может быть применена к MPD DASH. Сегменты медиаконтента близкого качества внутри репрезентации могут быть сгруппированы вместе и использованы для создания модифицированного MPD 620. В одном из примеров технология постобработки MPD может применять на кодировщике DASH, а не на видеокодере.
Показатели качества каждого сегмента медиаконтента в каждой репрезентации можно сравнить, например, с помощью инструмента 614 измерения качества. Показатель качества может быть объективным или субъективным критерием, используемым для оценки уровня качества сегмента медиаконтента. Обычно качество медиаконтента (или качество видео) относится к формальному или неформальному измерению наблюдаемого ухудшения качества между исходным видеоконтентом и видеоконтентом после прохождения через систему видеопередачи или обработки (к примеру, видеокодер). Другими слов