Адаптивная обработка несколькими узлами обработки медиаданных

Адаптивная обработка несколькими узлами обработки медиаданных

Иллюстрации

Показать все

Реферат

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННУЮ ЗАЯВКУ И ПРИТЯЗАНИЕ НА ПРИОРИТЕТ

Данная заявка заявляет приоритет предварительной заявки на патент США №61/419747, поданной 3 декабря 2010 г., и предварительной заявки на патент США №61/558286, поданной 10 ноября 2011 г., и обе эти заявки ссылкой включаются в данное описание полностью во всех отношениях.

ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится, в общем, к системам обработки медиаданных и, в частности, к адаптивной обработке медиаданных на основе состояний обработки медиаданных для медиаданных.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

Узлы обработки медиаданных, как правило, действуют вслепую и не уделяют внимания истории обработки медиаданных, которая происходит перед тем, как медиаданные были получены. Это может работать в инфраструктуре обработки медиаданных, где единственный объект выполняет всю обработку медиаданных и кодирование для различных конечных устройств представления медиаданных, а конечное устройство представления медиаданных выполняет все декодирование и представление кодированных медиаданных. Однако такая слепая обработка не оправдывает себя на практике (или вообще не работает) в ситуациях, где несколько узлов обработки медиаданных рассеяны в неоднородной сети или размещены последовательно (т.е. в цепочке) и, как ожидается, должны оптимальным образом выполнять соответствующие им типы обработки медиаданных. Например, некоторые медиаданные могут кодироваться для высокопроизводительных медиасистем, и они могут нуждаться в преобразовании к сокращенной форме, пригодной для мобильного устройства в цепочке обработки медиаданных. Соответственно, узел обработки медиаданных может без необходимости выполнять на медиаданных обработку какого-либо типа, которая уже была выполнена. Например, узел регулировки уровня громкости выполняет обработку на входном аудиоклипе независимо от того, выполнена ли была регулировка громкости на входном аудиоклипе ранее. В результате, узел регулировки уровня громкости выполняет регулировку тогда, когда она не является необходимой. Такая не являющаяся необходимой обработка также может приводить к снижению качества и/или устранению характерных признаков в медиаданных при представлении содержимого медиаданных.

Подходы, описываемые в данном разделе, представляют собой подходы, которым можно было бы следовать, но они необязательно являются подходами, которые были задуманы или осуществлены ранее. Поэтому, если не указано иное, не следует полагать, что любой из описываемых в данном разделе подходов квалифицируется как прототип единственно на основании его включения в данный раздел. Аналогично, если не указано иное, на основании данного раздела не следует полагать, что трудности, идентифицируемые в отношении одного или нескольких подходов, являются признанными на текущем уровне техники.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Настоящее изобретение иллюстрируется на примере, а не путем ограничения, на фигурах в сопроводительных графических материалах, в которых сходные ссылочные позиции относятся к сходным элементам, где:

ФИГ. 1 иллюстрирует пример цепочки обработки медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;

ФИГ. 2 иллюстрирует пример усовершенствованной цепочки обработки медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;

ФИГ. 3 иллюстрирует пример кодера/транскодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;

ФИГ. 4 иллюстрирует пример декодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;

ФИГ. 5 иллюстрирует пример узла постобработки в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;

ФИГ. 6 иллюстрирует пример реализации кодера/транскодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;

ФИГ. 7 иллюстрирует пример эволюционного декодера, управляющего режимами работы узла регулировки уровня громкости на основании достоверности метаданных громкости в метаданных состояния обработки и/или в связи с метаданными состояния обработки в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;

ФИГ. 8 иллюстрирует пример конфигурации при использовании скрытия данных для передачи информации обработки медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения;

ФИГ. 9A и ФИГ. 9B иллюстрируют примеры последовательностей операций процессов в соответствии с одним из возможных вариантов осуществления настоящего изобретения;

ФИГ. 10 иллюстрирует пример аппаратной платформы, на которой может быть реализован компьютер, или вычислительное устройство, описываемое в настоящем раскрытии, в соответствии с одним из возможных вариантов осуществления настоящего изобретения;

ФИГ. 11 иллюстрирует пример кадров медиаданных, вместе с которыми могут передаваться метаданные состояния обработки, связанные с медиаданными в кадрах медиаданных, в соответствии с одним из иллюстративных вариантов осуществления изобретения; и

ФИГ. 12A - ФИГ. 12L иллюстрируют блок-схемы некоторых примеров узлов/устройств обработки медиаданных в соответствии с некоторыми вариантами осуществления настоящего изобретения.

ОПИСАНИЕ ПРИМЕРОВ ВОЗМОЖНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

В данном разделе описываются примеры возможных вариантов осуществления изобретения, которые относятся к адаптивной обработке медиаданных на основе состояний обработки медиаданных. В нижеследующем описании в целях разъяснения многочисленные конкретные подробности излагаются для того, чтобы обеспечить всестороннее понимание настоящего изобретения. Станет, однако, ясно, что настоящее изобретение может применяться на практике без указанных конкретных подробностей. В других случаях, хорошо известные конструкции и устройства не описываются в исчерпывающих подробностях во избежание не являющегося необходимым скрытия, затруднения понимания или усложнения настоящего изобретения.

В настоящем раскрытии, примеры вариантов осуществления изобретения описываются в соответствии со следующим планом:

1. ОБЩИЙ ОБЗОР

2. ЦЕПОЧКИ ОБРАБОТКИ МЕДИАДАННЫХ

3. УЗЛЫ, ИЛИ УСТРОЙСТВА ОБРАБОТКИ МЕДИАДАННЫХ

4. ПРИМЕРЫ АДАПТИВНОЙ ОБРАБОТКИ МЕДИАДАННЫХ

5. СКРЫТИЕ ДАННЫХ

6. ПРИМЕРЫ ПОСЛЕДОВАТЕЛЬНОСТЕЙ ОПЕРАЦИЙ ПРОЦЕССОВ

7. МЕХАНИЗМЫ РЕАЛИЗАЦИИ - ОБЗОР АППАРАТНОГО ОБЕСПЕЧЕНИЯ

8. ПРОНУМЕРОВАННЫЕ ИЛЛЮСТРАТИВНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

9. ЭКВИВАЛЕНТЫ, РАСШИРЕНИЯ, АЛЬТЕРНАТИВЫ И РАЗНОЕ

1. ОБЩИЙ ОБЗОР

Данный обзор представляет базовое описание различных особенностей одного из возможных вариантов осуществления настоящего изобретения. Следует отметить, что данный обзор не является всесторонней и исчерпывающей сводкой особенностей возможного варианта осуществления изобретения. Более того, следует отметить, что данный обзор не предназначается для его понимания ни как обзора, идентифицирующего какие-либо особенно важные особенности или элементы возможного варианта осуществления изобретения, ни как обзора, очерчивающего какой-либо объем возможного варианта осуществления изобретения в частности или изобретение в целом. Данный обзор единственно представляет некоторые концепции, которые относятся к примеру возможного варианта осуществления изобретения в сжатом и упрощенном формате, и его следует воспринимать единственно как концептуальное вступление к более подробному описанию примеров возможных вариантов осуществления изобретения, которые приводятся ниже.

Описываются методики адаптивной обработки медиаданных, основывающиеся на состояниях обработки медиаданных. В некоторых возможных вариантах осуществления изобретения, узлы обработки медиаданных в усовершенствованной цепочке обработки медиаданных автоматически активируются для осуществления поиска, выборки и проверки достоверности сигнализации обработки медиаданных и/или метаданных состояния обработки, определения состояния медиаданных на основе сигнализации обработки медиаданных и/или метаданных состояния обработки, адаптации соответствующей им обработки на основе состояния метаданных. Узлы обработки медиаданных в усовершенствованной цепочке обработки медиаданных могут включать, в качестве неограничивающих примеров, кодеры, транскодеры, декодеры, узлы предобработки, узлы постобработки, инструменты обработки битового потока, кодеки комитета по усовершенствованным телевизионным системам (ATSC), кодеки экспертной группы по вопросам движущегося изображения (MPEG) и т.д. Узел обработки медиаданных может представлять собой систему обработки медиаданных или часть системы обработки медиаданных.

В том значении, которое используется в настоящем документе, термин «метаданные состояния обработки» относится к отдельным метаданным, отличающимся от медиаданных, в то время как термин «медиаданные» (например, видеокадры, перцептивно кодированные аудиокадры или дискретные значения аудиоданных РСМ, содержащие содержимое медиаданных) относится к дискретным значениям медиаданных, которые отображают содержимое медиаданных и используются для представления содержимого медиаданных как выходного аудио- или видеосигнала. Метаданные состояния обработки связаны с медиаданными и указывают, какие типы обработки уже были выполнены на этих медиаданных. Указанная связь метаданных состояния обработки с медиаданными является синхронной по времени. Поэтому имеющиеся метаданные состояния обработки указывают, что имеющиеся в то же самое время медиаданные включают результаты указанных типов обработки медиаданных и/или описание признаков медиаданных в медиаданных. В некоторых возможных вариантах осуществления изобретения, метаданные состояния обработки могут включать историю обработки и/или некоторые, или все, параметры которые используются и/или получаются в результате обработки медиаданных указанных типов. В дополнение и/или необязательно, метаданные состояния обработки могут включать признаки медиаданных одного или нескольких различных типов, рассчитанные/извлеченные из медиаданных. Признаки медиаданных, в том значении, которое используется в настоящем раскрытии, представляют семантическое описание медиаданных и могут включать одно или несколько структурных свойств, тональность, включая гармонию и мелодию, тембр, ритм, стандартный уровень громкости, стереофоническое микширование или количество источников звука в медиаданных, отсутствие или присутствие голоса, характеристики повторений, мелодии, гармонии, тексты, тембр, признаки, относящиеся к восприятию, признаки цифровых медиаданных, стереофонические параметры, распознавание голоса (например, того, что говорит говорящий) и т.д. Метаданные состояния обработки также могут включать другие метаданные, которые не относятся к какой-либо обработке медиаданных и не получаются в результате этой обработки. Например, определенным узлом обработки медиаданных для передачи другим узлам обработки медиаданных могут добавляться данные третьей стороны, информация сопровождения, идентификаторы, информация о стандартах и правах собственности, данные пользовательских комментариев, данные пользовательских настроек и т.д. Указанные независимые типы метаданных могут распределяться в разные стороны, проверяться на достоверность и использоваться компонентом обработки медиаданных в цепочке обработки медиаданных. Термин «сигнализация обработки медиаданных» относится к относительно легковесным управляющим данным или данным состояния (которые могут обладать небольшим информационным объемом относительно метаданных состояния обработки), которые передаются между узлами обработки медиаданных в битовом потоке медиаданных. Сигнализация обработки медиаданных может включать подмножество, или сводку, метаданных состояния обработки.

Сигнализация обработки медиаданных и/или метаданные состояния обработки могут встраиваться в одно или несколько зарезервированных полей (например, в те, которые, в качестве неограничивающего примера, могут не использоваться в текущий момент), переноситься в подпотоке битового потока медиаданных, скрываться медиаданными или снабжаться отдельной базой данных обработки медиаданных. В некоторых возможных вариантах осуществления изобретения, информационный объем сигнализации обработки медиаданных и/или метаданных состояния обработки может быть достаточно небольшим для того, чтобы они переносились (например, в зарезервированных полях, или скрытыми в дискретных значениях медиаданных с использованием методик обратимого скрытия данных, или путем сохранения подробной информации состояния обработки во внешнюю базу данных наряду с тем, что вычисляются контрольные суммы медиаданных исходя из медиаданных, или наряду с поиском и выборкой контрольных сумм медиаданных исходя из медиаданных, и т.д.), не оказывая влияния на битовую скорость передачи данных, выделенную для переноса медиаданных. Передача сигнализации обработки медиаданных и/или метаданных состояния обработки в усовершенствованной цепочке обработки медиаданных особенно полезна тогда, когда двум или большему количеству узлов обработки приходится работать друг с другом последовательно через всю цепочку обработки медиаданных (или жизненный цикл содержимого). В отсутствие сигнализации обработки медиаданных и/или метаданных состояния обработки с большой вероятностью могут возникать такие серьезные трудности при обработке медиаданных, как снижение их качества, уровня или пространственная деградация, например, тогда, когда в цепочке используется два или большее количество аудиокодеков, и в ходе перемещения медиаданных к устройству потребления медиаданных (или к точке представления содержимого медиаданных в медиаданных) более одного раза применяется односторонняя регулировка уровня громкости.

Напротив, описываемые в настоящем раскрытии методики повышают интеллект любого или всех узлов обработки медиаданных в усовершенствованной цепочке обработки медиаданных (жизненном цикле содержимого). Согласно описываемым в настоящем раскрытии методикам, любой из указанных узлов обработки медиаданных может как «ожидать и адаптировать», так и «сообщать» состояние медиаданных находящимся в нисходящем направлении узлам обработки медиаданных. Поэтому, согласно описываемым в настоящем раскрытии способам, узел обработки медиаданных в нисходящем направлении может оптимизировать обработку им медиаданных, основываясь на знании об обработке медиаданных в прошлом, выполненной одним или несколькими узлами обработки медиаданных в восходящем направлении. Согласно методикам, описываемым в настоящем раскрытии, обработка медиаданных цепочкой обработки медиаданных в целом на медиаданных становится более эффективной, более адаптивной и более прогнозируемой, чем в противном случае. В результате, значительно улучшается общее представление и обработка содержимого медиаданных.

Важно, что, согласно методикам, описываемым в настоящем раскрытии, присутствие состояния медиаданных, указываемого сигнализацией обработки медиаданных и/или метаданными состояния обработки, не оказывает отрицательного воздействия на унаследованные узлы обработки медиаданных, которые могут присутствовать в усовершенствованной цепочке обработки медиаданных и сами по себе могут не использовать состояние медиаданных для адаптивной обработки медиаданных. Кроме того, даже если унаследованный узел обработки медиаданных в цепочке обработки медиаданных может иметь склонность к вмешательству в результаты обработки других устройств обработки медиаданных в восходящем направлении, метаданные состояния обработки согласно настоящему описанию могут безопасно и надежно передаваться устройствам обработки медиаданных в нисходящем направлении посредством способов защищенной связи, которые используют криптографические величины, шифрование, проверку подлинности и скрытие данных. Примеры скрытия данных включают как обратимое, так и необратимое скрытие данных.

В некоторых возможных вариантах осуществления изобретения, с целью передачи состояния медиаданных узлам обработки медиаданных в нисходящем направлении, методики согласно настоящему описанию могут облекать и/или встраивать один или несколько подузлов обработки в формы программного обеспечения, аппаратного обеспечения или обе эти формы в узле обработки медиаданных так, чтобы позволить узлу обработки медиаданных считывать, записывать и/или проверять достоверность метаданных состояния обработки, доставляемых вместе с медиаданными.

В некоторых возможных вариантах осуществления изобретения, узел обработки медиаданных (например, кодер, декодер, регулятор уровня и т.д.) может получать медиаданные, на которых обработка медиаданных одного или нескольких типов была выполнена, однако: 1) не существует метаданных состояния обработки для указания этих типов ранее выполненной обработки медиаданных, и/или 2) метаданные состояния обработки могут быть неверными или неполными. Типы обработки медиаданных, которые выполнялась ранее, включают операции (например, регулировку уровня громкости), которые могут изменять дискретные значения медиаданных, а также операции (например, извлечение контрольной суммы и/или извлечение признаков на основе дискретных значений медиаданных), которые могут не изменять дискретные значения медиаданных. Узел обработки медиаданных может быть сконфигурирован для автоматического создания «правильных» метаданных состояния обработки, отражающих «истинное» состояние медиаданных, и связывания этого состояния медиаданных с медиаданными путем передачи созданных метаданных состояния обработки одному или нескольким узлам обработки медиаданных в нисходящем направлении. Кроме того, связь медиаданных и метаданных состояния обработки может выполняться так, чтобы результирующий битовый поток медиаданных был обратно совместим с такими унаследованными узлами обработки медиаданных, как унаследованные декодеры. В результате, унаследованные декодеры, которые не реализуют методики согласно настоящему раскрытию, по-прежнему могут быть способны правильно декодировать медиаданные таким образом, на который рассчитаны унаследованные декодеры, и, в то же время, игнорировать связанные метаданные состояния обработки, которые указывают состояние медиаданных. В некоторых возможных вариантах осуществления изобретения, узел обработки медиаданных согласно настоящему раскрытию может параллельно конфигурироваться с возможностью проверки достоверности метаданных состояния обработки, совместных с (исходными) медиаданными, путем криминалистического анализа и/или проверки достоверности одного или нескольких встроенных значений хэш-функции (например, электронных подписей).

Согласно описанным в настоящем раскрытии методикам, адаптивная обработка медиаданных на основе состояния медиаданных в то же самое время, которое указывается принимаемыми метаданными состояния обработки, может выполняться в различных точках цепочки обработки медиаданных. Например, если метаданные громкости в метаданных состояния обработки являются достоверными, то узел регулировки уровня громкости, следующий за декодером, может извещаться декодером посредством сигнализации обработки медиаданных и/или метаданными состояния обработки, и, таким образом, узел регулировки уровня громкости может передавать медиаданные так, чтобы аудиоданные не изменялись.

В некоторых вариантах осуществления изобретения, метаданные состояния обработки включают признаки медиаданных, извлеченные из лежащих в их основе дискретных значений медиаданных. Признаки медиаданных могут подразумевать семантическое описание дискретных значений медиаданных и могут доставляться как часть метаданных состояния обработки, указывая, например, включают ли дискретные значения медиаданных речь, музыку, поет ли кто-то в тишине или в шумных условиях, происходит ли пение поверх разговаривающей толпы, происходит ли диалог, имеется ли речь поверх шумового фона, имеет ли место сочетание двух или большего количества вышеизложенных признаков, и т.д. Адаптивная обработка медиаданных может выполняться в различных точках цепочки обработки медиаданных на основе описания признаков медиаданных, содержащихся в метаданных состояния обработки.

Согласно методикам, описываемым в настоящем раскрытии, метаданные состояния обработки, встроенные в битовый поток медиаданных вместе с медиаданными, могут проверяться на подлинность и достоверность. Например, методики согласно настоящему раскрытию могут быть полезны для объектов, регулирующих громкость, при проверке того, находится ли громкость конкретной программы уже в пределах указанного диапазона, и что сами медиаданные не были модифицированы (посредством чего гарантируется соответствие нормам). Значение громкости, заключенное в блоке данных, включающем метаданные состояния обработки, может быть считано для проверки его достоверности вместо повторного вычисления громкости.

Согласно методикам, описываемым в настоящем раскрытии, блок данных, включающий метаданные состояния обработки, может включать дополнительные зарезервированные байты для защищенного переноса метаданных третьей стороны. Этот признак может использоваться для того, чтобы делать возможным множество применений. Например, рейтинговое агентство (например, Nielsen Media Research) может выбрать включение метки идентификации содержимого, которая может затем использоваться для идентификации определенной просмотренной или прослушанной программы с целью вычисления рейтингов, статистики зрительской или слушательской аудитории.

Важно, что методики, описываемые в настоящем раскрытии, и изменения этих методик, описываемые в настоящем раскрытии, могут обеспечивать то, что метаданные состояния обработки, связанные с медиаданными, будут сохраняться неизменными по всей цепочке обработки медиаданных от создания содержимого до потребления содержимого.

В некоторых возможных вариантах осуществления изобретения, механизмы, описываемые в настоящем раскрытии, образуют часть системы обработки медиаданных, включающей, в качестве неограничивающих примеров, карманное устройство, игровой автомат, телевизор, дорожный компьютер, нетбук, сотовый радиотелефон, электронную книгу, терминал для производства платежей в месте совершения покупки, настольный компьютер, автоматизированное рабочее место, компьютерный информационный киоск и другие разнообразные типы терминалов и узлов обработки медиаданных.

Специалистам в данной области будут ясны различные модификации предпочтительных вариантов осуществления изобретения и обобщенные принципы, и признаки, описываемые в настоящем раскрытии. Поэтому данное раскрытие не предназначено для ограничения показанными вариантами его осуществления, но подлежит согласованию с наиболее широким объемом, соответствующим описываемым в настоящем раскрытии принципам и признакам.

2. ЦЕПОЧКИ ОБРАБОТКИ МЕДИАДАННЫХ

ФИГ. 1 иллюстрирует один из примеров цепочки обработки медиаданных в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. Цепочка обработки медиаданных может, в качестве неограничивающих примеров, включать кодеры, декодеры, узлы пред-/постобработки, транскодеры и узлы анализа сигнала и коррекции метаданных. Указанные узлы цепочки обработки медиаданных могут заключаться в одной и той же системе или в различных системах. В тех вариантах осуществления изобретения, где цепочка обработки медиаданных охватывает разные системы, указанные системы могут располагаться вместе или являться географически распределенными.

В некоторых вариантах осуществления изобретения, узел предобработки по ФИГ. 1 может принимать в качестве входных данных дискретные значения РСМ (во временной области), включающие содержимое медиаданных, и выводить обработанные дискретные значения РСМ. Кодер может принимать в качестве входных данных дискретные значения РСМ и выводить кодированный (например, сжатый) битовый поток медиаданных содержимого медиаданных.

В том значении, которое используется в настоящем раскрытии, данные (например, переносимые в основном потоке битового потока), включающие содержимое медиаданных, называются медиаданными, в то время как данные, отдельные от медиаданных, указывающие типы обработки, выполненной на медиаданных в любой данной точке цепочки обработки медиаданных, называются метаданным состояния обработки.

Узел анализа сигнала и коррекции метаданных может принимать в качестве входных данных один или несколько кодированных битовых потоков медиаданных и, путем выполнения анализа сигнала, проверять, являются ли верными метаданные состояния обработки, заключенные в кодированные битовые потоки медиаданных. Если узел анализа сигнала и коррекции метаданных обнаруживает, что включенные метаданные являются неверными, узел анализа сигнала и коррекции метаданных заменяет неверное значение верным значением, полученным исходя из анализа сигнала.

Транскодер может принимать в качестве входных данных битовые потоки медиаданных и выводить модифицированный битовый поток медиаданных. Декодер может принимать в качестве входных данных сжатые битовые потоки медиаданных и выводить поток декодированных дискретных значений РСМ. Узел постобработки может принимать поток декодированных дискретных значений РСМ, выполнять на них какую-либо постобработку, например, регулировку уровня громкости содержимого медиаданных, и представлять содержимое медиаданных в декодированных дискретных значениях РСМ в одном или нескольких громкоговорителях и/или на одной или нескольких индикаторных панелях. Все узлы обработки медиаданных могут не быть способны адаптировать их обработку для применения к медиаданным с использованием метаданных состояния обработки.

Методики, которые представлены в настоящем раскрытии, предусматривают цепочку обработки медиаданных, в которой такие узлы обработки медиаданных, как кодеры, декодеры, транскодеры, узлы пред- и постобработки и т.д., адаптируют соответствующую им обработку для применения на медиаданных в соответствии с состоянием медиаданных в текущий момент времени, которое указывается сигнализацией обработки медиаданных и/или метаданными состояния обработки, соответственно, получаемыми этими узлами обработки медиаданных.

ФИГ. 2 иллюстрирует один из примеров усовершенствованной цепочки обработки медиаданных, включающей кодеры, декодеры, узлы пред- и постобработки, транскодеры и узлы анализа сигнала и коррекции метаданных, в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. Для того чтобы адаптировать обработку медиаданных на основе состояния медиаданных, некоторые, или все, узлы по ФИГ. 2 могут быть модифицированы. В некоторых возможных вариантах осуществления изобретения, каждый из узлов обработки медиаданных в примере усовершенствованной цепочки обработки медиаданных является сконфигурированным для совместной работы при выполнении неизбыточной обработки медиаданных во избежание не являющегося необходимым и ошибочного повторения обработки, которая была выполнена узлами в восходящем направлении. В некоторых возможных вариантах осуществления изобретения, состояние медиаданных в любой точке усовершенствованной цепочки обработки медиаданных от точки создания содержимого до точки потребления содержимого известно текущему узлу обработки медиаданных, находящемуся в указанной точке усовершенствованной цепочки обработки медиаданных.

3. УСТРОЙСТВА, ИЛИ УЗЛЫ, ОБРАБОТКИ МЕДИАДАННЫХ

ФИГ. 3 иллюстрирует один из примеров (модифицированного) кодера/транскодера в соответствии с некоторыми возможными вариантами осуществления настоящего изобретения. В отличие от кодеров по ФИГ. 1, кодер/транскодер по ФИГ. 3 может конфигурироваться для приема метаданных состояния обработки, связанных с входными медиаданными, и определения предшествующей обработки (пред- или постобработки), выполненной одним или несколькими узлами в восходящем направлении относительно кодера/транскодера, на входных медиаданных (например, на входных аудиоданных), которые модифицированный кодер/транскодер логически принимает от узла в восходящем направлении (например, последнего узла в восходящем направлении, который выполнил его обработку входных аудиоданных).

В том значении, которое используется в настоящем раскрытии, термин «логический прием» может означать, что в передачу входных медиаданных из узла в восходящем направлении (например, последнего узла в восходящем направлении) в узел-получатель, такой как узел кодера/транскодера в настоящем примере, может быть вовлечен, или может не быть вовлечен, промежуточный узел.

В одном из примеров, узел в восходящем направлении, который выполняет пред- или постобработку на входных медиаданных, может находиться в иной системе, чем система, частью которой является узел-получатель. Входные медиаданные могут представлять собой битовый поток медиаданных, который выводится узлом в восходящем направлении и передается через промежуточный передающий узел, такой как сетевое соединение, USB, глобальное сетевое соединение, беспроводное соединение, оптическое соединение и т.д.

В другом примере, узел в восходящем направлении, который выполняет пред- или постобработку на входных медиаданных, может находиться в той же системе, частью которой является узел-получатель. Входные медиаданные могут выводиться узлом в восходящем направлении и передаваться посредством внутреннего соединения через один или несколько внутренних узлов системы. Например, данные могут физически доставляться при помощи внутренней шины, координатного соединения, последовательного соединения и т.д. В любом случае, согласно методикам, описываемым в настоящем раскрытии, узел-получатель может логически принимать входные медиаданные от узла в восходящем направлении.

В некоторых возможных вариантах осуществления настоящего изобретения, кодер/транскодер является сконфигурированным для создания или модификации метаданных состояния обработки, связанных с медиаданными, которые могут представлять собой пересмотр входных медиаданных. Новые, или модифицированные, метаданные состояния обработки, созданные, или модифицированные, кодером/транскодером, могут автоматически и точно захватывать состояние медиаданных, которые подлежат выводу кодером/транскодером дальше по цепочке обработки медиаданных. Например, метаданные состояния обработки могут включать информацию о том, проводилась на входных медиаданных определенная обработка (например, повышающее микширование Dolby Volume, доступное для приобретения у Dolby Laboratories) или нет. В дополнение и/или необязательно, метаданные состояния обработки могут включать параметры, использованные и/или полученные из определенной обработки или каких-либо операций, составляющих обработку. Кроме того и/или необязательно, метаданные состояния обработки могут включать одну или несколько контрольных сумм, вычисленных/извлеченных из медиаданных. Кроме того и/или необязательно, метаданные состояния обработки могут включать признаки медиаданных одного или нескольких типов, вычисленные/извлеченные из медиаданных. Признаки медиаданных, описываемые в настоящем раскрытии, обеспечивают семантическое описание медиаданных и могут включать одно или несколько структурных свойств, тональность, включая гармонию и мелодию, тембр, ритм, стандартный уровень громкости, стереофоническое микширование, или количество источников звука в медиаданных, отсутствие или присутствие голоса, характеристики повторений, мелодию, гармонии, тексты, тембр, признаки, относящиеся к восприятию, признаки цифровых медиаданных, стереофонические параметры, распознавание голоса (например, того, что говорит говорящий) и т.д. В некоторых вариантах осуществления изобретения, извлекаемые признаки медиаданных используются для классификации лежащих в их основе медиаданных на один или несколько классов из ряда классов медиаданных. Один или несколько классов медиаданных могут включать, в качестве неограничивающих примеров, какой-либо единый общий/доминантный «класс» (например, класс объекта) для всего фрагмента медиаданных и/или единичный класс, который отображает меньший промежуток времени (например, подкласс объекта для подмножества/субинтервала всего фрагмента), такой как единственный кадр медиаданных, блок медиаданных, несколько кадров медиаданных, несколько блоков медиаданных, доля секунды, секунда, несколько секунд и т.д. Например, метка класса может вычисляться и вставляться в битовый поток и/или скрываться (при помощи методик обратимого или необратимого скрытия данных) каждые 32 мс для битового потока. Метка класса может использоваться для указания одного или нескольких классов объектов и/или одного или нескольких подклассов объектов. В кадре медиаданных метка класса может вставляться в структуру метаданных, которая предшествует блоку медиаданных, или, в альтернативном варианте, следует за блоком медиаданных, с которым связана эта метка класса, как показано на ФИГ. 11. Классы медиаданных могут включать в качестве неограничивающих примеров какой-либо из единых классов объектов, такой как музыка, речь, шум, тишина, рукоплескания. Устройство обработки медиаданных, описываемое в настоящем раскрытии, также может являться сконфигурированным для классификации включающих медиаданные смесей классов объектов, таких как речь поверх музыки и т.д. Кроме того, в альтернативном варианте и необязательно, устройство обработки медиаданных, описываемое в настоящем раскрытии, может быть сконфигурировано для переноса независимого значения «правдоподобия», или вероятности, для типа, или подтипа, объекта медиаданных, указываемого вычисленной меткой класса медиаданных. Одно или несколько значений правдоподобия, или вероятности, могут передаваться с меткой класса медиаданных в той же структуре метаданных. Значение правдоподобия, или вероятности, указывает уровень «доверия», которое вычисленная метка класса медиаданных имеет в связи с сегментом/блоком медиаданных, для которого тип объекта медиаданных указывается вычисленной меткой класса медиаданных. Одно или несколько значений правдоподобия, или вероятности, в сочетании со связанной меткой класса медиаданных может использоваться устройством-получателем обработки медиаданных для адаптации обработки медиаданных так, чтобы улучшать любую из широкого выбора таких операций по всей цепочке обработки медиаданных, как повышающее микширование, кодирование, декодирование, перекодировка, виртуализация наушников и т.д. Метаданные состояния обработки могут включать, в качестве неограничивающих примеров, какой-либо из типов, или подтипов, объектов медиаданных, значений правдоподобия, или вероятности. Кроме того, необязательно или в качестве альтернативы, вместо передачи в структуре метаданных типов/подтипов классов объектов и значений правдоподобия/вероятности, вставленных между блоками медиаданных (аудиоданных), некоторые, или все, типы/подтипы объектов и значения правдоподобия/вероятности могут встраиваться и передаваться в узел/устройство-получатель обработки медиаданных в медиаданных (или дискретных значениях медиаданных) как скрытые метаданные. В некоторых вариантах осуществления изобретения, результаты анализа содержимого медиаданных, заключенные в метаданных состояния обработки, могут включать одно или несколько указаний на то, произносятся ли в каком-либо временном сегменте медиаданных некоторые определенные пользователем или определенные системой ключевые слова. Одно или несколько приложений могут использовать эти указания для запуска выполнения связанных операций (например, представления