Семантический микшер звуковых дорожек

Семантический микшер звуковых дорожек

Иллюстрации

Показать все

Реферат

Настоящее изобретение относится к звуковому микшеру для микширования многодорожечных сигналов согласно указаниям пользователя. Оно относится к обработке аудиосигналов, в частности к задаче микширования многодорожечной записи согласно набору установленных пользователем критериев. Область применения изобретения дополнительно относится к способу микширования множества звуковых дорожек с образованием смешанного сигнала. Область применения изобретения также относится к компьютерной программе, предписывающей компьютеру осуществлять способ микширования множества звуковых дорожек.

Постоянно растущая доступность мультимедийного контента открывает перед пользователем новые возможности наслаждаться музыкой и взаимодействовать с музыкой. Эти возможности сопряжены с необходимостью разрабатывать инструменты, помогающие пользователю в такой деятельности.

С точки зрения извлечения информации эта задача была поставлена более десяти лет назад, что обусловило возникновение направления исследований, посвященных колебаниям, для извлечения музыкальной информации и многочисленных коммерческих применений.

Другой аспект, до сих пор не нашедший решения, это взаимодействие с контентом, доступным в многодорожечном формате. Многодорожечный формат может состоять из отдельных и выровненных по времени сигналов (также известных как одиночные дорожки (ST)) для каждого звукового объекта (SO) или групп объектов (стволов). Согласно одному определению стволы это отдельные компоненты микшированного сигнала, по отдельности сохраненные (обычно на диске или ленте) с целью использования для повторного микширования.

В традиционном процессе создания музыки множественные одиночные дорожки объединяются изощренным образом с образованием смешанного сигнала (MS), который затем доставляется конечному пользователю. Постоянное развитие цифровых аудиотехнологий, например разработка новых форматов аудиосигнала для параметрических аудиосигналов на объектной основе, позволяет значительно усилить взаимодействие с музыкой. Пользователь осуществляет доступ к многодорожечным записям и может активно управлять процессом микширования. Некоторые артисты начали выпускать стволы для некоторых своих песен, с тем чтобы слушатели могли свободно перемикшировать и повторно использовать музыку любым желаемым образом.

Музыкальное или звуковое произведение, выпущенное в многодорожечном формате, можно использовать различными способами. Пользователь может управлять параметрами микширования для разных дорожек, таким образом, выделяя выбранные дорожки и одновременно ослабляя другие дорожки. Одну или более дорожек можно приглушить, например, в целях караоке или подыгрывания. Звуковые эффекты, например эхо, реверберация, искажение, припев и т.д., можно применять к выбранным дорожкам, не оказывая влияния на другие дорожки. Одну или более дорожек можно извлечь из многодорожечного формата и использовать в другом музыкальном произведении или другой форме звукового произведения, например аудиокниге, лекции, подкасте и т.д. В нижеследующем описании рассмотрено применение раскрытых здесь принципов, в иллюстративной манере, например, к мастерингу записанного музыкального произведения. Однако следует понимать, что обработка любого записанного звука с применением микширования множества одиночных звуковых дорожек в равной степени подчиняется и охватывается раскрытыми здесь принципами.

Автоматическое микширование было и остается задачей ряда исследовательских проектов. В 2009 г. Perez-Gonzalez и др. описали способ автоматической коррекции многодорожечных сигналов (Е. Perez-Gonzalez and J. Reiss, "Automatic Equalization of Multi-Channel Audio Using Cross-Adaptive Methods", Proc. of the AES 127^th Conv., 2009). Авторы представили способ автоматической настройки ослабления для каждого сигнала многодорожечного сигнала. Коэффициенты усиления определяются таким образом, чтобы громкость каждого сигнала была равна средней громкости всех сигналов. Другая статья тех же авторов называется "Automatic Gain and Fader Control for Live Mixing" и опубликована в Proc. of WASPAA, 2009.

Семантический HiFi - это название Европейского проекта IST-507913 (Н. Vinet et al., "Semantic HiFi Final Report", Final Report of IST-507913, 2006). Он, в основном, связан с извлечением, просмотром и совместным использованием мультимедийного контента. Это содержит просмотр и навигацию в базах данных, генерацию списков воспроизведения, внутридорожечную навигацию (с использованием структурного анализа наподобие идентификации строфы-припева) и совместное использование метаданных. Он также относится к взаимодействию/авторингу/редактированию: генерации смесей, включающих в себя синхронизацию (т.е. "конкатенацию" аудиосигналов, а не микширование многодорожечных сигналов), преобразование голоса, преобразование ритма, инструменты с голосовым управлением и эффекты.

Другой проект известен под названием "структурированный аудиосигнал" или MPEG 4. Структурированный аудиосигнал позволяет передавать аудиосигналы на низких битовых скоростях и перцептивно манипулировать акустическими данными и обращаться к ним с использованием символического и семантического описания сигналов (см. B.L. Vercoe and W.G. Gardner and E.D. Scheirer, "Structured Audio: Creation, Transmission, and Rendering of Parametric Sound Representations", Proc. of IEEE, vol. 86, pp. 922-940, 1998). Здесь представлено описание параметрического завершающего этапа создания звука для микширования множественных потоков и добавления звуковых эффектов. Параметрические описания определяют, как синтезируются звуки. Структурированный аудиосигнал относится к синтезированию аудиосигналов.

В международной патентной заявке, опубликованной под номером международной публикации WO 2010/111373 А1, раскрыты интерфейс и система с речевым управлением на контекстной основе. Система пользовательского интерфейса с речевым управлением включает в себя, по меньшей мере, один громкоговоритель для доставки аудиосигнала пользователю и, по меньшей мере, один микрофон для захвата речевых фрагментов пользователя. Устройство интерфейса сопрягается с громкоговорителем и микрофоном и обеспечивает множество аудиосигналов на громкоговоритель, чтобы их мог слышать пользователь. Схема управления оперативно соединена с устройством интерфейса и сконфигурирована для выбора, по меньшей мере, одного из множества аудиосигналов в качестве аудиосигнала переднего плана для доставки пользователю через громкоговоритель. Схема управления выполнена с возможностью распознавать речевые фрагменты пользователя и использовать распознанные речевые фрагменты для управления выбором аудиосигнала переднего плана.

В публикации патентной заявки США № US 2002/0087310 A1 раскрыты осуществляемый на компьютере способ и система для обработки речевого диалога с пользователем. Речевой ввод от пользователя содержит слова, относящиеся к множеству концепций. Речевой ввод пользователя содержит запрос услуги, подлежащей осуществлению. Распознавание речи речевого ввода пользователя используется для генерации распознанных слов. К распознанным словам применяется шаблон диалога. Шаблон диалога имеет узлы, которые связаны с заранее определенными концепциями. Узлы включают в себя различную информацию обработки запроса. Концептуальные области идентифицируются в шаблоне диалога на основании того, какие узлы связаны с концепциями, которые приближенно совпадают с концепциями распознанных слов. Запрос пользователя обрабатывается с использованием информации обработки запроса узлов, содержащихся в идентифицированных концептуальных областях.

В статье "Transient Detection of Audio Signals Based on an Adaptive Comb Filter in the Frequency Domain", авторами M. Kwong и R. Lefebvre представлен алгоритм переходного детектирования, пригодный для детектирования ритма в музыкальных сигналах. Во многих аудиосигналах низкоэнергичные переходы маскируются высокоэнергичными стационарными звуками. Эти замаскированные переходы, а также более высокая энергия и более видимые переходы, несут важную информацию о ритме и временном сегментировании музыкального сигнала. Предложенный алгоритм сегментирования использует синусоидальную модель, объединенную с адаптивным гребенчатым фильтром в частотной области для устранения стационарной компоненты звукового сигнала. После фильтрации, временная огибающая остаточного сигнала анализируется для определения местоположения переходных компонент. Результаты показывают, что предложенный алгоритм может точно детектировать наиболее низкоэнергичные переходы.

Микширование многодорожечной записи обычно является задачей авторинга, которая обычно выполняется экспертом, звукорежиссером. Современные разработки в области мультимедиа, например интерактивных форматов аудиосигнала, привели к созданию приложений, в которых многодорожечные записи требуется микшировать в автоматическом режиме или в полуавтоматическом режиме под руководством неспециалиста. Желательно, чтобы автоматически выводимый смешанный сигнал имел субъективное качество звучания, сравнимое со смешанным сигналом, генерируемым человеком-специалистом.

Раскрытые здесь принципы преследуют эту общую цель. Принципы относятся к обработке аудиосигналов, в частности к задаче микширования множественных дорожек согласно набору установленных пользователем критериев записи для (конечной) цели прослушивания. Звуковой микшер и способ микширования множества звуковых дорожек с образованием смешанного сигнала согласно раскрытым здесь принципам устанавливают связь между, по существу, эстетической идеей неспециалиста и результирующим смешанным сигналом.

По меньшей мере, одна из этих целей и/или возможных других целей достигается посредством звукового микшера по п. 1 или 16, способа микширования множества звуковых дорожек по п. 14 или 17 и компьютерной программы по п. 15 или 18.

Согласно раскрытым здесь принципам звуковой микшер для микширования множества звуковых дорожек с образованием смешанного сигнала содержит семантический интерпретатор команд, процессор звуковых дорожек и объединитель звуковых дорожек. Семантический интерпретатор команд сконфигурирован для приема команды семантического микширования и для выведения множества параметров микширования для множества звуковых дорожек из команды семантического микширования. Процессор звуковых дорожек сконфигурирован для обработки множества звуковых дорожек в соответствии с множеством параметров микширования. Объединитель звуковых дорожек сконфигурирован для объединения множества звуковых дорожек, обработанных процессором звуковых дорожек, в смешанный сигнал.

Способ микширования множества звуковых дорожек с образованием смешанного сигнала согласно раскрытым принципам содержит этапы, на которых: принимают команду семантического микширования; выводят множество параметров микширования для множества звуковых дорожек из команды семантического микширования; обрабатывают множество звуковых дорожек в соответствии с множеством параметров микширования; и объединяют множество звуковых дорожек, полученное в результате обработки множества звуковых дорожек, для формирования смешанного сигнала.

Компьютерная программа содержит или представляет инструкции, предписывающие компьютеру или процессору осуществлять способ микширования множества звуковых дорожек. Компьютерная программа может быть воплощена на машиночитаемом носителе, на котором хранится упомянутая компьютерная программа, для осуществления, при выполнении на компьютере, способа по п. 14.

Команда семантического микширования может базироваться на установленных пользователем критериях, которые обеспечивают семантическое описание желаемого результирующего смешанного сигнала. Согласно раскрытым здесь принципам семантический анализ аудиосигнала, психоакустика, обработка аудиосигналов могут быть включены друг с другом для автоматического выведения смешанного сигнала на основании семантических описаний. Этот процесс можно именовать "семантическим микшированием".

Семантическое микширование можно рассматривать как способ, который позволяет компьютеру микшировать многодорожечную запись согласно указанию, данному пользователем. Указание обычно дается в форме семантического описания. На основании этого семантического описания параметры микширования можно определять с учетом характеристик одиночной(ых) дорожки(ек) и человеческого слуха.

Звуковой микшер согласно раскрытым здесь принципам, таким образом, обычно содержит компьютер или процессор или взаимодействует с компьютером/процессором. Процессор звуковых дорожек и объединитель звуковых дорожек можно объединить в один блок.

Выведение множества параметров микширования из команды семантического микширования может предусматривать анализ смыслового значения команды семантического микширования или ее частей. Часть команды семантического микширования может представлять собой семантическое выражение, например слово или группу слов. Затем семантическое(ие) выражение(я) можно переводить в набор конкретных параметров микширования для множества звуковых дорожек. Таким образом, команда семантического микширования реализуется посредством конкретных параметров микширования, которые соответствуют смысловому значению команды семантического микширования. Действие перевода команды семантического микширования и/или составляющих ее семантических выражений может содержать, например, оценивание функции перевода или обращение к поисковой таблице. Параметры функции перевода или записей данных в поисковой таблице обычно являются заранее заданными и представляют совокупность экспертных знаний, например, опытных звукорежиссеров. Экспертные знания можно собирать в течение времени, например путем регистрации устных инструкций, которые артист или музыкальный продюсер дает своему звукорежиссеру, а также установок, осуществляемых звукорежиссером. Таким образом, функция перевода и/или поисковая таблица может совершенствоваться опытным звукорежиссером.

Согласно аспекту раскрытых здесь принципов семантический интерпретатор команд может содержать словарную базу данных для идентификации семантических выражений в команде семантического микширования. Посредством словарной базы данных, семантический интерпретатор команд может идентифицировать, например, синонимы. Дополнительно существует возможность отображать слово или группу слов, содержащее(ую)ся в команде семантического микширования, в конкретное значение. Например, слово для идентификации инструмента ("гитара") может отображаться в конкретный номер или идентификатор канала, на котором записан инструмент. Словарная база данных может дополнительно содержать элементы, идентифицирующие определенную часть музыкальной партии, например начало (например "вступление"), припев ("припев") или конец (например "кода" или "финал"). Словарную базу данных также можно использовать для распознавания и назначения семантически выраженных параметров или стилей микширования, например "громкий", "мягкий", "чистый", "приглушенный", "отдаленный", "близкий" и т.д.

Согласно варианту осуществления раскрытых здесь принципов звуковой микшер может дополнительно содержать блок идентификации звуковых дорожек для идентификации целевой звуковой дорожки из множества звуковых дорожек. Целевая звуковая дорожка может указываться в команде семантического микширования выражением идентификации звуковой дорожки. Блок идентификации звуковых дорожек может быть полезен, если множество звуковых дорожек нечетко помечены или идентифицированы в отношении того, какую партию или какой ствол они содержат. Например, звуковые дорожки можно просто пронумеровать как "дорожка 1", "дорожка 2", "дорожка N". Затем блок идентификации звуковых дорожек может анализировать каждую из множества звуковых дорожек для определения, что ни одна, одна или несколько звуковых дорожек выглядит совпадающими со звуковой дорожкой, идентифицированной выражением идентификации дорожки.

Блок идентификации звуковых дорожек может быть сконфигурирован для извлечения записи данных, которая соответствует выражению идентификации звуковой дорожки, из базы данных шаблонов звуковой дорожки, для осуществления анализа, по меньшей мере, одного из имени дорожки, идентификатора дорожки, тембра, ритмической структуры, диапазона частот, образца звучания и плотности гармоник, по меньшей мере, одной звуковой дорожки из множества звуковых дорожек, для сравнения результата анализа с записью данных для получения, по меньшей мере, одного показателя совпадения, и для определения целевой звуковой дорожки на основании, по меньшей мере, одного показателя совпадения между, по меньшей мере, одной звуковой дорожкой и записью данных. Задача, подлежащая осуществлению с помощью блока идентификации звуковых дорожек, состоит в идентификации целевой звуковой дорожки из множества звуковых дорожек. Целевая звуковая дорожка соответствует выражению идентификации звуковой дорожки, то есть, если выражением идентификации звуковой дорожки является "гитара", то, после успешной идентификации с помощью блока идентификации звуковых дорожек, целевая звуковая дорожка обычно должна содержать партию гитары музыкального произведения. База данных шаблонов звуковой дорожки может содержать запись данных, соответствующую инструменту "гитара", причем сама запись данных содержит значения и/или информацию, характерные для гитары. Например, запись данных может содержать частотную модель типичного звука гитары и/или модель фронтов-спадов типичного звука гитары. Запись данных также может содержать образец звучания гитары, который можно использовать для анализа подобия с помощью блока идентификации звуковых дорожек.

Согласно аспекту раскрытых здесь принципов звуковой микшер может дополнительно содержать блок идентификации временных отрезков для идентификации целевого временного отрезка во множестве звуковых дорожек, причем целевой временной отрезок указан в команде семантического микширования выражением идентификации временного отрезка. В случае когда пользователь желает микшировать первый отрезок аудиосигнала (например, музыкального произведения) иначе, чем второй отрезок того же аудиосигнала, звуковому микшеру обычно требуется знать, где начинаются и заканчиваются различные отрезки аудиосигнала, чтобы применять конкретные параметры микширования к этим отрезкам аудиосигнала.

Блок идентификации временных отрезков может быть сконфигурирован для структурирования множества звуковых дорожек во множество временных отрезков. В частности, музыкальные произведения часто имеют определенную структуру, определяемую музыкальными условностями, например форму песни с перемежающимися отрезками строфы и припева. Блок идентификации временных отрезков может использовать это знание, сначала определяя, согласуется ли аудиосигнал, представленный множеством звуковых дорожек, с определенной музыкальной структурой, и затем назначая временные отрезки аудиосигнала временным отрезкам музыкальной структуры. Для этого блок идентификации временных отрезков может содержать распознаватель шаблонов для распознавания повторяющихся и/или аналогичных шаблонов в аудиосигнале. Распознавание шаблона могут базироваться на анализе мелодии, гармоническом анализе и ритмическом анализе, и пр.

Блок идентификации временных отрезков может быть сконфигурирован для осуществления анализа множества звуковых дорожек для определения, по меньшей мере, одного момента времени, когда происходит изменение характерного свойства аудиосигнала, представленного множеством звуковых дорожек, и для использования, по меньшей мере, одного определенного момента времени в качестве, по меньшей мере, одной границы между двумя соседними временными отрезками.

Звуковой микшер может дополнительно содержать интерфейс метаданных для приема метаданных, относящихся к множеству звуковых дорожек, причем метаданные указывают, по меньшей мере, одно из имени дорожки, идентификатора дорожки, информации временной структуры, информации интенсивности, пространственных атрибутов звуковой дорожки или ее части, тембровых характеристик и ритмических характеристик. Метаданные могут генерироваться создателем множества звуковых дорожек и обеспечивать полезную информацию для звукового микшера или способа микширования множества звуковых дорожек. Доступность метаданных избавляет звуковой микшер или способ от необходимости осуществления углубленного анализа аудиосигнала для идентификации различных звуковых дорожек и/или временных отрезков. Интерфейс метаданных также можно использовать для сохранения результатов (инструментов, временной структуры, …) анализа для повторного использования в будущем. Таким образом, потенциально длительный анализ множества звуковых дорожек требуется осуществлять лишь однажды. Кроме того, любые имеющиеся вносимые поправки в автоматически определенные результаты анализа также могут сохраняться, что избавляет пользователя от необходимости снова и снова корректировать одни и те же места. Сохранив имеющиеся результаты анализа, пользователь может создавать различные смешанные варианты из одного и того же множества звуковых дорожек с использованием одних и тех же метаданных.

Согласно аспекту раскрытых здесь принципов звуковой микшер может дополнительно содержать командный интерфейс для приема команды семантического микширования в лингвистическом формате. Лингвистический формат позволяет пользователю выражать свои желания, касающиеся результата микширования, осуществляемого звуковым микшером, по существу, посредством нормального языка. Команда семантического микширования в лингвистическом формате может вводиться в звуковой микшер на разговорном языке с использованием микрофона или письменном языке с использованием, например, клавиатуры.

Согласно другому аспекту раскрытых здесь принципов звуковой микшер может дополнительно содержать иллюстративный интерфейс для приема иллюстративного смешанного сигнала и анализатор смешанного сигнала для анализа иллюстративного смешанного сигнала и для генерации команды семантического микширования на основании анализа иллюстративного смешанного сигнала. Используя иллюстративный смешанный сигнал, обеспеченный через иллюстративный интерфейс, анализатор смешанного сигнала может определять, какие признаки характеризуют иллюстративный смешанный сигнал. Например, анализатор смешанного сигнала может распознавать акцент на (сильно повторяющуюся) партию барабанов и партию басов при менее акцентированной мелодии. Эти выявленные признаки указывают на так называемый Dance-Mix, т.е. определенный стиль микширования. Эта информация может поступать от анализатора смешанного сигнала на семантический интерпретатор команд. На основании этой информации семантический интерпретатор команд может, например, увеличить громкость партии барабанов и партии басов относительно других партий. Семантический интерпретатор команд может даже заменить партию барабанов, например синтезированной партией барабанов, обычно используемой для желаемого стиля Dance-Mix.

Иллюстративный интерфейс может быть дополнительно сконфигурирован для приема множество иллюстративных звуковых дорожек, из которых был получен иллюстративный смешанный сигнал. Анализатор смешанного сигнала может быть сконфигурирован для сравнения иллюстративных звуковых дорожек с иллюстративным смешанным сигналом для определения параметров микширования, которые использовались для получения результирующего иллюстративного смешанного сигнала. Команда семантического микширования, вырабатываемая анализатором смешанного сигнала, может содержать описание, как были модифицированы иллюстративные звуковые дорожки до их микширования друг с другом для формирования иллюстративного смешанного сигнала. Например, команда семантического микширования может содержать выражение, например, "ударные значительно громче; вокальные партии умеренно мягче, более отдаленные, фильтрованы фильтром высоких частот". Затем семантический интерпретатор команд может вывести множество параметров микширования из этой команды семантического микширования.

Согласно другому аспекту раскрытых здесь принципов семантический интерпретатор команд может содержать перцептивный процессор для преобразования команды семантического микширования во множество параметров микширования согласно перцептивной модели свойств слухового восприятия смешанного сигнала. Перцептивная модель обычно реализует психоакустические правила, которые описывают, как следует выбирать определенные параметры микширования для достижения желаемого эффекта для слушателя. Например, для передачи впечатления расстояния, можно предусмотреть несколько действий обработки звука, например реверберацию, частотную фильтрацию и ослабление. Перцептивная модель, которая обычно основана на психоакустических сведениях, облегчает определение пригодных параметров микширования для реализации желаемого эффекта.

Согласно другому аспекту раскрытых здесь принципов семантический интерпретатор команд содержит процессор нечеткой логики для приема, по меньшей мере, одного нечеткого правила, выведенного из команды семантического микширования с помощью семантического интерпретатора команд, и для генерации множества параметров микширования на основании, по меньшей мере, одного нечеткого правила. Процессор нечеткой логики весьма пригоден для обработки команды семантического микширования в форме, по меньшей мере, одного нечеткого правила. По меньшей мере, одно нечеткое правило отображает входную величину процессора нечеткой логики в выходную величину процессора нечеткой логики в, по существу, семантической области, т.е. отображение величины первого семантического формата в величину второго семантического формата.

Процессор нечеткой логики может быть сконфигурирован для приема, по меньшей мере, двух конкурирующих нечетких правил, подготовленных семантическим интерпретатором команд, причем звуковой микшер дополнительно содержит случайный блок выбора для выбора одного конкурирующего нечеткого правила из, по меньшей мере, двух конкурирующих нечетких правил. Рандомизируя выбор нечеткого правила из двух или более конкурирующих нечетких правил, можно создавать иллюзию свободы творчества, поэтому смешанным сигналам, вырабатываемым звуковым микшером, не свойственно звучать, по существу, аналогично рассматриваемому стилю микширования, в противном случае звуковой микшер подчинялся бы более жесткой схеме по сравнению с нечеткими правилами.

В отношении способа микширования множества звуковых дорожек можно обращаться к словарной базе данных для идентификации семантических выражений в команде семантического микширования.

Способ может дополнительно или альтернативно содержать идентификацию целевой звуковой дорожки из множества звуковых дорожек, причем целевая звуковая дорожка указана в команде семантического микширования выражением идентификации звуковой дорожки. Для этого из базы данных шаблонов звуковой дорожки можно извлекать запись данных, которая соответствует выражению идентификации звуковой дорожки. Затем можно осуществлять анализ, по меньшей мере, одного из имени дорожки, идентификатора дорожки, тембра, ритмической структуры, диапазона частот, образца звучания и плотности гармоник, по меньшей мере, одной звуковой дорожки из множества звуковых дорожек. Результат анализа можно сравнивать с записью данных для получения, по меньшей мере, одного показателя совпадения. Затем целевую звуковую дорожку можно определять на основании, по меньшей мере, одного показателя совпадения между, по меньшей мере, одной звуковой дорожкой и записью данных.

Способ также может содержать действие для идентификации целевого временного отрезка во множестве звуковых дорожек, причем целевой временной отрезок указан в команде семантического микширования выражением идентификации временного отрезка. Действие для идентификации целевого временного отрезка может быть сконфигурировано для структурирования множества звуковых дорожек во множество временных отрезков. Идентификация временного отрезка может содержать осуществление анализа множества звуковых дорожек для определения, по меньшей мере, одного момента времени, когда происходит изменение характерного свойства аудиосигнала, представленного множеством звуковых дорожек, и использования, по меньшей мере, одного определенного момента времени в качестве, по меньшей мере, одной границы между двумя соседними временными отрезками.

Согласно другому аспекту раскрытых здесь принципов способ может дополнительно содержать прием метаданных, относящихся к множеству звуковых дорожек, на интерфейсе метаданных. Метаданные могут указывать, по меньшей мере, одного из имени дорожки, идентификатора дорожки, информации временной структуры, информации интенсивности, пространственных атрибутов звуковой дорожки или ее части, тембровых характеристик и ритмических характеристик.

Способ может дополнительно содержать прием команды семантического микширования в лингвистическом формате на командном интерфейсе соответствующего звукового микшера.

Согласно другому аспекту раскрытых здесь принципов способ может дополнительно содержать: прием иллюстративного смешанного сигнала на иллюстративном интерфейсе, анализ иллюстративного смешанного сигнала посредством анализатора смешанного сигнала и генерацию команды семантического микширования на основании анализа иллюстративного смешанного сигнала.

Действие выведения множества параметров микширования из команды семантического микширования может содержать: преобразование команды семантического микширования во множество параметров микширования согласно перцептивной модели свойств слухового восприятия смешанного сигнала.

Согласно аспекту раскрытых здесь принципов действие выведения множества параметров микширования может содержать: прием, по меньшей мере, одного нечеткого правила, выведенного из команды семантического микширования с помощью семантического интерпретатора команд, и генерацию множества параметров микширования на основании, по меньшей мере, одного нечеткого правила. Прием, по меньшей мере, одного нечеткого правила и генерация множества параметров микширования на основании, по меньшей мере, одного нечеткого правила могут осуществляться процессором нечеткой логики.

Способ может дополнительно содержать: прием, по меньшей мере, двух конкурирующих нечетких правил и случайный выбор одного конкурирующего нечеткого правила из, по меньшей мере, двух конкурирующих нечетких правил.

Раскрытые здесь принципы отличаются от вышеупомянутого уровня техники по следующим пунктам:

- способ, предложенный Пересом-Гонсалесом и др., не учитывает семантических описаний для управления обработкой;

- проект семантического HiFi не предусматривает обработку многодорожечных форматов. Он не предусматривает микширование сигналов согласно семантическим описаниям. Он не предусматривает перцептивные аспекты, необходимые для вычисления смешанного сигнала, который удовлетворяет семантическим описаниям;

- проект "структурированного аудиосигнала" относится к синтезированию аудиосигналов. Раскрытые здесь принципы (семантическое микширование), напротив, относятся к микшированию аудиосигналов.

Чтобы подытожить некоторые основные аспекты раскрытых здесь принципов, укажем, что микширование многодорожечной записи является задачей авторинга. Задачей семантического микширования является развитие решений микширования многодорожечной записи на основании семантический описаний. Оно объединяет в себе методы семантического анализа аудиосигнала, психоакустики и обработки аудиосигналов. Семантическое микширование применимо к различным областям, как то созданию музыки, SAOC (звуковому кодированию пространственных объектов), авторингу домашнего видео, виртуальной реальности и играм.

Семантическое микширование кратко можно описать следующими (частично необязательными) признаками:

- оно обеспечивает средство для взаимодействия с пользователем;

- семантическое микширование, по большей части, связано с перцептивным компонентом. Это может включать в себя также адаптацию к среде, систему воспроизведения и предпочтения пользователя;

- оно объединяет в себе семантическую часть и психоакустическую часть. Любая семантическая обработка нуждается в учете перцептивных аспектов. Оно сосредоточено на обработке аудиосигналов, а не на традиционных применениях семантического анализа (извлечении музыкальной информации, генерации списков воспроизведения). Оно ориентировано на новые способы взаимодействия с контентом;

- оно относится к обработке многодорожечных записей.

Раскрытые здесь принципы относятся, помимо прочего, к способу микширования многодорожечных сигналов согласно указаниям пользователя. Оно относится к обработке аудиосигналов, в частности к задаче микширования многодорожечной записи согласно набору установленных пользователем критериев. Установленные пользователем критерии обеспечивают семантическое описание результирующего смешанного сигнала. Раскрытые здесь принципы могут предусматривать анализ аудиосигнала, психоакустику и обработку аудиосигналов для автоматического выведения смешанного сигнала на основании семантического описания.

Вышеописанные признаки и другие признаки раскрытых здесь принципов явствуют из нижеследующего описания, которое приведено в порядке примера только со ссылкой на прилагаемые схематические чертежи, в которых:

фиг. 1 - упрощенная блок-схема звукового микшера;

фиг. 2 - иллюстративная временная структура музыкального произведения в структуре песни, часто применяемой в популярной музыке;

фиг. 3 - другая иллюстративная временная структура музыкального произведения в форме сонаты, известной в классической музыке;

фиг. 4 - иллюстративная конфигурация звуковых дорожек записи популярной музыки;

фиг. 5 - упрощенная блок-схема звукового микшера согласно раскрытым здесь принципам;

фиг. 6 - упрощенная блок-схема процессора нечеткой логики;

фиг. 7 - иллюстративная функция принадлежности для нечеткого множества;

фиг. 8 - упрощенная блок-схема звукового микшера, содержащего процессор нечеткой логики;

фиг. 9 - упрощенная блок-схема другой конфигурации звукового микшера согласно раскрытым здесь принципам;

фиг. 10 - команда семантического микширования и ее разложение согласно аспекту раскрытых здесь принципов;

фиг. 11 - другая команда семантического микширования и ее разложение согласно аспекту раскрытых здесь принципов;

фиг. 12 - упрощенная блок-схема дополнительной конфигурации звукового микшера согласно раскрытым здесь принципам;

фиг. 13 - упрощенная блок-схема конфигурации звукового микшера согласно раскрытым здесь принципам, содержащего блок идентификации звуковых дорожек;

фиг. 14 - упрощенная блок-схема конфигурации звукового микшера согласно раскрытым здесь принципам, содержащего блок идентификации временных отрезков;

фиг. 15 - упрощенная блок-схема конфигурации звукового микшера согласно раскрытым здесь принципам, содержащего интерфейс метаданных;

фиг. 16 - упрощенная блок-схема конфигурации звукового микшера согласно раскрытым здесь принципам, содержащего иллюстративный интерфейс для приема иллюстративных смешанных сигналов;

фиг. 17 - упрощенная блок-схема конфигурации звукового микшера согласно раскрытым здесь принципам, содержащего перцептивный процессор и перцептивную модель; и

фиг. 18 - упрощенная блок-схема операций способа микширования множества звуковых дорожек с образованием смешанного сигнала согласно раскрытым здесь принципам.

На Фиг. 1 показана упрощенная блок-схема звукового микшера. Звуковой микшер позволяет объединять множество одиночных дорожек ST с образованием смешанного сигнала MS. Для управления объединением одиночных дорожек ST каждая одиночная дорожка обычно подается на отдельный