Устройство кодирования аудио, способ кодирования аудио, программа кодирования аудио, устройство декодирования аудио, способ декодирования аудио и программа декодирования аудио

Устройство кодирования аудио, способ кодирования аудио, программа кодирования аудио, устройство декодирования аудио, способ декодирования аудио и программа декодирования аудио

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение связано с маскированием ошибок для передачи аудиопакетов по IP-сети или сети мобильной связи и более конкретно, связано с устройством кодирования аудио, способом кодирования аудио, программой кодирования аудио, устройством декодирования аудио, способом декодирования аудио и программой декодирования аудио для высокоточного генерирования сигнала маскирования потери пакета для реализации маскирования ошибок.

УРОВЕНЬ ТЕХНИКИ

[0002] При передаче аудио и акустических сигналов (которые в дальнейшем в этом документе вместе упоминаются как "аудиосигнал") по IP-сети или сети мобильной связи аудиосигнал кодируется в аудиопакеты с регулярными временными интервалами и передается по сети связи. На стороне приема аудиопакеты принимаются по сети связи и декодируются в декодированный аудиосигнал сервером, MCU (блок управления многоточечной связью), терминалом или подобным.

[0003] Аудиосигнал, в общем, получается в цифровом формате. В частности, он измеряется и собирается как последовательность цифр, число которых является таким же, как частота взятия отсчетов в секунду. Каждый элемент последовательности называется "отсчетом". При кодировании аудио каждый раз, когда некоторое предопределенное число отсчетов аудиосигнала собирается во встроенном буфере, в буфере кодируется аудиосигнал. Вышеописанное задаваемое число отсчетов называется "длиной кадра" и набор с таким же числом отсчетов как длина кадра называется "кадром". Например, при частоте взятия отсчетов 32 кГц, когда длина кадра равна 20 мс, длина кадра равна 640 отсчетам. Следует отметить, что длина буфера может быть более, чем один кадр.

[0004] При передаче аудиопакетов по сети связи может возникать явление (так называемая "потеря пакета"), когда некоторые из аудиопакетов теряются, или может возникать ошибка в части информации, записанной в аудиопакетах, из-за перегрузки в сети связи или подобном. В таком случае, аудиопакеты не могут быть декодированы корректно на стороне приема и поэтому, желаемый декодированный аудиосигнал не может быть получен. Дополнительно, декодированный аудиосигнал, соответствующий аудиопакету, где произошла потеря пакета, обнаруживается как шум, который значительно ухудшает субъективное качество для человека, который слушает это аудио.

[0005] Для того, чтобы преодолевать вышеописанные недостатки, технология маскирования потери пакета используется в качестве способа для интерполирования части аудио/акустического сигнала, который потерян вследствие потери пакета. Есть два типа технологии маскирования потери пакета: "технология маскирования потери пакета без использования побочной (дополнительной) информации", где маскирование потери пакета выполняется только на стороне приема, и "технология маскирования потери пакета с использованием побочной информации", где параметры, которые помогают маскировать потерю пакета, получаются на стороне передачи и передаются на сторону приема, где маскирование потери пакета выполняется с использованием принятых параметров на стороне приема.

[0006] "Технология маскирования потери пакета без использования побочной информации" генерирует аудиосигнал, соответствующий части, где произошла потеря пакета, посредством копирования декодированного аудиосигнала, содержащегося в некотором пакете, который был корректно принят в прошлом, на основе “основной тон за основным тоном”, и затем умножения его на некоторый предопределенный коэффициент ослабления, например, как описано в непатентной литературе 1. Поскольку "технология маскирования потери пакета без использования побочной информации" основывается на предположении, что свойства части аудио, где произошла потеря пакета, аналогичны свойствам аудио непосредственно перед возникновением потери, эффект маскирования не может быть получен в достаточной степени, когда часть аудио, где произошла потеря пакета, имеет свойства, отличные от аудио непосредственно перед возникновением потери или когда возникает внезапное изменение питания.

[0007] С другой стороны, "технология маскирования потери пакета с использованием побочной информации" включает в себя подход, который кодирует параметры, требуемые для маскирования потери пакета на стороне передачи и передает их для использования при маскировании потери пакета на сторону приема, как описано в патентной литературе 1. В патентной литературе 1 аудио кодируется двумя способами кодирования: основное кодирование и резервное кодирование. Резервное кодирование кодирует кадр непосредственно перед кадром, который должен быть закодирован посредством основного кодирования, с меньшим битрейтом, чем основное кодирование (см. Фиг. 1 (a)). Например, N-й пакет содержит аудиокод, полученный посредством кодирования N-го кадра посредством главного кодирования, и код побочной информации, полученный посредством кодирования (N-1)-го кадра посредством резервного кодирования.

[0008] Сторона приема ожидает поступления двух или более пакетов следующих один за другим во времени и затем декодирует более ранний во времени пакет и получает декодированный аудиосигнал. Например, для получения сигнала, соответствующего N-му кадру, сторона приема ожидает поступления (N+1)-го пакета и затем выполняет декодирование. В случае, когда N-й пакет и (N+1)-й пакет приняты корректно, аудиосигнал N-го кадра получается посредством декодирования аудиокода, содержащегося в N-ом пакете (см. Фиг. 1(b)). С другой стороны, в случае, когда произошла потеря пакета (когда получен (N+1)-й пакет при условии, что потерян N-й пакет), аудиосигнал N-го кадра может быть получен посредством декодирования кода побочной информации, содержащегося в (N+1)-м пакете (см. Фиг. 1(c)).

[0009] Согласно способу из патентной литературы 1 после поступления пакета, который должен быть декодирован, для выполнения декодирования необходимо ожидать, пока не поступит один или более пакет, и алгоритмическая задержка увеличивается на один пакет или более. Соответственно, в способе из патентной литературы 1, несмотря на то, что качество звучания (качество аудио) может быть улучшено посредством маскирования потери пакета, увеличивается алгоритмическая задержка, что вызывает ухудшение качества голосовой связи.

[0010] Дополнительно, в случае применения вышеописанной технологии маскирования потери пакета к кодированию CELP (линейное предсказание с кодовым возбуждением), возникает другая проблема, обусловленная характеристиками операции CELP. Поскольку CELP является моделью аудио на основе линейного предсказания и способно кодировать аудиосигнал с высокой точностью и с высокой степенью сжатия, оно используется во многих международных стандартах.

[0011] В CELP аудиосигнал синтезируется посредством фильтрации сигнала e(n) возбуждения с использованием полюсного фильтра синтеза. В частности, аудиосигнал s(n) синтезируется согласно следующему уравнению:

Уравнение 1

где a(i) является коэффициентом линейного предсказания (коэффициентом LP) и значение, такое как, например, P=16, используется в качестве степени.

[0012] Сигнал возбуждения собирается в буфере, называемом адаптивная кодовая книга. При синтезировании аудио для нового кадра сигнал возбуждения вновь генерируется посредством сложения вектора адаптивной кодовой книги, считываемого из адаптивной кодовой книги, и вектора фиксированной кодовой книги, представляющего изменение сигнала возбуждения с течением времени на основе информации о положении, называемой запаздыванием основного тона. Вновь сгенерированный сигнал возбуждения собирается в адаптивной кодовой книге и также фильтруется полюсным фильтром синтеза, и посредством этого синтезируется декодированный сигнал.

[0013] При CELP коэффициент LP вычисляется для всех кадров. При вычислении коэффициента LP требуется прогнозный сигнал на приблизительно 10 мс. В частности, в дополнение к кадру, который должен быть закодирован, прогнозный сигнал собирается в буфере, и затем выполняются вычисление коэффициента LP и последующая обработка (см. Фиг. 2). Каждый кадр разделяется приблизительно на четыре подкадра и обработка, например вышеописанное вычисление запаздывания основного тона, вычисление вектора адаптивной кодовой книги, вычисление вектора фиксированной кодовой книги и обновление адаптивной кодовой книги выполняются в каждом подкадре. При обработке каждого подкадра коэффициент LP также интерполируется, так что коэффициент меняется от подкадра к подкадру. Дополнительно, для квантования и интерполяции коэффициент LP кодируется после его преобразования в параметр ISP (пары спектральных иммитансов) и параметр ISF (частоты спектральных иммитансов), которые являются эквивалентным представлением (-ями) коэффициента (-ов) LP. Процедура для взаимного преобразования коэффициента (-ов) LP и параметра ISP и параметра ISF описывается в непатентной литературе 2.

[0014] При кодировании с CELP кодирование и декодирование выполняются на основе предположения, что как сторона кодирования, так и сторона декодирования имеют адаптивные кодовые книги, и эти адаптивные кодовые книги всегда синхронизированы друг с другом. Несмотря на то, что адаптивная кодовая книга на стороне кодирования и адаптивная кодовая книга на стороне декодирования синхронизированы при условиях, что пакеты приняты корректно и корректно осуществлено декодирование, как только произошла потеря пакета, синхронизация адаптивных кодовых книг не может быть достигнута.

[0015] Например, если значение, которое используется в качестве запаздывания основного тона, отличается между стороной кодирования и стороной декодирования, между векторами адаптивной кодовой книги возникает запаздывание во времени (временная задержка). Поскольку адаптивная кодовая книга обновляется этими векторами адаптивной кодовой книги, даже если следующий кадр принят корректно, вектор адаптивной кодовой книги, вычисленный на стороне кодирования, и вектор адаптивной кодовой книги, вычисленный на стороне декодирования, не совпадут, и синхронизация адаптивных кодовых книг не восстановится. Вследствие такой несовместимости (противоречивости) адаптивных кодовых книг происходит ухудшение качества звучания для нескольких кадров после кадра, где произошла потеря пакета.

[0016] Более передовая технология маскирования потери пакета при кодировании с CELP описана в патентной литературе 2. Согласно патентной литературе 2 индекс кодовой книги переходного режима передается вместо запаздывания основного тона или усиления (коэффициента усиления) адаптивной кодовой книги в некотором конкретном кадре, который в значительной степени поврежден потерей пакета. Технология патентной литературы 2 концентрирует внимание на переходном кадре (переход от аудиосегмента без звука к аудиосегменту со звуком или переход между двумя гласными звуками) как на кадре, который в значительной степени поврежден потерей пакета. Посредством генерирования сигнала возбуждения с использованием кодовой книги переходного режима в этом переходном кадре, можно генерировать сигнал возбуждения, который не зависит от прошлой адаптивной кодовой книги, и посредством этого можно осуществить восстановление от несовместимости адаптивных кодовых книг вследствие прошлой потери пакета.

[0017] Однако, поскольку способ из патентной литературы 2 не использует кодовую книгу переходного кадра в кадре, в котором, например, продолжается долгий гласный звук, не представляется возможным осуществить восстановление от несовместимости адаптивных кодовых книг в таком кадре. Дополнительно, в случае, когда потерян пакет, содержащий кодовую книгу переходного кадра, потеря пакета повреждает кадры после потери. Аналогичная ситуация возникает, когда теряется пакет, следующий после пакета, содержащего кодовую книгу переходного кадра.

[0018] Несмотря на то, что можно применять кодовую книгу, такую как кодовая книга переходного кадра, которая не зависит от прошлых кадров, ко всем кадрам, поскольку значительно ухудшается эффективность кодирования, при этих условиях не представляется возможным достичь низкого битрейта и высокого качества звучания.

СПИСОК ССЫЛОК

ПАТЕНТНАЯ ЛИТЕРАТУРА

[0019] Патентная литература 1: публикация нерассмотренной заявки на патент Японии № 2003-533916

Патентная литература 2: публикация нерассмотренной заявки на патент Японии № 2010-507818

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

[0020] Непатентная литература 1: ITU-T G.711 Приложение I

Непатентная литература 2: 3GPP TS26-191

Непатентная литература 3: 3GPP TS26-190

Непатентная литература 4: ITU-T G.718

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

[0021] С использованием способа из патентной литературы 1, после поступления пакета, который должен быть декодирован, декодирование не начинается до поступления следующего пакета. Таким образом, несмотря на то, что качество звучания улучшается посредством маскирования потери пакета, увеличивается алгоритмическая задержка, которая вызывает ухудшение качества голосовой связи.

[0022] В случае потери пакета при кодировании с CELP, ухудшение качества звучания происходит вследствие несовместимости адаптивных кодовых книг между блоком кодирования и блоком декодирования. Несмотря на то, что способ, который описан в патентной литературе 2, может позволить осуществить восстановление от несовместимости адаптивных кодовых книг, способ не является достаточным, чтобы позволить осуществить восстановление, когда потерян кадр, отличный от кадра, находящегося непосредственно перед переходным кадром.

[0023] Настоящее изобретение сделано для решения вышеуказанных проблем и таким образом, целью настоящего изобретения является обеспечение устройства кодирования аудио, способа кодирования аудио, программы кодирования аудио, устройства декодирования аудио, способа декодирования аудио и программы декодирования аудио, которые восстанавливают качество звучания без увеличения алгоритмической задержки в случае потери пакета при кодировании аудио.

РЕШЕНИЕ ПРОБЛЕМЫ

[0024] Для достижения вышеуказанный цели согласно одному аспекту настоящего изобретения обеспечено устройство кодирования аудио для кодирования аудиосигнала, которое включает в себя блок кодирования аудио, сконфигурированный с возможностью кодирования аудиосигнала, и блок кодирования побочной (дополнительной) информации, сконфигурированный с возможностью вычисления побочной информации из прогнозного сигнала и кодирования побочной информации.

[0025] Побочная информация может быть связана с запаздыванием основного тона в прогнозном сигнале, связана с усилением основного тона в прогнозном сигнале или связана с запаздыванием основного тона и усилением основного тона в прогнозном сигнале. Дополнительно, побочная информация может содержать информацию, связанную с доступностью побочной информации.

[0026] Блок кодирования побочной информации может вычислять побочную информацию для части прогнозного сигнала и кодировать побочную информацию, а также генерировать сигнал маскирования, и устройство кодирования аудио может дополнительно включать в себя блок кодирования сигнала ошибки, сконфигурированный с возможностью кодирования сигнала ошибки между входным аудиосигналом и сигналом маскирования, выводимым из блока кодирования побочной информации, и главный блок кодирования, сконфигурированный с возможностью кодирования входного аудиосигнала.

[0027] Дополнительно согласно одному аспекту настоящего изобретения обеспечено устройство декодирования аудио для декодирования аудиокода и вывода аудиосигнала, которое включает в себя буфер аудиокода, сконфигурированный с возможностью обнаружения потери пакета на основе состояния приема аудиопакета, блок декодирования аудиопараметров, сконфигурированный с возможностью декодирования аудиокода, когда аудиопакет принят корректно, блок декодирования побочной информации, сконфигурированный с возможностью декодирования кода побочной информации, когда аудиопакет принят корректно, блок сбора побочной информации, сконфигурированный с возможностью сбора побочной информации, получаемой посредством декодирования кода побочной информации, блок обработки отсутствующих аудиопараметров, сконфигурированный с возможностью вывода аудиопараметра, когда обнаружена потеря аудиопакета, и блок синтеза аудио, сконфигурированный с возможностью синтезирования декодированного аудио из аудиопараметра.

[0028] Побочная информация может быть связана с запаздыванием основного тона в прогнозном сигнале, связана с усилением основного тона в прогнозном сигнале или связана с запаздыванием основного тона и усилением основного тона в прогнозном сигнале. Дополнительно, побочная информация может содержать информацию, связанную с доступностью побочной информации.

[0029] Блок декодирования побочной информации может декодировать код побочной информации и выводить побочную информацию, и может дополнительно выводить сигнал маскирования, связанный с прогнозной частью посредством использования побочной информации, и устройство декодирования аудио может дополнительно включать в себя блок декодирования ошибок, сконфигурированный с возможностью декодирования кода, связанного с сигналом ошибки между аудиосигналом и сигналом маскирования, главный блок декодирования, сконфигурированный с возможностью декодирования кода, связанного с аудиосигналом, и блок сбора сигналов маскирования, сконфигурированный с возможностью сбора сигнала маскирования, выводимого из блока декодирования побочной информации.

[0030] Когда аудиопакет принят корректно, часть декодированного сигнала может быть сгенерирована посредством сложения сигнала маскирования, считываемого из блока сбора сигналов маскирования, и декодированного сигнала ошибки, выводимого из блока декодирования ошибок, и блок сбора сигналов маскирования может быть обновлен сигналом маскирования, выводимым из блока декодирования побочной информации.

[0031] Когда обнаружена потеря аудиопакета, сигнал маскирования, считываемый из блока сбора сигналов маскирования, может быть использован в качестве части или целого декодированного сигнала.

[0032] Когда обнаружена потеря аудиопакета, декодированный сигнал может быть сгенерирован посредством использования аудиопараметра, предсказываемого блоком обработки отсутствующих аудиопараметров, и блок сбора сигналов маскирования может быть обновлен посредством использования части декодированного сигнала.

[0033] Когда обнаружена потеря аудиопакета, блок обработки отсутствующих аудиопараметров может использовать побочную информацию, считываемую из блока сбора побочной информации, в качестве части предсказываемого значения аудиопараметра.

[0034] Когда обнаружена потеря аудиопакета, блок синтеза аудио может корректировать вектор адаптивной кодовой книги, который является одним из аудиопараметров, посредством использования побочной информации, считываемой из блока сбора побочной информации.

[0035] Способ кодирования аудио согласно одному аспекту настоящего изобретения является способом кодирования аудио посредством устройства кодирования аудио для кодирования аудиосигнала, который включает в себя этап кодирования аудио, на котором кодируют аудиосигнал, и этап кодирования побочной информации, на котором вычисляют побочную информацию из прогнозного сигнала и кодируют побочную информацию.

[0036] Способ декодирования аудио согласно одному аспекту настоящего изобретения является способом декодирования аудио посредством устройства декодирования аудио для декодирования аудиокода и вывода аудиосигнала, который включает в себя этап буферизации аудиокода, на котором обнаруживают потерю пакета на основе состояния приема аудиопакета, этап декодирования аудиопараметров, на котором декодируют аудиокод, когда аудиопакет принят корректно, этап декодирования побочной информации, на котором декодируют код побочной информации, когда аудиопакет принят корректно, этап сбора побочной информации, на котором собирают побочную информацию, получаемую посредством декодирования кода побочной информации, этап обработки отсутствующих аудиопараметров, на котором выводят аудиопараметр, когда обнаружена потеря аудиопакета, и этап синтеза аудио, на котором синтезируют декодированное аудио из аудиопараметра.

[0037] Программа кодирования аудио согласно одному аспекту настоящего изобретения побуждает компьютер функционировать в качестве блока кодирования аудио для кодирования аудиосигнала и блока кодирования побочной информации для вычисления побочной информации из прогнозного сигнала и кодирования побочной информации.

[0038] Программа декодирования аудио согласно одному аспекту настоящего изобретения побуждает компьютер функционировать в качестве буфера аудиокода для обнаружения потери пакета на основе состояния приема аудиопакета, блока декодирования аудиопараметров для декодирования аудиокода, когда аудиопакет принят корректно, блока декодирования побочной информации для декодирования кода побочной информации, когда аудиопакет принят корректно, блока сбора побочной информации для сбора побочной информацию, получаемой посредством декодирования кода побочной информации, блока обработки отсутствующих аудиопараметров для вывода аудиопараметра, когда обнаружена потеря аудиопакета, и блока синтеза аудио для синтезирования декодированного аудио из аудиопараметра.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

[0039] Можно восстанавливать качество звучания без увеличения алгоритмической задержки в случае потери пакета при кодировании аудио. Конкретно, при кодировании с CELP, можно сократить ухудшение адаптивной кодовой книги, которое возникает, когда происходит потеря пакета, и посредством этого улучшить качество звучания в случае потери пакета.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0040] Фиг. 1 представляет собой вид, показывающий временную взаимосвязь между пакетами и декодированным сигналом согласно связанной области техники, описанной в патентной литературе 1.

Фиг. 2 представляет собой вид, показывающий временную взаимосвязь между целевым сигналом анализа LP и прогнозным сигналом при кодировании с CELP.

Фиг. 3 представляет собой вид, показывающий временную взаимосвязь между пакетами и декодированным сигналом согласно варианту осуществления настоящего изобретения.

Фиг. 4 представляет собой вид, показывающий пример функциональной конфигурации устройства передачи аудиосигнала в примере 1 (первый пример) настоящего изобретения.

Фиг. 5 представляет собой вид, показывающий пример функциональной конфигурации устройства приема аудиосигнала в примере 1 настоящего изобретения.

Фиг. 6 представляет собой вид, показывающий процедуру устройства передачи аудиосигнала в примере 1 настоящего изобретения.

Фиг. 7 представляет собой вид, показывающий процедуру устройства приема аудиосигнала в примере 1 настоящего изобретения.

Фиг. 8 представляет собой вид, показывающий пример функциональной конфигурации блока кодирования побочной информации в примере 1 настоящего изобретения.

Фиг. 9 представляет собой вид, показывающий процедуру блока кодирования побочной информации в примере 1 настоящего изобретения.

Фиг. 10 представляет собой вид, показывающий процедуру блока вычисления коэффициента LP в примере 1 настоящего изобретения.

Фиг. 11 представляет собой вид, показывающий процедуру блока вычисления целевого сигнала в примере 1 настоящего изобретения.

Фиг. 12 представляет собой вид, показывающий пример функциональной конфигурации блока обработки отсутствующих аудиопараметров в примере 1 настоящего изобретения.

Фиг. 13 представляет собой вид, показывающий процедуру предсказания аудиопараметра в примере 1 настоящего изобретения.

Фиг. 14 представляет собой вид, показывающий процедуру блока синтеза вектора возбуждения в альтернативном примере 1-1 примера 1 настоящего изобретения.

Фиг. 15 представляет собой вид, показывающий пример функциональной конфигурации блока синтеза аудио в примере 1 настоящего изобретения.

Фиг. 16 представляет собой вид, показывающий процедуру блока синтеза аудио в примере 1 настоящего изобретения.

Фиг. 17 представляет собой вид, показывающий пример функциональной конфигурации блока кодирования побочной информации (когда в состав включен блок определения вывода побочной информации) в альтернативном примере 1-2 примера 1 настоящего изобретения.

Фиг. 18 представляет собой вид, показывающий процедуру блока кодирования побочной информации (когда в состав включен блок определения вывода побочной информации) в альтернативном примере 1-2 примера 1 настоящего изобретения.

Фиг. 19 представляет собой вид, показывающий процедуру предсказания аудиопараметра в альтернативном примере 1-2 примера 1 настоящего изобретения.

Фиг. 20 представляет собой вид, показывающий пример функциональной конфигурации устройства передачи аудиосигнала в примере 2 настоящего изобретения.

Фиг. 21 представляет собой вид, показывающий пример функциональной конфигурации главного блока кодирования в примере 2 настоящего изобретения.

Фиг. 22 представляет собой вид, показывающий процедуру устройства передачи аудиосигнала в примере 2 настоящего изобретения.

Фиг. 23 представляет собой вид, показывающий пример функциональной конфигурации устройства приема аудиосигнала в примере 2 настоящего изобретения.

Фиг. 24 представляет собой вид, показывающий процедуру устройства приема аудиосигнала в примере 2 настоящего изобретения.

Фиг. 25 представляет собой вид, показывающий пример функциональной конфигурации блока синтеза аудио в примере 2 настоящего изобретения.

Фиг. 26 представляет собой вид, показывающий пример функциональной конфигурации блока декодирования аудиопараметров в примере 2 настоящего изобретения.

Фиг. 27 представляет собой вид, показывающий пример функциональной конфигурации блока кодирования побочной информации в примере 3 настоящего изобретения.

Фиг. 28 представляет собой вид, показывающий процедуру блока кодирования побочной информации в примере 3 настоящего изобретения.

Фиг. 29 представляет собой вид, показывающий процедуру блока выбора запаздывания основного тона в примере 3 настоящего изобретения.

Фиг. 30 представляет собой вид, показывающий процедуру блока декодирования побочной информации в примере 3 настоящего изобретения.

Фиг. 31 представляет собой вид, показывающий конфигурацию программы кодирования аудио и носителя данных согласно варианту осуществления настоящего изобретения.

Фиг. 32 представляет собой вид, показывающий конфигурацию программы декодирования аудио и носителя данных согласно варианту осуществления настоящего изобретения.

Фиг. 33 представляет собой вид, показывающий пример функциональной конфигурации блока кодирования побочной информации в примере 4 настоящего изобретения.

Фиг. 34 представляет собой вид, показывающий процедуру блока кодирования побочной информации в примере 4 настоящего изобретения.

Фиг. 35 представляет собой вид, показывающий процедуру блока предсказания запаздывания основного тона в примере 4 настоящего изобретения.

Фиг. 36 представляет собой другой вид, показывающий процедуру блока предсказания запаздывания основного тона в примере 4 настоящего изобретения.

Фиг. 37 представляет собой другой вид, показывающий процедуру блока предсказания запаздывания основного тона в примере 4 настоящего изобретения.

Фиг. 38 представляет собой вид, показывающий процедуру блока вычисления адаптивной кодовой книги в примере 4 настоящего изобретения.

Фиг. 39 представляет собой вид, показывающий пример функциональной конфигурации блока кодирования побочной информации в примере 5 настоящего изобретения.

Фиг. 40 представляет собой вид, показывающий процедуру блока кодирования запаздывания основного тона в примере 5 настоящего изобретения.

Фиг. 41 представляет собой вид, показывающий процедуру блока декодирования побочной информации в примере 5 настоящего изобретения.

Фиг. 42 представляет собой вид, показывающий процедуру блока предсказания запаздывания основного тона в примере 5 настоящего изобретения.

Фиг. 43 представляет собой вид, показывающий процедуру блока вычисления адаптивной кодовой книги в примере 5 настоящего изобретения.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0041] Варианты осуществления настоящего изобретения описываются в дальнейшем в этом документе со ссылкой на приложенные чертежи. Следует отметить, что где возможно, одинаковые элементы обозначаются одинаковыми позиционными обозначениями и их избыточное описание пропущено.

[0042] Вариант осуществления настоящего изобретения относится к кодеру и декодеру, которые реализуют "технологию маскирования потери пакета с использованием побочной информации", которая кодирует и передает побочную информацию, вычисленную на стороне кодера, для использования при маскировании потери пакета на стороне декодера.

[0043] В вариантах осуществления настоящего изобретения побочная информация, которая используется для маскирования потери пакета, содержится в предыдущем (предшествующем) пакете. Фиг. 3 показывает временную взаимосвязь между аудиокодом и кодом побочной информации, содержащемся в пакете. Как проиллюстрировано на Фиг. 3, побочная информации в вариантах осуществления настоящего изобретения представляет собой параметры (запаздывание основного тона, усиление адаптивной кодовой книги и другие), которые вычисляются для прогнозного сигнала при кодировании с CELP.

[0044] Поскольку побочная информация содержится в предыдущем пакете, можно выполнять декодирование без ожидания пакета, который поступает после пакета, который должен быть декодирован. Дополнительно, когда обнаружена потеря пакета, поскольку побочная информация для кадра, который должен быть замаскирован, получается из предыдущего пакета, можно реализовывать высокоточное маскирование потери пакета без ожидания следующего пакета.

[0045] В дополнение, посредством передачи параметров для кодирования с CELP в прогнозном сигнале в качестве побочной информации, можно устранять несовместимость адаптивных кодовых книг даже в случае потери пакета.

[0046] Варианты осуществления настоящего изобретения могут быть составлены из устройства передачи аудиосигнала (устройство кодирования аудио) и устройства приема аудиосигнала (устройство декодирования аудио). Пример функциональной конфигурации устройства передачи аудиосигнала показан на Фиг. 4 и примерная процедура упомянутого устройство показана на Фиг. 6. Дополнительно, один пример функциональной конфигурации устройства приема аудиосигнала показан на Фиг. 5 и примерная процедура упомянутого устройства показана на Фиг. 7.

[0047] Как показано на Фиг. 4, устройство передачи аудиосигнала включает в себя блок 111 кодирования аудио и блок 112 кодирования побочной информации. Как показано на Фиг. 5, устройство приема аудиосигнала включает в себя буфер 121 аудиокода, блок 122 декодирования аудиопараметров, блок 123 обработки отсутствующих аудиопараметров, блок 124 синтеза аудио, блок 125 декодирования побочной информации и блок 126 сбора побочной информации.

[0048] Устройство передачи аудиосигнала кодирует аудиосигнал для каждого кадра и может передавать аудиосигнал посредством примерной процедуры, показанной на Фиг. 6.

[0049] Блок 111 кодирования аудио может вычислять аудиопараметры для кадра, который должен быть закодирован, и выводить аудиокод (этап S131 на Фиг. 6).

[0050] Блок 112 кодирования побочной информации может вычислять аудиопараметры для прогнозного сигнала и выводить код побочной информации (этап S132 на Фиг. 6).

[0051] Определяется, закончился ли аудиосигнал, и вышеуказанные этапы могут повторяться до тех пор, пока не закончится аудиосигнал (этап S133 на Фиг. 6).

[0052] Устройство приема аудиосигнала декодирует принятый аудиопакет и выводит аудиосигнал посредством примерной процедуры, показанной на Фиг. 7.

[0053] Буфер 121 аудиокода ожидает поступления аудиопакета и собирает аудиокод. Когда аудиопакет поступил корректно, обработка переключается на блок 122 декодирования аудиопараметров. С другой стороны, когда аудиопакет не поступил корректно, обработка переключается на блок 123 обработки отсутствующих аудиопараметров (этап S141 на Фиг. 7).

[0054] <КОГДА АУДИОПАКЕТ ПРИНЯТ КОРРЕКТНО>

Блок 122 декодирования аудиопараметров декодирует аудиокод и выводит аудиопараметры (этап S142 на Фиг. 7).

[0055] Блок 125 декодирования побочной информации декодирует код побочной информации и выводит побочную информацию. Выводимая побочная информация отправляется в блок 126 сбора побочной информации (этап S143 на Фиг. 7).

[0056] Блок 124 синтеза аудио синтезирует аудиосигнал из аудиопараметров, выводимых из блока 122 декодирования аудиопараметров, и выводит синтезированный аудиосигнал (этап S144 на Фиг. 7).

[0057] Блок 123 обработки отсутствующих аудиопараметров собирает аудиопараметры, выводимые из блока 122 декодирования аудиопараметров, на случай потери пакета (этап S145 на Фиг. 7).

[0058] Буфер 121 аудиокода определяет, завершена ли передача аудиопакетов, и когда передача аудиопакетов завершена, останавливает обработку. Пока продолжается передача аудиопакетов, повторяются вышеуказанные этапы с S141 по S146 (этап S147 на Фиг. 7).

[0059] <КОГДА АУДИОПАКЕТ ПОТЕРЯН >

Блок 123 обработки отсутствующих аудиопараметров считывает побочную информации из блока 126 сбора побочной информации и осуществляет предсказание для параметра (-ов), не содержащихся в побочной информации, и посредством этого выводит аудиопараметры (этап S146 на Фиг. 7).

[0060] Блок 124 синтеза аудио синтезирует аудиосигнал из аудиопараметров, выводимых из блока 123 обработки отсутствующих аудиопараметров, и выводит синтезированный аудиосигнал (этап S144 на Фиг. 7).

[0061] Блок 123 обработки отсутствующих аудиопараметров собирает аудиопараметры, выводимые из блока 123 обработки отсутствующих аудиопараметров, на случай потери пакета (этап S145 на Фиг. 7).

[0062] Буфер 121 аудиокода определяет, завершена ли передача аудиопакетов, и когда передача аудиопакетов завершена, останавливает обработку. Пока продолжается передача аудиопакетов, повторяются вышеуказанные этапы с S141 по S146 (этап S147 на Фиг. 7).

[0063] [ПРИМЕР 1]

В этом примере случая, в котором запаздывание основного тона передается в качестве побочной информации, запаздывание основного тона может быть использовано для генерирования сигнала маскирования потери пакета на стороне декодирования.

[0064] Пример функциональной конфигурации устройства передачи аудиосигнала показан на Фиг. 4 и пример функциональной конфигурации устройства приема аудиосигнала показан на Фиг. 5. Пример процедуры устройства передачи аудиосигнала показан на Фиг. 6 и пример процедуры устройства приема аудиосигнала показан на Фиг. 7.

[0065] <СТОРОНА ПЕРЕДАЧИ>

В устройстве передачи аудиосигнала входной аудиосигнал отправляется в блок 111 кодирования аудио.

[0066] Блок 111 кодирования аудио кодирует кадр, который должен быть закодирован, посредством кодирования с CELP (этап 131 на Фиг. 6). Для получения более подробной информации о кодировании с CELP, в качестве примера используется способ, описанный в непатентной литературе 3. Подробности процедуры кодирования с CELP пропущены. Следует отметить, что при кодировании с CELP локальное декодирование выполняется на стороне кодирования. Локальное декодирование предназначено для декодирования аудиокода также на стороне кодирования и получения параметров (параметра ISP и соответствующего параметра ISF, запаздывания основного тона, параметра долгосрочного предсказания, адаптивной кодовой книги, усиления адаптивной кодовой книги, усиления фиксированной кодовой книги, вектора фиксированной кодовой книги и так далее), требуемых для синтеза аудио. Параметры, получаемые локальным декодированием, включают в себя: по меньшей мере один или оба из параметра ISP и параметра ISF, запаздывание основного тона и адаптивную кодовую книгу, которые отправляются в блок 112 кодирования побочной информации. В случае, когда кодирование аудио, описанное в непатентной литературе 4, используетс