Устройство и способ обработки информации
Иллюстрации
Показать всеИзобретение относится к устройству и способу обработки информации, и более конкретно, к устройству и способу обработки информации, которые позволяют уменьшить задержку времени при передаче/приеме пакета. Техническим результатом является уменьшение времени ожидания при обработке восстановления данных из пакетов и обеспечение выполнения обработки просто и с высокой скоростью, что может быть использовано в устройстве кодирования. Указанный технический результат достигается тем, что модуль 621 анализа сравнивает входные данные изображения с данными изображения одного предыдущего изображения, считанного из модуля 622 сохранения. На основе результата анализа модуль 623 генерирования заголовка сокрытия генерирует заголовок сокрытия, к которому обращается устройство 603 приема во время обработки сокрытия ошибки. На основе заголовка сокрытия модуль 631 анализа потери выполняет сокрытие ошибки в случае возникновения ошибки при передаче путем соответствующего использования кодированных данных, сохраненных в модуле 632 сохранения. 4 н. и 10 з.п. ф-лы, 52 ил.
Реферат
Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству и способу обработки информации, и более конкретно, к устройству и способу обработки информации, которые позволяют уменьшить задержку времени при передаче/приеме пакета.
Уровень техники
До настоящего времени существовало требование передавать видео- и аудиоданные с минимальной задержкой, например, в системах передачи данных с использованием видео- и аудиосистем, таких как двунаправленные системы видеоконференции, и смешанные системы со средами, в которых не применяется сжатие в станциях широковещательной передачи, или тому подобное. В последние годы, в частности, количество данных увеличивалось по мере улучшения качества видеоизображения и звука и, соответственно, существует требование передачи данных с дополнительно уменьшенной задержкой.
Например, в системах сжатия MPEG (Экспертная группа по вопросам движущегося изображения) и Н.26х, степень сжатия увеличивают на основе прогнозирования движения. Когда выполняют прогнозирование движения, алгоритм становится сложным, и требуемое время обработки увеличивается в пропорции к квадрату размера кадра. В принципе, происходит задержка кодирования нескольких кадров. Когда требуется осуществлять двунаправленную передачу данных в режиме реального времени, время задержки становится практически допустимым временем задержки, равным 250 мс, и этой длительностью уже нельзя пренебречь.
Кроме того, в кодеках, работающих внутри кадра, представленных JPEG (Объединенная группа экспертов по машинной обработке фотографических изображений) 2000, не используется информация разности между кадрами. Таким образом, описанная выше задержка не происходит. Однако, поскольку сжатие выполняют на покадровой основе, кодек должен ожидать пока не будет получен, по меньшей мере, один кадр, перед тем, как он начнет кодирование. Поскольку в существующих общих системах во многих случаях используется частота 30 кадров в секунду, необходимо время ожидания порядка 16 мс, прежде чем начнется кодирование.
Поэтому существует потребность в дополнительном уменьшении этой задержки и в уменьшении задержки на других участках, кроме участков кодирования и декодирования, таких как обработка формирования пакетов и обработка восстановления данных из пакетов. Например, был рассмотрен способ уменьшения емкости буферного запоминающего устройства для уменьшения задержки при передаче (например, см. ссылку 1 на патент).
В настоящее время часто возникают ошибки при передаче во время передачи цифровых видеоданных, что влияет на качество воспроизведения видео- и аудиоданных.
Ссылка 1 на патент: Публикация находящейся на экспертизе заявки №2005-12753 на японский патент
Сущность изобретения
Техническая задача
Для устранения таких ошибок при передаче предпринимают определенные меры. Для дополнительного уменьшения задержки при передаче данных требуется уменьшить задержку также при выполнении обработки для устранения ошибок при передаче.
Настоящее изобретение было предложено с учетом таких обычных обстоятельств и оно позволяет уменьшить время задержки, возникающее при передаче/приеме данных,
Техническое решение
Аспект настоящего изобретения направлен на устройство обработки информации, которое кодирует данные изображения, включающее в себя: средство сравнения, предназначенное для сравнения кадров или полей, составляющих данные изображения, с последовательным приращением в размере блока строк, включающим в себя данные изображения, эквивалентные количеству строк, необходимому для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонентов самой низкой частоты; средство генерирования, предназначенное для генерирования информации сокрытия, обозначающей способ сокрытия ошибки в блоке строк, в соответствии с результатом сравнения, полученным средством сравнения; средство кодирования, предназначенное для генерирования кодированных данных, путем кодирования данных коэффициента, порядок которых был изменен заранее в порядке, в котором данные коэффициента используются при выполнении обработки комбинирования, состоящей в комбинировании данных коэффициента множества подполос, разложенных на полосы частот, для генерирования данных изображения; и средство управления, предназначенное для управления средством кодирования, для мультиплексирования информации сокрытия, сгенерированной средством генерирования, с кодированными данными, сгенерированными средством кодирования.
Средство управления может управлять средством кодирования для формирования пакетов из кодированных данных с информацией сокрытия, используемой как заголовок.
Средство кодирования может включать в себя средство кодирования коэффициента, предназначенное для кодирования данных коэффициента, для генерирования кодированных данных; и средство формирования пакетов, предназначенное для формирования пакетов из кодированных данных.
Информация сокрытия может включать в себя информацию флага, обозначающую, возможна или нет замена блока строк, составляющих кадр или поле, блоком строк, составляющим другой кадр или другое поле.
Средство сравнения может сравнивать в отношении данных изображения значения разности между кадрами или значения разности между полями с пороговым значением.
Средство генерирования может устанавливать информацию флага, как обозначающую возможность замены, когда значение разности между кадрами или значение разности между полями меньше чем или равно пороговому значению.
Информация сокрытия может включать в себя информацию, обозначающую, когда блок строк, составляющий кадр или поле, может быть заменен блоком строк, составляющим другой кадр или другое поле, протяженность предыдущих изображений или полей, которые можно использовать для замены.
Информация сокрытия может включать в себя информацию флага, обозначающую, когда блок строк, составляющий кадр или поле, может быть заменен блоком строк, составляющим другой кадр или другое поле, возможно или нет выполнить замену, используя изображение или поле, следующее после изображения или поля, которое можно использовать для замены.
Порядок данных коэффициента может быть изменен в порядке от компонентов низкой частоты до компонентов высокой частоты с последовательным приращением размером блок строк.
Далее, аспект настоящего изобретения направлен на способ обработки информации для устройства обработки информации, которое кодирует данные изображения, в котором: средство сравнения сравнивает кадры или поля, составляющие данные изображения, с последовательными приращениями размером блок строк, включающими в себя данные изображения, эквивалентные количеству строк, необходимому для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонентов самой низкой частоты; средство генерирования генерирует информацию сокрытия, обозначающую способ сокрытия ошибки в блоке строк в соответствии с результатом сравнения, полученным средством сравнения; средство кодирования генерирует кодированные данные путем кодирования данных коэффициента, порядок которых был изменен заранее, в порядке, в котором данные коэффициента используют при выполнении обработки комбинирования, состоящей в комбинировании данных коэффициента из множества подполос, разложенных по полосам частот, для генерирования данных изображения; и средство управления выполняет управление средством кодирования таким образом, чтобы мультиплексировать информацию сокрытия, генерируемую средством генерирования, с кодированными данными, генерируемыми средством кодирования.
В другом аспекте настоящее изобретение направлено на устройство обработки информации, которое выполняет обработку сокрытия ошибки по кодированным данным, полученным в результате кодирования данных изображения, включающее в себя: средство получения, предназначенное для получения для кадров или полей, составляющих данные изображения, информации сокрытия, обозначающей способ сокрытия ошибки в блоке строк, с последовательным приращением блока строк, включающего в себя данные изображения, эквивалентные количеству строк, необходимых для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонентов самой низкой частоты, из кодированных данных, полученных в результате кодирования данных коэффициента, порядок следования которых был заранее изменен на порядок, в котором данные коэффициента используют при выполнении обработки комбинирования состоящей в комбинировании данных коэффициента из множества подполос, полученных в результате разложения данных изображения в полосах частот, для генерирования данных изображения; и средство сокрытия, предназначенное для выполнения с последовательным приращением размером блок строк, обработки сокрытия ошибки, включенной в кодированные данные, в соответствии со способом сокрытия ошибки, обозначенным по информации сокрытия ошибки, полученной средством получения.
Из кодированных данных могут быть сформированы пакеты, при этом информация сокрытия используется как заголовок, и средство получения может получать информацию сокрытия как заголовок.
Устройство обработки информации может дополнительно включать в себя средство декодирования, предназначенное для декодирования кодированных данных, которые были обработаны для сокрытия с помощью средства сокрытия, для генерирования данных изображения.
Устройство обработки информации может дополнительно включать в себя средство записи, предназначенное для записи кодированных данных, которые были обработаны для сокрытия с помощью средства сокрытия, на носителе записи.
Кроме того, другой аспект настоящего изобретения направлен на способ обработки информации для устройства обработки информации, которое выполняет обработку сокрытия ошибки по кодированным данным, полученным в результате кодирования данных изображения, в котором:
средство получения получает, для кадров или полей, составляющих данные изображения, информацию сокрытия, обозначающую способ сокрытия ошибки в блоке строк, с последовательным приращением блока строк, включающего в себя данные изображения, эквивалентные количеству строк, требуемых для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонентов с самой низкой частотой, из кодированных данных, полученных в результате кодирования данных коэффициента, порядок которых был изменен заранее, в порядке, в котором данные коэффициента используют при выполнении обработки комбинирования, состоящей в комбинировании данных коэффициента из множества подполос, полученных в результате разложения данных изображения по полосам частот, для генерирования данных изображения; и средство сокрытия выполняет, с последовательным приращением размером блок строк, обработку сокрытия ошибки, включенной в кодированные данные, в соответствии с информацией сокрытия ошибки, обозначенной информацией сокрытия ошибки, полученной средством получения.
В соответствии с аспектом настоящего изобретения, кадры или поля, составляющие данные изображения, сравнивают с приращением размером блок строк, включающие в себя данные изображения, эквивалентные количеству строк, необходимых для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонентов с самой низкой частотой; причем информацию сокрытию, обозначающую способ сокрытия ошибки в блоке строк, генерируют в соответствии с результатом сравнения; кодированные данные генерируют путем кодирования данных коэффициента, порядок которых был заранее изменен, в порядке, в котором данные коэффициента используют при выполнении обработки комбинирования, состоящей в комбинировании данных коэффициента из множества подполос, разложенных по полосам частот, для генерирования данных изображения; и управление выполняют так, чтобы мультиплексировать сгенерированную информацию сокрытия с кодированными данными.
В соответствии с другим аспектом настоящего изобретения, для кадров или полей, составляющих данные изображения, информацию сокрытия, обозначающую способ сокрытия ошибки в блоке строк, получают с последовательным приращением размером блок строк, включающую в себя данные изображения, эквивалентные количеству строк, необходимому для генерирования данных коэффициента, эквивалентных одной строке подполос, по меньшей мере, компонентов с самой низкой частотой, из кодированных данных, полученных в результате кодирования данных коэффициента, порядок которых был изменен заранее, в порядке, в котором данные коэффициента используют при выполнении обработки комбинирования, состоящем в комбинировании данных коэффициента из множества подполос, полученных в результате разложения данных изображения на полосы частот, для генерирования данных изображения; и обработку сокрытия ошибки, включенной в кодированные данные, выполняют с приращением размером блок строк, в соответствии с информацией сокрытия ошибки, обозначенной полученной информацией сокрытия ошибки.
Предпочтительные эффекты
В соответствии с настоящим изобретением, данные можно передавать/принимать. В частности, может быть уменьшено время задержки, которое возникает при передаче/приеме данных.
Краткое описание чертежей
На фиг.1 показана блок-схема, представляющая примерную конфигурацию системы
передачи, в которой применяется настоящее изобретение.
На фиг.2 показана блок-схема, представляющая примерную структуру модуля
кодирования по фиг.1.
На фиг.3 показана схема, описывающая структуру вейвлет-преобразования.
Фиг.4 включает в себя схему, описывающую структуру вейвлет-преобразования.
На фиг.5 показана схема, представляющая пример, в котором выполняют фильтрацию на основе подъема с использованием фильтра 5×3 до уровня разложения = 2.
На фиг.6 представлена схема, изображающая структуру последовательности операций, выполняемых при вейвлет-преобразовании и обратном вейвлет-преобразовании в соответствии с данным изобретением.
На фиг.7 показана схема, представляющая примерную структуру заголовка участка.
На фиг.8 показана схема, представляющая примерную структуру заголовка изображения.
На фиг.9 показана схема, представляющая пример информации, обмен которой выполняют между модулем кодирования и модулем обработки формирования пакетов.
На фиг.10 показана блок-схема, подробно представляющая примерную структуру модуля обработки формирования пакетов по фиг.1.
На фиг.11 показана схема, предназначенная для описания примера участка.
На фиг.12 показана схема, предназначенная для описания примера генерирования пакетов.
На фиг.13 показана схема, предназначенная для описания примерной структуры заголовка RTP.
На фиг.14 показана схема для описания примерной структуры заголовка полезной нагрузки RTP.
На фиг.15 показана схема, представляющая примерную структуру общего заголовка.
На фиг.16 показана схема, представляющая примерную структуру информации параметра квантования.
На фиг.17 показана схема, представляющая примерную структуру информации размера.
На фиг.18 представлены схемы, представляющие примерную структуру информации формата.
На фиг.19 показана схема, представляющая примерную структуру информации изображения.
На фиг.20 показана схема, представляющая примерную структуру информации цвета.
На фиг.21 показана блок-схема, представляющая подробную примерную структуру модуля обработки восстановления данных из пакетов по фиг.1.
На фиг.22 показана схема, представляющая пример способа перехода режима управления.
На фиг.23 показана схема, представляющая пример информации, обмен которой выполняют между модулем обработки восстановления данных из пакетов и модулем декодирования.
На фиг.24 показана блок-схема, подробно представляющая примерную структуру модуля декодирования по фиг.1.
На фиг.25 показана блок-схема последовательности операций для описания примерной обработки кодирования.
На фиг.26 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при обработке формирования пакетов.
На фиг.27 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при обработке режима запуска.
На фиг.28 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при выполнении обработки общего режима.
На фиг.29 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при обработке в режиме ожидания.
На фиг.30 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при обработке в режиме обработки.
На фиг.31 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при обработке в режиме потери.
На фиг.32 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при обработке управления декодирования.
На фиг.33 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при обработке декодирования.
На фиг.34 показана блок-схема последовательности операций, предназначенная для описания примерной последовательности операций при обработке уведомления об ошибке.
На фиг.35 показана схема, описывающая пример способа обработки уведомления об ошибке.
На фиг.36 показана схема, представляющая другую примерную структуру заголовка полезной нагрузки RTP.
На фиг.37 показана схема, представляющая примерную структуру информации сегмента.
На фиг.38 показана блок-схема последовательности операций, для описания другой примерной последовательности обработки формирования пакетов.
На фиг.39 показана схема, представляющая структуру примера способа параллельной работы, выполняемой отдельными элементами устройства передачи и устройства приема.
На фиг.40 показана блок-схема, представляющая другую примерную структуру модуля кодирования по фиг.1.
На фиг.41 показана схема для описания потока обработки в случае, когда обработку изменения порядка вейвлет-коэффициентов выполняют на стороне модуля кодирования.
На фиг.42 показана схема для описания потока обработки в случае, когда выполняют обработку изменения порядка вейвлет-коэффициентов на стороне модуля декодирования.
На фиг.43 показана блок-схема, представляющая другую примерную структуру модуля кодирования по фиг.1.
На фиг.44 показана блок-схема, представляющая примерную структуру модуля декодирования, соответствующую модулю кодирования по фиг.43.
На фиг.45 показана блок-схема, представляющая другую примерную конфигурацию системы перехода, в которой применяют настоящее изобретение.
На фиг.46 показана блок-схема, представляющая подробные примерные структуры устройства передачи и устройства приема по фиг.45.
На фиг.47 показана схема, представляющая примерную структуру заголовка сокрытия.
На фиг.48 показана схема, представляющая примерную структуру данных изображения, предназначенных для передачи.
На фиг.49 показана блок-схема последовательности операций, описывающая примерную последовательность операций при обработке анализа.
На фиг.50 показана блок-схема, описывающая примерную последовательность операций при выполнении обработки генерирования заголовка сокрытия.
На фиг.51 показана блок-схема последовательности операций, описывающая обработку анализа потери.
На фиг.52 показана схема, представляющая примерную конфигурацию системы обработки информации, в которой применяют настоящее изобретение.
Пояснение номеров ссылочных позиций
100: система передачи, 102: устройство передачи, 103: устройство приема, 110: линия, 132: модуль обработки восстановления данных из пакетов, 133: модуль декодирования, 202: модуль генерирования заголовка RTP, 203: модуль генерирования общего заголовка, 204: модуль генерирования заголовка расширения, 205: модуль генерирования информации изображения, 206: модуль проверки флага, 207: модуль проверки размера, 208: модуль обработки фрагмента, 209: модуль формирования пакета, 252: модуль анализа информации заголовка, 253: модуль изменения режима управления, 254: модуль управления, 255: модуль подачи заголовка, 256: модуль подачи данных, 257: модуль уведомления об ошибке, 258: модуль подачи сигнала управления, 351: модуль получения информации управления, 352: модуль управления декодированием, 353: модуль выполнения обработки декодирования, 354: модуль получения заголовка, 355: модуль получения данных 356: модуль получения уведомления об ошибке, 357: модуль обработки отбрасывания, 602: устройство передачи, 603: устройство приема, 621: модуль анализа, 622: модуль сохранения, 623: модуль генерирования заголовка сокрытия, 631: модуль анализа потери, 632: модуль сохранения, 640: заголовок сокрытия, 643: ID (ИД, идентификатор) изображения заголовка замены, 644: RF, 645: SF, 646: ИД участка заголовка замены.
Подробное описание изобретения
Ниже будут описаны варианты воплощения настоящего изобретения
На фиг.1 показана блок-схема, представляющая примерную конфигурацию системы передачи, в которой применяется настоящее изобретение.
На фиг.1 показана система 100 передачи, которая представляет собой систему передачи данных, в которой устройство 102 передачи сжимает и кодирует данные изображения, генерируемые устройством 101 съемки изображения, и формирует пакеты, и передает данные изображения; устройство 103 приема принимает пакеты, передаваемые через линию 110, и восстанавливает данные из пакетов, и декодирует пакеты; и устройство 104 дисплея отображает изображение, основанное на полученных данных изображения.
Устройство 101 съемки изображения имеет устройство съемки изображения, в котором используется CCD (ПЗС, прибор с зарядовой связью), CMOS (КМОП, комплементарный металлооксидный полупроводник), или тому подобное. Устройство 101 съемки изображения снимает изображение предмета, преобразует снятое изображение в данные изображения, которые представляют собой цифровые данные, и передает снятые данные изображения в устройство 102 передачи.
Устройство 102 передачи включает в себя модуль 121 кодирования, модуль 122 обработки формирования пакетов и модуль 123 передачи. Устройство 102 передачи кодирует в модуле 121 кодирования данные изображения, переданные из устройства 101 съемки изображения, используя заданный способ; формирует пакеты в модуле 122 обработки формирования пакетов из кодированных данных, полученных в результате кодирования; и передает, в модуле 123 передачи, сгенерированные пакеты в линию 110, используя заданный способ передачи данных.
Линия 110 представляет собой произвольную среду передачи, которая соединяет устройство 102 передачи и устройство 103 приема и передает пакеты, переданные из устройства 102 передачи, в устройство 103 приема.
Устройство 103 приема включает в себя модуль 131 приема, модуль 132 обработки восстановления данных из пакетов, и модуль 133 декодирования. Устройство 103 приема принимает, в модуле 131 приема, пакеты, переданные через линию 110; выделяет, в модуле 132 обработки восстановления данных из пакетов, кодированные данные из принятых пакетов; декодирует, в модуле 133 декодирования, выделенные кодированные данные, используя способ декодирования, соответствующий модулю 121 кодирования в устройстве 102 передачи; и выводит полученные данные изображения основной полосы пропускания в устройство 104 дисплея.
Устройство 104 дисплея включает в себя дисплей и отображает на дисплее изображение, основанное на данных изображения, переданных из устройства 103 приема.
Такая система 100 передачи по фиг.1 представляет собой систему, которая может уменьшить время задержки от момента съемки изображения, выполняемой устройством 101 съемки изображения, до момента, когда изображение отображается в устройстве 104 дисплея, путем уменьшения времени задержки, связанной с обработкой формирования пакета, выполняемой модулем 122 обработки формирования пакетов, и временем задержки, связанной с обработкой восстановления данных из пакетов, выполняемой модулем 132 обработки восстановления данных из пакетов.
В системе 100 передачи по фиг.1, модуль 101 съемки изображения показан как устройство, которое предоставляет данные изображения, предназначенные для передачи устройством 102 передачи. Однако это устройство может представлять собой любое устройство, если только оно позволяет предоставлять данные изображения. Кроме того, устройство 104 дисплея показано как устройство, в котором используются данные изображения, принятые устройством 103 приема. Однако это устройство может представлять собой любое устройство, если только оно может использовать данные изображения.
Кроме того, только данные изображения описаны как данные, предназначенные для передачи. Однако другие данные, такие как аудиоданные, можно передавать вместе с данными изображения.
Способ передачи пакетов, выполняемый устройством 102 передачи, может представлять собой способ одноадресной передачи, который представляет собой передачу только в устройство 103 приема, групповой передачи, которая представляет собой передачу в множество устройств, включающих в себя устройство 103 приема, или широковещательной передачи, которая представляет собой передачу множеству неопределенных устройств.
Линия 110 может представлять собой любую линию, если только линия 110 позволяет передавать пакеты. Линия 110 может быть кабельной или беспроводной или может включать в себя оба таких способа передачи. Кроме того, хотя линия 110 на фиг.1 показана с использованием одной стрелки, линия 110 может быть выделенной линией или может представлять собой общий кабель передачи, может включать в себя одну или множество сетей передачи данных, таких как LAN (ЛВС, локальная вычислительная сеть) и Интернет, или может включать в себя, своего рода, устройство передачи данных. Кроме того, количество линий (количество каналов) в линии 110 может представлять собой любое количество.
Далее будут описаны детали отдельных модулей устройства 102 передачи и устройства 103 приема, показанных на фиг.1.
На фиг.2 показана блок-схема, представляющая примерную структуру внутреннего устройства модуля 121 кодирования в устройстве 102 передачи по фиг.1. На фиг.2 модуль 121 кодирования включает в себя модуль 150 вейвлет-преобразования, модуль 151 буфера промежуточных расчетов, модуль 152 буфера изменения порядка коэффициента, модуль 153 изменения порядка коэффициента, модуль 154 управления скоростью и модуль 155 энтропийного кодирования.
Данные изображения, подаваемые в модуль 121 кодирования, временно накапливают в модуле 151 буфера промежуточных расчетов. Модуль 150 вейвлет-преобразования применяет вейвлет-преобразование к данным изображения, накопленным в модуле 151 буфера промежуточных расчетов. То есть, модуль 150 вейвлет-преобразования считывает данные изображения из модуля 151 буфера промежуточных расчетов, применяет обработку фильтрации, используя фильтры анализа, для генерирования данных коэффициента компонентов низкой частоты и компонентов высокой частоты, и сохраняет сгенерированные данные коэффициента в модуле 151 буфера промежуточных расчетов. Модуль 150 вейвлет-преобразования включает в себя фильтр горизонтального анализа и фильтр вертикального анализа и выполняет обработку фильтрации анализа как в горизонтальном направлении экрана, так и в вертикальном направлении экрана по группе элементов данных изображения. Модуль 150 вейвлет-преобразования снова считывает данные коэффициента компонентов низкой частоты, которые сохранены в модуле 151 буфера промежуточных расчетов, и применяет обработку фильтрации, используя фильтры анализа, к считываемым данным коэффициента для дополнительного генерирования данных коэффициента компонентов высокой частоты и компонентов низкой частоты. Сгенерированные данные коэффициента сохраняют в модуле 151 буфера промежуточного расчета.
Модуль 150 вейвлет-преобразования повторяет эту обработку. Когда уровень разложения достигает заданного уровня, модуль 150 вейвлет-преобразования считывает данные коэффициента из модуля 151 буфера промежуточных расчетов и записывает считанные данные коэффициента в модуль 152 буфера изменения порядка коэффициента.
Модуль 153 изменения порядка коэффициента считывает элементы данных коэффициента, записанные в модуле 152 буфера изменения порядка коэффициента, в заданном порядке и передает считанные данные коэффициента в модуль 155 энтропийного кодирования. Модуль 155 энтропийного кодирования выполняет кодирование переданных в него данных коэффициента, используя заданную систему энтропийного кодирования, такую как кодирование Хаффмана или арифметическое кодирование.
Модуль 155 энтропийного кодирования работает совместно с модулем 154 управления скоростью. Скоростью передачи битов сжатых и кодированных данных, предназначенных для вывода, управляют так, чтобы она составляла, по существу, постоянное значение. Таким образом, модуль 154 управления скоростью передает, на основе информации кодированных данных, из модуля 155 энтропийного кодирования, сигнал управления в модуль 155 энтропийного кодирования для выполнения управления, для прекращения обработки кодирования, выполняемой модулем 155 энтропийного кодирования, в момент времени, в который скорость передачи битов данных, сжатых и кодированных модулем 155 энтропийного кодирования, достигает целевого значения, или непосредственно перед тем, как скорость передачи битов достигнет целевого значения. Модуль 155 энтропийного кодирования выводит кодированные данные в момент времени, в который прекращается обработка кодирования, в ответ на сигнал управления, переданный из модуля 154 управления скоростью.
Следует отметить, что дополнительного улучшения эффекта сжатия можно ожидать, когда модуль 155 энтропийного кодирования первоначально выполняет квантование данных коэффициента, считываемых из модуля 153 изменения порядка коэффициента, и применяет обработку кодирования источника информации, такую как кодирование Хаффмана или арифметическое кодирование, к полученным квантованным коэффициентам. В качества способа квантования можно использовать любой способ. Например, можно использовать общее средство, то есть технологию разделения данных W коэффициента на размер Δ шага квантования, как обозначено в Уравнении (1), приведенном ниже:
Размер Δ шага квантования в данном случае рассчитывают, например, в модуле 154 управления скоростью.
Модуль 155 энтропийного кодирования передает кодированные данные, полученные в результате кодирования, в модуль 122 обработки формирования пакетов.
Далее, со ссылкой на фиг.2, будет более подробно описана обработка, выполняемая модулем 150 вейвлет-преобразования. Вначале описана структура вейвлет-преобразования. При вейвлет-преобразовании данных изображения, как схематично показано на фиг.3, рекурсивно выполняют обработку разделения данных изображения на полосу высокой пространственной частоты и полосу низкой пространственной частоты по данным в полосе низкой пространственной частоты, которые получают в результате разделения. В соответствии с этим, обеспечивается эффективное сжатие и кодирование, путем перевода данных в полосе низкой пространственной частоты в меньшую область.
Следует отметить, что фиг.3 соответствует примеру в случае, когда обработка разделения области компонента самой низкой частоты данных изображения на область L компонентов низкой частоты и область Н компонентов высокой частоты повторяется три раза, и уровень разложения, обозначающий общее количество разделенных уровней, равен 3. На фиг.3 "L" и "Н" представляют собой компоненты низкой частоты и компоненты высокой частоты соответственно. Порядок "L" и "Н" обозначает, что первый обозначает полосу, полученную в результате разделения в горизонтальном направлении, и последний обозначает полосу, полученную в результате разделения в вертикальном направлении. Кроме того, цифра перед "L" и "Н" обозначает уровень этой области. Уровень компонентов низкой частоты представлен меньшими цифрами.
Кроме того, как можно видеть из примера по фиг.3, обработку выполняют этап за этапом из нижней правой области в верхнюю левую область на экране, и, таким образом, выполняют управление низкочастотными компонентами. Таким образом, в примере по фиг.3, нижняя правая область на экране используется как область 3НН, включающая в себя наименьшее количество компонентов низкой частоты (включающая в себя наибольшее количество компонентов высокой частоты). Верхнюю левую область, полученную в результате разделения экрана на четыре области, дополнительно разделяют на четыре области, и среди этих четырех областей верхнюю левую область дополнительно разделяют на четыре области. Область в самом верхнем левом углу используется как область 0LL, включающая в себя наибольшее количество компонентов низкой частоты.
Преобразование и разделение неоднократно выполняют для компонентов низкой частоты, поскольку энергия изображения сконцентрирована в компонентах низкой частоты. Это можно понять из того факта, что по мере изменения уровня разложения из состояния, в котором уровень разложения = 1, пример чего показан в позиции А на фиг.4, в состояние, в котором уровень разложения = 3, пример чего показан в позиции В на фиг.4, формируются подполосы, как показано в позиции В на фиг.4. Например, уровень разложения вейвлет-преобразования по фиг.3 равен 3, и, в результате, формируются десять подполос.
В модуле 150 вейвлет-преобразования обычно используют набор фильтров, составленный из фильтра низкой частоты и фильтра высокой частоты, для выполнения описанной выше обработки. Следует отметить, что цифровой фильтр обычно имеет импульсный отклик с множеством длин отводов, то есть коэффициентов фильтра, и, соответственно, необходимо заранее помещать в буфер такое количество элементов данных входного изображения или данных коэффициента, которое необходимо для выполнения обработки фильтрации. Кроме того, как в случае, когда выполняют вейвлет-преобразование за множество этапов, необходимо размещать в буфер такое количество коэффициентов вейвлет-преобразования, сгенерированных на предыдущих этапах, которое требуется для выполнения обработки фильтрации.
В качестве конкретного примера такого вейвлет-преобразования будет описан способ с использованием фильтра 5×3. Такой способ использования фильтра 5×3 принят также в соответствии со стандартом JPEG 2000 для неподвижного изображения и представляет собой отличный способ, поскольку он может выполнять вейвлет-преобразование, используя малое количество отводов фильтра.
Импульсный отклик фильтра 5×3 (представление Z преобразования) состоит, как обозначено Уравнением (2) и Уравнением (3), приведенными ниже, из фильтра H0(z) низкой частоты и фильтра H1(z) высокой частоты. Из Уравнения (2) и Уравнения (3) можно видеть, что фильтр H0(z) низкой частоты имеет пять отводов, и фильтр H1 (z) высокой частоты имеет три отвода.
В соответствии с этими Уравнением (2) и Уравнением (3) можно непосредственно рассчитать коэффициенты компонентов низкой частоты и компонентов высокой частоты. Здесь расчеты, связанные с обработкой фильтрации, можно уменьшить, используя технологию подъема.
Далее будет более конкретно описан данный способ вейвлет-преобразования. На фиг.5 показан пример, в котором выполняют обработку фильтрации на основе подъема, используя фильтр 5×3, вплоть до уровня разложения = 2. Следует отметить, что на фиг.5 участок, обозначенный как фильтры анализа, с левой стороны чертежа, включает в себя фильтры модуля 150 вейвле