Устройство обработки информации, способ обработки информации и программа

Устройство обработки информации, способ обработки информации и программа

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Настоящее раскрытие относится к устройству обработки информации, способу обработки информации и программе.

Уровень техники

В настоящее время постоянно повышается потребность к передаче мультимедийных данных с малой задержкой через Интернет или по другому пути передачи. Такая потребность заметно повысилась, например, в областях дистанционного управления камерой и в игорном бизнесе, в дистанционном медицинском обслуживании и т.п.

Различные технологии используются для достижения передачи потокового типа с малой задержкой. Например, транспортный протокол реального времени (RTP), предписанный в IETF RFC3550, используется как Интернет-технология, пригодная для системы передачи потокового типа. Однако, поскольку RTP или протокол пользовательских дейтаграмм (UDP) не гарантируют качество видеоизображения при передаче по сети, может потребоваться управление качеством обслуживания (QoS). В соответствии с этим, для управления QoS, в последние годы была разработана технология, относящаяся к системе прямой коррекции ошибок (FEC).

Например, технология, относящаяся к FEC, для достижения передачи с малой задержкой, раскрыта в Патентной литературе 1.

Список литературы

Патентная литература

Патентная литература 1: JP 2011 -211616А

Раскрытие изобретения

Однако если рассматривать описанные выше обстоятельства, желательно, чтобы была дополнительно улучшена технология, относящаяся к FEC, для обеспечения передачи данных с малой задержкой.

В соответствии с этим, в настоящем раскрытии предложены новое и улучшенные устройство обработки информации, способ обработки информации и программа, позволяющая улучшить технологии, относящиеся к FEC, для достижения передачи с малой задержкой.

В соответствии с настоящим раскрытием, обеспечивается устройство обработки информации, включающее в себя: модуль размещения, выполненный с возможностью размещения дейтаграмм в числе заданного размера матрицы или меньше, по меньшей мере в части матрицы заданного размера, посредством повторного размещения дейтаграмм по порядку вдоль первого направления в соответствии со вторым направлением; и модуль генерирования, выполненный с возможностью генерирования избыточной дейтаграммы для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу матрицы, размещенной модулем размещения.

В соответствии с настоящим раскрытием, предусмотрен способ обработки информации, включающий в себя этапы, на которых: размещают дейтаграммы в числе заданного размера матриц или меньше, по меньшей мере в части матрицы заданного размера путем повторяющегося размещения дейтаграмм по порядку вдоль первого направления, в соответствии со вторым направлением; и генерируют избыточную дейтаграмму для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу размещенной матрицы.

В соответствии с настоящим раскрытием, обеспечивается программа для обеспечения выполнения компьютером функций: модуля размещения, выполненного с возможностью размещения дейтаграмм в числе заданного размера матрицы или меньше в по меньшей мере части матрицы заданного размера посредством повторения размещения дейтаграмм в порядке вдоль первого направления, в соответствии со вторым направлением; и модуля генерирования, выполненного с возможностью генерирования избыточной дейтаграммы для прямой коррекции ошибок, для каждой из дейтаграмм, принадлежащих одному ряду, и для каждой из дейтаграмм, принадлежащих одному столбцу матрицы, размещенной модулем размещения.

Предпочтительные эффекты изобретения

В соответствии с настоящим раскрытием, как описано выше, возможно улучшить технологию, относящуюся к FEC, для обеспечения передачи с малой задержкой.

Краткое описание чертежей

На фиг. 1 показана пояснительная схема, которая представляет общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 2 показана фигура для описания кодирования FEC устройством передачи в соответствии с настоящим вариантом выполнения.

На фиг. 3 показана фигура для описания кодирования FEC в соответствии с системой XOR.

На фиг. 4 показана фигура для описания кодирования FEC в соответствии с двумерной системой XOR.

На фиг. 5 показана фигура, на которой представлен пример декодирования FEC в соответствии с системой XOR.

На фиг. 6 показана фигура для описания кодирования FEC для системы кода РТС.

На фиг. 7 показана пояснительная схема, представляющая формат пакета RTP в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 8 показана пояснительная схема, представляющая формат заголовка RTP в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 9 показана фигура для описания кодирования мультимедийной дейтаграммы в FEC для системы XOR.

На фиг. 10 показана фигура для описания декодирования мультимедийной дейтаграммы в FEC для системы XOR.

На фиг. 11 показана фигура для описания кодирования мультимедийной дейтаграммы в FEC для кодовой системы РТС.

На фиг. 12 показана фигура для описания декодирования мультимедийной дейтаграммы в FEC для кодовой системы РТС.

На фиг. 13 показана блок-схема, которая представляет конфигурацию системы передачи в соответствии с первым вариантом осуществления.

На фиг. 14 показана блок-схема, которая представляет конфигурацию модуля кодирования FEC в соответствии с первым вариантом осуществления.

На фиг. 15 показана фигура для описания кодирования модулем кодирования FEC в соответствии с первым вариантом осуществления.

На фиг. 16 показана фигура для описания генерирование дейтаграммы FEC модулем генерирования в соответствии с первым вариантом осуществления.

На фиг. 17 показана фигура для описания определение порядка передачи модулем определения в соответствии с первым вариантом осуществления.

На фиг. 18 показана фигура, на которой представлен пример порядка передачи, определенного модулем определения, в соответствии с первым вариантом осуществления.

На фиг. 19 показана фигура для описания предоставления флагов LAST модулем определения в соответствии с первым вариантом осуществления.

На фиг. 20 показана фигура для описания декодирования FEC модулем декодирования FEC в соответствии с первым вариантом осуществления.

На фиг. 21 показана блок-схема последовательности операций, на которой представлены операции устройства передачи в соответствии с первым вариантом осуществления.

На фиг. 22 показана фигура для описания общего обзора системы передачи в соответствии со вторым вариантом осуществления.

На фиг. 23 показана таблица для сравнения рабочих характеристик FEC для системы XOR и кодовой системы РТС.

На фиг. 24 показана таблица, которая представляет проблемы системы XOR и системы кода РТС.

На фиг. 25 показана блок-схема, которая представляет конфигурацию системы передачи в соответствии со вторым вариантом осуществления.

На фиг. 26 показана блок-схема, которая представляет конфигурацию модуля определения использования FEC в соответствии со вторым вариантом осуществления.

На фиг. 27 показана блок-схема последовательности операций, на которой представлены операции устройства передачи в соответствии со вторым вариантом осуществления.

Осуществление изобретения

Ниже будет подробно описан предпочтительный вариант (варианты) осуществления, в соответствии с настоящим раскрытием, со ссылкой на приложенные чертежи. В этом описании и на приложенных чертежах, конструктивные элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов исключено.

Описание будет представлено в следующем порядке.

1. Общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия

2. Варианты осуществления

2-1. Основная технология

2-1-1. Технология FEC

2-1-2. Формат

2-1-3. Кодирование и декодирование

2-2. Первый вариант осуществления

2-2-1. Общий обзор

2-2-2. Конфигурация

2-2-3. Обработка операций

2-3. Второй вариант осуществления

2-3-1. Общий обзор

2-3-2. Конфигурация

2-3-3. Обработка операции

3. Заключение

1. Общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия>

Вначале, со ссылкой на фиг. 1, будет описан общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия.

На фиг. 1 показана пояснительная схема, на которой представлен общий обзор системы передачи в соответствии с вариантом осуществления настоящего раскрытия. Как показано на фиг. 1, система передачи в соответствии с вариантом осуществления настоящего раскрытия имеет камеры 100А, 100В и 100С, устройства 200А, 200В и 200С редактирования и устройство 1 передачи (устройство обработки информации), и устройство 2 приема, соединенные по сети 3. Ниже, в случае, когда не требуется, в частности, различать камеры 100А, 100В и 100С, они совместно называются камерой 100, и аналогично, в случае, когда не требуется, в частности, различать устройства 200А, 200В и 200С редактирования, они будут совместно называться устройством 200 редактирования.

Устройство 1 передачи передает содержание, собранное множеством камер 100, в устройство 2 приема путем кодирования, формирования пакетов и кодирования FEC. Устройство 2 приема выводит данные, принятые из устройства 1 передачи, во множество устройств 200 редактирования с использованием декодирования FEC, разбора пакетов и декодирования. При этом предполагается, что система передачи в соответствии с настоящим вариантом осуществления используется на месте производства для сбора/редактирования содержания в режиме реального времени, используя множество камер 100 и устройство 200 редактирования, такое, как показано на фиг. 1. Требование к такому месту производства представляет собой малую задержку при передаче, и улучшение технологии, относящейся к кодированию/декодированию, используя FEC, для достижения малой задержки при передаче.

Соответственно, системы передачи рассмотрены в соответствии с каждым из вариантов осуществления настоящего раскрытия, фокусируясь на упомянутых обстоятельствах. Система передачи в соответствии с каждым из описанных выше вариантов осуществления настоящего раскрытия может быть получена с малой задержкой передачи. Ниже будет подробно описана система передачи, в соответствии с каждым из вариантов осуществления настоящего раскрытия.

Кроме того, устройство 1 передачи может не только передавать видеоданные, используя камеру 100, но также и аудиоданные через микрофон, который не представлен, или метаданные, в устройство 2 приема. Кроме того, устройство 2 приема может выводить принятые данные не только в устройство 200 редактирования, но также и в выходное устройство, такое как дисплей или громкоговоритель, который не представлен.

2. Варианты осуществления

2-1. Основная технология

Вначале будет описана основная технология, совместно используемая в каждом из вариантов осуществления.

2-1-1. Технология FEC

Устройство 1 передачи выполняет управление QoS, для достижения стабильного качества передачи и высокого качества ощущений пользователя, в соответствии с состоянием сети 3, таким как частота потерь пакетов, задержка передачи или степень перемешивания (перегрузки). В частности, устройство 1 передачи кодирует данные передачи в соответствии с FEC. FEC представляет собой технологию восстановления потерянных пакетов, используя избыточные пакеты. Ниже кодирование в соответствии с FEC будет описано со ссылкой на фиг. 2.

На фиг. 2 представлена фигура для описания кодирования FEC, выполняемого устройством 1 передачи, в соответствии с настоящим вариантом осуществления. Как показано на фиг. 2, устройство 1 передачи передает пакеты данных и избыточные пакеты в устройство 2 приема путем генерирования избыточных пакетов из исходных пакетов данных, в качестве подготовки к потере пакетов. В результате использования таких принятых исходных пакетов и избыточных пакетов, в случае, когда происходит потеря пакета во время передачи, устройство 2 приема может восстановить потерянный пакет так, как показано на фиг. 2.

В качестве системы, которая, в основном, используется как система кодирования FEC, применяется система, в которой используются расчеты на основе функции исключающее ИЛИ (XOR: exclusive OR), и 2 системы с определенной формой использования кода Рида-Соломона (RS). В качестве системы XOR, существуют GenericFEC (IETF RFC5109), LDPC (RFC5170) и Pro-MPEG FEC (SMPTE 2022-1-2007, 2022-5). Кроме того, в отношении LDPC существует описание большого размера блока в RFC5170, и задержка блока FEC становится длительной. Кроме того, используется Pro MPEG FEC для стандарта IPTV (широковещательная передача данных через Интернет), такого как IPTV Forum, Open IPTV forum или DVB-IP. Также Pro-MPEG FEC ID представляет собой стандарт, который генерирует избыточные пакеты XOR в вертикальном направлении, и Pro-MPEG FEC 2D представляет собой стандарт, который генерирует избыточные пакеты XOR в 2 направлениях, вертикальном и горизонтальном. Детали таких стандартов представлены в SMPTE 2022-1-2007, "Forward Error Correction for Real-Time Video/Audio Transport over IP Networks", 2007, SMPTE 2022-5-2012. Двумерная система FEC системы XOR часто используется для передачи видеоданных. Вначале, со ссылкой на фиг. 3 - фиг. 5, будет описана система кодирования/декодирования FEC в соответствии с XOR.

На фиг. 3 показана фигура для описания кодирования FEC в соответствии с системой XOR. Более конкретно, на фиг. 3А показан пример генерирования избыточного пакета, и на фиг. 3В показан пример генерирования потока. Как показано на фиг. 3А, сторона передачи генерирует избыточный пакет, используя расчеты XOR каждого из битов мультимедийных пакетов RTP, составляющих содержание. Кроме того, как показано на фиг. 3В, сторона передачи передает мультимедийные пакеты RTP, мультимедийный поток пакетов RTP и передает избыточные пакеты, как избыточный поток. Здесь набор пакетов, составленных из мультимедийных пакетов RTP, используемых для генерирования избыточного пакета, и избыточный пакет будут ниже называться блоком FEC. В случае, когда сторона передачи выполняет кодирование FEC в соответствии с системой XOR, сторона приема может выполнять восстановление вплоть до потери одного пакета в пределах блока FEC.

На фиг. 4 представлена фигура для описания кодирования FEC в двумерной системе XOR. Как показано на фиг. 4, сторона передачи генерирует дейтаграммы FEC (избыточные пакеты), используя расчеты XOR по модулю ряда или модулю столбца для мультимедийных дейтаграмм (datagrams), расположенных в виде двумерной матрицы 4×4. В настоящем раскрытии дейтаграммы FEC генерируются, используя матрицу мультимедийной дейтаграммы с L столбцами и D рядами (матрица с заданным размером матрицы), путем установки размера матрицы блока FEC, равным L столбцам и D рядам. Кроме того, Media Dgrm на фиг. 4 представляет мультимедийную дейтаграмму, Row FEC Dgram представляет собой дейтаграмму FEC с модулем ряда, и Col FEC Dgram представляет дейтаграмму FEC модуля столбца. Кроме того, номера ссылочных позиций (k, j), показанные в каждой мультимедийной дейтаграмме и каждой дейтаграмме FEC представляют, что эта дейтаграмма расположена в k столбце и j ряду.

Здесь, в то время как повышается избыточность по сравнению с кодированием FEC одномерной системой XOR, кодирование FEC двумерной системы XOR, имеющей свойство частоты восстановления, также улучшается. Более конкретно, в случае двумерной системы XOR, в то время, как также существуют структуры, которые не могут быть восстановлены, восстановление возможно для 2 потерь пакетов в случае, когда они, в основном, находятся в пределах одного ряда или столбца. Этот момент будет описан со ссылкой на фиг. 5. На фиг. 5 показана фигура, на которой представлен пример декодирования FEC системы XOR. Более конкретно, на фиг. 5А показана фигура, которая представляет пример декодирования данных, кодированных одномерной системой XOR (Pro-MEPG FEC ID) в вертикальном направлении. На фиг. 5В показана фигура, которая представляет пример декодирования данных, кодированных двумерной системой XOR (Pro-MEPG FEC 2D) в вертикальном направлении и в горизонтальном направлении.

На фиг. 5А показан случай, в котором мультимедийные пакеты RTP (мультимедийная дейтаграмма) для номеров последовательности 1, 2, 3 и 4 имеют последовательные потерянные пакеты. Здесь пакет для последовательности номер 1 может быть восстановлен в результате расчетов XOR в вертикальном направлении. Это связано с тем, что произошла потеря 1 пакета в пределах одного и того же столбца. Пакеты с номерами последовательности 3 и 4 могут быть восстановлены аналогично. С другой стороны, поскольку пакеты с номерами последовательности 2 и 10 представляют собой 2 потери пакета в одном и том же столбце, они не могут быть восстановлены. В отличие от этого, как представлено на фиг. 5В, поскольку устойчивость к потере множества пакетов улучшается, данные, кодированные в двумерной системе XOR, могут восстанавливать потерянный пакет в таком случае. Более конкретно, поскольку существует потеря 1 пакета в пределах одного и того же ряда, пакет с номером 10 последовательности может быть восстановлен в результате расчетов XOR в горизонтальном направлении. Таким образом, пакет с номером 10 последовательности восстанавливается, и после этого пакет с номером 2 последовательности становится потерянным пакетом 1, в пределах одного и того же столбца, и, таким образом, он может быть восстановлен при расчете XOR в вертикальном направлении. Кроме того, при Pro-MEPG FEC сторона передачи, в общем, передает мультимедийные макеты RTP и избыточные пакеты через отдельные порты.

Выше было описано кодирование/декодирование FEC в соответствии с системой XOR. Далее, со ссылкой на фиг. 6, будет описано кодирование/декодирование FEC для системы кода RS.

На фиг. 6 показана фигура для описания кодирования FEC для системы кода RS. Как показано на фиг. 6, в случае, когда используется код RS (n, k), сторона передачи генерирует блок FEC по n-k избыточным пакетам для к мультимедийных пакетов RTR Кроме того, сторона передачи передает мультимедийные пакеты RTP и избыточные пакеты, как поток мультимедийных/избыточных пакетов. В случае, когда сторона передачи выполняет кодирование FEC в соответствии с системой кода RS, сторона приема может выполнить восстановление для произвольной потери n-k пакетов (количество избыточных пакетов) в пределах блока FEC. Поскольку существует ограничение для структуры потерь, которые могут быть восстановлены в системе XOR, можно сказать, что система кода RS, которая не имеет ограничения в отношении потери пакетов, является исключительной.

Выше была описана технология FEC. Далее, со ссылкой к на фиг. 7 - фиг. 12, будет описан формат мультимедийной дейтаграммы и дейтаграммы FEC.

2-1-2. Формат

На фиг. 7 показана пояснительная схема, на которой представлен формат пакета RTP в соответствии с вариантом осуществления настоящего раскрытия. Более конкретно, на фиг.7А показан формат мультимедийной дейтаграммы, и на фиг. 7В показан формат дейтаграммы FEC. Как представлено на фиг. 7А, мультимедийная дейтаграмма состоит из заголовка RTP, заголовка FEC, мультимедийного заголовка и мультимедийной полезной нагрузки. Кроме того, как показано на фиг. 7В, дейтаграмма FEC состоит из заголовка RTP, заголовка FEC и полезной нагрузки FEC.

По меньшей мере, одни из видеоданных, аудиоданных и метаданных, составляющих содержание, содержатся в мультимедийной полезной нагрузке. Кроме того, данные, которые представляют избыточные символы, генерируемые в результате кодирования FEC, содержатся в полезной нагрузке FEC. Далее будут подробно описаны заголовок RTP, заголовок FEC и мультимедийный заголовок.

Заголовок RTP

На фиг. 8 показан формат заголовка RTP. На фиг. 8 показана пояснительная схема, на которой представлен формат заголовка RTP, в соответствии с вариантом осуществления настоящего раскрытия. Как показано на фиг. 8, в настоящем варианте осуществления, используется заголовок RTP на основе спецификации RFC 3550.

Заголовок FEC в случае системы XOR

Далее будет описана конфигурация поля заголовка FEC в случае системы XOR.

Заголовок FEC, в случае системы XOR, имеет Frame Count, FEC Type, Packet Type, FEC Block LAST, L Max, D Max, L Count, D Count и FEC Block ID.

* Frame Count

В данном поле содержится значение, уникальное для блока FEC. В дейтаграмме FEC содержится значение такое же, как и в мультимедийной дейтаграмме, принадлежащей тому же блоку FEC.

* FEC Туре

В данном поле содержится значение, которое показывает тип используемой системы FEC, такой как система XOR или система кода RS.

* Packet Туре

В данном поле содержится значение, которое представляет тип дейтаграммы, такой как мультимедийная дейтаграмма, дейтаграмма FEC модуля ряда или дейтаграмма FEC модуля столбца.

* FEC Block LAST

В случае блока FEC по структуре 2, заданные флаги (LAST flags) для идентификации, что это представляет собой последнюю мультимедийную дейтаграмму, последнюю дейтаграмму FEC в модуле ряда и последнюю дейтаграмму FEC модуля столбца, сохраняются в настоящем поле.

* L Max

Значение количества L столбцов мультимедийных дейтаграмм из L столбцов и D рядов блока FEC содержится в настоящем поле. В случае блока FEC по структуре 2, содержится то же значение, что и в случае блока FEC по структуре 1, независимо от количества мультимедийных дейтаграмм, включенных в блок FEC.

* D Мах

Значение количества рядов D мультимедийных дейтаграмм из L столбцов и D рядов блока FEC содержится в настоящем поле. В случае блока FEC по структуре 2 содержится такое значение, как и в случае блока FEC по структуре 1, независимо от количества мультимедийных дейтаграмм, включенных в блок FEC.

* L Count

Количевство рядов мультимедийной дейтаграммы или дейтаграммы FEC содержатся в настоящем поле. В частности, содержится значение от 0 вплоть до количества L столбцов матрицы мультимедийной дейтаграммы, включенной в блок FEC. В то время, как значение становится равным L, в случае дейтаграммы FEC в модулях ряда, возникают случаи, когда другое значение установлено в случае структуры 2.

* D Count

Количество столбцов мультимедийной дейтаграммы или дейтаграммы FEC содержится в настоящем поле. В частности, содержится значение от 0 вплоть до количества D рядов матрицы мультимедийной дейтаграммы, включенной в блок FEC. В то время, как значение становится D в случае дейтаграммы FEC в модуле столбца, возникают случаи, когда другое значение установлено в случае структуры 2.

* FEC Block ID

Значение, уникальное для блока FEC, содержится в настоящем поле. Настоящее поле представляет собой значение, которое подвергают последовательному приращению, например, каждый раз, когда генерируется блок FEC.

Заголовок FEC в случае системы кода RS

Выше была описана конфигурация поля заголовка FEC в случае системы XOR. Далее будет описана конфигурация поля заголовка FEC в случае системы кода RS. Заголовок FEC, в случае системы кода RS, имеет фрейм Count, FEC Type, Media Datagram Number, FEC Datagram Number и FEC Block ID. Далее будут описаны только поля, отличные от полей системы XOR.

* Media Datagram Number

Значение, которое представляет общее количество мультимедийных дейтаграмм в принадлежащем блоке FEC, содержится в настоящем поле. Более конкретно, содержатся к значений кода RS (n, k).

* FEC Datagram Number

Значение, которое представляет общее количество дейтаграмм FEC в принадлежащем FEC блоке, содержится в настоящем поле. Более конкретно, содержится n-k значений кода RS (n, k).

Поэтому, выше была описана конфигурация поля заголовка FEC в случае системы кода RS. Далее будет описано кодирование и декодирование мультимедийных дейтаграмм, которые имеют форма, описанный со ссылкой на фиг. 7.

2-1-3. Кодирование и декодирование

Вначале, со ссылкой на фиг. 9 и фиг. 10, будут описаны кодирование и декодирование в системе XOR, в соответствии с настоящим вариантом осуществления. На фиг. 9 показана фигура для описания кодирования мультимедийных дейтаграмм в FEC, в соответствии с системой XOR. На фиг. 10 показана фигура для описания декодирования мультимедийной дейтаграммы в FEC, в соответствии с системой XOR.

Как показано на фиг. 9, устройство 1 передачи генерирует полезную нагрузку FEC для дейтаграммы FEC путем расчета битов XOR в одном и том же положении, для мультимедийного заголовка и мультимедийной полезной нагрузки, для каждой мультимедийной дейтаграммы. В случае, когда существует потеря пакета в мультимедийной дейтаграмме, устройство 2 приема восстанавливает мультимедийную дейтаграмму с потерей пакета с помощью способа, показанного на фиг. 10. Более конкретно, устройство 2 приема восстанавливает мультимедийную дейтаграмму с потерей пакета, используя расчет битов по XOR в том же положении для мультимедийного заголовка и мультимедийной полезной нагрузки принятой мультимедийной дейтаграммы и дейтаграммы FEC для полезной нагрузки FEC.

Выше были описаны кодирование и декодирование в системе XOR, в соответствии с настоящим вариантом осуществления. Далее, со ссылкой на фиг. 11 и фиг. 13, будет описано кодирование и декодирование в системе кода RS, в соответствии с настоящим вариантом осуществления. На фиг. 11 представлена фигура для описания кодирования мультимедийной дейтаграммы в FEC для системы кода RS. На фиг. 12 представлена фигура для описания декодирования мультимедийной дейтаграммы в FEC для системы кода RS.

Как показано на фиг. 11, устройство 1 передачи генерирует полезную нагрузку FEC дейтаграмм n-k FEC каждые 8 битов путем кодирования 8 битов в одном и том же положении с использованием кода RS, мультимедийного заголовка и мультимедийной полезной нагрузки к мультимедийных дейтаграмм. В случае, когда присутствует потеря пакета в мультимедийной дейтаграмме, устройство 2 приема восстанавливает мультимедийную дейтаграмму с потерей пакета с помощью способа, показанного на фиг. 12. Более конкретно, устройство 2 приема восстанавливает мультимедийную дейтаграмму с потерей пакета путем декодирования 8 битов в одном и том же положении, как код RS, мультимедийного заголовка и мультимедийной полезной нагрузки принятой мультимедийной дейтаграммы, и полезной нагрузки дейтаграммы FEC. Выше было описано кодирование и декодирование в системе кода RS, в соответствии с настоящим вариантом осуществления.

2-2. Первый вариант осуществления

2-2-1. Общий обзор

В настоящем варианте осуществления достигается передача данных с малой задержкой, в соответствии с системой FEC, на основе разрывов фрейма видеоданных. Вначале будет описан общий обзор настоящего варианта осуществления.

Система передачи, в соответствии с настоящим вариантом осуществления, применяется в системе, которая запрашивает малую задержку фрейма или меньше, в дополнение к обработке в отношении фрейма, такой как место производства содержания или дистанционное управление, или непрерывное переключение видеоданных. В такой системе, поскольку также присутствует влияние на задержку в соответствии с количеством пакетов, запрашивается простая идентификация сегментация фреймов, формируемых в результате переключения видеоданных и т.п., и для идентификации сегментации фрейма с высокой скоростью.

Здесь, в случае, когда применяется FEC для двумерной системы XOR, обычно используется прямоугольный блок FEC размером L×R, и, таким образом, возникает следующая проблема в FEC для двумерной системы XOR. Во-первых, существует предел по количеству пакетов, избыточности и т.п. блока FEC для поддержания прямоугольника L×R. Во-вторых, поскольку заполнение для поддержания прямоугольника выполняется фиктивными пакетами в случае, когда количества пакетов недостаточно, происходит расточительная передача пакетов. В-третьих, в случае, когда обработка на основе разрывов блока FEC и фрейма видеоданных не выполняется вообще, возникает задержка при обработке модулей фрейма. Более конкретно, поскольку сегменты на стороне передачи блока FEC содержат разрывы фрейма и поддерживают прямоугольник блока FEC, используя фиктивные пакеты, происходит расточительная передача пакетов.

В соответствии с этим, в настоящем варианте осуществления, в случае, когда может потребоваться обрабатывать видеоданные в виде модулей поля фрейма, система FEC достигается на основе полей фрейма. Более конкретно, устройство 1 передачи, в соответствии с настоящим вариантом осуществления, обеспечивает генерирование блока FEC до конца в середине, без поддержания прямоугольника, в случае сегментации фрейма. Кроме того, устройство 1 передачи, в соответствии с настоящим вариантом осуществления, сокращает время восстановления в устройстве 2 приема, путем регулирования временных характеристик передачи избыточных пакетов. Кроме того, устройство 1 передачи, в соответствии с настоящим вариантом осуществления, определяет множество флагов LAST, и устройство 2 приема определяет положения сегментации фрейма с малой задержкой.

Выше был описан общий обзор настоящего варианта осуществления. Далее, со ссылкой на фиг. 13 - фиг. 19, будет описана конфигурация системы передачи в соответствии с настоящим вариантом осуществления.

2-2-2. Конфигурация

На фиг. 13 показана блок-схема, которая представляет конфигурацию системы передачи в соответствии с первым вариантом осуществления. Как показано на фиг. 13, устройство 1 передачи и устройство 2 приема соединены по сети 3.

Устройство 1 передачи

Как показано на фиг. 13, устройство 1 передачи имеет модуль 11 захвата, кодер 12, модуль 13 формирования пакетов, модуль 14 кодирования FEC и модуль 15 передачи RTP.

* Модуль 11 захвата

Модуль 11 захвата имеет функцию, которая захватывает данные содержания (содержание движущегося изображения), подаваемых извне. Более конкретно, модуль 11 захвата выполняет захват видеоданных, подаваемых из камеры 100, аудиоданных, используя микрофон, или метаданных. Модуль 11 захвата выводит захваченные данные содержания в кодер 12. Здесь, в случае, когда может не требоваться выполнять кодирование со сжатием в кодере 12 (в случае, когда передают данные RAW), модуль 11 захвата может выводить снятые данные содержания в модуль 13 формирования пакетов в том виде, как они есть, без сжатия.

* Кодер 12

Кодер 12 выполняет кодирование со сжатием данных содержания, подаваемых из модуля 11 захвата. Кодер 12 выводит кодированные со сжатием данные в модуль 13 формирования пакетов.

* Модуль 13 формирования пакетов

Модуль 13 формирования пакетов выполняет формирование пакетов из данных, подаваемых из модуля 11 захвата или кодера 12, в пакеты RTP (мультимедийные дейтаграммы). Кроме того, модуль 13 формирования пакетов функционирует, как модуль ввода, который вводит мультимедийные дейтаграммы, составляющие данные содержания модулей фрейма, в модуль 14 кодирования FEC. Более конкретно, модуль 13 формирования пакетов выводит данные, подаваемые из модуля 11 захвата или кодера 12, в модуль 14 кодирования FEC для каждой сегментации фрейма. Кроме того, помимо сегментации фрейма, модуль 13 формирования пакетов может подавать мультимедийные дейтаграммы в модуль 14 кодирования FEC путем сегментации данных содержания в соответствии со временем ожидания.

* Модуль 14 кодирования FEC

Модуль 14 кодирования FEC выполняет кодирование FEC для пакетов, подаваемых из модуля 13 формирования пакетов. При кодировании FEC пакеты кодируют с избыточностью, используя код прямой коррекции ошибок системы XOR, систему кода RS и т.п. В настоящем варианте осуществления модуль 13 формирования пакетов выполняет кодирование FEC, используя двумерную систему XOR. Подробная конфигурация модуля 14 кодирования FEC будет описана со ссылкой на фиг. 14.

На фиг. 14 показана блок-схема, которая представляет конфигурацию модуля 14 кодирования FEC в соответствии с первым вариантом осуществления. Как показано на фиг.14, модуль 14 кодирования FEC выполняет функцию модуля 141 деления, модуля 142 размещения, модуля 143 генерирования и модуля 144 определения.

- Модуль 141 деления

Модуль 141 деления имеет функцию, которая делит данные модулей фрейма (1 или больше мультимедийных дейтаграмм), подаваемых из модуля 13 формирования пакетов, на группы по числу размера матрицы (заданный размер матрицы) блока FEC. Например, в случае, когда выполняется кодирование FEC системы XOR, используя двумерную матрицу 4x4, модуль 141 деления делит мультимедийные дейтаграммы на 16. Модуль 141 деления выводит мультимедийные дейтаграммы в модуль 142 размещения для каждой группы.

Здесь, в случае, когда количество мультимедийных дейтаграмм, подаваемых из модуля 14 кодирования FEC, не делится на число размера матрицы блока FEC, может быть получена группа, которая имеет мультимедийные дейтаграммы число, которых не заполняет размер матрицы блока FEC. Далее группа, которая имеет мультимедийные дейтаграммы с числом размера матрицы блока FEC, будет называться группой по структуре 1, и группа, которая имеет мультимедийные дейтаграммы с числом, которое не соответствует числу матрицы блока FEC, будет называться группой по структуре 2.

- Модуль 142 размещения

Модуль 142 размещения имеет функцию, которая размещает мультимедийные дейтаграммы в числе размеров матрицы или меньше блока FEC, по меньшей мере, в одной части блока FEC, путем повторного размещения мультимедийных дейтаграмм по порядку вдоль горизонтального направления (первого направления), в соответствии с вертикальным направлением (вторым направлением). Пример размещения мультимедийных дейтаграмм модулем 142 размещения будет описан со ссылкой на фиг. 15.

На фиг. 15 представлена фигура для описания кодирования, выполняемого модулем 14 кодирования FEC, в соответствии с первым вариантом осуществления. Более конкретно, на фиг. 15 показан пример кодирования FEC в случае, когда 1 фрейм генерируют из 22 пакетов, и модуль 14 кодирования FEC генерирует 2 блока FEC для блока FEC, показанного на фиг. 15А, и блока FEC, показанного на фиг. 15В. На фиг. 15А показано кодирование FEC для группы по структуре 1, и на фиг. 15В показано кодирование FEC для группы по структуре 2. Кроме того, в то время как на фиг. 15 показан пример, в котором размер матрицы блока FEC установлен равным 4 ряда и 4 столбца, модуль 14 кодирования FEC может устанавливать размер матрицы блока FEC с другим произвольным размером матрицы.

Как показано на фиг. 15, модуль 142 размещения последовательно размещает мультимедийные дейтаграммы в последовательном порядке, в горизонтальном направлении, в порядке мультимедийной дейтаграммы с последовательным номером 1 в 0 столбце и 0 ряду, и мультимедийную дейтаграмму с последовательным номером 2 в 1 столбце и 1 ряду. Кроме того, в случае, когда размер столбца (4 на фиг. 15) блока FEC заполнен, модуль 142 размещения размещает мультимедийные дейтаграммы в блоке FEC, путем повторения одной и той же компоновки в 1-ом ряду, 2-ом ряду и в 3-ьем ряду. Поэтому, как показано на фиг. 15А, в случае группы структуры 1, модуль 142 размещения размещает мультимедийные дейтаграммы в числе размера матрицы блока FEC, разделенного модулем 141 деления, во всем блоке FEC. Кроме того, как показано на фиг. 15В, в случае группы по структуре 2, модуль 142 размещения размещает мультимедийные дейтаграммы по числу или меньше размера матрицы блока FEC, разделенного модулем 141 деления, в части блока FEC.

- Модуль 143 генерирования

Модуль 143 генерирования имеет функцию, которая генерирует дейтаграммы FEC (избыточные дейтаграммы) для прямой коррекции ошибок, для мультимедийных дейтаграмм, которые принадлежат одному ряду, и для мультимедийных дейтаграмм, которые принадлежат одному столбцу, матрицы, размещенной модулем 142 размещения. Модуль 143 генерирования генерирует дейтаграммы FEC, используя расчет XOR мультимедийных дейтаграмм, которые принадлежат одному ряду или столбцу. Здесь генерирование дейтаграмм FEC в группе по структуре 2 будет описано со ссылкой на фиг. 16.

На фиг. 16 представлена фигура для описания генерирования дейтаграмм FEC модулем 143 генерирования, в соответствии с первым вариантом осуществления. Как показано на фиг. 16, модуль 143 генерирования генерирует дейтаграмму FEC в j-ом ряду, из L мультимедийных дейтаграмм, которые принадлежат j-ому ряду. Кроме того, модуль 143 генерирования генерирует дейтаграмму FEC из k-ого столбца, из менее чем L мультимедийных дейтаграмм, которые принадлежат k-ому столбцу. Таким образом, модуль 143 генерирования, в соответствии с настоящим вариантом осуществления, генерирует дейтаграммы FEC без заполнения фиктивными пакетами для сохранения прямоугольника. В соответствии с этим, поскольку может не потребоваться пере