Обработка 3d отображения субтитров

Обработка 3d отображения субтитров

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Это изобретение относится к созданию и визуализации сигнала трехмерного (3D) изображения. В одном варианте осуществления изобретение предоставляет автоматическое оптимальное позиционирование субтитров на 3D дисплее, которое ослабляет утомление зрителя.

Уровень техники

В настоящий момент существует оживление интереса к 3D телевидению, это связано с недавними техническими достижениями в технологии отображения, которые обеспечивают хорошее воспроизведение 3D видео для множества зрителей. Одним из них является автостереоскопический 3D двояковыпуклый дисплей, но также существуют другие типы дисплеев, такие как дисплеи на основе автостереоскопического барьера и стереоскопические дисплеи с временным мультиплексированием, основанные на технологии рирпроекции. Обычно эти типы дисплея используют один из двух основных видеоформатов в качестве входного сигнала, чтобы создать 3D впечатление зрителю. Стереоскопические дисплеи используют временное последовательное чередование и очки для отображения двух отдельных представлений, по одному для каждого глаза, и поэтому ожидают стереоскопическое видео в качестве входного сигнала. Примеры их представляют собой стереоскопические дисплеи рирпроекции с временным мультиплексированием, и этот тип системы также используется в 3D кино. Основной альтернативой этому являются автостереоскопические дисплеи с множеством представлений, которые не требуют никаких очков и часто используют формат входного сигнала, известный как изображение + глубина, в качестве входного сигнала, чтобы создать 3D впечатление. Больше информации о технологии 3D отображения может быть найдено в главе 13 «3D video communication - Algorithms, concepts and real time systems in human centered communication» (3D видеосвязь - Алгоритмы, концепции и системы в реальном времени при человекоориентированной связи), автора Oliver Shreer и др. (Wiley, 2005).

Стерео видеоформат является прямолинейным, поскольку он предоставляет два изображения, по одному для каждого глаза. Обычно эти два изображения чередуются или пространственно, или во временной последовательности и затем вводятся в дисплей. Альтернативный формат, названный изображение + глубина, отличается тем, что он представляет собой комбинацию 2D изображения с так называемой «глубиной», или картой диспаратности. Это обычно является полутоновым изображением, посредством чего полутоновое значение пикселя указывает величину диспаратности (или глубину в случае карты глубины) для соответствующего пикселя в связанном 2D изображении. Дисплей, при визуализации 3D изображения, использует диспаратность или карту глубины, чтобы вычислить дополнительные представления, применяя 2D изображение в качестве входного сигнала. Это может быть выполнено множеством путей; в самой простой форме, суть заключается в смещении пикселей влево или вправо в зависимости от величины диспаратности, связанной с этими пикселями. Документ, озаглавленный «Depth image based rendering, compression and transmission for a new approach on 3D TV (Основанная на глубине изображения визуализация, сжатие и передача для нового подхода в 3D TV)», автора Christoph Fen, дает краткий обзор технологии.

Проблема с автостереоскопическими и (основанными на временной последовательности) стерео 3D дисплеями представляет собой то, что упоминается как рассогласование конвергентности и аккомодации. Это является проблемой, при которой глаза зрителя сходятся на виртуальном местоположении отображаемых объектов, пока в то же время глаза фокусируются (чтобы видеть резкое изображение) на поверхности самого дисплея. Это рассогласование может вызывать головные боли и другие симптомы, связанные с локомоционной болезнью. В дополнение, любые геометрические (особенно любой поперечный параллакс), а также электрические (яркость, контраст и т.д.) разности между представлениями для левого и правого глаза могут дополнительно вызвать зрительное утомление. Однако если величина диспаратности сохраняется небольшой, то есть меньшей, чем один градус, тогда эти проблемы менее серьезны, и пользователи могут просматривать контент без каких-либо существенных проблем. См. «Two factors in visual fatigue caused by stereoscopic HDTV images (Два фактора в зрительном утомлении, вызванном стереоскопическими HDTV изображениями)», Sumio Yano и др., Displays, 2004, страницы 141-150, для большей подробности.

Подобно вышеупомянутым проблемам является то, что проблема может произойти, когда устройство визуализации в текущий момент отображает текст, такой как субтитры или скрытые субтитры. Если текст должным образом не располагается на экране, который зависит от типа и параметров настроек дисплея, то текст может казаться размытым, например, вследствие перекрестных помех между представлениями левого и правого глаза, и зритель может чувствовать усталость. Это также имеет место, когда размывание может влиять на удобочитаемость текста. Согласно E. Legge (см. «Psychophysics of Reading: I. Normal Vision (Психофизика чтения: I. Нормальное зрение)», Gordon E. Legge и др. Vision Research (Исследование зрения), Том 25, №2, страницы 239-252, 1985) чтение ухудшается, если пропускная способность текста ниже двух циклов в символ. Размывание является проблемой, связанной с автоматическими стереоскопическими дисплеями, поскольку обычно разрешением жертвуют для того, чтобы сформировать множество представлений, и для стерео дисплеев, в общем, существует проблема, связанная с субоптимальным разделением между двумя представлениями, которая может добавиться к размыванию изображения. Кроме того, согласно Yano (упомянутый выше) движение глубины увеличивает зрительное утомление.

Другая проблема, которую предвидят, состоит в том, что зрители могут отрегулировать величину диспаратности и относительное положение плоскости глубины в 3D телевизоре (например, посредством некоторых кнопок на пульте дистанционного управления). Эти регулировки означают, что текст может стать размытым, так как он перемещается из нейтральной позиции глубины, или увеличивается в «глубине» таким образом, что он является причиной зрительного утомления.

Публикация заявки на патент Соединенных Штатов Америки US 2005/0140676 раскрывает способ отображения многоуровневых текстовых данных в трехмерной карте. В системе, описанной в этой публикации, трехмерная карта отображается на экране, и текстовые данные с разными уровнями плотности отображаются согласно расстояниям от точки наблюдения отображаемой трехмерной карты до узловых точек, где текстовые данные будут отображены, таким образом, улучшая удобочитаемость текстовых данных. Дополнительно, возможно отобразить текстовые данные путем локальной регулировки плотности текстовых данных на экране. Трехмерная карта отображается на экране дисплейной панели путем преобразования картографических данных с двумерными координатами в данные с трехмерными координатами посредством способа перспективной проекции. Отображаемые текстовые данные вместе с трехмерной картой преобразовываются в данные в трехкоординатной системе с началом координат, определенным точкой наблюдения трехмерной карты. Преобразованные текстовые данные проектируются на двумерную плоскость для преобразования в данные с экранными координатами. Затем расстояния от точки наблюдения отображаемой трехмерной карты до вершин, где текстовые данные будут отображены, классифицируются. Классифицированные расстояния определяются для преобразованных текстовых данных с экранными координатами. Текстовые данные уровней, соответствующие определенным расстояниям, отображаются на экране дисплейной панели, на котором отображается трехмерная карта.

Несмотря на то что в контексте представления трехмерной карты на двумерном устройстве отображения обработка текстовых данных согласно этой публикации позиционируется и масштабируется многозначительным образом для пользователя, она не решает ни одной из проблем, идентифицированных выше, касаемо отображения текста на устройстве трехмерного отображения.

Документ JP2004-274125 описывает формирование сигнала 3D. Мультиплексор мультиплексирует два компонента изображения и символьные данные, которые должны быть наложены на принимающем конце. Сигнал 3D изображения имеет отдельные потоки текстовых данных.

Документ EP 0905988 описывает устройство отображения 3D изображения, которое принимает два сигнала 3D изображения, например видео и символьные данные, где второй сигнал должен быть наложенным. Максимальное значение глубины получают из первого сигнала. Параллакс второго сигнала управляется, чтобы быть перед первым сигналом.

Документ WO 2008/038205 описывает отображение 3D сигнала, объединенное с информацией меню. Предложено подразделить диапазон глубины 3D отображения в поддиапазоны для отображения различных 3D сигналов.

Документ WO 2006/111893 описывает зрительное восприятие глубины 3D для отображения видео, объединенного с текстовой информацией. Формируется 3D видеосигнал, который имеет включенные в него данные (текст) наложения и карту индикатора наложения. Информация о наложении указывает, является ли пиксель накладываемым или ненакладываемым (т.е. видео). Пиксели наложения могут позиционироваться на различной глубине в устройстве визуализации. Информация о наложении лишь указывает само наложение (текст) так, чтобы сам текст являлся изменяемым в устройстве отображения.

Сущность изобретения

Таким образом, задачей изобретения является усовершенствование известного уровня техники. Согласно первому аспекту настоящего изобретения предоставляется способ создания сигнала трехмерного изображения для визуализации на дисплее, содержащий:

- прием первого компонента изображения,

- прием второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения,

- прием текстового компонента для включения в трехмерное изображение,

- прием компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и

- создание сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, причем этап создания сигнала трехмерного изображения содержит включение текстового компонента в первый компонент изображения, при этом этап создания сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно второму аспекту настоящего изобретения предоставляется устройство для создания сигнала трехмерного изображения для визуализации на дисплее, содержащее:

приемник, выполненный для приема первого компонента изображения, второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, текстового компонента для включения в трехмерное изображение и компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и

мультиплексор, выполненный для создания сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, причем создание содержит включение текстового компонента в первый компонент изображения, при этом создание сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно третьему аспекту настоящего изобретения предоставляется сигнал трехмерного изображения для визуализации на дисплее, содержащий первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения и текстовый компонент, включенный в первый компонент изображения, причем сигнал трехмерного изображения содержит компонент данных, содержащий информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно четвертому аспекту настоящего изобретения предоставляется способ визуализации сигнала трехмерного изображения, содержащий:

прием сигнала трехмерного изображения, как определено выше,

визуализацию трехмерного изображения из первого компонента изображения и второго компонента, при этом визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализированного текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно пятому аспекту настоящего изобретения предоставляется устройство для визуализации сигнала трехмерного изображения, содержащее:

приемник, выполненный для приема сигнала трехмерного изображения, как определено выше,

дисплей, выполненный для визуализации трехмерного изображения из первого компонента изображения и второго компонента, при этом визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно шестому аспекту настоящего изобретения обеспечивается компьютерный программный продукт на компьютерно-читаемом носителе для создания сигнала трехмерного изображения для визуализации на дисплее, причем продукт содержит инструкции для приема первого компонента изображения, приема второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, приема текстового компонента для включения в трехмерное изображение, приема компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и для создания сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, при этом создание сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно седьмому аспекту настоящего изобретения предоставляется компьютерный программный продукт на компьютерно-читаемом носителе для визуализации сигнала трехмерного изображения для визуализации на дисплее, причем продукт содержит инструкции для приема сигнала трехмерного изображения, как определено выше, визуализации трехмерного изображения из первого компонента изображения и второго компонента, причем визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Благодаря изобретению имеется возможность улучшить удобочитаемость текста, такого как субтитры на 3D дисплее. Улучшенная удобочитаемость основывается на том, что дополнительные параметры отправляются 3D дисплею таким образом, чтобы дисплей мог рассматривать часть изображения, которая вмещает в себе субтитры, иным образом относительно остальной части изображения. Дисплей тогда может обеспечивать, чтобы субтитры позиционировались автоматически наилучшим способом относительно глубины, резкости и общей удобочитаемости текста. Настоящее изобретение применимо к системам, таким как проигрыватель дисков технологии Blue-ray и DVD или HD-DVD проигрыватель, который соединяется с 3D дисплеем и который показывает 3D контент и связанные субтитры. Специалистам в данной области техники будет понятно, что сигнал изображения может дополнительно быть получен частично или полностью по цифровой сети, такой как Интернет или интранет.

Текст, особенно субтитры, должен быть отображен в пределах ограниченного диапазона глубины от экрана, и они не должны изменяться по глубине в течение всего представления. Если глубина текста должна оставаться постоянной, то это также создает проблему для позиционирования, поскольку глубина видео может изменяться и, следовательно, может перекрывать части текста в течение определенных сцен. Чтобы подвести итог, следующие факторы должны быть приняты во внимание при отображении субтитров или скрытых субтитров на 3D стереоскопическом дисплее: величина диспаратности должна быть меньшей, чем один градус, пропускная способность текста должна удерживаться выше двух циклов в символ, текст должен остаться на постоянной глубине относительно экрана, и текст не должен быть затемнен видеообъектами.

Эти условия могут быть удовлетворены улучшенной системой согласно изобретению. Управление величиной диспаратности может быть выполнено путем регулировки той части карты «глубины», которая относится к местоположению субтитров или скрытых субтитров. Некоторые дисплеи требуют входного стереосигнала, в таких случаях будет тяжелее управлять величиной диспаратности в проигрывателе, однако по-прежнему возможно.

Для удовлетворения ограничений по пропускной способности проигрыватель должен обеспечивать, чтобы разрешение текста являлось достаточно высоким, чтобы двоение изображения сохранялось минимальным и чтобы скорость движущегося текста не являлась слишком высокой. Чтобы соответствовать этим факторам, устройство воспроизведения должно отправлять субтитры или скрытые субтитры с разрешением, которое является достаточным для дисплея, и должно регулировать глубину таким образом, чтобы двоение изображения минимизировалось. Это обычно означает, что глубина текста должна поддерживаться нейтральной (как можно ближе к экрану). Это, однако, может вызвать проблему, поскольку части видео могут перекрывать части текста, так как глубина видео изменяется динамически. Это решается посредством динамической регулировки глубины текста, чтобы обеспечить, чтобы он оставался спереди. Однако это означает, что текст будет изменяться по глубине, что согласно Yano может вызвать зрительное утомление. Передавая информацию о местоположении текста и регулируя 3D параметры 3D изображения в местоположении текста, эти проблемы преодолеваются.

Хотя предпочтительно глубина текста должна быть фиксированной в течение длительных промежутков времени, изменения могут быть предусмотрены, например, чтобы достигнуть конкретных 3D эффектов.

Преимущественно этап создания сигнала трехмерного изображения содержит включение текстового компонента в первый компонент изображения. Текстовый компонент (например, субтитр) может включаться непосредственно в первый компонент изображения и не должен пересылаться как отдельный компонент. Принимающее устройство, которое собирается визуализировать 3D изображение, может все еще управлять параметрами 3D дисплея в области субтитра, даже если этот субтитр встраивается в первый компонент изображения сигнала.

Предпочтительно, этап создания сигнала трехмерного изображения содержит создание единственного кадра изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент данных. Все компоненты в сигнале могут быть скомбинированы в единственный кадр изображения, при этом различные компоненты сигнала занимают различные части кадра изображения. Это является удобным способом комбинирования элементов, которые образуют сигнал, и может применяться, чтобы воспользоваться преимуществом существующих стандартов, таких как HDTV, которые поддерживают относительно высокое разрешение кадра. Компонент, такой как компонент данных, который определяет местоположение текстового компонента в пределах окончательного сигнала, может включаться в заголовок кадра изображения, а не в пределы фактических данных изображения кадра.

В идеале, этап создания сигнала трехмерного изображения содержит включение фоновой информации в каждый из первого компонента изображения и второго компонента. Качество конечного результата может быть улучшено, если выходной сигнал устройства визуализации также вмещает в себе фоновую информацию. Это позволяет позиционированию субтитров быть отрегулированным на основании данных в фоновой информации, чтобы размещать субтитры в части области 3D дисплея, которая имеет относительно низкий интерес.

Предпочтительно этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит снижение воспринятой глубины трехмерного изображения в местоположении визуализируемого текста. Устройство визуализации может регулировать воспринятую глубину 3D изображения в местоположении субтитров путем замещения требуемой глубины, например, как установлено в карте глубины. В конкретной зоне устройства отображения 3D, которая будет фактически вмещать в себе субтитры, тогда воспринимаемую глубину отображаемого контента можно снизить, чтобы ослабить любое напряжение на глазах зрителя.

Преимущественно этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит снижение числа представлений трехмерного изображения в местоположении визуализируемого текста. Путем снижения числа представлений, которые показываются устройством отображения 3D, двоение изображения или размытость текста может быть снижена. Кроме того, в двояковыпуклом дисплее с локально переключаемой конфигурацией линз линзы могут быть выключены в части дисплея, где располагаются субтитры. Это может давать в результате более четкое изображение, отображаемое в той части 3D изображения, которое вмещает в себе субтитры, с соответствующим уменьшением напряжения, приходящегося на глаза зрителя.

В идеале, этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит поддержание диспаратности трехмерного изображения ниже предопределенного порога в местоположении визуализированного текста. Конкретный порог, такой как один градус, может быть установлен как предел по величине диспаратности, допустимой в области 3D изображения, которая вмещает в себе субтитры. Это поможет зрителю воспринимать субтитры без излишнего напряжения глаз, поскольку снижение диспаратности сделает просмотр более удобным для зрителя устройства 3D дисплея.

Краткое описание чертежей

Варианты осуществления настоящего изобретения будут теперь описаны лишь в качестве примера, со ссылкой на сопроводительные чертежи, на которых одинаковые ссылочные позиции используются для обозначения подобных элементов или функций:

Фиг.1 является схемой, иллюстрирующей создание 3D изображения,

Фиг.2 является схемой системы воспроизведения 3D,

Фиг.3 является схемой, показывающей контент и поток данных в системе воспроизведения 3D,

Фиг.4 является схемой устройства воспроизведения системы воспроизведения 3D,

Фиг.5 является схемой, показывающей использование плоскостей в создании выходного сигнала,

Фиг.6 является схемой сигнала 3D изображения,

Фиг.7 является схемой улучшенного сигнала 3D изображения,

Фиг.8 является схемой дополнительно улучшенного сигнала 3D изображения,

Фиг.9 является схемой, подобно Фигуре 4, второго варианта осуществления устройства воспроизведения, и

Фиг.10 является схемой текста, размещенного в 3D изображении.

Подробное описание

Создание трехмерного изображения поясняется схематично на Фигуре 1. По существу, независимо то того, является ли конечное визуализирующее устройство отображения автостереоскопическим или работает на стереопарах (требующих, чтобы пользователь надевал специальные очки), процесс является одинаковым. Первый компонент 10 изображения и второй компонент 12 предоставляются для создания трехмерного изображения 14. Второй компонент 12 в комбинации с первым компонентом 10 изображения обрабатывается вместе, чтобы создать окончательный выходной сигнал 14. Во всех системах первый компонент 10 изображения является обычным кадром двухмерного изображения любого подходящего стандарта. В системе стереопары второй компонент 12 является также изображением, и в автостереоскопических системах второй компонент 12 является картой глубины или картой диспаратности.

Важно понимать, что конечный выходной сигнал 14 необязательно является единственным кадром. Например, в системе стереопары (где изображение 10 предназначено для левого глаза, а изображение 12 предназначено для правого глаза) затем эти два компонента 10 и 12 могут быть показаны последовательно. В автостереоскопических системах без временной последовательности изображение 10 и карта 12 глубины используются для создания множества подобных представлений из изображения 10, при этом карта глубины используется для формирования изменений к изображению 10, необходимых для создания отдельных представлений. Эти представления затем объединяются в единственный кадр 14. Например, окончательным визуализирующим устройством отображения можно управлять, чтобы показывать представления четырех отдельных лиц, все сформированные из одного и того же изображения 10. Эти представления затем сращиваются вместе в полосы, каждая из которых имеет разрешение, которое представляет собой одну четвертую разрешения устройства отображения.

Первый компонент 10 изображения может содержать, например, двумерный массив пиксельных элементов/изображения, содержащий, например, RGB или YUV информацию, представляющую представление сцены, какая имела бы место для контента стереоскопического представления, контента множественного представления или контента изображение + глубина. Как упомянуто выше, второй компонент 12 может быть двумерным массивом пиксельных элементов/изображения. В случае контентов стереоскопического представления или контентов мультипредставления это может быть дополнительным представлением той же самой сцены, тогда как в случае контента изображение + глубина это могло быть так называемой картой диспаратности/глубины, содержащей информация о глубине или диспаратности. Выходной сигнал 14 изображения может содержать сигнал видеоизображения, например, используя множественные кадры, представляющие одну или более сцен по времени.

Фигура 2 иллюстрирует систему воспроизведения 3D, при этом предоставляется диск 16, который переносит первые и вторые компоненты 10 и 12 для 3D фильма, например. Диск 16 может быть DVD стандарта Blu-Ray, например. Диск 16 проигрывается устройством 18 воспроизведения, таким как проигрыватель Blu-Ray DVD. Видеоинтерфейс 20 используется, чтобы передавать компоненты 10 и 12 к 3D телевизору 22. Телевизор 22 включает в себя каскад 24 визуализации, который обрабатывает компоненты 10 и 12 в реальном времени, чтобы сформировать 3D выходной сигнал 14 (согласно Фигуре 1 обсужденный выше). Пользователь 26 в настоящий момент смотрит визуализирующее устройство 22 отображения и может подавать пользовательские параметры 28 настройки устройству 22 через подходящий пользовательский интерфейс и устройство дистанционного управления (не показаны).

В таких системах использование субтитров (или фактически любой текст, такой как меню) поддерживается устройством 18 воспроизведения. Например, является традиционным для диска 16 включать в себя субтитры, такие как субтитры на иностранном языке в пределах разделов данных информации, запомненных на диске 16. Они могут быть выбраны пользователем через экранное меню, до запуска воспроизведения фактического контента фильма на диске 16. Эти субтитры затем отображаются устройством 22 отображения, перекрывая визуализируемый 3D контент. Как обсуждалось выше, в оценке предшествующего уровня техники, во многих ситуациях, отображение субтитров в системе отображения 3D может вызывать чрезмерное напряжение зрения зрителя и усталость. Система настоящего изобретения предоставляет способ показа субтитров (или фактически любого текста) таким образом, что проблемы предшествующего уровня техники будут усовершенствованы.

Предоставленное решение состоит в том, чтобы позволить дисплею 22 идентифицировать текст (например, субтитры) во входящем потоке видеоданных и, следовательно, рассматривать текст другим образом от остальной части видеосигнала. Дисплей 22, например, мог бы обеспечивать, чтобы текст оставался перед видео, или сжать и оттянуть назад глубину видеосигнала, чтобы обеспечивать, чтобы текст не выступал (как описано в публикации международной заявки на патент WO 2008/038205). Дополнительно, дисплей 22 может предоставить раздел экрана, который специально предназначен для показа текста, либо являться переключаемым, имеющим различную конфигурацию линз (в случае двояковыпуклого дисплея), либо поддерживая меньше представлений, например. Поскольку удобочитаемость текста на 3D автостереоскопическом дисплее является проблемой, которая почти присуща технологии автостереоскопических дисплеев, существует ожидание дальнейших, в настоящее время непредвиденных улучшений дисплея, который мог бы извлечь пользу из возможности идентифицировать субтитры во входящем видеосигнале.

Один способ отправки текста для субтитров отдельно к дисплею заключается в передаче текста как информации о скрытых субтитрах, которая включается в строку 21 аналогового видео для NTSC, используемого в Европе (PAL) для Ceefax (служба телетекста Би-би-си) или Teletext (вещательная видеография). Однако информация о скрытых субтитрах в настоящий момент не поддерживается при передаче видео высокой четкости по HDMI. В настоящий момент, чтобы решить это, устройства воспроизведения, такие как проигрыватели дисков DVD или Blue-ray, декодируют информацию о скрытых субтитрах, расположенную в потоке MPEG, и накладывают это поверх видео прежде, чем передать дисплею. Таким образом, использование этого решения потребовало бы расширения спецификации HDMI, чтобы включить в себя передачу информации о скрытых субтитрах. Специалистам в данной области техники будет понятно, что вышеупомянутое может также применяется к другим интерфейсам цифровых дисплеев.

Другое решение состоит в том, чтобы предоставить двунаправленную линию связи между устройством 18 воспроизведения и дисплеем 22 таким образом, чтобы, когда пользователь регулирует параметры глубины на дисплее 22, устройству 18 воспроизведения сообщалось об этом изменении. В результате устройство 18 воспроизведения может регулировать позиционирование субтитров. Предпочтительный вариант осуществления заключается в разрешении устройству 18 воспроизведения обрабатывать позиционирование и наложение субтитров на видео и указывать дисплею 22, что субтитры присутствуют и где субтитры располагаются. Дисплей 22 может затем удостовериться, что значение «глубины», связанное с субтитрами, отображается на глубину, которая является самой оптимальной для этого конкретного дисплея 22 и связанных пользовательских параметров 28 настройки. Это имеет дополнительное преимущество в том, что дисплей 22 не требует декодера субтитров или скрытых субтитров в каскаде визуализации.

В одном варианте осуществления достигается улучшение системы, посредством чего устройство 18 воспроизведения, как показано на Фигуре 2, регулирует позиционирование субтитров, таким образом, чтобы текст находился перед видео, сохраняя в то же время величину диспаратности ниже одного градуса. Предпочтительно, устройство 18 воспроизведения вставляет в информацию метаданных выходного потока, которая идентифицирует для дисплея 22, где и вообще располагаются ли субтитры относительно x, y и z («глубина») положения в объеме проекции дисплея. В этом случае каскад 24 визуализации в устройстве 22 отображения регулирует позиционирование субтитров в объеме проекции дисплея, зависящего от вышеупомянутой информации о метаданных и от предпочтенных пользователем параметров 28 настройки (относительно величины диспаратности и относительного положения), поддерживая при этом позиционирование таким образом, чтобы двоение изображения сохранялось минимальным и величина диспаратности оставалась ниже одного градуса. Дополнительно, дисплей 22, если так оборудован, позиционирует субтитры на специальную часть поверхности отображения, которая переключается между 2D и 3D или которая поддерживает меньше двоения изображения и более высокую оптическую разрешающую способность (например, путем поддерживания меньшего числа представлений, или ограниченную величину диспаратности).

В одном варианте осуществления текстовый компонент 30 является по существу плоским, и/или когда диапазон глубины увязывается с текстом 30, то этот диапазон глубины ограничивается порогом таким образом, чтобы диспаратность между соответствующими представлениями ограничивалась конкретным диапазоном, который может быть предопределенным диапазоном, таким как, например, от одного до двух пикселей. В предпочтительном варианте осуществления, в котором текстовый компонент 30 является по существу плоским, текстовый компонент представляет собой основанный на тексте текстовый компонент, а не основанный на битовой карте текстовый компонент; таким образом, обеспечивая возможность чрезвычайно компактного представления текстового компонента 30.

Контент и поток данных в системе Фигуры 2 иллюстрируются на Фигуре 3. Диск 16 вмещает в себе первый компонент 10 изображения и второй компонент 12, плюс текстовый компонент 30, являющийся субтитрами. Пользовательская команда 32 принимается устройством 18 воспроизведения, которая указывает, что пользователь желает получить субтитры 30, отображаемые вместе с 3D фильмом, который он намеревается посмотреть. Устройство 18 воспроизведения предоставляет компоненты 10 и 12 с субтитрами 30 и компонентом 34 данных, который содержит информацию о местоположении, описывающую местоположение текстового компонента 30 в пределах окончательного 3D изображения 14, к блоку 24 визуализации. Устройство воспроизведения включает в себя приемник для приема различных компонентов от их соответствующих источников и мультиплексор для комбинирования этих четырех элементов 10, 12, 30 и 34 в сигнал 36 трехмерного изображения, который принимается блоком 24 визуализации.

Информация 34 о субтитрах может быть отправлена блоку 24 визуализации отдельной от данных 10 и 12 изображения, то есть, возможно, не в активной области изображения, а в заголовке, или в островках данных, или в части кадра, которая не вмещает в себе данные изображения. Например, может случиться так, что видеопоток отправляется с удвоенной нормальной частотой кадра, где один кадр вмещает в себе данные 10 и 12 изображения, и другой кадр вмещает в себе информацию глубины (необязательно также включающую в себя устранение перекрывания) и также вмещает в себе специальную область для субтитров 30 и информацию 34 о положении.

Блок 24 визуализации далее выполнен для визуализации трехмерного изображения 14 из первого компонента 10 изображения и второго компонента 12, причем визуализация (включающая в себя визуализацию текстового компонента 30 на трехмерном изображении 14) текстового компонента 30 включает в себя регулировку одного или более трехмерных параметров трехмерного изображения 14 в местоположении визуализированного текстового компонента 30. Сам текстовый компонент 30 может быть полностью неизменным регулировками, выполненными блоком 24 визуализации. Важным фактором является то, что блок ви