Многовыборочное разрешение повторного проецирования двухмерного изображения

Многовыборочное разрешение повторного проецирования двухмерного изображения

Иллюстрации

Показать все

Реферат

Перекрестная ссылка на родственные заявки

Эта заявка относится к принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986814 (квитанция №SCEA10052US00), озаглавленной "DYNAMIC ADJUSTMENT OF PREDETERMINED THREE-DIMENSIONAL RE-PROJECTION SETTINGS BASED ON SCENE CONTENT", поданной 7 января 2011 г.

Эта заявка относится к принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986827 (квитанция №SCEA10053US00), озаглавленной "SCALING PIXEL DEPTH VALUES OF USER-CONTROLLED VIRTUAL OBJECT IN THREE-DIMENSIONAL SCENE", поданной 7 января 2011 г.

Эта заявка относится к принадлежащей тому же правообладателю, находящейся одновременно на рассмотрении патентного ведомства заявке №12/986854 (квитанция №SCEA10054US00), озаглавленной "MORPHOLOGICAL ANTI-ALIASING (MLAA) OF A RE-PROJECTION OF A TWO-DIMENSIONAL IMAGE", поданной 7 января 2011 г.

Область техники

Варианты воплощения настоящего изобретения относятся к способу многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения.

Уровень техники

Возможность воспринимать двухмерное изображение в трех измерениях посредством использования многочисленных различных технологий стала достаточно популярной за последние несколько лет. Предоставление аспекта глубины для двухмерных изображений потенциально создает большее ощущение реализма какой-либо изображаемой сцены. Это использование трехмерного визуального представления значительно повысило впечатления зрителя, особенно в области видеоигр.

Существует ряд способов трехмерного представления данного изображения. Совсем недавно был предложен способ проецирования двухмерного изображения(ний) в трехмерное пространство, известный как рендеринг на основе изображения глубины (РОИГ). В противоположность прежним предложениям, которые часто основывались на концепции "стереоскопического" видеоизображения, т.е. получения, передачи и отображения двух отдельных видеопотоков, одного для левого глаза и одного для правого глаза, эта новая идея основывается на более гибкой совместной передаче моноскопического видеоизображения (т.е. одиночного видеопотока) и связанной с ним информации о глубине для каждого пикселя. На основании представления этих данных один или более "виртуальных" видов 3-мерного объекта затем могут быть генерированы в реальном времени на стороне приемника посредством так называемых способов РОИГ. Этот новый способ рендеринга трехмерного изображения имеет несколько преимуществ по сравнению с предыдущими способами.

Как правило, используются два способа представления зрителю двух отдельных изображений для создания иллюзии глубины. В системе, обычно используемой для проецирования 3-мерных изображений на экран, используются два отдельных синхронизированных проектора изображений для левого глаза и правого глаза. Изображения для обоих глаз проецируются на экран одновременно, но с ортогональными поляризациями, например вертикальной поляризацией изображения для левого глаза и горизонтальной поляризацией изображения для правого глаза. Зритель надевает специальные поляризованные очки для 3-мерного просмотра, имеющие, соответственно, поляризованные линзы для левого и правого глаза (например, вертикально поляризованная линза для левого глаза и горизонтально поляризованная линза для правого глаза). Вследствие поляризации изображений и линз зритель воспринимает только изображение для левого глаза левым глазом и только изображение для правого глаза правым глазом. Степень иллюзии глубины является частично функцией смещения между двумя изображениями на экране.

В 3-мерных видеосистемах изображения для левого глаза и правого глаза отображаются на видеоэкране, но не точно одновременно. Вместо этого, изображения для левого глаза и правого глаза отображаются поочередно. Зритель использует очки с активным затвором, который закрывает левый глаз при отображении изображения для правого глаза и наоборот.

Восприятие 3-мерного видеоизображения может зависеть в некоторой степени от особенностей человеческого зрения. Например, человеческий глаз имеет дискретное количество световых рецепторов и, тем не менее, люди не различают пиксели, даже боковым зрением. Что еще более удивительно, количество светочувствительных колбочек в сетчатой оболочке глаза может значительно отличаться среди отдельных людей - до 40 раз. Несмотря на это, люди воспринимают цвета одинаковым образом - мы видим в основном нашим мозгом. Система зрения человека также обладает способностью определять совмещение объектов в зависимости от ширины колбочек (острота зрения). Это объясняет, почему признаки пространственного искажения (т.е. визуальные нарушения) более заметны, чем цветовые ошибки.

Используя этот факт, производители аппаратного обеспечения машинной графики прилагают значительные усилия для компенсации признаков искажения обеспечением цветовой точности для пространственной непрерывности. Множество способов поддерживается аппаратным обеспечением, используя взвешенные образцы цвета, подобно интегрирующей способности цифровых камер.

Несомненно, все признаки искажения, в конце концов, исчезнут вследствие повышения разрешения отображения и частоты выборки. Признаками искажения можно также управлять при низком разрешении, вычисляя и усредняя множественные образцы для каждого пикселя. До сих пор для большинства алгоритмов представления изображения эти решения могут быть не всегда целесообразными с практической точки зрения, учитывая ограничения аппаратного обеспечения.

Это находится в пределах контекста, который показывает варианты воплощения настоящего изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

ФИГ.1А-1Г являются блок-схемами, иллюстрирующими эффект расстояния между соответствующими трехмерными пикселями на глубину, воспринимаемую зрителем.

ФИГ.2А-2В являются блок-схемами, иллюстрирующими эффект разделения глубины в трехмерном повторном проецировании двухмерного изображения.

ФИГ.3А-3Г являются блок-схемами, иллюстрирующими способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с прототипом.

ФИГ.4 являются блок-схемой, иллюстрирующей способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.5А-5Б являются блок-схемами, иллюстрирующими способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.5В является блок-схемой, иллюстрирующей совмещение между выборками пикселей в многовыборочном трехмерном повторном проецировании двухмерного изображения, в соответствии с вариантом воплощения данного изобретения.

ФИГ.6 является блок-схемой, иллюстрирующей устройство для многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.7 является блок-схемой, иллюстрирующей пример реализации сотового процессора устройства для многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения.

ФИГ.8 иллюстрирует пример неизменяемой машиночитаемой среды хранения информации с инструкциями осуществления многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения в соответствии с вариантом воплощения настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

ВВЕДЕНИЕ

Трехмерное повторное проецирование двухмерного изображения может наблюдаться посредством отображения двух отдельных видов (т.е. по одному для каждого глаза) таким образом, что у зрителя создается иллюзия глубины. Смотря на трехмерное изображение, левый глаз и правый глаз сводят вместе два соответствующих пикселя (т.е. пиксель для левого глаза и пиксель для правого глаза) для моделирования одного пикселя, обладающего глубиной.

ФИГ.1А-1Г являются блок-схемами, иллюстрирующими эффект расстояния между соответствующими трехмерными пикселями на глубину, воспринимаемую зрителем. Размер пикселя имеет фиксированную границу, определяемую разрешением изображения, которое неизбежно ограничивается аппаратным обеспечением визуального дисплея (например, трехмерного телевизора). По мере увеличения разделения соответствующих пикселей расположение воспринимаемой глубины становится постепенно дальше от экрана.

ФИГ.1А показывает два соответствующих пикселя, которые перекрываются. Эти два пикселя создадут воспринимаемую глубину 101, которая находится на поверхности экрана (например, визуального дисплея). По мере отдаления соответствующих (т.е. соседних) пикселей друг от друга на ФИГ.1Б воспринимаемая глубина 101 увеличивается и слегка смещается в экран. По мере дополнительного равномерного отдаления соответствующих (т.е. разделенных шириной пикселя) пикселей друг от друга на ФИГ.1В воспринимаемая глубина 101 кажется смещенной дополнительно в экран. При расположении пикселя для левого глаза справа от пикселя для правого глаза на ФИГ.1Г воспринимаемая глубина будет казаться ближе экрана. Важно отметить, что воспринимаемая глубина не пропорциональна линейно расстоянию между соответствующими пикселями. Таким образом, небольшое увеличение разделения соответствующих пикселей может привести к значительному увеличению воспринимаемой глубины, связанной с этими соответствующими пикселями.

Взаимосвязь между разделением соответствующих пикселей и воспринимаемой глубиной пикселя делает гладкие переходы значений глубины довольно затруднительными. Это связано с тем, что каждая пара соответствующих пикселей проецируется на конкретную плоскость глубины, определяемую разделением пикселей. ФИГ.2А-2В являются блок-схемами, иллюстрирующими этот эффект, именуемый в этой заявке как разделение глубины.

Трехмерный визуальный артефакт, известный как разделение глубины, имеет место при попытке позиционирования трехмерного элемента 201 с наклонной глубиной, как иллюстрируется на ФИГ.2А. В большей степени, чем восприятие элемента 201, такого как расположенный на одной диагональной плоскости, элемент будет восприниматься как расположенный на множественных плоскостях 203, которые параллельны экрану, как иллюстрируется на ФИГ.2Б.

В идеальной ситуации просто повышение разрешения отображаемого изображения могло бы решить вопрос разделения глубины. Однако, вследствие того, что процесс трехмерного повторного проецирования ограничивается возможностями аппаратного обеспечения, это решение неосуществимо. Вместо этого эффекты разделения глубины минимизируются смешиванием/комбинированием цветов или других значений соседних трехмерных пикселей. Результатом является приглушенная волновая форма 205 в большей степени, чем прямая диагональная плоскость, как показано на ФИГ.2В. Являясь несовершенной, такая форма предоставляет зрителю значительно более естественное представление трехмерного изображения.

Для смешивания трехмерных пикселей для создания более гладких глубин пикселей используется решение сглаживания. Решения сглаживания в прототипе включают временное сглаживание, которое требует хранения дополнительных буферных данных. Например, в случае 3-мерных изображений это означает хранение либо буферов, предварительно повторно проецируемых цвета и глубины, либо двух буферов цвета изображений для левого глаза и для правого глаза. Для изображений 720Р это требует использования памяти объемом около 7 мегабайт. Учитывая, что 3-мерные игры уже нуждаются в буферах хранения повышенного объема для изображения для второго глаза, это только повышает нагрузку на уже заполненную память.

Другое решение прототипа, известное как полноэкранное сглаживание (ПЭС), также требует использования буферов большой емкости и повышает нагрузку на память. ПЭС включает повышение разрешения и затем применение его постепенного понижения. В дополнение к остающемуся разделению глубины возникает серьезный вопрос уменьшенной эффективности более высокого разрешения.

Дополнительное решение известно как многовыборочное сглаживание (МВС), которое подобно ПЭС, но выбор цветового значения выполняется при более низком разрешении, чем разрешение образца. Результатом является значительно более дешевое осуществление в понятиях нагрузки при обработке и памяти. Обычно МВС требует выполнения разрешения до выполнения дополнительной работы по обработке изображения. Обычно это означает, что, вследствие последующей обработки исходного изображения, все дополнительные данные образца теряются вследствие применения повторного проецирования времени. Если даже информация образца сохраняется, наблюдается разделение глубины (вследствие уже рассмотренных фиксированных позиций образца). Требования к памяти для ПЭС и МВС более меняющиеся, чем для временного сглаживания.

ФИГ.3А-3Г показывают способ многовыборочного сглаживания прототипа для множественной выборки вместе с проблемами, ассоциируемыми с прототипом. Каждый трехмерный пиксель трехмерного изображения (т.е. левого вида или правого вида) может быть представлен сегментом памяти. Обычно сегмент памяти пикселя содержит только один образец. В качестве примера, а не в качестве ограничения, этот образец может являться пикселем, элементом пикселя или какой-либо группой пикселей с соответствующего двухмерного изображения, предназначенного для повторного проецирования в трех измерениях. Образец может характеризоваться набором значений, которые описывают его цветовой профиль. В таком случае в схеме повторного проецирования, которая не реализует многовыборочный способ, цветовой профиль трехмерного пикселя может характеризоваться одним образцом, который он содержит.

В многовыборочном способе допускается, что каждый сегмент памяти пикселя может содержать более одного образца. В типичной многовыборочной схеме положения образцов назначаются в пределах трехмерного пикселя, и образец приписывается к этому положению, если оно охватывается текущей геометрией. ФИГ.3А показывает ряд трехмерных пикселей 301, реализующих многовыборочную схему 2Х. Черные точки представляют положения образцов, назначенных каждому трехмерному пикселю 301, предназначенному для использования во время множественной выборки. В многовыборочной схеме 2Х каждый трехмерный пиксель 301 может характеризоваться 2 образцами с соответствующего двухмерного изображения. В то время как показанный пример ограничивается использованием двух образцов для каждого трехмерного пикселя, важно отметить, что любое количество образцов может быть использовано в многовыборочной схеме. Кроме того, в зависимости от направления смещения повторного проецирования, образцы могут быть использованы с любого направления. Если смещение повторного проецирования происходит только в горизонтальном направлении (т.е. использование параллельно смещенных камер), образцы могут быть использованы с горизонтального сканирования двухмерного изображения. Этот способ требует относительно небольшого объема памяти, так как сканирование только одной строки необходимо сохранять одновременно.

Многовыборочная схема назначает образцы с двухмерного изображения для положений образцов для каждого пикселя в трехмерном повторном проецировании. Однако фактический процесс комбинирования множественных образцов для получения одного цветового профиля известен как разрешение. Оба шага необходимы для достижения приглушенной волновой формы для диагональных плоскостей, описанных выше. Типовой процесс разрешения предполагает, что покрытие каждого образца пропорционально общему количеству образцов на каждый трехмерный пиксель. Таким образом, во многовыборочной схеме/разрешении 2Х каждому образцу в данном трехмерном пикселе дается 50% вес., и значения добавляются вместе. Тогда, если левый образец 100% красный и правый образец 100% синий, трехмерный пиксель будет предполагать цветовой профиль на 50% красный и на 50% синий (или некоторый вид пурпурного цвета). Подобно этому, если используется многовыборочная схема/разрешение 4Х, каждый образец будет иметь 25% вес. Могут использоваться другие комбинации смешивания, но основанные на фиксированном положении точки образца с пикселя, который был разрешен.

Проблема, связанная с многовыборочным способом в прототипе, заключается в фактическом положении образца в пределах данного трехмерного пикселя. ФИГ.3Б-Г иллюстрируют эту проблему в контексте многовыборочной схемы/разрешения 2Х. В нашем примере каждый образец с двухмерного изображения будет индивидуальным пикселем с этого двухмерного изображения. Каждый пиксель трехмерного повторного проецирования 301 может быть представлен двумя различными образцами. Положения образцов в пределах каждого трехмерного пикселя фиксируются.

На ФИГ.3Б, после образцов двух черных пикселей 303A, 303B следуют образцы черных пикселей 305A, 305B в двухмерном изображении, которое повторно проецируется вправо. Первый черный пиксель 303A покрывает положение левого образца в первом (самом левом) пикселе 301A повторного проецирования в строке 301. Второй черный пиксель 303B покрывает правый образец в первом пикселе повторного проецирования и левый образец во втором пикселе 301B повторного проецирования. Первый белый пиксель 305A покрывает положение правого образца второго пикселя 301B повторного проецирования и положение левого образца в третьем пикселе 301C повторного проецирования. Второй белый пиксель 305B покрывает положение правого образца в третьем пикселе 301C повторного проецирования и положение левого образца в четвертом пикселе 301D повторного проецирования. В целях этого примера положению правого образца четвертого пикселя 301D повторного проецирования может быть назначено начальное значение (например, без цвета или белый цвет), так как значение соответствующего пикселя с двухмерного изображения не назначается. Назначение каждому положению образца 50% веса приводит к результирующему черному цвету первого пикселя 307A повторного проецирования, так как оба положения образцов покрываются значениями черного пикселя. Второй пиксель 307B повторного проецирования разрешается как серый (т.е. 50% белый и 50% черный), так как одно положение образца для этого пикселя покрывается черным пикселем, и другое положение покрывается белым пикселем. Третий пиксель 307C в разрешенной строке 307 пикселей разрешается как белый, так как оба положения образцов покрываются значениями белого пикселя. Четвертый пиксель 307D в разрешенной строке 307 пикселей разрешается как белый, так как одно положение образца покрывается белым пикселем 307D и, в этом примере, другое положение образца было инициировано для значения белого цвета. Отмечается, что в типовых осуществлениях МВС все точки образцов должны быть покрыты некоторыми начальными значениями, например, черного, белого или серого цвета. В частности, если буфер первоначально очищается для белого цвета, тогда образцы 305А, 305 В могут игнорироваться.

На ФИГ.3В пиксели 303A, 303B, 305A, 305B были слегка смещены вправо. Однако смещение достаточно маленькое, чтобы покрытие положений образцов в строке 301 не изменилось. В частности, положения образцов в первом пикселе 301A повторного проецирования покрываются черными пикселями 303A, 303B, положения образцов во втором пикселе повторного проецирования покрываются черным пикселем 303B и белым пикселем 305A, положения образцов в третьем пикселе 301C покрываются белыми пикселями 305A, 305B, и одно положение образца в четвертом пикселе 301D покрывается белым пикселем 305B, а другое положение образца не покрывается и инициируется для белого цвета. В результате пиксели 307A, 307B, 307C и 307D в разрешенной строке пикселя 307 снова разрешаются как черный, серый, белый и белый, соответственно, как на ФИГ.3Б. Так как повторное проецирование пикселей 301A, 301B, 301C и 301D имеет фиксированные положения образца, небольшие смещения в повторном проецировании двухмерного изображения не изменят профиль значений пикселей повторного проецирования при смещении двухмерных пикселей 303A, 303B, 305A и 305B вправо.

Однако, если двухмерные пиксели 303A, 303B, 305A и 305B слегка сместятся дополнительно вправо, чем на ФИГ.3В, покрытие положений образцов в пикселях 301A, 301B, 301C и 301D повторного проецирования резко изменится. В частности, как показано на ФИГ.3Г, в результате небольшого сдвига вправо оба положения образцов в первом и втором пикселях 301A, 301B повторного проецирования теперь покрываются, соответственно, черными пикселями 303A, 303B, оба положения образцов в третьем и четвертом пикселях 301C, 301D покрываются, соответственно, белыми пикселями 305A, 305B. В результате первые два разрешенных пикселя 307A, 307B повторного проецирования разрешаются как черные, и вторые два разрешенных пикселя 307C, 307D повторного проецирования разрешаются как белые.

На ФИГ.3Б-3Г показано, что в типовой многовыборочной схеме/разрешении 2Х различные значения в разрешенных пикселях будут только в том случае, когда имеет место дискретное смещение двухмерного изображения в повторном проецировании. Вместо позволения постепенного преобразования значения разрешенного трехмерного пикселя с каждым постепенным смещением типовая многовыборочная схема/разрешение позволяет только дискретные смещения значений трехмерных пикселей, таких как цветовые значения. Так как глаза человека могут точно совмещать цвета, это приводит к увеличению плоскостей воспринимаемой глубины (т.е. большему разделению глубины).

Увеличение количества образцов позволит более постепенный переход профиля значений трехмерного пикселя, также приводя к большему количеству плоскостей глубины, воспринимаемых зрителем. Визуальный артефакт не слишком плохой в одной строке сканирования (зритель просто воспринимает, что весь участок слегка сместился). Однако в полном изображении, где используется сканирование множественных строк, проблема усиливается. При множественных строках сканирования зритель может отмечать смещение глубины одной строки, в то время как другая строка остается на той же глубине.

Значительное увеличение количества положений образцов для каждого трехмерного пикселя приведет к уменьшению количества визуальных артефактов, воспринимаемых зрителем. Однако значительное увеличение количества образцов не осуществимо, так как память системы ограничена. Например, типовой буфер 720р, использующий RGBA, стоит приблизительно 3,5 М. Добавление второго положения образца в трехмерный пиксель удваивает требуемый объем памяти.

Варианты воплощения настоящего изобретения направлены на ограничение количества двухмерных образцов, необходимых для данного трехмерного пикселя, и одновременно на создание более постепенного перехода цветового профиля в трехмерном пикселе для смещений в повторном проецировании. Варианты воплощения настоящего изобретения могут использовать более чем два образца. Однако было замечено, что в вариантах воплощения со смещением повторного проецирования только в горизонтальном направлении визуальное улучшение было пренебрежимо мало, когда четыре образца были использованы вместо двух. Без ограничений со стороны какой-либо теории выполнения это может объясняться фактом, что в испытываемом варианте воплощения все пиксели имели такой же размер, как после повторного проецирования. В типичной сцене существует несколько типов образцов, которые не перекрывались бы таким образом, как это необходимо для использования более двух образцов, в случае, когда мы позволили использование максимум 4 образцов. Варианты воплощения с повторным проецированием пикселей как в горизонтальном, так и вертикальном направлении могут обеспечить получение улучшенного визуального качества, используя более двух образцов. В вариантах воплощения настоящего изобретения значения для каждого пикселя в трехмерной повторной проекции вычисляются исходя из величины "покрытия" соответствующих образцов. В сущности, величины покрытия могут быть использованы для определения веса для применения к каждому значению двухмерного образца при вычислении значения соответствующего трехмерного пикселя в повторном проецировании.

ВАРИАНТЫ ВОПЛОЩЕНИЯ

ФИГ.4 является блок-схемой, иллюстрирующей способ многовыборочного разрешения трехмерного повторного проецирования двухмерного изображения, в соответствии с вариантом воплощения настоящего изобретения. Перед повторным проецированием двухмерного изображения 401 в трех измерениях образцы должны быть идентифицированы для использования с соответствующими трехмерными пикселями 403. Трехмерное повторное проецирование фактически является комбинацией множественных разделенных видов (т.е. вид правого глаза и вид левого глаза), которые объединяются для создания иллюзии глубины. Для каждого вида трехмерного повторного проецирования сначала необходимо определить, какие двухмерные образцы соответствуют каждому трехмерному пикселю для этого конкретного вида. Как обсуждалось выше, образец относится к пикселю, элементу пикселя или какой-либо другой группе пикселей в пределах двухмерного изображения. Трехмерный пиксель может характеризоваться любым количеством образцов в зависимости от типа повторного проецирования, выполняемого для двухмерного изображения. Также любой двухмерный образец может перекрывать более одного трехмерного пикселя.

Так как количество образцов в каждом трехмерном пикселе может быть больше допустимо максимального, должен существовать выбор, какие образцы использовать. При повторном проецировании образцы могут быть выбраны для использования объектов переднего плана. Это может быть выполнено посредством контроля глубины для каждого образца или, в случае камер с параллельным смещением, выбирая порядок обхода образцов двухмерных пикселей для использования начального или последнего записанного образца. Сохранение множественных образцов может быть достигнуто выбором типовых правил извлечения из кэш-памяти, таких как ПППО (первым пришел - первым обслужен).

Для обеспечения возможности простого выбора образцов в нашем варианте воплощения мы назначаем два типа образцов: "лидирующий" и "замыкающий" образцы. Лидирующий образец - образец, который пересекает левый край трехмерного пикселя. Подобным образом замыкающий образец касается или пересекает правый край трехмерного пикселя. Образец, который не пересекает ни один из краев, относится к категории замыкающего. В вариантах воплощения, где ширина двухмерного пикселя такая же, как ширина трехмерного пикселя при повторном проецировании, гарантируется касание или пересечение края. Отмечается, что другие варианты воплощения не требуют, чтобы ширина двухмерного пикселя была такая же, как ширина пикселя в повторном проецировании. В качестве примера, на ФИГ.5А образец черного пикселя 503 является замыкающим образцом в первом пикселе строки пикселей 501 и лидирующим образцом во втором пикселе в строке. В случаях когда используются четыре образца, множественные лидирующие и множественные замыкающие образцы могут использоваться и величина покрытия может регулироваться на основании других лидирующих и замыкающих образцов. Наблюдения показали, что выполнение этого имело небольшой визуальный эффект.

После определения, какие двухмерные образцы соответствуют каждому трехмерному пикселю, должны быть определены 405 величины покрытия для каждого образца. Величина покрытия образца относится к площади пикселя, покрываемой соответствующим двухмерным образцом. В зависимости от направления смещения повторного проецирования образцы могут быть использованы с любого направления. В качестве примера, а не в качестве ограничения, система трехмерного повторного проецирования, которая использует параллельно смещенные камеры, будет использовать образцы со сканирования в горизонтальном направлении двухмерного изображения, так как смещение повторного проецирования происходит только в горизонтальном направлении. В отличие от прототипа, где положения образцов были использованы для разрешения значения трехмерного пикселя, варианты воплощения настоящего изобретения отслеживают фактическую величину покрытия каждого образца, связанного с данным трехмерным пикселем. На величину покрытия одного образца может влиять другой образец. Первичный результат этого проявляется в виде перекрывающихся образцов. Так как значение глубины будет обычно различным между двумя двухмерными пикселями при повторном проецировании, пиксели часто будут перекрываться. Как упомянуто выше, информация об объектах переднего плана обычно является более важной, чем о фоновых объектах.

Отмечается, что идентификация образцов в 403 и определение величин покрытия в 405 могут происходить одновременно, и выбор образцов может основываться на величине покрытия (так же, как выбор для сохранения образца, имеющего более высокую величину покрытия).

ФИГ.5В иллюстрирует эффект перекрытия двух различных образцов 512, 514 и концепцию "лидирующего" и "замыкающего" образца. Зона между двумя пунктирными линиями представляет площадь перекрытия между двумя образцами. Черный образец 512 является лидирующим образцом для второго пикселя в строке 501. Серый образец 514 является замыкающим образцом для второго пикселя. В примере, показанном на ФИГ.5В, серый образец 514 также представляет образец, который ближе к зрителю. В этом случае покрытие лидирующего образца 512 может быть уменьшено перекрытием величины покрытия с серым образцом. Из покрытия одного образца возможно полностью устранить другой образец (или уменьшить покрытие другого образца до нуля).

После определения величин покрытия для всех образцов, соответствующих всем трехмерным пикселям, для окончательного значения пикселя (например, цвета), в 407 может быть выполнено разрешение в соответствии с этими величинами покрытия. Для данного трехмерного пикселя каждый образец, соответствующий этому пикселю, будет взвешиваться в соответствии со своей величиной покрытия и затем комбинироваться для получения конечного значения пикселя. Конечное значение пикселя может представлять собой конечное значение для любого канала данных, используемых для определения пикселя в изображении. В качестве примера, а не в качестве ограничения, конечное значение пикселя может представлять собой конечное цветовое значение. Однако варианты воплощения не ограничены осуществлениями, в которых конечное значение является цветовым значением.

В случае когда веса образцов, используемых для разрешения конечного значения пикселя, не составляют вместе 100%, может произойти типовое заполнение дырок повторного проецирования. В качестве примера, а не в качестве ограничения, величины покрытия могут быть поделены на общее покрытие трехмерного пикселя, который помогает согласовать какие-либо несоответствия. Если образцы для данного трехмерного пикселя полностью отсутствуют, может допускаться прохождение такого пикселя через шаг заполнения дырок. В определенных вариантах воплощения способ, показанный на ФИГ.4, может включать необязательный шаг заполнения дырок, показанный в 408. Как правило, заполнение дырок может регулировать конечное значение для любого пикселя, для которого общая взвешенная величина покрытия для всех образцов, используемых для конечного значения, меньше 100%. В качестве примера, а не в качестве ограничения, шаг заполнения дырок может включать копирование значений фона соседнего пикселя в данный пиксель, так как это обычно менее заметно. В некоторых вариантах воплощения это может быть выполнено как часть разрешения значения пикселя в 407 через конкретный порядок обработки во время разрешения.

После разрешения значений трехмерного пикселя для трехмерного повторного проецирования повторно спроецированное изображение может быть отображено, как указывается в 409.

Отмечается, что величины покрытия для образцов могут временно храниться несколькими различными способами. В качестве примера, величины покрытия могут храниться в массивах. Например, в случае данных RGBA, сохраняемых в виде 32-битового значения, должны быть 32-битовые значения пикселя повторного проецирования (так как используются 2 образца). Это не препятствует использованию в вариантах воплощения изобретения списков или индексов для уменьшения объема занимаемой памяти. Однако со списками двух образцов может быть более вероятно использовать дополнительный объем памяти, а не уменьшать его. Это может быть исправлено, например, использованием списков с изменяющимися размерами.

Отмечается, что в случае трехмерных стереоскопических изображений для левого глаза и правого глаза значения пикселей для изображений для левого глаза и для правого глаза могут быть разрешены, как описано на ФИГ.4. В этом случае существует отдельное множество образцов для каждого целевого повторного проецирования (т.е. для левого глаза и для правого глаза), и каждая цель должна быть разрешена независимо. Для эффективности обе цели могут быть разрешены одновременно, но также независимо. Отмечается, что значения пикселей для стереоскопических изображений (например, изображения с чересстрочной разверткой от различных видов, как используется в дисплеях с матрицами ступенчатых линз) могут быть также разрешены независимо. Если требуется, такие изображения могут быть разрешены независимо одновременно, например, используя параллельную систему обработки и программное обеспечение с подходящей конфигурацией.

Изображения для левого глаза и правого глаза могут отображаться последовательно или одновременно в зависимости от природы дисплея. Например, изображения для левого глаза и правого глаза могут отображаться последовательно в случае 3-мерного телевизионного дисплея, используемого с очками с активным затвором. Альтернативно изображения для левого глаза и правого глаза могут отображаться одновременно в случае дисплея 2-проекционного типа, используемого с пассивными очками для 3-мерного просмотра, имеющими различно окрашенные или различно поляризованные линзы для левого и правого глаза.

ФИГ.5А-5Б дополнительно показывают использование покрытия в многовыборочном разрешении трехмерного повторного проецирования двухмерного изображения. В качестве примера, а не в качестве ограничения, ФИГ.5А-Б иллюстрируют способ многовыборочного разрешения 2Х трехмерного повторного проецирования двухмерного изображения, согласно варианту воплощения настоящего изобретения. В многовыборочной схеме 2Х данный пиксель повторного проецирования в строке 501 может иметь до двух двухмерных образцов, связанных с ним. На ФИГ.5А, сразу после двух черных образцов 503A, 503B пикселя следуют два белых образца 505A, 505B пикселя в двухмерном изображении, повторно проецируемого вправо. Отмечается, что в повторном проецировании типичной сцены можно обоснованно ожидать, что большинство пикселей не сместятся так, что они останутся рядом с примыкающим пикселем. Некоторое перекрытие смещенных пикселей допускается, так как между смещенными пикселями существуют зазоры. Затем определяется величина покрытия для каждого двухмерного образца 503A, 503B, 505A, 505B. В примере, показанном на ФИГ.5А, первый черный образец 503А имеет 50% покрытие в первом пикселе 501A повторного проецирования. Второй черный образец 503B имеет 50% покрытие в первом пикселе 501A повторного проецирования и 50% покрытие второго пикселя 501B повторного проецирования. Первый белый образец 505A имеет 50% покрытие во втором пикселе 501B повторного проецирования и 50% покрытие в третьем пикселе 501C повторного проецирования. Второй белый образец 505B имеет 50% покрытие в третьем трехмерном пикселе 501C и 50% покрытие четвертого пикселя 501D повторного проецирования. В целях этого примера принимается, что пиксели повторного проецирования были инициированы не иметь образцов или иметь нулевое покрытие. Используя величины покрытия в качестве весов и применяя общее покрытие, описанное выше, к четвертому пикселю повторного проецирования, мы получаем разрешенные пиксели 507A, 507B, 507C, 507D повторного проецирования в разрешенной строке 507 повторно