Система для генерирования изображения промежуточного вида

Система для генерирования изображения промежуточного вида

Иллюстрации

Показать все

Реферат

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Данное изобретение относится к генерированию промежуточного изображения из стереоданных.

Стереоизображение является общим представлением для данных трехмерного (3D) изображения. Стереоизображение содержит левое изображение, соответствующее левому виду, и правое изображение, соответствующее правому виду. Используя средства стереоотображения для просмотра стереоизображения, левый глаз наблюдателя видит левое изображение и правый глаз наблюдателя видит правое изображение, вызывая 3D-восприятие у наблюдателя.

Для просмотра 3D изображения на промежуточном виде, отличающимся от левого вида и правого вида стереоизображения, должно быть сгенерировано промежуточное изображение. Существуют различные способы для генерирования промежуточного изображения из стереоизображения.

УРОВЕНЬ ТЕХНИКИ

US 2011/00268009 А1 и WO 2009/125988 А2 описывают способ для вычисления промежуточного изображения на промежуточном виде из стереоизображения для просмотра на многовидовом дисплее. Промежуточный вид относится к виду в относительном положении в диапазоне видов, содержащем левый вид и правый вид. Способ вычисляет данные левого расхождения и данные правого расхождения из стереоизображения, причем стереоизображение, содержащее левое изображение и правые данные. Способ генерирует левое промежуточное изображение для промежуточного вида, используя левое изображение и данные левого расхождения. Способ генерирует правое промежуточное изображение для промежуточного вида, используя правое изображение и данные правого расхождения. Итоговое промежуточное изображение затем генерируется посредством слияния левого промежуточного изображения и правого промежуточного изображения.

Недостаток способа предшествующего уровня техники состоит в том, что он также генерирует видимые артефакты изображения в промежуточном изображении, причем наиболее заметными артефактами изображения являются размытие деталей изображения и артефакты окклюзии. Видимость артефактов варьируется в зависимости промежуточного вида и контента стереоизображения. Размытие деталей обычно наиболее видимо для стереоизображения, содержащего много деталей и на видах между левым видом и правым видом. Причина размытия деталей лежит в неидеальном смешивании сгенерированного левого промежуточного изображения и правого промежуточного изображения. Артефакты окклюзии являются наиболее видимы для стереоизображения, содержащего переходы с большой глубиной, наиболее заметные на боковых видах, таким образом слева от левого вида и справа от правого вида. Причина артефактов окклюзии лежит в неидеальной экстраполяции левого изображения или правого изображения.

В способе предшествующего уровня техники, качество изображения является близким к оптимальному, так как промежуточное изображение страдает от артефактов изображения, которые варьируются в зависимости от промежуточного вида и контента стереоизображения. Желательно улучшение качества изображения промежуточного изображения.

ЕР 0678832 А2 раскрывает, что глубина изображения генерируется из пары стереоизображений посредством методологии обработки цифрового изображения на основе векторного поля расхождения. Конкретно, изображения, соответствующие недостающим угловым видам, получают из пары стереоизображений на основе итерационно скорректированного набора векторных полей расхождения, которые ассоциируют размещение желаемых недостающих изображений с парой стереоизображений. Для уменьшенного углового разделения между оптически записанной парой стереоизображений, стереоизображения используются в качестве изображений, соответствующих размещениям промежуточных угловых видов, и изображения, соответствующие недостающим угловым видам, реконструируются либо посредством цифровой интерполяции, либо посредством цифровой интерполяции пары стереоизображений, в зависимости от того, находится ли недостающий угловой вид между угловыми видами пары стереоизображений или снаружи угловых видов пары стереоизображений или нет. Недостающие изображения затем чередуются с изображениями стерео для получения глубины изображения. Система нелинейных уравнений формируется относительно неизвестной текущей оценки векторного поля расхождения, соответствующего недостающему изображению. Эту система нелинейных уравнений затем линеаризовывают, из чего первоначальные оценки векторных полей расхождения получают относительно текущих оценок векторных полей расхождения. Решения для итогового набора линейных уравнений используются для итерационного корректирования оценок векторных полей расхождения.

WO 2012/007867 А1 раскрывает устройство обработки видео для обработки 3D видеоинформации, соединенное с автостереоскопическим 3D устройством отображения, например, ТВ, имеющим линзово-растровый 3D дисплей.

US 2012/268561 А1 раскрывает другую стереоскопическую систему обработки видео.

WO 2012/042998 А1 раскрывает устройство обработки видео, которое генерирует видео любой заданной точки просмотра посредством захвата субъекта из множества разных положений. Блоки генерирования виртуальных точки просмотра генерируют промежуточное синтезированное изображение с использованием множества видео с камер, выбранного для генерирования видео из желаемой виртуальной точки просмотра. Блок вычисления количества постоянных признаков вычисляет количество признаков, указывающее локальную постоянность, из промежуточного синтезированного изображения. Блок вычисления соотношения синтеза соответствующим образом выбирает промежуточное синтезированное изображение на основе вычисленного количества признаков, или вычисляет соотношение синтеза для слияния. Количество признаков рассматривается как энтропия (средний объем информации) величины краев в локальной области, и выбирается промежуточное синтезированное изображение, имеющее наименьшее его значение (имеющее наибольшую постоянность), или и его вес увеличивается.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Целью данного изобретения является предусмотрение способа для генерирования промежуточного изображения из стереоданных, в котором промежуточное изображение имеет улучшенное качество изображения.

Данное изобретение раскрывает способ для генерирования промежуточного изображения из стереоданных для промежуточного вида. Способ использует смешивание левого промежуточного изображения и правого промежуточного изображения согласно политике смешивания. Политика смешивания задает относительные вклады левого и правого промежуточного изображения при смешивании как функция промежуточного вида. Стереоданные содержат левые данные и правые данные. Левые данные соответствуют левому виду и левым данным, содержащим левое изображение и данные левого расхождения. Правые данные соответствуют правому виду и правым данным, содержащим правое изображение и данные правого расхождения. Промежуточное изображение соответствует промежуточному виду. Левое промежуточное изображение генерируется из левых данных для промежуточного вида. Правое промежуточное изображение генерируется из правых данных для промежуточного вида. Способ содержит: предсказание качества изображения промежуточного изображения для каждой из множества политик смешивания на основе характеристики изображения стереоданных, причем политика смешивания, задающая относительные вклады левого и правого промежуточных изображений при смешивании, и характеристикой изображения является одно или более из количества деталей стереоданных, артефактов, размытия, четкости деталей и двоения изображения; определение политики смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения; и, когда так требует определенная политика смешивания, генерирование левого промежуточного изображения из левых данных для промежуточного вида; и, когда так требует определенная политика смешивания, генерирование правого промежуточного изображения из правых данных для промежуточного вида; и генерирование промежуточного изображения посредством смешивания левого промежуточного изображения и правого промежуточного изображения с использованием относительных вкладов согласно определенной политике смешивания.

Таким образом настоящее изобретение обеспечивает гибкость, обеспечивая возможность генерирования промежуточного изображения лишь на основе левого промежуточного изображения, лишь на основе правого промежуточного изображения, но также, т.е. когда так указывает политика смешивания, как заявлено на основе как левого промежуточного изображения, так и правого промежуточного изображения.

Вводом для способа являются стереоданные, содержащие левые данные и правые данные. Левые данные соответствуют левому виду, и правые данные соответствуют правому виду. Левый вид и правый вид задают две точки просмотра, из которых 3D изображение просматривается наблюдателем. Левые данные содержат левое изображение и данные левого расхождения. Правые данные содержат правое изображение и данные правого расхождения. Выводом способа является промежуточное изображение для промежуточного вида, отличное от левого вида и правого вида.

Промежуточное изображение генерируется посредством смешивания левого промежуточного вида и правого промежуточного вида, согласно политике смешивания. Процесс политики смешивания задает, как смешивание зависит от промежуточного вида. В общем случае, политика смешивания задает левый относительный вклад левого промежуточного изображения при смешивании, и задает правый относительный вклад правого промежуточного изображения при смешивании. Промежуточное изображение затем генерируется посредством смешивания левого промежуточного изображения и правого промежуточного изображения с использованием весов согласно вышеуказанным относительным вкладам. В первом особом случае, когда политика смешивания требует только генерирование левого промежуточного изображения, смешивание эффективно копирует левое промежуточное изображение в промежуточное изображение. Во втором особом случае, когда политика смешивания требует только генерирование правого промежуточного изображения, смешивание эффективно копирует правое промежуточное изображение в промежуточное изображение.

Левое промежуточное изображение генерируется с использованием левого расхождения, процесс деформирования 'деформирует' левое изображение в промежуточный вид с использованием данных левого расхождения, но только когда так требует политика смешивания. Используя процесс правого расхождения, процесс деформирования деформирует правое изображение в промежуточный вид с использованием данных правого расхождения, но только когда так требует политика смешивания.

Смешивание не является фиксированным, но управляется политикой смешивания, которая определяется процессом определения политики. Политика смешивания определяется такая, чтобы качество изображения промежуточных данных было оптимальным, либо на основе человеческого восприятия, либо с использованием (набора) показателя(ей) качества. Для этого, процесс определения политики определяет политику смешивания на основе предсказанного качества изображения промежуточного изображения, которое будет сгенерировано с использованием политики смешивания.

Опционально, определение основывается на предсказанном качестве изображения в зависимости от количества деталей изображения промежуточного изображения. Если количество деталей изображения является большим, смешивание будет генерировать артефакты, такие как размытие и двоение изображения, если была использована политика смешивания, которая задает смешивание с использованием как левого промежуточного изображения, так и правого промежуточного изображения. Обнаружив большое количество деталей изображения, политика смешивания определяется такая, чтобы сгенерированные детали изображения в промежуточном изображении повысили качество изображения, либо на основе человеческого восприятия, либо с использованием (набора) показателя(ей) качества.

Опционально, определение выполняется посредством извлечения политики смешивания из метаданных, связанных со стереоданными. Процесс определения политики определяет политику смешивания в режиме "оффлайн" и хранит ее в метаданных, связанных со стереоданными. Этот способ работы обеспечивает возможность использования более сложных и дорогих аппаратных средств для анализа. Более того он обеспечивает возможность генерирования метаданных, которые должны быть интегрированы в авторский инструментарий, имеющийся в наличии у автора контента.

Опционально, генерирование промежуточного изображения содержит генерирование последовательных промежуточных изображений из соответствующих последовательных кадров видеопоследовательности стереовидов, причем каждый из соответствующих последовательных кадров содержит стереоданные. Промежуточное изображение таким образом генерируется из видеокадра стереовида.

Опционально, определение содержит определение первой политики смешивания для генерирования первого промежуточного изображения из первого кадра в первый момент времени, и определение второй политики смешивания для генерирования второго промежуточного изображения из второго кадра во второй момент времени. Промежуточные изображения, сгенерированные из первого кадра, имеют оптимальное качество изображения (согласно показателю(ям) (их набору) и/или человеческому восприятию), когда используется первая политика смешивания при смешивании. Кроме того, промежуточные изображения, сгенерированные из второго кадра, имеют оптимальное качество изображения, когда при смешивании используется вторая политика смешивания. Промежуточные изображения таким образом генерируются из разных видеокадров стереовидов с использованием соответствующих разных политик смешивания.

Опционально, определение содержит определение третьей политики смешивания для генерирования третьего промежуточного изображения из третьего кадра в третий момент времени, при этом третий момент времени возникает после первого момента времени и перед вторым моментом времени, и третий коэффициент смешивания, заданный третьей политикой смешивания, лежит между первым коэффициентом смешивания, заданным первой политикой смешивания, и вторым коэффициентом смешивания, заданным второй политикой смешивания. Политика смешивания таким образом изменяется постепенно со временем, в том смысле, что упомянутые моменты времени упорядочены во времени как первый, третий, второй, и коэффициенты смешивания упорядочены также как первый, третий и второй.

Опционально, генерирование промежуточного изображения содержит генерирование последовательности промежуточных изображений из стереоданных, причем последовательность, соответствующая последовательности промежуточных видов, причем последовательность промежуточных видов является в пространственном отношении последовательными видами. Таким образом, вместо генерирования одного промежуточного изображения из стереоданных для одного вида, последовательность промежуточных изображений генерируется из стереоданных для последовательности соответствующих видов, например, для многовидового дисплея.

Опционально, генерирование первой последовательности промежуточных изображений содержит центрирование последовательности промежуточных видов в первом центральном промежуточном виде, осуществление выбора центрального промежуточного вида на основе предсказанного качества изображения последовательности промежуточных изображений для первого центрального промежуточного вида. Центрирование последовательности промежуточных видов в центральном промежуточном виде означает изменение последовательности промежуточных видов влево или вправо, так чтобы вышеуказанный центральный промежуточный вид находился непосредственно перед наблюдателем. Причем, если число видов в последовательности является нечетным, центрирование соответствует помещению центрального вида последовательности в первом центральном промежуточном виде, т.е. непосредственно перед наблюдателем. При событии, когда в последовательности есть четное число видов, центрирование предполагает, что два центральных вида могут быть центрированы равноудалено около первого центрального промежуточного вида. Используя политику смешивания, качество изображения промежуточных изображений может быть (во всем диапазоне видов) улучшено для видов вблизи центрального промежуточного вида. Последовательность видов, вследствие этого, центрируется в центральном промежуточном виде.

Опционально, генерирование промежуточного изображения содержит генерирование первой последовательности промежуточных видов из первого кадра в первый момент времени, центрированных в первом центральном промежуточном виде, и генерирование второй последовательности промежуточных видов из второго кадра во второй момент времени, центрированных во втором центральном промежуточном виде. Используя (одинаковую) политику смешивания для первого кадра и второго кадра, качество изображения промежуточных изображений, сгенерированных из первого кадра, может быть улучшено для видов вблизи первого промежуточного вида, но качество изображения промежуточных изображений второго кадра может быть улучшено для видов вблизи второго промежуточного вида. Последовательность видов, вследствие этого, центрируется в первом виде для первого кадра, и во втором виде для второго кадра. Итоговое качество изображения вблизи первого центрального промежуточного вида первой последовательности промежуточного вида является вследствие этого оптимальным для первого кадра, так же как и для второго кадра.

Опционально, генерирование промежуточного изображения содержит генерирование третьей последовательности промежуточных видов из третьего кадра в третий момент времени, центрированных в третьем центральном промежуточном виде, и при этом третий момент времени возникает после первого момента времени и перед вторым моментом времени, и при этом третий вид лежит между первым видом и вторым видом. Центральный промежуточный вид, где последовательность промежуточных видов центрирована, сдвигается постепенно от первого вида в первом кадре, к следующему виду в следующем кадре (т.е. третьему виду в третьем кадре), ко второму виду во втором кадре. Сдвиг последовательности промежуточных видов выполняется постепенно во времени, в том смысле, что упомянутые моменты времени упорядочены во времени как первый, третий, второй, и центральные виды упорядочены в пространстве также как первый, третий, и второй.

Опционально, политика смешивания задает, для диапазона промежуточных видов, левый относительный вклад левого промежуточного изображения при смешивании и задает правый относительный вклад правого промежуточного изображения при смешивании, причем один из левого относительного вклада и правого относительного вклада доминирует, на данном диапазоне, над другим из левого относительного вклада и правого относительного вклада. Политика смешивания задает смешивание, в котором один из левого и правого относительного вклада в целом больше в диапазоне промежуточных видов. Такая политика смешивания также называется политикой асимметричного смешивания.

Опционально, генерирование промежуточного изображения содержит генерирование промежуточного изображения для неподвижных стереоданных в противоположность видеопоследовательности стереоданных.

Опционально, данные левого расхождения вычисляются из левого изображения и правого изображения, и данные правого расхождения вычисляются из левого изображения и правого изображения. Данные расхождения не предоставляются стереоданными, но вычисляются из левого изображения и правого изображения.

Данное изобретение раскрывает систему, скомпонованную для генерирования промежуточного изображения из стереоданных для промежуточного вида, используя смешивание левого промежуточного изображения и правого промежуточного изображения согласно политике смешивания. Политика смешивания задает относительные вклады левого и правого промежуточного изображения при смешивании как функция промежуточного вида. Стереоданные содержат левые данные и правые данные, в которых левые данные соответствуют левому виду и левым данным, содержащим левое изображение и данные левого расхождения, и правые данные соответствуют правому виду и правым данным, содержащим правое изображение и данные правого расхождения. Промежуточное изображение соответствует промежуточному виду. Левое промежуточное изображение генерируется из левых данных для промежуточного вида. Правое промежуточное изображение генерируется из правых данных для промежуточного вида. Система, содержащая блок генерирования, скомпонованный для выполнения: функции предсказания для предсказания качества изображения промежуточного изображения для каждой из множества политик смешивания на основе характеристики изображения стереоданных, причем политика смешивания, задающая относительные вклады левого и правого промежуточных изображений при смешивании, и характеристикой изображения является одно или более из количества деталей стереоданных, артефактов, размытия, четкости деталей и двоения изображения; функции политики смешивания для определения политики смешивания посредством осуществления выбора политики смешивания из множества политик смешивания на основе предсказанного качества изображения промежуточного изображения; функции левого деформирования, когда так требует определенная политика смешивания, для генерирования левого промежуточного изображения из левых данных для промежуточного вида; функции правого деформирования, когда так требует определенная политика смешивания, для генерирования правого промежуточного изображения из правых данных для промежуточного вида; и функции смешивания для генерирования промежуточного изображения посредством смешивания левого промежуточного изображения и правого промежуточного изображения, используя относительные вклады согласно определенной политике смешивания. Система содержит функции, которые выполняют процессы способа, описанного выше.

Опционально, промежуточное изображение используется при управлении многовидовым дисплеем. Многовидовой дисплей выводит многочисленные виды в многочисленных направлениях, тем самым обеспечивая наблюдателю возможность, при правильном расположении относительно многовидового дисплея, наблюдения левого изображения ее левым глазом и правое изображение ее правым глазом.

Эффект данного изобретения состоит в том, что качество изображения данных промежуточного изображения может быть улучшено, так как политика смешивания сделана зависимой от содержимого изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты данного изобретения понятны и будут разъяснены со ссылкой на варианты осуществления, описанные в дальнейшем. На чертежах

Фиг. 1а иллюстрирует способ генерирования промежуточного изображения из стереоданных,

Фиг. 1b иллюстрирует процесс определения политики, определяющий политику смешивания в режиме "оффлайн",

Фиг. 1c иллюстрирует процесс определения политики, который использует обнаружение деталей изображения,

Фиг. 2 иллюстрирует многочисленные виды многовидового дисплея, Фиг. 3а иллюстрирует политику линейного смешивания,

Фиг. 3b иллюстрирует две политики нелинейного смешивания,

Фиг. 4 иллюстрирует три последовательные сцены видеопоследовательности стереовидов, содержащей стереовидеокадры,

Фиг. 5 иллюстрирует, на каждой из шести подфигур, многовидовой дисплей, содержащий последовательность промежуточных видов, центрированных около центрального промежуточного вида, и

Фиг. 6 иллюстрирует систему, в трех конфигурациях, для генерирования промежуточного изображения из стереоданных и дисплей для показа промежуточного изображения.

Следует отметить, что элементы, которые имеют одинаковые ссылочные номера на разных фигурах, имеют одинаковые структурные признаки и одинаковые функции, или являются одинаковыми сигналами. Где функция и/или структура такого элемента была разъяснена, нет необходимости для повторного их разъяснения в подробном описании.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1а иллюстрирует способ генерирования промежуточного изображения из стереоданных 105. Выводом способа является промежуточное изображение IB 161, соответствующее промежуточному виду В 155. Промежуточный вид В 155 относится к виду в относительном положении в диапазоне видов, при этом диапазон обычно содержит левый вид и правый вид, и по меньшей мере содержит один из левого вида и правого вида. Вводом способа являются стереоданные, содержащие левые данные SL 103 и правые данные SR 104. Левые данные SL содержат левое изображение IL 101 и данные 111 левого расхождения DL. Правые данные SR содержат правое изображение IR 102 и данные 112 правого расхождения DR.

Как будет понятно специалистам в данной области техники, глубина обратно пропорциональна расхождению, однако фактическое назначение глубины на расхождение в устройствах отображения регламентируется различными проектными решениями, такими как, итоговая величина расхождения, которая может быть сгенерирована дисплеем, выбор присваивания конкретного значения глубины нулевому расхождению, допустимая величина перекрестного расхождения, и т.д. Однако, данные глубины, которые предоставлены стереоданными и/или которые получены из входных стереоданных, используются для деформирования изображений зависимым от глубины образом. Вследствие этого здесь данные расхождения качественно интерпретируются как данные глубины.

Процесс 130 деформирования WARP генерирует левое промежуточное изображение IBL 131 из трех вводов: (i) левого изображения IL, (ii) данных левого расхождения DL и (iii) промежуточного вида В 155. Процесс 130 левого деформирования WARP эффективно генерирует левое промежуточное изображение IBL, используя данные левого расхождения DL для "деформирования" левого изображения IL в промежуточный вид В. Аналогично, процесс 140 деформирования WARP генерирует правое промежуточное изображение IBR 141 из правого изображения IR, данных правого расхождения DR и промежуточного вида В. Пример такого процесса деформирования, который использует глубину/расхождение для воспроизведения на основе изображения раскрыт в US 5929859. Более сложный пример деформирования представлен в US 7689031.

Процесс 180 смешивания MIX выполняет смешивание левого промежуточного изображения IBL и правого промежуточного изображения IBR. Смешивание зависит от промежуточного вида В, и от политики 156 смешивания POL, которая описывает, как смешивание зависит от промежуточного вида В. Выводом процесса смешивания MIX является промежуточное изображение IB 161. Процесс 170 определения политики POLDET определяет политику смешивания POL на основе стереоизображения, т.е. на основе левого изображения IL и правого изображения IR.

Опционально, способ содержит процесс вычисления расхождения, который вычисляет данные левого расхождения DL и данные правого расхождения DL из левого изображения IL и правого изображения IR. Примеры алгоритмов оценки глубины/расхождения известны специалистам в данной области техники по обработке 3D видео, примеры таких алгоритмов предоставлены в US 6625304 и US 6985604. Опционально, процессы 130 и 140 деформирования WARP генерируют промежуточное изображение с использованием предварительно вычисленных данных расхождения, полученных из видеопоследовательности стереовидов, в которой видеокадр стереовида содержит стереоизображение, также как и соответствующие данные расхождения.

Процесс смешивания MIX состоит из процесса 150 вычисления коэффициента АСОМР и процесса 160 слияния BLEND, как изображено на Фиг. 1а. Процесс 150 вычисления коэффициента АСОМР вычисляет коэффициент смешивания А из промежуточного вида В и политики смешивания POL, при этом политика смешивания POL описывает, как коэффициент смешивания А зависит от промежуточного вида В. Процесс вычисления коэффициента АСОМР вычисляет коэффициент смешивания А из промежуточного вида В согласно политике смешивания POL. Процесс слияния BLEND затем генерирует промежуточное изображение IB посредством смешивания промежуточных изображений IBL и IBR, используя коэффициент смешивания А. Опционально, процесс слияния BLEND содержит способ, широко известный как "слияние по альфа-каналу", который дополнительно описан ниже.

Политика смешивания POL описывает, как смешивание промежуточных изображений IBL и IBR зависит от промежуточного вида В. Процесс определения политики POLDET определяет политику смешивания POL, такую чтобы процесс смешивания MIX генерировал промежуточное изображение IB с оптимальным качеством изображения. Обработка POLDET предсказывает влияние политики смешивания на качество изображения промежуточного изображения IB, используя знание о влиянии политики смешивания на качество изображения промежуточного изображения, сгенерированного посредством смешивания. Другими словами, обработка по определению политики POLDET предсказывает качество изображения промежуточного изображения для каждой из нескольких политик смешивания и для заданного контента стереоизображение, и затем определяет из нескольких политик смешивания, какая политика смешивания POL будет генерировать промежуточное изображение с оптимальным качеством изображения.

Опционально, процесс политики смешивания POLDET определяет политику смешивания POL из метаданных, содержащих политику смешивания, при этом метаданные содержатся в стереоданных. Например, метаданные создаются в режиме "оффлайн" посредством алгоритма, который (1) генерирует промежуточные изображения из стереоданных с использованием способа по Фиг. 1, использующего различные политики смешивания, (2) измеряет качество изображения сгенерированных промежуточных изображений, (3) определяет сгенерированное промежуточное изображение, имеющее оптимальное качество изображения, и (4) определяет политику смешивания, соответствующую сгенерированному промежуточному изображению, имеющему оптимальное качество изображения.

Фиг. 1b иллюстрирует процесс определения политики, определяющий политику смешивания в режиме "оффлайн". Процесс 179 определения политики смешивания принимает стереоизображение в качестве ввода, т.е. левое изображение IL 101 и правое изображение IR 102. Первое промежуточное изображение IB1 173 генерируется способом 175 генерирования GEN, использующим первую политику 171 смешивания POL1 и стереоизображение. Аналогично, второе промежуточное изображение IB2 174 генерируется способом 176 генерирования GEN, использующим вторую политику 172 смешивания POL2 и стереоизображение. Способы 175, 176 генерирования GEN используют способ по Фиг. 1а для генерирования промежуточного изображения, используя соответствующие политики смешивания POL1, POL2. Способы 175, 176 генерирования GEN выбирают промежуточный вид, чтобы сгенерировать промежуточное изображение, которое должно быть использовано для измерения его качества изображения. В процессе 177 оценивания JDG, один или более наблюдателей оценивают качество изображения промежуточных изображений IB1, IB2, и выбирают одно из промежуточных изображений IB1, IB2, имеющее качество изображения, которое оценено как оптимальное. Политика смешивания, соответствующая промежуточному изображению, имеющему оптимальное качество изображения, затем определяется как политика 156 смешивания POL. Например, если промежуточное изображение IB1 оценено как имеющее оптимальное качество изображения по сравнению со вторым промежуточным изображением IB2, то политика смешивания POL определяется как вторая политика смешивания POL2, таким образом POL=POL2.

Опционально, процесс оценивания JDG не выполняется наблюдателями, а вместо этого выполняется автоматически алгоритмом, который количественно определяет и оценивает качество изображения промежуточных изображений IB1 и IB2.

Опционально, процесс определения политики 179 по Фиг. 1b определяет политику смешивания 156 на основе качества изображения многочисленных промежуточных изображений для каждой из политик POL1 и POL2. Каждый из процессов 175, 176 генерирования GEN генерирует многочисленные промежуточные изображения IB1 и IB2 для соответствующих многочисленных видов. Процесс оценивания JDG затем оценивает среднее качество изображения многочисленных промежуточных изображений IB1, и оценивает среднее качество изображения многочисленных промежуточных изображений IB1, и выбирает многочисленные промежуточные изображения, имеющие среднее качество изображения, которое оценено как оптимальное. Политика смешивания, соответствующая промежуточному изображению, имеющему оптимальное среднее качество изображения, затем определяется как политика 156 смешивания POL.

В качестве альтернативы, процесс определения политики POLDET содержит обнаружение присутствия деталей изображения в стереоизображении, и использует обнаруженное присутствие при определении политики смешивания. При использовании некоторых политик смешивания, качество изображения деталей изображения в сгенерированном промежуточном изображении выше, чем при использовании других политик смешивания. Неточности в данных расхождения DL, DR приводят к неточно сгенерированным деталям изображения в соответствующих промежуточных изображениях IBL, IBLR. Смешивание неточно сгенерированных деталей изображения из промежуточных изображений IBL, IBR вследствие этого приводит к артефактам в промежуточном изображении IB, которые возникают в результате смешивания. Артефакты содержат размытие деталей, т.е. потерю четкости деталей, и/или двоение изображения, т.е. двойное появление деталей изображения. Эти артефакты проявляются меньше, когда смешивание выполняется согласно политике смешивания, которая задает смешивание с использованием преимущественно одного из промежуточных изображений. Однако, использование преимущественно одного из промежуточных изображений в свою очередь приводит к артефактам окклюзии. Вследствие этого, политика смешивания, которая задает смешивание с использованием преимущественно одного из промежуточных изображений, определяется, только если стереоизображение содержит достаточно деталей изображения, так чтобы артефакты окклюзии воздействовали на качество изображения меньше, чем артефакты размытия деталей.

Фиг. 1c иллюстрирует процесс определения политики, который использует обнаружение деталей изображения. Процесс 189 определения политики иллюстрирует, как политика 156 смешивания POL определяется на основе обнаруженного присутствия деталей изображения в стереоданных. Процесс 189 определения политики смешивания принимает стереоизображение в качестве ввода, т.е. левое изображение IL 101 и правое изображение IR 102. Процесс DTLDET 181 содержит алгоритм обнаружения деталей, который обнаруживает детали 184 изображения DTL в стереоизображении. Процесс 182 предсказания качества QPRED принимает обнаруженные детали изображения DTL и первую политику 171 смешивания POL1, и определяет предсказанное качество 185 изображения Q1 промежуточного изображения, которое будет сгенерировано с использованием первой политики смешивания POL1. Процесс 183 предсказания качества QPRED принимает обнаруженные детали изображения DTL и вторую политику 172 смешивания POL2, и определяет предсказанное качество 18 6 изображения Q2 промежуточного изображения, которое будет сгенерировано с использованием второй политики смешивания POL2. Процессы 182, 183 предсказания качества QPRED предсказывают качество изображения с использованием статистического знания о влиянии политики смешивания POL1, POL2 на качество изображения промежуточных изображений, сгенерированных с использованием политик смешивания POL1, POL2. Процесс SEL 187 определяет одно из предсказанных качеств изображения Q1, Q2 как являющееся оптимальным, и определяет политику смешивания, соответствующую оптимальному предсказанному качеству изображения в к