Устройство и способ управления отображением

Устройство и способ управления отображением

Иллюстрации

Показать все

Реферат

Область техники, к которой относится изобретение

Изобретение относится к устройству управления отображением, способу управления отображением и программе, в частности к устройству управления отображением, способу управления отображением и программе, с помощью которых можно легко распознавать, например, общий смысл такого содержания.

Уровень техники

В последние годы, большое количество содержания, то есть, движущихся изображений получило распространение на сайтах Интернета, таких как YouTube и т.д., например, помимо содержания, распределяемого в телевизионных широковещательных передачах. Поэтому, важно разработать технологию, которая позволила бы пользователям легко распознавать общий смысл (что находится в нем) такого содержания, так, чтобы пользователь, который просматривает и слушает содержание, мог определять, стоит ли или нет каждое содержание его просмотра и прослушивания.

Что касается технологии распознавания общего смысла содержания, существует способ отображения миниатюрного изображения содержания.

В качестве способа отображения миниатюрного изображения содержания, например, существует способ детектирования заданного кадра, такого как кадр через каждый фиксированный интервал или тому подобное, изображения содержания, генерирования миниатюрного изображения путем уменьшения этого кадра, и его отображения.

Кроме того, в качестве способа отображения миниатюрного изображения содержания, например, существует способ детектирования переключения между коммерческой и фактической программой (программой, представленной в блоке телевизионных программ в газетах), переключения между человеком или объектом на изображении, или тому подобное при смене сцены, генерирования миниатюрного изображения путем уменьшения кадра, следующего непосредственно после смены его сцены и его отображения (например, см. PTL 1).

Кроме того, что касается способа отображения миниатюрного изображения содержания, существует способ генерирования миниатюрного изображения путем уменьшения изображения, представляющего, с последующим приращением названий, его название (содержания) и его отображения (например, см. PTL 2).

Следует отметить, что в способе отображения миниатюрного изображения кадра через каждый фиксированный интервал изображения содержания можно последовательно отображать аналогичные миниатюрные изображения.

Кроме того, в способе для детектирования при смене сцены и отображении миниатюрного изображения кадра, следующего непосредственно после изменения его сцены, существует потребность подготовки алгоритма для детектирования изменения его сцены для каждого детектируемого изменения сцены.

В частности, например, для детектирования переключения между рекламой и фактической программой, при изменении сцены существует необходимость подготовки алгоритма детектирования изменения сцены с этой целью, и для детектирования переключения между человеком и объектом в изображении, в качестве изменения сцены, также необходимо подготовить алгоритм детектирования изменения сцены.

Кроме того, в способе отображения миниатюрного изображения с последовательным приращением названий, может быть трудно распознать общий смысл содержания только по миниатюрному изображению с последовательным приращением названий.

Список литературы

Патентная литература

PTL 1: Публикация №2008-312183 находящейся на экспертизе заявки на японский патент

PTL 2: Публикация №2009-047721 находящейся на экспертизе заявки на японский патент.

Сущность изобретения

Техническая задача

Как описано выше, в качестве способа отображения миниатюрных изображений были предложены различные типы способов, но с учетом дальнейшего увеличения содержания, которое, как ожидается, будет предложено в будущем, существует потребность новом способе отображения миниатюрных изображений.

Настоящее изобретение было разработано с учетом такой ситуации, и обеспечивает новый способ отображения миниатюрных изображений, обеспечивая, таким образом, возможность легко распознавать общий смысл содержания.

Решение задачи

Устройство или программа управления отображением в соответствии с аспектом настоящего изобретения представляет собой устройство или программу управления отображением, обеспечивающие использование компьютера в качестве устройства управления отображением, включающего в себя: средство кластеризации, выполненное с возможностью выполнения для каждого кадра содержания кластеризации в любое множество кластеров; средство классификации сцены, выполненное с возможностью классификации, в отношении каждого из множества кластеров кадра, принадлежащего кластеру, в сцену, которая представляет собой группу из одного или больше кадров, непрерывных по времени; средство формирования миниатюрного изображения, выполненное с возможностью формирования миниатюрного изображения сцены; и средство управления отображением, выполненное с возможностью отображения миниатюрного изображения сцены в устройстве дисплея, которое выполнено с возможностью отображения изображения.

Способ управления отображением в соответствии с аспектом настоящего изобретения представляет собой способ управления отображением, включающий в себя следующие этапы, выполняемые в устройстве управления отображением: выполняют для каждого кадра содержания кластеризацию в любой из множества кластеров; разделяют в отношении каждого из множества кластеров кадр, принадлежащий кластеру, на сцену, которая представляет собой группу из одного или больше кадров, непрерывных по времени; формируют миниатюрное изображение сцены; и отображают миниатюрное изображение сцены в устройстве дисплея для отображения изображения.

Что касается аспекта настоящего изобретения, каждый кадр содержания подвергают кластеризации в любой из множества кластеров, и в отношении каждого из множества кластеров, кадр, принадлежащий кластеру, классифицируют в сцену, которая представляет собой группу из одного или больше кадров, непрерывных по времени. Затем формируют миниатюрное изображение сцены, и отображают миниатюрное изображение сцены.

Следует отметить, что устройство управления отображением может представлять собой отдельное устройство или может представлять собой внутренний блок, формирующий единое устройство.

Кроме того, может быть предусмотрена программа, передаваемая через среду передачи или записанная на носитель записи.

Предпочтительные эффекты изобретения

В соответствии с аспектом настоящего изобретения может быть легко распознан общий смысл содержания.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства записи, в котором применяется настоящее изобретение.

На фиг.2 показана блок-схема, иллюстрирующая пример конфигурации модуля 12 обучения модели содержания.

На фиг.3 показана схема, иллюстрирующая пример НММ.

На фиг.4 показана схема, иллюстрирующая пример НММ.

На фиг.5 показана схема, иллюстрирующая пример НММ.

На фиг.6 показана схема, иллюстрирующая пример НММ.

На фиг.7 показана схема, предназначенная для описания обработки выделения величины характерного признака, выполняемой модулем 22 выделения величины характерного признака.

На фиг.8 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели содержания.

На фиг.9 показана блок-схема, иллюстрирующая пример конфигурации модуля 14, представляющего структуру содержания.

На фиг.10 показана схема, для описания общего смысла в процессе представления структуры содержания.

На фиг.11 показана схема, иллюстрирующая пример карты модели.

На фиг.12 показана схема, иллюстрирующая пример карты модели.

На фиг.13 показана блок-схема последовательности операций, предназначенная для описания обработки представления структуры содержания с помощью модуля 14 представления структуры содержания.

На фиг.14 показана блок-схема, иллюстрирующая пример конфигурации модуля 15 генерирования дайджеста.

На фиг.15 показана блок-схема, иллюстрирующая пример конфигурации модуля 51 обучения детектора кульминационного момента.

На фиг.16 показана схема, предназначенная для описания обработки модуля 65 генерирования метки кульминационного момента.

На фиг.17 показана блок-схема последовательности операций, предназначенная для описания обработки обучения детектора кульминационного момента с помощью модуля 51 обучения детектора кульминационного момента.

На фиг.18 показана блок-схема, иллюстрирующая пример конфигурации модуля 53 детектирования кульминационного момента.

На фиг.19 показана схема, предназначенная для описания примера содержания дайджеста, который генерирует модуль 79 генерирования содержания дайджеста.

На фиг.20 показана блок-схема последовательности операций, предназначенная для описания обработки детектирования кульминационного момента модулем 53 детектирования кульминационного момента.

На фиг.21 показана блок-схема последовательности операций, предназначенная для описания обработки детектирования кульминационной сцены.

На фиг.22 показана блок-схема, иллюстрирующая пример конфигурации модуля 16 генерирования альбома.

На фиг.23 показана блок-схема, иллюстрирующая пример конфигурации модуля 101 генерирования исходного альбома.

На фиг.24 показана схема, иллюстрирующая пример интерфейса пользователя для пользователя, который устанавливает состояние карты модели.

На фиг.25 показана блок-схема последовательности операций, для описания обработки генерирования исходного альбома с помощью модуля 101 генерирования исходного альбома.

На фиг.26 показана блок-схема, иллюстрирующая пример конфигурации модуля 103 генерирования зарегистрированного альбома.

На фиг.27 показана блок-схема последовательности операций для описания обработки генерирования зарегистрированного альбома с помощью модуля 103 генерирования зарегистрированного альбома.

На фиг.28 показана схема, предназначенная для описания обработки генерирования зарегистрированного альбома.

На фиг.29 показана блок-схема, иллюстрирующая первый пример конфигурации системы сервер-клиент.

На фиг.30 показана блок-схема, иллюстрирующая второй пример конфигурации системы сервер-клиент.

На фиг.31 показана блок-схема, иллюстрирующая третий пример конфигурации системы сервер-клиент.

На фиг.32 показана блок-схема, иллюстрирующая четвертый пример конфигурации системы сервер-клиент.

На фиг.33 показана блок-схема, иллюстрирующая пятый пример конфигурации системы сервер-клиент.

На фиг.34 показана блок-схема, иллюстрирующая шестой пример конфигурации системы сервер-клиент.

На фиг.35 показана блок-схема, иллюстрирующая пример конфигурации другого варианта осуществления устройства записи, в котором применяется настоящее изобретение.

На фиг.36 показана блок-схема, иллюстрирующая пример конфигурации модуля 201 обучения модели содержания.

На фиг.37 показана схема, предназначенная для описания обработки выделения величины характерного признака с помощью модуля 221 выделения величины характерного признака звука.

На фиг.38 показана схема, предназначенная для описания обработки выделения величины характерного признака с помощью модуля 221 выделения величины характерного признака звука.

На фиг.39 показана схема, предназначенная для описания обработки выделения величины характерного признака с помощью модуля 224 выделения величины характерного признака объекта.

На фиг.40 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели содержания звука с помощью модуля 201 обучения модели содержания.

На фиг.41 показана блок-схема последовательности операций, предназначенная для описания обработки обучения, модели содержания объекта, с помощью модуля 201 обучения модели содержания.

На фиг.42 показана блок-схема, иллюстрирующая пример конфигурации модуля 204 генерирования дайджеста.

На фиг.43 показана блок-схема, иллюстрирующая пример конфигурации модуля 291 обучения детектора кульминационного момента.

На фиг.44 показана блок-схема последовательности операций, предназначенная для описания обработки обучения детектора кульминационного момента с помощью модуля 291 обучения детектора кульминационного момента.

На фиг.45 показана блок-схема, иллюстрирующая пример конфигурации модуля 293 детектирования кульминационного момента.

На фиг.46 показана блок-схема последовательности операций, предназначенная для описания обработки детектирования кульминационного момента, выполняемой модулем 293 детектирования кульминационного момента.

На фиг.47 показана блок-схема, иллюстрирующая пример конфигурации модуля 203 генерирования альбома.

На фиг.48 показана блок-схема, иллюстрирующая пример конфигурации модуля 371 генерирования исходного альбома.

На фиг.49 показана схема, иллюстрирующая пример интерфейса пользователя для пользователя, который устанавливает состояние карты модели.

На фиг.50 показана блок-схема, иллюстрирующая пример конфигурации модуля 373 генерирования зарегистрированного альбома.

На фиг.51 показана блок-схема последовательности операций, для описания обработки генерирования зарегистрированного альбома с помощью модуля 373 генерирования зарегистрированного альбома.

На фиг.52 показана схема для описания обработки генерирования зарегистрированного альбома.

На фиг.53 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления системы дисплея, в которой применяется настоящее изобретение.

На фиг.54 показана блок-схема последовательности операций, предназначенная для описания обработки управления отображением миниатюрных изображений.

На фиг.55 показана блок-схема, иллюстрирующая пример конфигурации модуля 611 кластеризации.

На фиг.56 показана схема, иллюстрирующая пример отображения двумерной (2D) карты.

На фиг.57 показана схема, иллюстрирующая другой пример отображения двумерной карты.

На фиг.58 показана схема, иллюстрирующая еще один другой пример отображения двумерной карты.

На фиг.59 показана схема, иллюстрирующая пример отображения дисплея состояния.

На фиг.60 показана схема, иллюстрирующая другой пример отображения дисплея состояния.

На фиг.61 показана схема, иллюстрирующая пример отображения дисплея с 2 областями.

На фиг.62 показана схема, иллюстрирующая пример отображения дисплея с 5 областями.

На фиг.63 показана схема, иллюстрирующая пример отображения дисплея временной последовательности.

На фиг.64 показана схема, иллюстрирующая пример отображения плоского дисплея.

На фиг.65 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели кластеризации, в случае, когда модель кластеризации представляет собой НММ.

На фиг.66 показана блок-схема последовательности операций, предназначенная для описания обработки кластеризации в случае, когда модель кластеризации представляет собой НММ.

На фиг.67 показана схема, иллюстрирующая графическую модель, выражающую кластеризацию, когда НММ используется как модель кластеризации.

На фиг.68 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели кластеризации в случае, когда модель кластеризации представляет собой новую векторную квантованную модель.

На фиг.69 показана блок-схема последовательности операций, предназначенная для описания обработки кластеризации в случае, когда модель кластеризации представляет собой новую векторную квантованную модель.

На фиг.70 показана схема, иллюстрирующая графическую модель, выражающую кластеризацию, в случае, когда новая векторная квантованная модель используется как модель кластеризации.

На фиг.71 показана блок-схема последовательности операций, предназначенная для описания обработки кластеризации, в случае, когда модель кластеризации представляет собой новую GMM.

На фиг.72 показана схема, иллюстрирующая графическую модель, выражающую кластеризацию, в случае, когда новая GMM используется как модель кластеризации.

На фиг.73 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления компьютера, в котором применяется настоящее изобретение.

Подробное описание изобретения

<Устройство обработки информации для кульминационных сцен>

Вначале будет представлено описание в отношении устройства обработки информации для кульминационных сцен, которое обеспечивает получение дайджеста, в котором сцены, в отношении которых у пользователя есть интерес, собраны как кульминационные сцены, которые можно легко получить.

Например, что касается технологии детектирования кульминационной сцены, для детектирования кульминационной сцены из содержания, такого как кинофильм, телевизионная широковещательная программа или тому подобное, существует технология, использующая преимущества опыта и знаний эксперта (дизайнера), технология, в которой используется преимущества статистического обучения, в котором используются обучающие выборки, и т.д.

В технологии, в которой используются преимущества опыта и знаний эксперта, детектор для детектирования события, которое происходит в кульминационной сцене, и детектор для детектирования сцены, определенной по ее событию (сцена, в которой происходит событие) разрабатывают на основе опыта и знаний эксперта. Кульминационный момент сцены, таким образом, детектируют, используя эти детекторы.

В технологии, в которой используются преимущества статистического обучения, при котором используется обучающая выборка, требуется детектор для детектирования кульминационной сцены (детектор кульминационного момента) и детектор для детектирования события, которое происходит в кульминационной сцене (детектор события), который использует обучающую выборку. Кульминационный момент сцены, таким образом, детектируют, используя эти детекторы.

Кроме того, в технологии детектирования кульминационной сцены выделяют величину характерного признака изображения или звука содержания, и детектируют кульминационный момент сцены, используя величину его характерного признака. Что касается величины характерного признака, для детектирования кульминационной сцены, обычно используют величину характерного признака, настроенного индивидуально на жанр содержания, в котором требуется детектировать кульминационный момент сцены.

Например, в технологии детектирования кульминационной сцены Wang и др., и Duan и др., из видеоизображения игры в футбол, выделяют величину многомерного характерного признака для детектирования такого события, как "свисток", "аплодисменты" или тому подобное, с учетом линий на поле для игры в футбол, траектории движения футбольного мяча, движения всего экрана, и MFCC (коэффициенты косинусного преобразования Фурье для частот чистых тонов) звука, и величину характерного признака, комбинируемую на этой основе, используют для выполнения детектирования игровой сцены в футболе, такой как "наступательная игра", "нарушение правил" и т.д.

Кроме того, например, Wang и др. предложили технологию детектирования кульминационной сцены, в которой сортировщик типа изображения, в котором используется величина характерного признака по гистограмме цветов, идентификатор места расположения игры, в котором используется детектор линии, детектор символа повторного изображения, детектор степени волнения спортивного комментатора, детектор свистка и т.д. разрабатывают по видеоизображению игры в футбол, временную взаимосвязь между ними подвергают моделированию, используя байесовскую сеть, составляя, таким образом, детектор кульминационного момента для игры в футбол.

Что касается технологии детектирования кульминационной сцены, в дополнение, например, к Публикации №2008-185626 находящейся на экспертизе заявки на японский на патент (ниже также называется PTL 1), была предложена технология, в которой используется величина характерного признака, для представлений нарастания звука (подбадривания), используемая для детектирования кульминационной сцены содержания.

В описанных выше технологиях детектирования кульминационной сцены, кульминационная сцена (или событие) может быть детектирована в отношении содержания, принадлежащего определенному жанру, но при этом трудно детектировать соответствующую сцену, как кульминационную сцену в отношении содержания, принадлежащего другим жанрам.

В частности, например, в технологии детектирования кульминационной сцены в соответствии с PTL 1, кульминационную сцену детектируют в соответствии с правилом, состоящим в том, что сцена, включающая в себя одобрительные возгласы, представляет собой кульминационную сцену, но жанры содержания, в которых сцена, включающая в себя одобрительные возгласы, представляет собой кульминационную сцену, ограничены. Кроме того, в технологии детектирования кульминационной сцены в соответствии с PTL 1, трудно детектировать, как объект, кульминационную сцену с содержанием, принадлежащим жанру, в котором сцена, в которой отсутствуют одобрительные возгласы, представляет собой кульминационную сцену.

В соответствии с этим, для того, чтобы выполнить детектирование кульминационной сцены с содержанием, принадлежащим другому жанру, в отличие от определенного жанра, в качестве объекта, используя технологию детектирования кульминационной сцены в соответствии с PTL 1, необходимо сконструировать величину характерного признака так, чтобы она подходила для этого жанра. Кроме того, конструирование правила для детектирования кульминационной сцены (или определения события), используя ее величину характерного признака, необходимо выполнить на основе опроса эксперта и т.д.

Поэтому, например, в Публикации №2000-299829 находящейся на экспертизе заявки на японский (ниже также называется PTL 2), был предложен способ, в котором можно использовать величину характерного признака и пороговое значение, по которым детектируют сцену, которую обычно определяют, как кульминационная сцена, и кульминационную сцену детектируют с помощью пороговой обработки, используя величину характерного признака и ее пороговое значение.

Однако в последние годы, содержание стало диверсифицированным, при этом чрезвычайно трудно получить общее правило, например, такое как величина характерного признака, правило пороговой обработки и т.д., которое можно было бы использовать для детектирования сцены, пригодной в качестве кульминационной сцены в отношении всех элементов содержания.

В соответствии с этим, для детектирования сцены, пригодной для использования в качестве кульминационной сцены, например, существует потребность в разработке величины характерного признака и правил для детектирования кульминационной сцены для каждого жанра или тому подобное, адаптированной к ее жанру. Однако даже если бы такое правило было разработано, будет трудно детектировать то, что можно назвать кульминационной сценой - исключением, которая не следует этому правилу.

Что касается, например, содержания, такого как спортивная игра, например, сцены гола при игре в футбол, правило детектирования сцены, обычно называемой кульминационной сценой, может быть разработано с высокой точностью, используя знание эксперта.

Однако предпочтения пользователя в значительной степени изменяется от одного пользователя к другому. В частности, например, существуют отдельные пользователи, которые предпочитают "сцену, в которой тренер, управляющий игрой, сидит на скамейке", "сцену pickoff (бросок с помехой) в первую базу в бейсболе", "сцену вопроса и ответа программы викторины", и т.д., соответственно. В этом случае, не реально индивидуально настроить правило, адаптированное для предпочтений каждого из этих пользователей и внедрить их в систему детектирования, такую как AV (аудио- визуальное) устройство, для детектирования кульминационной сцены.

С другой стороны, вместо просмотра и прослушивания пользователем дайджеста, в котором собраны кульминационные сцены, детектированные в соответствии с фиксированным правилом, встроенным в систему детектирования, система детектирования изучает предпочтение каждого из пользователей, детектирует сцену, соответствующую его предпочтению (сцену, в которой пользователь заинтересован), в качестве кульминационной сцены, и предоставляет дайджест, в котором собраны такие кульминационные сцены, реализуя, таким образом, "персонализацию", в том виде, как она есть, при просмотре и прослушивании содержания, и расширение способов насладиться содержанием.

Устройство обработки информации, предназначенное для кульминационных сцен, было разработано с учетом такой ситуации, и позволяет пользователю легко получать дайджест, в котором собраны сцены, в которых заинтересован пользователь.

Во-первых, устройство обработки информации для кульминационных сцен представляет собой устройство обработки информации, включающее в себя:

средство выделения величины характерного признака, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания для детектора, изучающего интерес, который представляет собой содержание, используемое для обучения детектора кульминации, который представляет собой модель детектирования сцены, в которой пользователь заинтересован, как кульминационной сцены;

средство оценки последовательности состояний максимальной вероятности, выполненное с возможностью оценки того, какая модель содержания, которая представляет собой модель вероятности перехода состояния, после упомянутого обучения, полученного путем выделения величины характерного признака каждого кадра изображения содержания для обучения, которое представляет собой содержание, используемое для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, и это состояние может продолжаться, и вероятностью наблюдения, что заданная величина наблюдения будет наблюдаться из этого состояния, и выполнения обучения модели вероятности перехода состояния, используя величины характерного признака содержания, для обучения, при этом последовательность состояний максимальной вероятности, представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания будет наблюдаться для детектора, изучающего интерес;

средство генерирования метки кульминационного момента, выполненное с возможностью генерирования последовательности меток кульминационного момента в отношении содержания для детектора, изучающего интерес, путем установки метки для каждого кадра содержания для детектора, изучающего интерес, используя метку кульминации, представляющую, соответствует или нет сцена кульминационного момента операциям пользователя; и

средство обучения детектора кульминационного момента, выполненное с возможностью обучения детектора кульминационного момента, который представляет собой модель вероятности перехода состояния, используя последовательность меток для обучения, которая является парой последовательности состояний максимальной вероятности, полученной из содержания для детектора, изучающего интерес, и последовательности меток кульминационного момента.

Во-вторых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, дополнительно включающее в себя:

средство детектирования кульминационного момента, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания для детектирования кульминационного момента, представляющего интерес, который представляет собой содержание, из которого должна быть детектирована кульминационная сцена,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания для детектирования кульминационного момента, представляющего интерес, будет наблюдаться в модели содержания,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что будет наблюдаться последовательность меток для детектирования, которая представляет собой пару из последовательности состояний максимальной вероятности, полученную из содержания для детектирования кульминационного момента, представляющего интерес, в детекторе кульминационного момента, и последовательности меток кульминационного момента для метки кульминационного момента, представляющей, что она является кульминационной сценой или другой, чем кульминационная сцена,

для детектирования кадра кульминационной сцены из содержания для детектирования кульминационного момента, представляющего интерес, на основе вероятности наблюдения метки кульминационного момента каждого состояния последовательности состояний отношения кульминационного момента, которая представляет собой последовательность состояний максимальной вероятности, полученную из последовательности меток для детектирования, и

для генерирования содержания дайджеста, который представляет собой дайджест содержания для детектирования кульминационного момента, представляющего интерес, используя кадр кульминационной сцены.

В-третьих, устройство обработки информации для кульминационных сцен представляет собой второе устройство обработки информации для кульминационных сцен, в котором в случае, когда для состояния в заданный момент времени последовательности состояний отношения кульминационного момента, разность между вероятностью наблюдения метки кульминационного момента, представляющей, что она является кульминационной сценой, и вероятностью наблюдения метки кульминационного момента, представляющей что она является другой, кроме кульминационной сцены, больше, чем заданное пороговое значение, средство детектирования кульминационного момента детектируют кадр содержания для детектирования кульминационного момента, представляющего интерес, в соответствии с состоянием в заданной точке времени, как кадр кульминационной сцены.

В-четвертых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, дополнительно включающее в себя:

средство генерирования альбома, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания будет наблюдаться в модели содержания,

для выделения из содержания, среди состояний последовательности состояний максимальной вероятности кадра, соответствующего состоянию, которое соответствует состоянию, переданному по инструкции пользователя, и

для регистрации кадра, выделенного из содержания, в альбоме, в котором зарегистрирована кульминационная сцена.

В-пятых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, дополнительно включающее в себя:

средство расчета расстояния между состояниями, выполненное с возможностью получения расстояния между состояниями от одного состояния до другого состояния в модели содержания на основе вероятности перехода из одного состояния в другое состояние;

средство расчета координат, выполненное с возможностью получения, таким образом, уменьшенной разности между евклидовым расстоянием от одного состояния до другого состояния и расстоянием между состояниями на карте модели, которая представляет собой двумерную или трехмерную карту, где расположено состояние модели содержания, причем координаты состояния представляют собой координаты положения состояния на карте модели; и

средство управления отображением, выполненное с возможностью выполнения управления отображением для отображения карты модели, где состояния, которые соответствуют друг другу, расположены в положениях координат состояния.

В-шестых, устройство обработки информации для кульминационных сцен представляет собой пятое устройство обработки информации для кульминационных сцен, в котором средство расчета координат получает координаты состояния для сведения к минимуму функции ошибки отображения Сэммона в пропорции к статистической ошибке между евклидовым расстоянием и расстоянием между состояниями, и в случае, когда евклидово расстояние от одного состояния до другого состояния больше, чем заданное пороговое значение, устанавливает евклидово расстояние от одного состояния до другого состояния, как расстояние, равное расстоянию между состояниями от одного состояния до другого состояния, и выполняет расчет функции ошибки.

В-седьмых, устройство обработки информации для кульминационных сцен представляет собой пятое устройство обработки информации для кульминационных сцен, дополнительно, включающее в себя:

средство генерирования альбома, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания будет наблюдаться в модели содержания,

для выделения из содержания среди состояний последовательности состояний максимальной вероятности кадра, соответствующего состоянию, которое соответствует состоянию на карте модели, по инструкции пользователя, и

для регистрации кадра, выделенного из содержания, в альбоме, в котором зарегистрирована кульминационная сцена.

В-восьмых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем разделения кадра на подобласти, которые представляют собой множество малых областей, выделения величины характерного признака каждого в каждой из множества подобластей, и комбинирования величины характерного признака для каждой из множества подобластей.

В-девятых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем комбинирования среднего значения и дисперсии энергии, частоты пересечения нуля или центра тяжести спектра звука в пределах заданного времени, соответствующего кадру.

В-десятых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем детектирования области отображения объекта в пределах кадра, при разделении кадра на подобласти, которые представляют собой множество малых областей, выделения процента количества пикселей области отображения объекта в подобласти, как количество пикселей в каждой из множества подобластей, как величину характерного признака, и комбинирования величины характерного признака для каждой из множества подобластей.

В-одиннадцатых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, дополнительно, включающее в себя:

средство о