图像处理装置的制造方法

图像处理装置的制造方法
【专利摘要】提供一种图像处理装置，该图像处理装置用于在属于不同信道的帧混在一个活动图像内的情况下，将这些帧按各个信道进行分类。图像处理装置包括自动分类部和再分类部。自动分类部通过对活动图像中包含的多个帧实施图像处理，从而算出帧间的类似度，并根据类似度，将多个帧分类至多个信道。再分类部从用户接收将未被自动分类部自动分类的一个或多个未分类帧单独地与多个信道中任一信道相关联的操作，并按照该操作的内容，将未分类帧单独分类至多个信道中的任一信道。
【专利说明】
图像处理装置
技术领域
[0001]本发明涉及图像处理装置以及图像处理程序，特别是涉及当属于不同信道的帧混在一个活动图像内的情况下，用于将这些帧按各个信道进行分类的图像处理装置以及图像处理程序。
【背景技术】
[0002]作为对活动图像录像的一种方式，已知有延时这样的间歇式录像方式。这是一种以低于通常情况的帧速率、简单地说边降帧边进行录像的方式，可以使相同记录介质进行比通常情况更长时间的录像。在监控摄像机中也经常会采用该延时的方式，进而，有时还会在由于降低帧速率而产生的间隙时间内插入其它监控摄像机的视频。在该情况下，记录多个摄像机的视频、即多个信道的视频沿一个时间轴交替切换这样的活动图像。
[0003]对于将多个信道的视频汇总在一个时间轴上进行录像后的活动图像，如果使用专用设备，则可以将每个摄像机的、即每个信道的视频显示在监控器上。在专利文献I的专用设备中，对视频的各帧赋予信道编号的数据，播放时，通过参照该数据，可以从多个信道的视频混在一起的视频中仅调取任意信道的视频。
[0004]在先技术文献
[0005]专利文献
[0006]专利文献1:特开2002-319210号公报

【发明内容】

[0007]发明要解决的技术问题
[0008]但是，在一般的播放设备上播放多个信道的视频混在一起的视频时，无法看到每个信道的视频。这是因为，用于识别各帧的信道的方式分厂家或机种而有所不同，一般的播放设备无法应对这些方式。
[0009]本发明的目的在于，提供当属于不同信道的帧混在一个活动图像内的情况下，不论该活动图像是通过什么样的方式(仕様)进行录像的，都可以进行每个信道的播放的图像处理装置以及图像处理程序。
[0010]用于解决技术问题的方案
[0011]本发明的第一方面所涉及的图像处理装置用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理装置包括自动分类部和再分类部。所述自动分类部通过对包含在所述活动图像中的多个帧实施图像处理，从而算出帧间的类似度，并根据所述类似度，将所述多个帧分类至多个信道。所述再分类部自用户接收将未被所述自动分类部自动分类的未分类帧单独地与所述多个信道中任一信道相关联的相关联操作，并按照所述相关联操作的内容，将所述未分类帧单独分类至所述多个信道中的任一个信道。
[0012]此处，在属于不同信道的帧混在一个活动图像内的情况下，提供用于按照各个信道来分类这些帧的功能。具体而言，首先，对活动图像中包含的多个帧实施图像处理，从而算出帧间的类似度，据此，多个帧被自动地分类至多个信道。然而，即便是不同信道的视频，当两个信道中拍摄的是具有相似背景等的场景的情况等下，自动分类的精度未必是充分的。为此，此处，在自动分类之后，根据用户的操作进行再分类。具体而言，用户可以进行将自动分类后的未分类帧单独地与多个信道中任一信道相关联的操作，按照该操作来进行再分类。根据该功能，不论活动图像的方式如何，均能将属于不同信道的帧混在一起的活动图像简单且准确地分离为每个信道的活动图像。即，当属于不同信道的帧混在一个活动图像内的情况下，不论该活动图像是通过什么样的方式录像的活动图像，都可以进行每个信道的播放。
[0013]本发明的第二方面所涉及的图像处理装置在第一方面所涉及的图像处理装置的基础上，所述再分类部显示再分类画面，所述再分类画面显示所述未分类帧、以及多个信道对象，所述多个信道对象是分别与所述多个信道对应的对象。所述相关联操作是在所述再分类画面上对所述未分类帧指定所述多个信道对象中任一信道对象的操作。需要注意的是，再分类画面除了包括由一个窗口构成的情况以外，还包括由多个窗口构成的情况。另夕卜，显示帧包括显示该帧的缩略图像。
[0014]此处，提供再分类画面作为用于在自动分类之后进行再分类的用户界面。该再分类画面显示未分类帧、以及分别与多个信道对应的多个信道对象，并从用户接收对未分类帧指定信道对象中任一信道对象的操作。因此，用户可以通过直观的操作将未分类帧与特定的信道相关联来进行分类。
[0015]本发明的第三方面所涉及的图像处理装置在第二方面所涉及的图像处理装置的基础上，所述信道对象显示代表属于对应信道的帧组的代表图像。
[0016]此处，在信道对象上显示代表对应于该信道对象的信道的代表图像。因此，用户肉眼观察并比较未分类帧与该代表图像之后，能够对未分类帧指定信道对象。因此，用户观察再分类画面，能够容易地判断未分类帧应该分类到的信道。
[0017]本发明的第四方面所涉及的图像处理装置在第二方面或第三方面所涉及的图像处理装置的基础上，所述再分类画面一览显示所述未分类帧。
[0018]此处，在再分类画面上一览显示未分类帧。因此，用户能够同时确认这些帧。
[0019]本发明的第五方面所涉及的图像处理装置在第四方面所涉及的图像处理装置的基础上，所述再分类画面还显示未分类对象，所述未分类对象是与汇总所述未分类帧的分类对应的对象。所述再分类部自用户接收从包含所述多个信道对象以及所述未分类对象的对象组中选择一个对象的选择操作，并在所述再分类画面上的规定的一览显示区域内一览显示属于与通过所述选择操作而当前选择的对象对应的信道或分类的帧组。
[0020]此处，用户通过从未分类对象以及多个信道对象中选择一个对象，从而能够使未分类帧组、或者属于任一信道的帧组选择性地显示于规定的一览显示区域内。因此，能够有效利用再分类画面内的有限空间，并且能够确认未分类以及已分类的帧。
[0021]本发明的第六方面所涉及的图像处理装置在第二方面至第四方面中任一方面所涉及的图像处理装置的基础上，所述再分类部自用户接收从包含所述多个信道对象的对象组中选择一个对象的选择操作，并在所述再分类画面上的规定的一览显示区域内一览显示属于与通过所述选择操作而当前选择的所述信道对象对应的信道的帧组。
[0022]此处，用户通过从多个信道对象中选择一个对象，从而能够使属于任一信道的帧组选择性地显示于规定的一览显示区域内。因此，能够有效利用再分类画面内的有限空间，并且能够确认已分类的帧。
[0023]本发明的第七方面所涉及的图像处理装置在第五方面或第六方面所涉及的图像处理装置的基础上，当在所述一览显示区域内一览显示有属于所述多个信道中任一信道的帧组的情况下，所述再分类部自用户接收将该一览显示的帧组中包含的帧单独地与所述多个信道中任一信道相关联的操作，以将该操作所涉及的帧分类至该操作所涉及的信道。
[0024]此处，能够将正显示于一览显示区域内的、已分类至任一信道的帧移动至不同的信道。具体而言，用户能够进行将通过自动分类而被分类至了任一信道的帧单独地与不同信道中任一信道相关联的操作，按照该操作来进行再分类。因此，在通过自动分类将帧分类至了错误信道的情况下，能够改正该错误。
[0025]本发明的第八方面所涉及的图像处理装置在第二方面至第七方面中任一方面所涉及的图像处理装置的基础上，所述再分类部自用户接收从包含所述多个信道对象的对象组中选择一个对象的选择操作，并在所述再分类画面上的规定的播放区域内将属于与通过所述选择操作而当前选择的对象对应的信道的帧组作为活动图像进行播放。
[0026]此处，在再分类画面上，能够将分类至各信道的帧组作为活动图像进行播放。因此，在错误帧分类至了各信道的情况下，能够容易地发现该情况。
[0027]本发明的第九方面所涉及的图像处理装置在第二方面至第八方面中任一方面所涉及的图像处理装置的基础上，所述相关联操作包括在所述再分类画面上将所述未分类帧拖放至所述多个信道对象中任一信道对象、或者将所述多个信道对象中任一信道对象拖放至所述未分类帧的操作。
[0028]此处，用户能够更直观地将未分类帧与特定的信道相关联来进行分类。
[0029]本发明的第十方面所涉及的图像处理装置在第二方面至第九方面中任一方面所涉及的图像处理装置的基础上，所述再分类画面以按时序排列的方式一览显示属于所述各信道的帧组。需要注意的是，属于不同信道的帧组无需在再分类画面上同时显示，例如，也可以边切换边显示。
[0030]此处，各信道中包含的帧组按照时间顺序排列。因此，用户能够容易地明白每个信道的影像的变化(被拍摄体的活动)。
[0031]本发明的第十一方面所涉及的图像处理装置在第一方面至第十方面中任一方面所涉及的图像处理装置的基础上，所述再分类部显示表示分别与所述多个信道对应的操作键的信息。所述相关联操作包括所述操作键的操作。
[0032]此处，用户通过键盘等操作键的操作，能够将未分类帧与特定的信道相关联来进行分类。
[0033]本发明的第十二方面所涉及的图像处理装置在第一方面至第十一方面中任一方面所涉及的图像处理装置的基础上，每当所述未分类帧被分类至所述多个信道中任一信道时，所述再分类部重新计算所述帧速率。
[0034]每当未分类帧被新分类到各信道时，属于该各信道的帧的数量发生变化。此处，根据该变化，重新计算各信道的帧速率，因而各信道能够维持正确的帧速率。
[0035]本发明的第十三方面所涉及的图像处理装置在第一方面至第十二方面中任一方面所涉及的图像处理装置的基础上，所述再分类部自用户接收进行包含在所述多个信道中的两个以上的信道的合并的命令，并响应所述合并的命令将所述两个以上的信道合并。
[0036]此处，可以将通过自动分类创建的两个以上的信道合并。因此，即使通过自动分类将一个信道误分离为两个以上的信道，也能够容易地改正该错误。
[0037]本发明的第十四方面所涉及的图像处理装置在第一方面至第十三方面中任一方面所涉及的图像处理装置的基础上，所述再分类部自用户接收进行通过所述自动分类部自动创建的所述多个信道以外的信道的创建的命令，并响应所述创建的命令，新创建信道。
[0038]此处，在自动分类后的再分类时，能够新创建信道。因此，即便存在通过自动分类无法检测出的信道的情况下，也能够容易地改正该情况。
[0039]本发明的第十五方面所涉及的图像处理程序为当在一个活动图像内属于不同信道的帧混合存在的情况下、用于将所述帧分类到每个所述信道的图像处理程序，其使计算机执行如下步骤:通过对所述活动图像所包含的多个帧实施图像处理，计算出帧间的类似度;根据所述类似度，将所述多个帧分类到多个信道；自用户接收将未进行自动分类的未分类帧分别与所述多个信道的任一信道相关联的关联操作；以及根据所述关联操作的内容，将所述未分类帧分别分类到所述多个信道的任一信道。此处，能够实现与第一方面同样的效果。
[0040]发明效果
[0041]根据本发明，不管活动图像的方式如何，均可以将属于不同信道的帧混在一起的活动图像简单且正确地分离为对应每个信道的活动图像。即、当属于不同信道的帧混在一个活动图像内的情况下，不论该活动图像是通过什么方式录像的活动图像，都可以进行每个信道的播放。
【附图说明】
[0042]图1是本发明的第一实施方式所涉及的图像处理装置的框图。
[0043]图2是取入图像数据前的基本画面的图。
[0044]图3是取入图像数据后的基本画面的图。
[0045]图4是表示属于一个时间轴的静止图像组的图。
[0046]图5是表示区域设定窗口的图。
[0047]图6是表不再分类窗口的图。
[0048]图7是表不再分类窗口的另一图。
[0049]图8是表示确认窗口的图。
[0050]图9是表示本发明的第一实施方式所涉及的自动分类处理的流程的流程图。
[0051]图10是说明本发明的第一实施方式所涉及的类似度计算方法的概念图。
[0052]图11是表示本发明的第二实施方式所涉及的自动分类处理的流程的流程图。
[0053]图12是说明本发明的第二实施方式所涉及的类似度计算方法的概念图。
[0054]图13是表示本发明的第三实施方式所涉及的自动分类处理的流程的流程图。
[0055]图14是说明本发明的第三实施方式所涉及的类似度计算方法的概念图。
[0056]图15是说明本发明的第三实施方式所涉及的另一类似度计算方法的概念图。
[0057]图16是说明本发明的第三实施方式所涉及的再一类似度计算方法的概念图。
[0058]图17是表示本发明的第三实施方式所涉及的色彩倾向评价处理的流程的流程图。
[0059]图18是说明定义印象度的信息的图。
【具体实施方式】
[0060]下面，参照附图对本发明的几个实施方式所涉及的图像处理装置以及图像处理程序进行说明。
[0061]U.第一实施方式〉
[0062]〈 1-1.图像处理装置的概要〉
[0063]图1所示的图像处理装置I是本发明所涉及的图像处理装置的一个实施方式。图像处理装置I是通用的个人计算机。图像处理装置I中安装有作为本发明所涉及的图像处理程序的一实施方式的图像处理程序2，该图像处理程序2是由存储该程序的⑶-R0M、DVD-R0M、USB存储器等计算机可读的记录介质60等提供的。图像处理程序2是用于支持针对活动图像以及静止图像的图像处理的应用软件。图像处理程序2使图像处理装置I执行后述的动作所包括的步骤。
[0064]图像处理装置I具有显示器10、输入部20、存储部30以及控制部40。这些部10?40彼此通过总线或缆线5等而连接，可适当进行通信。显示器10由液晶显示器等构成，向用户显示后述的画面等。输入部20由鼠标以及键盘等构成，接收用户对图像处理装置I的操作。存储部30是由硬盘等构成的非易失性的存储区域。控制部40由CPU、R0M以及RAM等构成。
[0065]图像处理程序2存储于存储部30内。在存储部30内确保有软件管理区域50。软件管理区域50是图像处理程序2所使用的区域。在软件管理区域50内确保有原始图像区域51、加工文件区域52以及印象度定义区域53。关于各区域51?53的作用将在后面进行描述。
[0066]控制部40读出并执行存储于存储部30内的图像处理程序2，从而虚拟地作为自动分类部41以及再分类部45而进行动作。此外，自动分类部也作为设定部42、计算部43以及判断部44而进行动作。关于各部41?45的动作将在后面进行描述。
[0067]〈1-2.图像处理装置的构成以及动作的详细情况〉
[0068]控制部40在检测到用户通过输入部20进行了规定的操作时，启动图像处理程序2。在启动图像处理程序2之后，在显示器10上显示基本画面Wl(参照图2)。需要注意的是，显示器10上显示的画面、窗口、按钮及其它所有元素的显示均由控制部40控制。
[0069]〈 1-2-1.图像数据的取入〉
[0070]基本画面Wl从用户接收将图像数据取进原始图像区域51的命令。取进原始图像区域51的图像数据将作为后述的播放处理、图像处理以及信道分离处理的对象。控制部40从静止图像文件或活动图像文件中将图像数据取入到原始图像区域51。需要说明的是，在本说明书中，静止图像文件是指静止图像形式的数据文件，活动图像文件是指活动图像形式的数据文件。
[0071]在从静止图像文件取入图像数据时，用户通过操作输入部20来指定一个静止图像文件或一个文件夹。在前者的情况下，控制部40使用户输入该静止图像文件在存储部30内的地址路径以及文件名。在后者的情况下，控制部40使用户输入该文件夹在存储部30内的地址路径以及文件夹名。之后，控制部40将所指定的静止图像文件或所指定的文件夹内的所有静止图像文件作为静止图像文件组保存在原始图像区域51。需要说明的是，在本说明书中，在称为“组”的情况下，其成分的数量不限定为多个，也可以是一个。
[0072]另一方面，在从活动图像文件取入图像数据时，用户通过操作输入部20而输入一个活动图像文件在存储部30内的地址路径以及文件名。控制部40在检测到用户指定了活动图像文件时，在基本画面Wl上重置显不活动图像取入窗口(未图不)。活动图像取入窗口用于从用户接收所指定的活动图像文件在时间轴上的整个区间中的任意区间的选择。控制部40在检测到用户通过输入部20选择了特定的区间时，生成与所指定的活动图像文件的该区间中包含的帧组一一对应的静止图像文件组。之后，控制部40将该静止图像文件组保存在原始图像区域51。因此，在本实施方式中，作为后述的播放处理、图像处理以及信道分离处理的对象的图像数据不是活动图像文件，而是静止图像文件。
[0073]需要说明的是，控制部40不仅是在取进原始图像区域51的静止图像文件组源于活动图像文件的情况下，而且在源于静止图像文件的情况下也会将静止图像文件组识别为沿着一个时间轴排列的文件组。排列是基于文件的属性等自动赋予的。
[0074]〈1-2-2.播放处理〉
[0075]在静止图像文件组取入到了原始图像区域51时，控制部40在基本画面Wl上重叠显示显示窗口 W2(参照图3)。创建取进原始图像区域51的静止图像文件组的时间轴的数量的显示窗口 W2。
[0076]在显示窗口W2内，首先显示取进原始图像区域51的静止图像文件组中包含的一个静止图像文件(例如，在时间轴上位于最前面的帧的静止图像文件)。然后，如后面所述，显示窗口 W2内显示的帧接受用户的操作而进行切换。
[0077]控制部40可以在显示窗口 W2内将属于对应该显示窗口 W2的时间轴的帧组作为活动图像播放。这里，如图3所示，在基本画面Wl上配置有窗口选择下拉菜单Tl、播放按钮T2、逐帧播放按钮T3、回放按钮T4以及时间轴条(t ime I ine bar) T5。
[0078]即使在存在多个显示窗口W2的情况下，激活的显示窗口W2也是一个。窗口选择下拉菜单Tl从用户接收使哪个显示窗口 W2激活的选择。下面，将对应激活的显示窗口 W2的时间轴称为激活时间轴、将属于激活时间轴的帧组称为激活帧组。此外，将当前显示于激活的显不窗口W2内的巾贞称为激活显不中贞。
[0079]播放按钮T2用于从用户接收激活帧组作为活动图像播放的命令。控制部40在检测到用户通过输入部20按下了播放按钮T2时，在激活的显示窗口 W2内以沿着时间轴依次逐帧播放的形式来显示激活帧组中包含的帧。需要注意的是，从按下了播放按钮T2的时间点的激活显示帧开始播放。此外，播放按钮T2从用户接收播放停止的命令。控制部40在检测到在播放过程中用户通过输入部20按下了播放按钮T2时，将激活的显示窗口 W2内的显示固定为该时间点的激活显示帧。
[0080]逐帧播放按钮T3、回放按钮T4分别从用户接收将激活显示帧切换为沿着激活时间轴的后一个帧、前一个帧的命令。
[0081 ]时间轴条T5是图解式地示出激活时间轴的对象(ob ject)。时间轴条T5在该时间轴条的延伸方向上按激活帧组的幅数而被等分割。时间轴条T5上的从左开始第η个分割区域与激活时间轴上的第η帧对应(η为自然数)。
[0082]如图3所示，时间轴条Τ5以不同方式来显示对应于选择帧组的分割区域Al和对应于非选择帧组的分割区域Α2。选择帧组是指与在激活时间轴上当前所选择的区间对应的帧组。非选择帧组是指与在激活时间轴上当前未被选择的区间对应的帧组。
[0083]时间轴条T5从用户接收激活时间轴上的任意区间的选择。换言之，用户通过输入部20来操作时间轴条T5上的分割区域，从而可以从激活帧组中选择任意数量的任意帧。控制部40将选择帧组识别为后述的图像处理以及信道分离处理的对象。需要注意的是，每当用户选择了时间轴条T5上的分割区域时，激活显示帧切换为最新选择的分割区域所对应的帧。
[0084]〈1-2-3.图像处理〉
[0085]下面，说明针对选择帧组的图像处理。控制部40可以执行去噪、清晰度、亮度/对比度/彩度调整、图像分辨率、旋转、字符/箭头/马赛克的添加、图像均衡等多个图像处理模块。图像处理模块编入图像处理程序2中。
[0086]用户通过输入部20来操作基本画面Wl，从而能够以任意次数按任意顺序从图像处理模块中选择任意的模块。控制部40每当检测到用户选择了图像处理模块时，对选择帧组执行该图像处理模块。
[0087]随着一次、两次、三次、...地对帧依次执行图像处理模块，该帧被依次加工为第一次、第二次、第三次、…。第O次帧对应于保存于原始图像区域51的静止图像文件。第(m+1)次帧对应于针对与第m次帧对应的静止图像文件执行了一次图像处理模块后的静止图像文件(m为O以上的整数)。控制部40依次生成与第一次以后的帧对应的静止图像文件，并将这些静止图像文件分别单独地保存在加工文件区域52内。
[0088]图4是示出属于一个时间轴的静止图像组如何被图像处理程序2所管理的概念图。在图4中，横轴的N轴表示时间轴上的帧的顺序，纵轴的M轴表示加工的顺序。与图4的N-M空间内的坐标(n、m)对应的四边形表示静止图像Q(n、m)。静止图像Q(n、m)是在时间轴上第η帧的第m次的静止图像(η为自然数、m为O以上的整数)。
[0089]关于各帧，控制部40将当前所选择的坐标m的值作为参数ms来进行管理。在紧接着静止图像文件组被取进原始图像区域51之后，坐标心为初始值O。然后，每执行一次图像处理模块，该帧的坐标ms逐一增加。此外，用户通过输入部20进行规定的操作，从而可以自由地变更选择帧组的坐标ms。需要说明的是，对帧执行图像处理模块是指，对该帧的第ms次的静止图像执行图像处理模块。因此，变更坐标此具有变更图像处理模块的执行对象的含义。此外，显示帧是指，显示该帧的坐标ms的静止图像。因此，变更坐标ms也具有变更激活的显示窗口 W2内所显示的对象的含义。
[0090]〈1-3.信道分离处理〉
[0091]下面，对安装于图像处理程序2的信道分离处理进行说明。信道分离处理是指，将属于不同信道的视频混在一起的活动图像分离为每个信道的活动图像的处理。即、要作为信道分离处理的对象的活动图像典型地是指，对于以延时的方式录像的多个活动图像，以将其它活动图像的视频埋入各活动图像的间隙时间的形式混合在了一个时间轴上的活动图像(下面，称为混合延时活动图像)。混合延时活动图像是多个信道的视频沿时间轴交替切换这样的活动图像。
[0092]信道分离处理是针对选择帧组而执行的，但是，信道分离处理的执行需要多个帧。因此，假设在仅选择了一个帧作为选择帧组的状态下，用于开始信道分离处理的操作按钮等被无效化而无法开始信道分离处理。或者，即使是仅选择了一个帧作为选择帧组，但是在激活时间轴上存在多个帧的情况下，也可以将激活时间轴上的所有帧作为信道分离处理的对象。下面，将作为信道分离处理的对象的帧组称为对象帧组。此外，将由对象帧组构成的活动图像称为对象活动图像。
[0093]信道分离处理包括:将对象活动图像中包含的多个帧自动分类至多个信道的自动分类处理、和用户通过手动操作来校正自动分类处理的分类结果的再分类处理。
[0094]自动分类处理由自动分类部41执行。自动分类处理是通过对包含于对象活动图像中的多个帧实施图像处理而将这些帧自动分类至多个信道的处理。具体而言，自动分类部41算出帧间的类似度，根据该类似度，将对象活动图像中包含的多个帧分类至多个信道。帧间的类似度作为被比较的帧属于相同信道的指标而被算出。关于自动分类处理的详细情况将在后面进行描述，作为自动分类处理的结果，检测出多个信道。多个帧属于各个信道。需要说明的是，只要是将混合延时活动图像作为对象，通常会检测出多个信道，但是，自动分类处理的结果也有可能是仅检测出一个信道。此外，在自动分类处理中，对判断为不属于任一信道的帧赋予“未分类”这样的分类的标签。因此，作为自动分类处理的结果，对包含于对象活动图像中的各帧赋予任一信道的信道名或者“未分类”的任一标签。
[0095]再分类处理由再分类部45执行。再分类处理是按照用户的操作将对象活动图像中包含的任意的帧单独分类至任意的信道的处理。具体而言，在再分类处理中，可以将通过自动分类处理未分类至任一信道的未分类的帧单独分类至特定的信道。此外，也可以将通过自动分类处理分类至错误信道的帧分类至正确的其它信道。因此，在用户感到自动分类处理的结果奇怪的情况下，可以以帧为单位来校正有问题的帧所属的信道。此外，在再分类处理中，也可以按照用户的操作，新创建信道、或者将多个信道合并为一个信道。即、再分类处理用于自动分类处理的结果的手动校正。
[0096]自动分类部41在检测到用户通过输入部20进行了规定的操作时，开始信道分离处理。在信道分离处理开始后，设定部42首先在基本画面Wl上重叠显示用于显示选择帧的区域设定窗口W3(参照图5)。区域设定窗口W3是从用户接收选择帧内的作为用于在自动分类处理中算出帧间的类似度的基准的区域的指定的画面。选择帧是包含于对象帧组中的一个帧，例如，可以设为对象帧组中沿着时间轴的最开始的帧、或者设为激活显示帧。需要注意的是，虽然根据已经描述的内容可以明确，但是，激活显示帧由于是在时间轴条T5上最新选择的帧，因此，必然包含于对象帧组。
[0097]在对象活动图像是监控摄像机的视频等的情况下，常常会在帧的画面内(在图5的例子中为左下部分)设置有日期和时刻的显示区域。并且，如果利用包含这样的日期和时刻的显示区域的帧整体的信息来判断帧间的类似度的话，则即使是属于相同信道的帧彼此，也会有被判断为类似度低的担忧。此外，在帧的画面内有时会设置有黑边。相反，在这样的情况下，如果利用包含黑边的帧整体的信息来判断帧间的类似度的话，则即使是属于不同信道的帧彼此，也会有被判断为类似度高的担忧。此外，在对象活动图像是由设置于不同电梯内的监控摄像机的视频构成的混合延时活动图像的情况下，也容易判断为属于不同信道的帧间的类似度高。这是因为电梯内的景物均比较类似。区域设定窗口W3有助于避免这样的事态，将可能成为误判断的主要因素的区域从作为类似度计算的根据的区域中排除，以使在自动分类处理中算出的帧间的类似度成为属于相同信道的正确的指标。具体而言，用户在区域设定窗口 W3的选择帧内指定对各信道的背景赋予特征的区域。以电梯的例子来进行说明，只要指定对各电梯内的景物赋予特征的拍有海报等的区域即可。用户如果在区域设定窗口 W3上通过鼠标等的操作指定了选择帧内的任意区域，则在选择帧内显示表示由用户所指定的区域的框线71。由此，用户可以确认是否指定了正确的区域。
[0098]然后，如果用户按下了区域设定窗口W3上的开始按钮72，则自动分类部41检测到该情况，开始后述的自动分类处理。此外，同时关闭区域设定窗口W3。需要注意的是，当在选择帧内未指定区域的状态下按下了开始按钮72的情况下，在自动分类处理中，帧的整个画面被用作类似度计算的根据。取消按钮73是用于取消通过区域设定窗口 W3进行的区域指定的按钮。
[0099]在自动分类处理的执行中，显示表示自动分类处理的进展情况的对话框。并且，在自动分类处理结束后，关闭该对话框，并且再分类部45开始再分类处理。关于自动分类处理的详细内容将在后面描述。再分类部45首先在基本画面Wl上重叠显示图6所示的再分类窗口 W4作为用于在自动分类处理后进行再分类的用户界面。
[0100]在再分类窗口W4上配置有信道一览区域Cl、帧一览区域C2、播放区域C3、以及时间轴条C4。在信道一览区域Cl内排列分别对应于通过自动分类处理检测到的信道的信道对象91。在图6的例子中，排列有与四个信道0101、0102、0103、0104对应的四个信道对象91。在本实施方式中，信道对象91是图标的形式。
[0101]如图6所示，在信道对象91上显示对应的信道的信道名CHOl、CH02、...。此外，在信道对象91上显示代表属于对应的信道的多个帧的代表帧的缩略图像。代表帧接收后述的用户的操作而适当切换，但默认例如属于对应的信道的帧中的、沿着时间轴的最前面的帧。需要注意的是，虽然在图6中未示出，但如果信道的数量多而无法将所有信道对应的信道对象91都配置在信道一览区域Cl内时，则会在该区域Cl内出现滚动条，从而该区域Cl得以实质上扩大。此外，在信道对象91上还显示属于对应的信道的帧的幅数。这样的帧的幅数接收后述的用户的操作而发生变化，随着该变化，信道对象91中的幅数的显示也会实时地切换。
[0102]此外，在信道一览区域Cl内除了配置有信道对象91之外，还配置有未分类对象92。未分类对象92是与汇总对象帧组中不属于任一信道的未分类帧的分类对应的对象。需要说明的是，汇总未分类的帧的分类虽然不对应于实际的信道，但是基于汇总帧的含义来说，其虚拟地构成一个信道。为此，未分类对象92具有和信道对象91类似的形式，在本实施方式中，为相同大小的图标。具体而言，在未分类对象92中，取代信道名而显示“未分类”，取代属于信道的帧的幅数而显示未分类帧的幅数。未分类对象92中的幅数的显示也随着未分类帧的幅数的变化而实时地切换。此外，在未分类对象92中也显示代表“未分类”的帧的代表帧的缩略图像。该代表帧也是接收后述的用户的操作而适当切换，但默认例如属于“未分类”的分类的帧中的、沿着时间轴的最前面的帧。在本实施方式中，在未分类对象92和信道对象91之间划有边界线93。
[0103]再分类部45从用户接收在信道一览区域Cl内从所有的信道对象91以及未分类对象92中选择任意的一个对象的选择操作。在所有的对象91、92中，当前选择了的对象以不同于其它对象的形式显示。在图6的例子中，以不同于其它对象91、92的颜色来显示信道CHOl的对象91。下面，将对应当前选择了的一个对象91、92的信道或分类称为选择信道。
[0104]在帧一览区域C2内，一览显示属于选择信道的所有帧的缩略图像94。需要注意的是，在属于选择信道的帧的幅数多而无法将所有的缩略图像94都配置在帧一览区域C2内时，则会在该区域C2内出现滚动条95，从而该区域C2得以实质上扩大。因此，用户通过切换对象91、92的选择状态，可以在帧一览区域C2内选择性地一览显不未分类的所有帧、或属于任一信道的所有帧。因此，可以在有效利用帧一览区域C2内的有限空间的同时，全部确认包含于对象帧组中的未分类及已分类的帧。特别是，根据该一览显示的形式，即使是将错误的帧分类至各信道，也易于发现该错误。需要注意的是，在本实施方式中，信道一览区域Cl内的缩略图像94可排列为多层式，随着原本的帧在时间轴上的顺序η增大，从左至右、从上至下地按时序配置。
[0105]再分类部45将属于各信道的特定的一个帧作为激活帧进行管理，并也将特定的一个未分类的帧作为激活帧来进行管理。在帧一览区域C2内，在激活帧的缩略图像94上附加围框96作为用于和其它帧的缩略图像94区别的记号。帧一览区域C2内的缩略图像94分别作为对象而被识别，用户通过点击操作等而可以从帧一览区域C2内的所有缩略图像94中选择任意的一个缩略图像94。此外，通过边按下键盘上的特定键、边反复进行点击操作的操作等，还可以同时选择多个帧一览区域C2内的缩略图像94。每当在帧一览区域C2内选择了缩略图像94时，再分类部45将选择信道的激活帧切换为最新选择的缩略图像94所对应的帧。此时，围框96的位置也进行移动。此外，激活帧与显示于信道对象91以及未分类对象92的缩略图像联动，每当各信道或分类的激活帧变更时，该信道或分类所对应的对象91、92的缩略图像也进行切换。即、在本实施方式中，各信道以及分类的代表帧与激活帧一致。
[0106]通过拖放操作，可以使帧一览区域C2内的激活帧的缩略图像94单独地移动，以使其重叠于信道一览区域Cl内的任一对象91、92上。此外，当在帧一览区域C2内同时选择了多个缩略图像94的情况下，可以使这多个缩略图像94一起移动，以使其重叠于信道一览区域Cl内的任一对象91、92上。(不过，虽说是“移动”，但在作为目标的对象91、92上释放了缩略图像94时，其像插入文件夹那样地消失。)换言之，再分类部45从用户接收将帧一览区域C2内的任意的缩略图像94与任意的信道或分类相关联的操作。在该相关联操作之后，通过该操作而被移动了的缩略图像94所对应的帧被再分类至作为该缩略图像94的移动目的地的对象91、92所对应的信道或分类。需要注意的是，与该操作所涉及的缩略图像94对应的帧原本就被分类至与该操作所涉及的对象91、92对应的信道或分类时，则忽略该操作，不进行再分类。
[0107]如图6所示，信道一览区域Cl内，在对象91、92的排列之后配置有新创建对象97。新创建对象97是用于新创建信道的对象，在本实施方式中是图标的形式。于是，不仅是针对对象91、92，针对新创建对象97也可以进行和上述的相关联操作同样的操作。具体而言，再分类部45从用户接收如下操作:S卩、通过拖放操作，使帧一览区域C2内的激活帧的缩略图像94单独移动，以使其重叠于新创建对象97上。此外，当在帧一览区域C2内同时选择了多个缩略图像94的情况下，也可以使这多个缩略图像94一起移动，以使其重叠于新创建对象97上。(不过，虽说是“移动”，但在新创建对象97上释放了缩略图像94时，其像插入文件夹那样地消失。)于是，如果进行了该相关联操作，则在新创建对象97所存在过的位置上新创建信道对象91。
[0108]新创建的信道对象91是表示将通过相关联操作而被移动了的一个或多个缩略图像94所对应的帧作为元素的新的信道的对象。换言之，通过相关联操作而被移动了的一个或多个缩略图像94所对应的帧被再分类至新的信道。因此，在刚刚新创建了信道对象91之后，所被移动了的缩略图像94只有一个的情况下，在该对象91上显示该缩略图像94。另一方面，在多个缩略图像94被移动了的情况下，这些缩略图像94中的一个(例如、最后选择的一个)显示在新创建的信道对象91上。还适当赋予并显示信道名。此外，伴随着信道对象91的新创建，新创建对象97移动至包含新创建的对象91的对象91、92的排列之后。
[0109]通过上述的各种相关联操作进行了帧的再分类之后，对应作为再分类目的地的信道或分类，对再分类后的帧重新赋予信道名CH01、CH02、...或“未分类”的标签。此外，从帧一览区域C2内删除再分类后的帧的缩略图像94。此时，在帧一览区域C2内，以填充删除了的缩略图像94所配置过的空间的方式对剩余的缩略图像94进行排队。需要注意的是，再分类后的帧中必然包含激活帧。因此，在再分类之后，选择信道的激活帧变更为沿时间轴的后面的帧中最近的帧，如果没有则变更为沿时间轴的前面的帧中最近的帧。选择信道的激活帧的变更适当反映在围框96的位置、以及对象91、92上的缩略图像的显示上。此外，重新计算属于与再分类后的帧移动前以及移动目的地的对象91、92对应的信道及/或分类的帧的幅数，并反映在对象91、92的显示上。
[0110]此外，上述的各种相关联操作还可以通过拖放操作以外的方式来实现。具体而言，如图6所示，在帧一览区域C2内的对象91、92、97上的右下部位显示有表示键盘的特定的键的字符串。再分类部45在检测到按下了对象91、92、97上所显示的特定的键时，判断为该时间点的选择信道的激活帧、即在帧一览区域C2中当前正带有围框96的帧与该特定的键所对应的对象91、92、97相关联。之后的处理和以拖放操作的方式进行了相关联操作时相同。
[0111]此外，再分类部45也可以接收用户的操作而合并多个信道(在本段落以及下一段中也包含“未分类”的分类)。具体而言，可以在信道一览区域Cl内，通过拖放操作单独地使任意的一个对象91、92移动，以使其重叠于其它任意一个对象91、92上。此外，可同时选择多个对象91、92，也可以将这多个对象91、92—起移动至其它任意一个对象91、92上。(不过，虽说是“移动”，但在作为移动目的地的对象91、92上释放了被移动的对象91、92时，其像插入文件夹那样地消失)换言之，再分类部45从用户接收将信道一览区域Cl内的任意的信道与其它任意的信道相关联的操作。在进行了该相关联操作时，与通过该操作而被移动了的对象91、92对应的信道被合并到与作为该对象91、92的移动目的地的其它对象91、92对应的信道上。
[0112]如果通过上述的相关联操作进行了信道的合并，则对属于与被移动了的对象91、92对应的信道的所有帧重新赋予与作为移动目的地的对象91、92对应的信道的信道名“未分类”、CH01、CH02、...的标签。其结果是，作为移动目的地的对象91、92成为表示合并后的新的信道的对象。作为合并后的信道的激活帧，继续使用作为移动目的地的对象91、92的激活帧。此外，再分类部45计算属于合并后的信道的帧的幅数，并反映在对象91、92上的显示上。此外，在信道一览区域Cl内使信道对象91移动了的情况下，被移动了的信道对象91消失，以填充消失了的信道对象91所配置过的空间的方式对剩余的对象91、97进行排队。在移动了未分类对象92的情况下，虽然帧的幅数变为0，但未分类对象92原样保留。
[0113]此外，在存在多个信道对象91的情况下，信道一览区域Cl内的这些对象91的排列顺序可以通过拖放操作而自由变更。例如，在图6的状态下，希望将信道CHOl的信道对象91移动到信道CH02的信道对象91的右侧时，只要将信道CHOl的信道对象91移动到信道CH02、CH03的信道对象91之间即可。
[0114]接着，对播放区域C3进行说明。播放区域C3可以将属于选择信道的帧组作为活动图像播放。如图6所示，在再分类窗口 W4上配置有播放按钮76、逐帧播放按钮77以及回放按钮78。
[0115]播放按钮76从用户接收属于选择信道的帧组作为活动图像播放的命令。再分类部45在检测到按下了播放按钮76的情况下，在播放区域C3内，以沿着时间轴依次逐帧播放的形式来显示属于选择信道的帧组中包含的帧。从按下了播放按钮76的时间点的选择信道的激活帧开始播放。此外，以对应于选择信道的帧速率来进行播放。于是，在播放过程中，播放区域C3内显示的帧依次切换，每次进行了该切换时，由再分类部45所管理的激活帧被实时更新为该切换后的帧。此外，播放按钮76从用户接收播放停止的命令。再分类部45在检测到在播放过程中按下了播放按钮76时，将播放区域C3内的显示固定在该时间点的激活帧。需要注意的是，在停止过程中，还在播放区域C3内一直显示选择信道的激活帧。因此，在停止过程中，如果通过帧一览区域C2内的缩略图像94的选择操作而变更了激活帧，则播放区域C3内的显示也实时地变更。
[0116]此外，虽然在播放过程中激活帧随时更新，但帧一览区域C2内的围框96也实时地移动至包围最新的激活帧的缩略图像94的位置。此外，这时，对应于选择信道的对象91、92的缩略图像也被实时地更新。即、播放区域C3内的显示和围框96的位置以及对象91、92的缩略图像的显示取得同步。但是，在其它实施方式中，也可以是播放过程中不取得这样的同步的构成。这种情况下，例如也可以是在播放停止了的时间点，围框96的位置才开始移动、及/或、对象91、92的缩略图像才开始更新。
[0117]逐帧播放按钮77、回放按钮78分别从用户接收将播放区域C3内的显示切换为属于选择信道的帧组中的沿着时间轴的后一个帧、前一个帧的命令。基于按钮77、78的操作的播放区域C3内的显示的变更也与激活帧的变更联动。
[0118]上述的播放功能有助于在现有的信道内发现错误分类的帧。即、人可以在播放活动图像的过程中突然出现了属于不同信道的帧的情况下，迅速发现该情况。并且，在这样的情况下，可以迅速停止播放，在帧一览区域C2内找出对应的帧的缩略图像94，并通过上述的相关联操作将该缩略图像94移动至正确的信道即可。
[0119]在再分类窗口W4上的播放区域C3的下方显示有帧速率区域C5，该帧速率区域C5用于显示选择信道的帧速率。帧速率可以通过各种方法来计算，例如、可以作为属于选择信道的帧的幅数除以属于选择信道的最前面的帧的时刻和最后面的帧的时刻之差所得的值而算出。或者，选择信道的帧速率也可以基于下面的式子而算出。
[0120](与激活时间轴对应的活动图像的帧速率)X(属于选择信道的帧的幅数)+ (属于激活时间轴的幅数)
[0121]但是，如上所述，属于选择信道的帧随着帧的再分类而发生变化。因此，每当进行了再分类时，再分类部45便重新计算选择信道的帧速率，实时地变更帧速率区域C5的显示。此外，在帧速率区域C5的附近配置有显示选择信道的信道名或分类名的信道名区域C6。因此，用户可以正确地理解播放区域C3内显示的视频属于哪个信道、以及帧速率区域C5内显示的帧速率为哪个信道的帧速率。
[0122]下面，对时间轴条C4进行说明。时间轴条C4和基本画面Wl上的时间轴条T5同样是图解地示出激活时间轴的对象。作为信道分离处理的对象的对象帧组构成激活帧组的一部分或全部。因此，在再分类窗口W4上也可以管理激活时间轴是重要的，从而配置有和基本画面Wl上的时间轴条T5相同的时间轴条C4。时间轴条C4在左右方向上延伸，并在左右方向上按激活帧组的幅数而等分割。时间轴条C4上的从左开始的第η个分割区域与激活时间轴上的第η个帧对应(η为自然数)。
[0123]再分类部45在时间轴条C4上作为表示与选择信道的激活帧对应的分割区域的记号而在该分割区域的位置显示直线83。即、直线83示出了显示于区域C3内以及区域C2的围框96内的帧在激活时间轴上的位置。此外，在时间轴条C4的下方显示有对象范围条85 ο对象范围条85和时间轴条C4同样地沿左右方向在与对象帧组所占区间对应的范围内延伸。
[0124]时间轴条C4可以在左右方向上扩大缩小。具体而言，在再分类窗口W4上配置有尺寸变更条86，尺寸变更条86是组合有滑槽61以及滑块62这两个对象的对象。滑槽61具有在左右方向上直线状延伸的槽那样的GUI，滑块62具有在滑槽61内沿左右方向滑动那样的⑶I。用户可以通过输入部20操作滑块62而使滑块62沿滑槽61在左右方向上往复移动。再分类部45根据滑槽61内的滑块62的左右方向的位置，阶段性地变更时间轴条C4的左右方向的尺寸。具体而言，随着滑块62向右侧移动，时间轴条C4的左右方向的尺寸阶段性地变短，随着滑块62向左侧移动，时间轴条C4的左右方向的尺寸阶段性地变长。需要注意的是，如果时间轴条C4的左右方向的尺寸变更，则与其成比例地，所有分割区域的左右方向的尺寸也均匀地发生变更。不过，如果滑块62到达了滑槽61内的最左的位置，则时间轴条C4变化为缩略图一览C7(参照图7)。此外，在时间轴条C4以及缩略图一览C7的左右方向的尺寸长而无法全容纳在再分类窗口W4内的情况下，则会出现在左右方向上滚动的滚动条87，用于显示时间轴条C4的区域在左右方向上得以实质上扩大。
[0125]缩略图一览C7是将属于激活时间轴的所有帧的缩略图像88排列于左右方向上而成的。因此，用户也可以在再分类窗口 W4上确认包含于激活时间轴的对象帧组以外的帧。缩略图一览C7上的从左开始第η个缩略图像88是激活时间轴上第η帧的缩略图像(η为自然数)。缩略图一览C7内，在选择信道的激活帧的缩略图像88上带有围框89来作为用于和其它缩略图像88区别的记号。
[0126]时间轴条C4以及缩略图一览C7和时间轴条Τ5同样地从用户接收激活时间轴上的任意帧的选择。换言之，用户通过点击操作等来选择时间轴条C4上的分割区域、或缩略图一览C7内的任意的缩略图像88，从而可以从激活帧组中选择任意的帧。并且，每当在时间轴条C4以及缩略图一览C7上选择了帧时，再分类部45判断该帧是否包含于对象帧组。然后，在判断为包含的情况下，将该帧所属的信道或分类切换为选择信道。同时，再分类部45将该帧切换为选择信道的激活帧。这里的选择信道以及激活帧的变更实时地反映在信道一览区域Cl、帧一览区域C2、播放区域C3、帧速率区域C5以及信道名区域C6的显示上。此外，直线83以及围框89的位置也实时地变更。
[0127]用户可以利用以上说明的各种功能，进行对象帧组中包含的多个帧的再分类。并且，在判断为再分类结束的时间点按下确认按钮Ε5。接收了该操作，再分类部45关闭再分类窗口 W4，并新创建属于新的时间轴的一个或多个活动图像。新创建的一个或多个活动图像与在再分类窗口 W4上最终定义的、用户所选择了的信道(下面称最终信道)一一对应。如图6所示，用户对最终信道的选择是通过在配置于信道对象91上的选择框98中填入选择标记来进行的。需要注意的是，在本实施方式中，选择框98的默认值是“选择”的状态。因此，用户仅针对判断为不需要创建活动图像的信道操作对应的对象91上的选择框，使其成为“非选择”的状态即可。此外，在本实施方式中，还在播放区域C3的下方配置有选择框99。选择框99是用于选择是否需要创建选择信道(但不包含“未分类”的分类)的活动图像的对象，与信道对象91上的选择框98取得同步。再分类部45判断选择框98、99的选择状态，确定最终信道。
[0128]以上述方式新创建的活动图像是将属于各自对应的最终信道的所有帧沿着新的时间轴排列而成的。此外，此时，新创建与这些新的活动图像一一对应的显示窗口 W2。进而，再分类部45创建与这些新的活动图像中包含的帧组一一对应的静止图像文件组，并保存在加工文件区域52内，作为第O次帧对待。即、至此之后，可以和取进原始图像区域51的静止图像文件组同样地处理这些新的活动图像。具体而言，可以在显示窗口 W2内同样地进行播放，同样地作为各种图像处理的对象。
[0129]需要注意的是，并未新创建与“未分类”的分类对应的活动图像。为此，在按下了确认按钮E5的时间点，再分类部45判断是否余留有未分类的帧，在有余留的情况下，也可以将该情况传达给用户。这种情况下，例如在再分类部45判断为余留有未分类的帧的情况下，使图8所示那样的确认窗口 W5显示于显示器10上。并且，等待按下“是”按钮74，则转移至上述的活动图像的新创建处理。在按下了“否”按钮75的情况下，关闭确认窗口 W5，恢复为再分类窗口W4。另一方面，在判断为未余留有未分类的帧的情况下，马上转移到上述的活动图像的新创建处理。
[0130]〈1-4.自动分类的算法〉
[0131]下面，参照图9对自动分类处理的详细情况进行说明。如上所述，自动分类处理在按下了区域设定窗口 W3上的开始按钮72时开始。下面，将构成对象帧组的多个帧表示为卩2、"_、行(1为2以上的整数)。需要注意的是，帧?1、？2、一、行的排列等于在时间轴上的排列。
[0132]首先，在步骤SI中，自动分类部41缩小对象帧组中包含的各帧FhF2VsFj的尺寸。此时，例如，既可以以帧的横及/或纵的像素数变为规定数的方式来缩小，也可以以变为原来尺寸的规定比例的尺寸的方式来缩小。并且，此时，既可以保存高宽比，也可以不保存。通过该缩小的步骤，可实现以下处理的高速化，同时降低噪声的影响。下面，缩小后的帧F1、F2、...、Fj也表不为F1、F2、...、Fj。
[0133]在接下来的步骤S2中，设定部42定义信道CH1，将帧F1分类至信道CH1。具体而言，对帧^赋予信道名CH1的标签。此外，设定部42将帧F1设定为代表属于信道(:出的帧组的基准帧Gu需要注意的是，通过后述的步骤S10，信道数可随时增加。并且，对于新创建的信道CH1,*可以设定代表属于各个信道的帧组的基准帧61(1 = 2、3、…)。
[0134]如果以上的前处理结束，则设定部42从剩下的帧F2、F3、...、Fj中沿时间轴依次选择Fj( j = 2、3、…、J)，将其设定为比较帧。另一方面，每当设定了比较帧Fj时，计算部43、判断部44以及设定部42对比较帧Fj反复进行以下的步骤S3?S10，进行与现有的基准帧G^Gs、…、Gl的比较(L是现有的信道数)。
[0135]在步骤S3中，计算部43将比较帧Fj整体分割为规定数K(K为2以上的整数)的局部区域(块(blockDD^Ds、…、DK(参照图10)。需要注意的是，当在区域设定窗口 W3上进行了区域的指定的情况下，这里所述的比较帧Fj整体是指该区域整体，在未进行指定的情况下，是指帧的整个画面。此外，局部区域D1IdK无需是将比较帧F遵个全都进行了分割，而且，也可以彼此有一部分重复。关于形状，无需是矩形，例如也可以是圆形，还可以是其它多边形。此外，关于形状、尺寸，既可以是一样的，也可以彼此不同。
[0136]在接下来的步骤S4中，计算部43将现有的信道CH^Ofe、…、CHl的基准帧GiA、...、Gl各自分割为局部区域D’^D’2、…、D’K(参照图10)。局部区域D’^D’2、…、D’K在帧的画面内被定义为分别与局部区域D^D^'Dk占据相同的位置。
[0137]下面，在步骤S5中，计算部43按照局部区域Dk、D’k(k=l、2、-_、K)的各个组合，计算出比较帧Fj和各基准帧&(1 = 1、2、...、υ的类似度(下面称为局部类似度)Ylk。即、局部类似度Yu是比较帧Fj的局部区域Dk和基准帧Gl的局部区域D’k的类似度。在本实施方式中，算出被称为归一化互相关(ZNCC(零均值归一化互相关))的相关系数，但是，在其它实施方式中，也可以算出被称为NCC的相关系数、被称为SDD、SAD的类似度等其它类似度。
[0138]下面，在步骤S6中，计算部43算出比较帧Fj和各基准帧Gi(l= 1、2、...、υ在整个帧中的类似度(下面称为综合类似度)B1。具体而言，计算部43针对各1(1 = 1、2、...α)判断局部类似度Yik高的局部区域Dk、D’k。此时，例如既可以将局部类似度Yik在上位规定比例内的区域判断为高，还可以将局部类似度Yik大于规定阈值的区域判断为高。并且，关于各1(1 =
1、2、…、L)，计算部43仅利用整个帧中局部类似度Ylk高的局部区域Dk、D’k来再次算出比较帧Fj和基准帧Gi的类似度，将其作为综合类似度Βι(参照图10)。在本实施方式中，也是算出归一化互相关(ZNCC)作为综合类似度扮，但是，也可以和局部类似度Ylk同样地算出其它类似度。此外，综合类似度B1和局部类似度Ylk可以通过不同的方法算出。
[0139]如上所述，在本实施方式中，在计算综合类似度Bi时，并未考虑局部类似度Yik低的局部区域Dk、D’k的信息，这是基于下面的理由。即，这是由于:相同信道的帧之间其背景图像一致，但在移动体部分则为不同的图像。并且，在移动体部分占帧整体的比例大的情况下，如果利用帧整体的信息来判断综合类似度B1,则即使是相同信道的帧，综合类似度B1也会变低。因此，这里，为了避免误判断，被认为包含很多移动体部分的局部类似度Yik低的局部区域Dk、D’k不用于综合类似度B1的计算。其结果是，可以降低移动体的影响，能够正确地判断所比较的帧彼此是否属于相同的信道。
[0140]在接下来的步骤37中，判断部44判断在步骤36中算出的综合类似度扮、82、‘"、81中最大的综合类似度，判断该最大的综合类似度是否大于规定的阈值。然后，在判断为大于规定的阈值的情况下，处理进入步骤S8，在判断为是规定的阈值以下的情况下，处理进入步骤SlOo
[0141 ]在步骤S8中，判断部44判断比较帧Fj属于信道CHmax JAX是提供最大综合类似度Bi的I的值。具体而言，判断部44对比较帧Fj赋予信道名CHmax的标签，将比较帧Fj分类至信道CHmax。由此，比较帧Fj和属于信道CHmax的帧组属于相同的信道。
[0142]在步骤S8之后，处理进入步骤S9。在步骤S9中，设定部42更新信道CHmm的基准帧Gmax。具体而言，设定部42将比较帧Fj和现有的基准帧Gmax合成来作为新的基准帧Gmax。在本实施方式中，作为合成的方式，采用了比较帧Fj的权重大于现有的基准帧Gmax这样的加权平均。这样，代表属于信道CHmax的帧组的基准帧Gmm成为权重置于更近的帧的合成图像。其结果是，在判断帧间的信道的异同时，可以应对时序的变化。需要注意的是，在其它实施方式中，也可以将比较帧Fj原样设定为新的基准帧Gmm。此外，也可以省略步骤S9而不进行基准帧Gmax的更新。
[0143]另一方面，步骤SlO是在步骤S6中算出的综合类似度均被判断为在规定的阈值以下时执行的步骤。换言之，步骤SlO是在比较帧Fj和任一个信道(^的基准帧不类似时执行的步骤。在步骤SlO中，设定部42在现有的信道CH1XH2VXHl的基础上，定义新的信道CHL+1，将比较帧Fj分类至该信道CHL+1。具体而言，对比较帧Fj赋予新的信道名CHL+1的标签。此外，设定部42将比较帧Fj设定为代表属于新的信道咖+1的帧组的基准帧Gl+1。
[0144]如果针对所有的帧F^Fh...、Fj的步骤S3?SlO结束，则处理进入步骤Sll。在步骤S11中，进行现有的信道CH1、CH2、…、CHl的校正。具体而言，计算部43循环(総当化⑴算出基准帧GhG2V^GU司的帧整体的类似度。需要注意的是，这里所说的帧整体和步骤S3—样，当在区域设定窗口 W3上进行了区域的指定的情况下，指该区域整体，在未进行指定的情况下，指帧的整个画面。此外，在本实施方式中，和步骤S5、S6—样，算出归一化互相关(ZNCC)作为类似度，但也可以算出其它类似度。此外，类似度也可以通过与综合类似度B1以及局部类似度Yik不同的方法来计算。于是，如果这些类似度中有超过规定阈值的类似度，则判断部44将提供这样的类似度的基准帧G1所对应的信道CH1彼此合并为一个信道。具体而言，对属于合并的信道(:出的所有帧Fj再次赋予相同信道名的标签。需要注意的是，这里，也有三个以上的信道CH1合并为一个的情况。
[0145]进而，在即使进行了上述的信道合并还是存在仅包含一个帧的信道(^出的情况下，判断部44消除(消滅)该信道CHu具体而言，判断部44对属于消除的所有信道CH1的帧Fj再次赋予“未分类”的标签。需要注意的是，在本实施方式中，仅包含一个帧Fj的信道CH1*消除的对象，但是，这样的基准值也可以是两个、三个、…。此外，也可以事先对可创建的信道数设置上限。这种情况下，为了信道数不超过上限，可以从帧Fj的幅数少的信道开始消除。
[0146]基于上述的处理，最终创建的信道的信道名CH1中包含的数值不是连续编号的可能性高。于是，判断部44依次对最终创建的信道CHi重新赋予CHOl、CH02、…的信道名，用这些新的信道名来更新赋予了各帧Fj的标签。并且，在此之后，自动分类处理结束。
[0147]〈2.第二实施方式〉
[0148]下面，对本发明的第二实施方式进行说明。图11示出了第二实施方式所涉及的自动分类处理的流程，第二实施方式和第一实施方式仅是自动分类的算法不同。此外，比较图9以及图11可知，两个自动分类处理的不同点仅在于在第二实施方式中，取代步骤S4?S6而插入了步骤S24?S26这点。因此，下面，为了简单起见，仅对该不同点进行说明。
[0149]在第二实施方式中，在执行了和第一实施方式一样的步骤SI?S3之后，执行步骤S24。在步骤S24中，计算部43在比较帧Fj的各局部区域内检测特征点。此时，优选在各局部区域D1、D2、…、Dk内检测出的特征点的数量为相同数量。下面，将比较帧Fj内的特征点表示为P1、P2、…、Pu(U为2以上的整数)。
[0150]计算部43在比较帧6内于各特征点?11(11=1、2、-_、1])附近设定局部区域￥11(参照图12)。局部区域Vu是以特征点Pu为中心的规定尺寸的区域。并且，计算部43针对现有的信道011、012、"_、01的基准帧61、62、"_、6[各自设定局部区域￥’1、￥’2、"_、￥’11(参照图12)。局部区域V’1、V’2、…、V’u被定义为在帧的画面内分别占据和局部区域V1、V2、"_、Vu相同的位置。
[0151]如上所述，在本实施方式中，以局部区域D1、D2、-_、Dk为单位从比较帧Fj中检测特征点Ρι、Ρ2、...、Ρυ。其结果是，特征点Ρι、Ρ2、...、Ρυ不会偏于比较帧Fj的画面整体的一部分区域，而是从比较帧Fj整体之中大致均等地检测。
[0152]接着，在步骤S25中，计算部43按照局部区域Vu、V’u(u = 1、2、…、U)的各个组合，算出比较帧Fj和各基准帧Gi(I = 1、2、…、L)的局部类似度Yiuο即、局部类似度Yiu是比较帧Fj的局部区域Vu和基准帧61的局部区域V’u的类似度。需要说明的是，第一以及第二实施方式中的局部类似度在均表示局部区域上的类似度这一点上是共同的，因此，采用相同的标号Y来表不。此外，在本实施方式中，算出被称为归一化互相关(ZNCC)的相关系数，但和第一实施方式一样，也可以算出其它类似度。
[0153]接着，在步骤S26中，计算部43算出比较帧Fj和各基准帧Gi(I= 1、2、…、L)在帧整体中的综合类似度仏。需要说明的是，第一以及第二实施方式中的综合类似度在均表示帧整体上的类似度这一点上是共同的，因此，采用相同的标号B来表示。具体而言，关于各1(1 =
1、2、…、L)，计算部43判断局部类似度Ylu高的局部区域VU、V’U。此时，例如既可以将局部类似度Yiu在上位规定比例内的区域判断为高，也可以将局部类似度Yiu大于规定阈值的区域判断为高。然后，关于各1(1 = 1、2、…、L)，仅利用整个帧中局部类似度Yiu高的VU、V’U，来再次算出比较帧Fj和基准帧6:的类似度，将其作为综合类似度仏。在本实施方式中，也是算出归一化互相关(ZNCC)作为综合类似度仏，但也可以和第一实施方式同样地算出其它类似度。此外，在本实施方式中，综合类似度B1和局部类似度Ylu也可以通过不同的方法计算。
[0154]通过上述的步骤S26算出综合类似度&32、…、Bl。其后的处理流程和第一实施方式相同。
[0155]如上所述，在本实施方式中，在计算综合类似度时，不考虑特征点P1、P2、…、Pli附近的局部区域ν2、...、νυ以外的区域的信息。这是因为，即使是不同信道的帧之间，如果它们是拍摄了相似景象的帧，在采用帧整体的信息来判断综合类似度出的情况下，综合类似度B1也会升高。例如，在拍摄了同一店内的不同场所的两个视频中，有时都是相同的均匀色壁纸、床等占据了帧的大部分，在这样的情况下，综合类似度B1增高。因此，这里，为了避免误判断，拍有相同的均匀色壁纸、床等背景的可能性高的区域、即特征点PhPyJLi附近以外的区域不用于综合类似度B1的计算。其结果是，可以降低相似背景的影响，正确地判断所比较的帧彼此是否属于相同的信道。
[0156]进而，在本实施方式中，在计算综合类似度扮时，局部类似度Ylu低的局部区域Vu、V’u的信息也不考虑。这是因为，在移动体部分占帧整体的比例大的情况下，如果利用帧整体的信息来判断综合类似度B1，则即使是相同信道的帧彼此，综合类似度出也会降低。因此，这里，为了避免误判断，被认为包含很多移动体部分的局部类似度Yiu低的局部区域VU、V’U不用于综合类似度B1的计算。其结果是，可以降低移动体的影响，能够正确地判断所比较的帧彼此是否属于相同的信道。
[0157]〈3.第三实施方式〉
[0158]下面，对本发明的第三实施方式进行说明。图13示出了第三实施方式所涉及的自动分类处理的流程，第三实施方式和第一以及第二实施方式仅是自动分类的算法不同。此夕卜，比较图13以及图9可知，第一以及第三实施方式所涉及的自动分类处理的不同点仅在于在第三实施方式中，取代步骤S5、S6而插入了子程序S30这一点。因此，下面，为了简单起见，仅对该不同点进行说明。
[0159]如上所述，在第一以及第二实施方式中，算出相关系数作为帧间的类似度，但在第三实施方式中，则基于帧的色彩倾向来评价帧间的类似度。此外，作为帧的色彩倾向，综合考虑帧画面内的整体的色彩倾向、和帧画面内的局部的色彩倾向。下面，进行具体说明。
[0160]首先，在第三实施方式中，执行和第一实施方式一样的步骤SI?S4，接着，执行子程序S30。子程序S30是评价表示帧画面内的局部或整体的色彩倾向的各种颜色指标的处理，在图17中示出其详细情况。特别是在子程序S30包含的步骤S31?S33中，考虑浓度，在步骤S34?S38中，考虑彩度，在步骤S39?S43中，考虑色相。需要注意的是，虽然在步骤S31?S33中考虑浓度，但也可以取代浓度而采用明度、辉度。此外，在子程序S30所包含的步骤S44?46中，考虑帧的整体的印象度。
[0161]首先，在步骤S31中，计算部43算出比较帧Fj整体的平均浓度Hd。需要注意的是，在区域设定窗口W3上进行了区域的指定的情况下，这里所述的比较帧Fj整体是指该区域整体，在未进行指定的情况下，是指帧的整个画面。此外，计算部43算出比较帧Fj内的各局部区域Dk(k = 1、2、…、K)中的平均浓度Edk。需要说明的是，平均浓度是以作为对象的区域内的所有像素的浓度的平均值而算出的，各像素的浓度是以该像素的RGB值的平均值而算出的。接着，计算部43针对各局部区域Dk(k= 1、2、…、K)，在浓度Edk>浓度Hd的情况下，赋予“I”的值，在浓度EdK浓度Hd的情况下，赋予“O”的值(参照图14)。需要注意的是，该T、“O”是表示局部区域的浓度以帧整体为基准是相对高还是低的指标，是与浓度(明亮度)相关的表示局部的色彩倾向的颜色指标(下面，称为浓度指标)。
[0162]在接下来的步骤S32中，计算部43对现有的信道CH1、CH2、…、CHl的基准帧6!、G2、…、Gl各自执行和步骤S31相同的处理。即、关于各1(1 = 1、2、…、L)，计算部43针对基准帧G1内的各局部区域D’k(k=l、2、-_、K)算出浓度指标(参照图14)。需要注意的是，如图13以及图17所示，步骤S32被反复执行，因此，关于已算出浓度指标的基准帧G1,则参照该值而省略新的计算处理。
[0163]在接下来的步骤S33中，计算部43基于在步骤S31、S32中算出的浓度指标，算出比较帧Fj和各基准帧Gi(l = 1、2、...、υ之间的类似度Bdi。具体而言，计算部43算出比较帧Fj内的浓度指标的分布型式(分布K夕一V)和各基准帧Gi内的浓度指标的分布型式的类似度来作为类似度Bdu在本实施方式中，计数“I”、“O”的浓度指标不一致的局部区域Dk、D’k的组合的数量，将该计数值除以局部区域的数量K后所得的值的平方值作为类似度BcU(参照图14)。需要注意的是，这里，进行用到了局部区域的数量K的除法运算是为了将类似度Bd1维持在O?I之间的值，进行归一化。此外，步骤S33、以及后述的步骤S38、S43中算出的类似度为越类似则越小的值。基于该含义，这些类似度也可以作为非类似度。
[0164]但是，图像的构图是基于画面内的多个元素的配置而确定的。而且，单纯点说，很多图像为大致分为表示关注物体的区域和表示其背景的区域的构图。即、可以认为浓度指标为“I”的区域和为“O”的区域，一方表示关注物体，另一方表示其背景。基于该想法，可以说，比较帧Fj内的浓度指标的分布型式表示比较帧Fj的构图，基准帧Gi内的浓度指标的分布型式表示基准帧&的构图。因此，可以说，类似度Bd1表示比较帧Fj及基准帧&间的构图的类似度。
[0165]在接下来的步骤S34中，计算部43基于比较帧Fj内的浓度指标的分布型式，将比较帧Fj分割为两个局部区域R1、R2(参照图15)。局部区域&是结合了所有比较帧Fj内浓度指标为“I”的局部区域Dk的区域，局部区域R2是结合了所有比较帧Fj内浓度指标为“O”的局部区域Dk的区域。即、在步骤S34中，基于比较帧Fj的构图，将比较帧Fj分割为表示关注物体的区域和表示其背景的区域。
[0166]在接下来的步骤S35中，和步骤S34—样，计算部43基于现有的信道CH1、CH2、…、CHl的基准帧G1、G2、"_、Gl各自中的浓度指标的分布型式，将基准帧G1、G2、"_、Gl各自分割为局部区域R’1、R’2(参照图15)。局部区域IT1是结合了所有基准帧G1内浓度指标为“I”的局部区域D’k的区域，局部区域R’2是结合了所有基准帧G1内浓度指标为“O”的局部区域D’k的区域。SP、在步骤S35中，基于基准帧G1的构图，将基准帧G1分割为表示关注物体的区域和表示其背景的区域。
[0167]在接下来的步骤S36中，计算部43针对比较帧Fj内的局部区域R^R2各自算出对应RGB的三个平均值。接着，计算部43基于局部区域仏中的对应RGB的三个平均值，算出局部区域仏的彩度，并基于局部区域R2中的对应RGB的三个平均值，算出局部区域他的彩度。接着，计算部43算出局部区域仏、1?2间的相对的彩度(下面，称为相对彩度)。相对彩度是作为局部区域R1的彩度和局部区域R2的彩度之差的绝对值而算出的。相对彩度是与彩度相关的表示色彩倾向的颜色指标(下面，称为彩度指标)。
[0168]在接下来的步骤S37中，计算部43针对现有的信道CH1XH^…、CHl的基准帧G1、G2、"_、Gl各自执行和步骤S36相同的处理。即、关于各1(1 = 1、2、…、L)，计算部43算出基准帧G1内的各个局部区域R’1、R’2的彩度，并算出作为这些的差的绝对值的相对彩度。需要注意的是，如图13以及图17所示，步骤S37被反复执行，因此，关于已经算出相对彩度的基准帧G1，则参照该值而省略新的计算处理。步骤S35也可以同样地省略。
[0169]在接下来的步骤S38中，计算部43算出在步骤S36、S37中算出的比较帧Fj的相对彩度与各基准帧Gi(I = 1、2、…、L)的相对彩度的类似度Bsiο在本实施方式中，类似度Bsi是作为两相对彩度之差除以255后所得的值的平方值而算出的。需要说明的是，这里，进行除以255的除法运算是为了将类似度Bs1维持在O?I之间的值，进行归一化。
[0170]在接下来的步骤S39中，计算部43将比较帧Fj分割为主区域O1以及副区域O2两个区域。具体而言，在通过步骤S34算出的局部区域仏、1?2中，将面积更宽的区域设定为主区域(h、将更窄的区域设定为副区域02(参照图16)。即、步骤S39基于比较帧Fj的构图，将比较帧匕分割为表示关注物体的区域和表示其背景的区域。
[0171 ]在接下来的步骤S40中，和步骤S39—样，计算部43将基准帧6!、G2、…、Gl各自分割为主区域(T1以及副区域0’2两个区域。具体而言，在通过步骤S35算出的局部区域R’^R’2中，将面积更宽的区域设定为主区域O、、将更窄的区域设定为副区域0’2(参照图16)。即、在步骤S40中基于基准帧G1的构图，将基准帧G1分割为表示关注物体的区域和表示其背景的区域。
[0172]在接下来的步骤S41中，计算部43算出主区域O1的平均色相，并算出副区域O2的平均色相。需要说明的是，该平均色相是与色相相关的表示局部的色彩倾向的颜色指标(下面，称为色相指标)，是以作为对象的区域内的所有像素的色相的平均值而算出的。
[0173]在接下来的步骤S42中，计算部43对现有的信道CH1、CH2、…、CHl的基准帧6!、G2、…、Gl各自执行和步骤S41相同的处理。即、关于各1(1 = 1、2、…、L)，计算部43针对基准帧G1内的各个区域Ο?’2算出色相指标。需要注意的是，如图13以及图17所示，步骤S42被反复执行，因此，关于已经算出色相指标的基准帧G1,则参照该值而省略新的计算处理。步骤S40也可以同样地省略。
[0174]在接下来的步骤S43中，计算部43算出比较帧Fj内的主区域O1中的色相指标与各基准帧Gi(l = 1、2、…、L)内的主区域O’冲的色相指标的类似度Bhn。在本实施方式中，类似度Bh11是作为主区域&、()、的色相指标之差除以180后所得的值的平方值而算出的。此外，计算部43算出比较帧Fj内的副区域O2中的色相指标与各基准帧Gi(I = 1、2、…、L)内的副区域O ’ 2中的色相指标的类似度Mm ο具体而言，将副区域O2、O ’ 2的色相指标之差除以180后所得的值的平方值作为类似度Mm。需要说明的是，这里，进行除以180的除法运算是为了将类似度Bhn、Bh2I维持为O?I之间的值，进行归一化。
[0175]接下来的步骤S44?S46是评价表示帧的画面内的整体的色彩倾向的颜色指标的步骤。在本实施方式中，为了评价帧的画面内的整体的色彩倾向，定义有各种印象度ZyAa为2以上的整数)。需要注意的是，用于定义这些印象度ZhZyJ1的各种信息存储在软件管理区域50内的印象度定义区域53内。
[0176]下面，对印象度Z1(I= Id^a)进行说明。各印象度Z1与一个或多个颜色条件相关联，这些颜色条件中定义有权重。需要说明的是，与相同的印象度Z1相关联的一个或多个颜色条件的权重合计为I。图18示出了印象度Z1 “自然”的例子，印象度自然”与“绿色”、“棕色”以及“米色”三个颜色条件相关联。此外，对“绿色”、“棕色”以及“米色”三个颜色条件分别赋予了 0.5、0.25、0.25的权重。如图18所示，各颜色条件中定义有对于浓度(明度)、彩度以及色相的值的评价值。这里，在提供了某像素的情况下，在导出对应该像素的浓度、彩度以及色相的值的评价值之后，将这些评价值相乘，从而算出各颜色条件的值。然后，该像素的印象度Zi的值作为对各颜色条件的值附加上述的权重并相加而得的值来算出。
[0177]在步骤S44中，计算部43算出比较帧Fj的帧整体上的各印象度Zi(i= 1、2、…、I)的值。需要注意的是，当在区域设定窗口 W3上进行了区域的指定的情况下，这里所述的帧整体是指该区域整体，在未进行指定的情况下，是指帧的整个画面。具体而言，关于各i(i = l、
2、…、I)，计算部43针对比较帧Fj的整个帧中包含的各像素算出印象度?,的值，并算出这些值的平均值，将该平均值作为帧整体上的印象度?,的值。需要说明的是，帧整体上的印象度冗工的值是与印象度&相关的表示帧整体上的色彩倾向的颜色指标(下面，称为印象指标)。
[0178]在接下来的步骤S45中，计算部43对现有的信道CH1、CH2、…、CHl的基准帧6!、G2、…、Gl各自执行和步骤S44相同的处理。即、关于各1(1 = 1、2、…、L)，计算部43针对各个印象度Z1、Z2、…、Z1，算出基准帧Gi的印象指标。需要注意的是，如图13以及图17所示，步骤S45被反复执行，因此，关于已经算出印象指标的基准帧G1,则参照该值而省略新的计算处理。
[0179]在接下来的步骤S46中，计算部43基于印象度Z^Zs、…、Z1，算出比较帧Fj与各基准帧61(1 = 1、2、...、。在帧整体上的类似度Bi1。具体而言，关于各1(1 = 1、2、...、υ以及各i(i=1、2、…、I)，计算部43算出比较帧Fj在帧整体上的印象度Zi的值与基准帧Gi在帧整体上的印象度Z1的值之差的平方值。然后，关于各1(1 = 1、2、…、L)，算出I减去这I个平方值的合计值的平方根(一维的印象度空间内的比较帧Fj和基准帧61的距离)所得的值，将其作为类似度 Bii。
[0180]然后，在步骤347中，计算部43基于已经算出的类似度8(11、881、81111、81121、8丨1(1 =
1、2、…、L)，算出比较帧Fj和各基准帧Gi(l = 1、2、...α)的类似度(下面，称为综合类似度)B1。需要注意的是，第一以及第三实施方式中的综合类似度在均表示帧整体上的类似度这一点上是共同的，因此，采用相同的标号B来表示。在本实施方式中，关于各1(1 = 1、2、…、1^)，计算部43在算出1减去8(11』81』1111』1121的合计值的平方根(关于四个指标的四维空间内的比较帧Fj和基准帧61的距离)所得的值(构图比较结果)之后，将该值和Bi1(印象比较结果)相乘后所得的值作为综合类似度B1。需要注意的是，在其它实施方式中，也可以采用不同的方法，例如，也可以是，对构图比较结果及/或印象比较结果乘以适当的系数、或者对其加上或减去适当的值之后，将两值相乘。或者，也可以是，在附加适当系数的同时，将I 一 Bd1的平方根、1-Bsi的平方根、1-Bhn的平方根、1-Bh2I的平方根、Bii相加后所得的值作为综合类似度Bi。
[0181]通过上述的步骤S47算出综合类似度&32、…、Bl。之后的处理流程与第一实施方式相同。
[0182]〈4.用途〉
[0183]图像处理程序2可以对多种多样的活动图像进行图像处理，例如、在警察局等机构为了案件侦查而解析监控摄像机的监控视频的情形下也可以被利用。例如、在同一个店铺内往往设置了多个监控摄像机，但是，这些监控视频通常是以混合延时活动图像的形式来记录的。于是，在这样的情况下，如果使用设置有监控摄像机的店铺内的专用设备，则可以分离混合延时活动图像中包含的各信道，但是，在警察局等处，由于不拥有对应各厂家的各机型的专用设备，从而播放困难。因此，不管活动图像的方式如何均可以将混合延时活动图像分离为按照各个信道的活动图像的上述时间轴分离处理可以在这样的情形下得以有效利用。
[0184]〈5.变形例〉
[0185]以上，对于本发明的一个实施方式进行了说明，但是，本发明并不限定于上述实施方式，在不脱离其宗旨的范围内，可以有各种变更。例如、可以进行下面的变更。
[0186]〈5-1〉
[0187]上述实施方式中的再分类窗口W4也可以由多个窗口构成。
[0188]〈5-2〉
[0189]在上述实施方式中，通过切换选择信道，在帧一览区域C2内，帧组以信道或分类的单位进行切换显示。但是，也可以针对多个信道以及“未分类”的分类各自设置用于一览显示帧组的帧一览区域。在该情况下，为了有效地使用画面空间，优选在各帧一览区域内缩略显示帧组，进而，优选沿时间轴排列缩略图像组。此外，在该情况下，可以省略图标形式的信道对象91以及未分类对象92，将各信道用的帧一览区域作为用于相关联操作的信道对象来使用，并且，将“未分类”的分类用的帧一览区域作为用于相关联操作的未分类对象来使用。即、也可以构成为，从“未分类”的帧一览区域中选择任意的帧，将其拖放至信道用的任意的帧一览区域(信道对象)，从而能够将该帧分类至与该区域对应的信道。使信道所包含的帧移动至其它信道或分类时也是同样。
[0190]或者，也可以是，设置用于一览显示“未分类”的帧组的帧一览区域、和用于一览显示属于信道的帧组的帧一览区域，使“未分类”的帧组总是在前者的区域内显示。在该情况下，在后者的区域内，可以仅一览显示属于当前选择的信道的帧组。
[0191]〈5-3〉
[0192]在第三实施方式中，定义了各种颜色指标，这些颜色指标进行各种组合而定义了综合类似度B1，但是，既可以通过其它方式来定义颜色指标，也可以通过其它方式来组合颜色指标而定义综合类似度Bu例如，在第三实施方式中，基于浓度相关的颜色指标来确定构图，但是，例如也可以基于色相及/或彩度相关的颜色指标来确定构图。此外，基于局部区域R^R2之间的相对彩度算出了类似度Bs1，但也可以将局部区域RhR、之间的绝对彩度差、局部区域R2、R’2之间的绝对彩度差作为类似度Bsu此外，也可以算出局部区域RhRhi间的浓度差、局部区域R2、R’2之间的浓度差作为类似度，并采用于综合类似度出中。
[0193](5-4)
[0194]在上述实施方式中，构成为:可以在刚开始信道分离处理之后，显示区域设定窗口W3，进行用于避免误判断的区域设定。但是，也可以不显示这样的区域设定窗口 W3而使得不能进行这样的区域设定。或者，也可以是，虽然在刚开始信道分离处理之后不显示区域设定窗口 W3，但在再分类窗口 W4上准备用于在进行了区域设定之后命令自动分类处理的再运行的按钮。在该情况下，用户仅在未设定区域而进行的自动分类处理的结果不恰当(误判断多)的情况下，按下上述按钮，使区域设定窗口 W3显示。于是，可以在进行了区域设定之后，再次执行自动分类处理。或者，也可以在刚开始信道分离处理之后显示区域设定窗口 W3，并在设定了区域的状态下执行自动分类处理的同时，进而还在再分类窗口 W4上准备上述的按钮。
[0195]〈5-5〉
[0196]在上述实施方式的步骤S9中，将通过加权平均对比较帧Fj和现有的基准帧Gmm进行合成的结果作为新的基准帧Gmm。但是，基准帧Gmax的更新方法并不限定于此。例如，关于各像素，也可以创建信道CHmax所包含的所有帧(也包含该时间点的比较帧Fj)的像素值的柱状图，将成为众数(最頻)的像素值作为基准帧Gmm的该像素的像素值。或者，将成为柱状图中的中值的像素值作为基准帧Gmax的该像素的像素值。
[0197]〈5-6〉
[0198]在上述实施方式中，也可以是，在紧接着步骤SlO之后等判断信道数L是否达到了一定数量以上，在判断为达到了一定数量以上的情况下，进行和步骤Sll同样的现有的信道的校正处理。这是因为，如果信道数L增加过多，则处理负荷会加重。不过，优选即使存在幅数为I的信道，如果该一个帧距离当前选择的比较帧Fj在时间上为一定值以内的远近，则不进行该信道的删除。这是因为，该信道是最近创建的信道，此后出现分类至该信道的帧的可能性高。需要注意的是，在光进行了上述那样的信道的删除，而信道数L超过了一定值的情况下，信道数为2以上的信道、3以上的信道也可以依次作为删除的对象，使信道数保持在一定数以下。
[0199]附图标记说明
[0200]I图像处理装置2图像处理程序
[0201]41自动分类部42设定部
[0202]43计算部44判断部
[0203]45再分类部91信道对象
[0204]92未分类对象C3播放区域
[0205]W4再分类窗口(再分类画面)
【主权项】
1.一种图像处理装置，用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理装置包括: 自动分类部，通过对包含在所述活动图像中的多个帧实施图像处理，从而算出帧间的类似度，并根据所述类似度，将所述多个帧分类至多个信道;以及 再分类部，自用户接收将未被所述自动分类部自动分类的未分类帧单独地与所述多个信道中任一信道相关联的相关联操作，并按照所述相关联操作的内容，将所述未分类帧单独分类至所述多个信道中的任一个信道。2.根据权利要求1所述的图像处理装置，其中， 所述再分类部显示再分类画面，所述再分类画面显示所述未分类帧、以及多个信道对象，所述多个信道对象是分别与所述多个信道对应的对象， 所述相关联操作是在所述再分类画面上对所述未分类帧指定所述多个信道对象中任一信道对象的操作。3.根据权利要求2所述的图像处理装置，其中， 所述信道对象显示代表属于对应信道的帧组的代表图像。4.根据权利要求2或3所述的图像处理装置，其中， 所述再分类画面一览显示所述未分类帧。5.根据权利要求4所述的图像处理装置，其中， 所述再分类画面还显示未分类对象，所述未分类对象是与汇总所述未分类帧的分类对应的对象， 所述再分类部自用户接收从包含所述多个信道对象以及所述未分类对象的对象组中选择一个对象的选择操作，并在所述再分类画面上的规定的一览显示区域内一览显示属于与通过所述选择操作而当前选择的对象对应的信道或分类的帧组。6.根据权利要求2至4中任一项所述的图像处理装置，其中， 所述再分类部自用户接收从包含所述多个信道对象的对象组中选择一个对象的选择操作，并在所述再分类画面上的规定的一览显示区域内一览显示属于与通过所述选择操作而当前选择的所述信道对象对应的信道的帧组。7.根据权利要求5或6所述的图像处理装置，其中， 当在所述一览显示区域内一览显示有属于所述多个信道中任一信道的帧组的情况下，所述再分类部自用户接收将该一览显示的帧组中包含的帧单独地与所述多个信道中任一信道相关联的操作，以将该操作所涉及的帧分类至该操作所涉及的信道。8.根据权利要求2至7中任一项所述的图像处理装置，其中， 所述再分类部自用户接收从包含所述多个信道对象的对象组中选择一个对象的选择操作，并在所述再分类画面上的规定的播放区域内将属于与通过所述选择操作而当前选择的对象对应的信道的帧组作为活动图像进行播放。9.根据权利要求2至8中任一项所述的图像处理装置，其中， 所述相关联操作包括在所述再分类画面上将所述未分类帧拖放至所述多个信道对象中任一信道对象、或者将所述多个信道对象中任一信道对象拖放至所述未分类帧的操作。10.根据权利要求2至9中任一项所述的图像处理装置，其中， 所述再分类画面以按时序排列的方式一览显示属于所述各信道的帧组。11.根据权利要求1至10中任一项所述的图像处理装置，其中， 所述再分类部显示表示分别与所述多个信道对应的操作键的信息， 所述相关联操作包括所述操作键的操作。12.根据权利要求1至11中任一项所述的图像处理装置，其中， 每当所述未分类帧被分类至所述多个信道中任一信道时，所述再分类部重新计算所述帧速率。13.根据权利要求1至12中任一项所述的图像处理装置，其中， 所述再分类部自用户接收进行包含在所述多个信道中的两个以上的信道的合并的命令，并响应所述合并的命令，将所述两个以上的信道合并。14.根据权利要求1至13中任一项所述的图像处理装置，其中， 所述再分类部自用户接收进行通过所述自动分类部自动创建的所述多个信道以外的信道的创建的命令，并响应所述创建的命令，新创建信道。15.—种图像处理程序，用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理程序使计算机执行以下步骤: 通过对包含在所述活动图像中的多个帧实施图像处理而算出帧间的类似度的步骤； 根据所述类似度将所述多个帧分类至多个信道的步骤； 自用户接收将未被自动分类的未分类帧单独地与所述多个信道中任一信道相关联的相关联操作的步骤;以及 按照所述相关联操作的内容将所述未分类帧单独分类至所述多个信道中的任一个信道的步骤。16.—种图像处理方法，用于在属于不同的信道的帧混在一个活动图像内的情况下，按各个所述信道对所述帧进行分类，所述图像处理方法包括: 通过对包含在所述活动图像中的多个帧实施图像处理而算出帧间的类似度的步骤； 根据所述类似度将所述多个帧分类至多个信道的步骤； 自用户接收将未被自动分类的未分类帧单独地与所述多个信道中任一信道相关联的相关联操作的步骤;以及 按照所述相关联操作的内容将所述未分类帧单独分类至所述多个信道中的任一个信道的步骤。
【文档编号】H04N5/225GK105981371SQ201580007342
【公开日】2016年9月28日
【申请日】2015年1月20日
【发明人】中川由美子, 中野智生, 村田由纪子
【申请人】诺日士精密株式会社