专利名称：联合摄像机构成的监视装置的制作方法
技术领域：
本发明涉及一种使用多台监视摄像机和图像处理装置来自动检测侵入物体、并在画面上放大显示的监视装置。
背景技术：
近些年来，在监视领域，不仅出现了在画面上显示从摄像机传来的图像信号的系统，而且出现了通过利用图像处理装置来分析所述信号，确定发生异常的位置，对监视者提示其附近的系统。
作为这样的现有技术的一个例子，例如有在特开平11-69342号公报(日本专利公开号69342/1999)中所示出的例子。该专利文献中公开了下述系统为了检测侵入物，利用具有广域视野的透镜的摄像机，将能进行摇摄(左右)、俯仰(上下)、变焦(视场角)控制的旋转摄像机对着利用图像处理确定的侵入物体之位置，由此在画面上放大显示侵入物体的侵入物体跟踪图像处理系统。
下面，利用图1，简单说明专利文献1的监视系统。图1是表示已有的侵入物体跟踪图像处理系统的构成的方框图。该系统由下列部分构成具有广域视野透镜的广域摄像用摄像机1001；能够进行摇摄、俯仰、变焦控制的旋转摄像机1002；分析图像信号，根据分析结果输出控制旋转摄像机1002的信号的图像处理装置1003；显示广域摄像用摄像机的图像信号的监视器1004；显示旋转摄像机的图像信号的监视器1005。
广域摄像用摄像机1001用于侵入物体的检测，将图像信号输出到图像处理装置1003和监视器1004。旋转摄像机1002用于侵入物体的放大显示，根据从图像处理装置1003输入的控制信号进行旋转移动和视场角调整，将图像信号输出到监视器1005。图像处理装置1003由进行侵入物体的跟踪的侵入物体跟踪单元1006，和生成对旋转摄像机1002输出的控制信号的控制单元1007构成。侵入物体跟踪单元1006，利用从广域摄像用摄像机1001输入的图像信号，组合背景差分等已有的图像处理，由此进行侵入物体的检测和位置确定。
如果确定了侵入物体的位置，摄像机控制单元1007产生旋转摄像机1002能够在侵入物体的存在方向以合适的大小来拍摄物体的控制信号，并输出到旋转摄像机1002。然后，接收了控制信号的旋转摄像机1002，根据控制信号，将摄像机对着侵入物体的存在方向，进行用于放大显示的视场角调整，显示旋转摄像机1002的图像信号的监视器1005显示放大侵入物体的图像。
但是，在上述已有技术中，使用2台摄像机，利用1台广域摄像用摄像机来检测侵入物体，因此在广域摄像用摄像机的设置位置附近，产生不能检测侵入物体的死角。
图2是说明上述现有技术中的不匹配的示意图。如该图所示，例如在天花板1101上设置广域摄像用摄像机1102，以从天花板1101向下看的形式来对侵入物体摄像的情况下，广域摄像用摄像机1102的设置位置的正下方的区域1103不包含在广域摄像用摄像机1102的摄像范围1104内，成为死角，不能检测到侵入物体。因此，为了检测死角1103内的侵入物体，需要另外设置1台广域摄像用摄像机，这加大了系统的规模。
发明内容
本发明是鉴于上述已有的不匹配作出的，其目的是提供一种监视装置，其联合包含能够进行摇摄、俯仰、变焦控制的旋转摄像机的多个摄像机，以最小限度的摄像机台数来没有死角地放大显示侵入物体。
在为了实现上述目的的本发明中，在第一方面，具有包含能够进行摇摄、俯仰、变焦控制的旋转摄像机的多个摄像机；处理来自旋转摄像机的图像信号，跟踪侵入物体的位置的侵入物体识别单元；摄像机功能确定单元，其对应于监视对象的状况，对监视对象的预定方向成为摄像范围的第一摄像机分配跟踪功能，将以广角来摄像监视空间的广域摄像功能分配给第二摄像机；对应于摄像机功能单元，来控制多个摄像机的摄像机控制单元。
通过这样，根据监视对象的预定方向，通过切换检测监视对象的摄像机，得到以最小限度的摄像机台数来没有死角地跟踪侵入物体的效果。
另外，第二方面，包括预先存储监视对象的图像的图像存储单元；将存储的监视对象的图像与从第一摄像机输入的监视对象的图像进行比较的图像识别单元，其特征在于，摄像机功能确定单元，对应于图像识别单元的比较结果和监视对象的状况，来对第三摄像机分配跟踪功能。
通过这样，能够对应于监视对象的状况适当选择跟踪摄像的摄像机，得到能够与侵入者的移动等相匹配的跟踪这样的效果。
另外，第三方面，其特征在于，摄像机功能确定单元，选择监视对象的预定方向成为摄像范围的摄像机，从最近的摄像机或者从最远的摄像机开始按顺序来对监视对象分配跟踪摄像功能，此外还分配广域摄像功能。
通过这样，在从最近的摄像机开始按顺序来对监视对象分配跟踪摄像功能的情况下，能够通过更详细的摄像来跟踪，在从最远的摄像机开始按顺序对监视对象分配跟踪摄像功能或者分配广域摄像功能的情况下，得到这样的效果，即不产生死角，且确实地捕捉监视对象，在此基础上能够阶段地或者非阶段地更详细地进行摄像跟踪。
另外，第四方面，其特征在于，识别摄像机的状态和监视对象的状态，对应于这些状态来分配摄像机的跟踪摄像功能或者广域摄像功能。
通过这样，得到这种效果，与摄像机的状态和监视对象的状态相匹配，适当分配放大摄像的任务和检测监视对象的任务。
另外，在第五方面，其特征在于，摄像机功能确定单元，在追加或者除去摄像机，或者摄像机故障的情况下，更新存储的多个摄像机的状态。
通过这样，得到这样的效果，摄像机的减少或者故障导致的不操作状态总能识别。
另外，在第六方面，其特征在于，摄像机功能确定单元，存储监视区域的状态，对应于所述监视区域的状态和监视对象的状态，对摄像机分配跟踪摄像功能或者广域摄像功能。
通过这样，得到这样的效果，能够对摄像机分配与监视区域的状态和监视对象的状态对应的合适的跟踪摄像功能或者广域摄像功能。
另外，在第七方面，具有利用监视区域内的障碍物的信息，分配摄像机功能的摄像机功能确定单元。
通过这样，得到这样的效果，能够联合由遮挡物导致不能摄像的摄像机之外的摄像机，放大显示侵入物体。
按上述这样，如果按照本发明，具有能够进行摇摄、俯仰、变焦控制的多个旋转摄像机；和确定各个摄像机任务的摄像机功能确定单元，由此，得到这样的效果，没有利用单个摄像机的死角，利用最小限度的摄像机台数，能够没有死角地放大显示作为监视对象的侵入物体。
另外，包含图像存储单元、图像识别单元，对应于图像识别单元的比较结果和监视对象的状况对第三摄像机分配跟踪功能，由此，能够对应于监视对象的状况合适地选择跟踪摄像的摄像机，与侵入者的移动等相匹配来进行跟踪，得到这样的效果。
另外，具有识别摄像机的状态和监视对象的状态，对应于该状态来确定摄像机功能的单元，由此得到下面的效果，例如既使摄像机发生故障时，可将检测监视对象的任务等分配给发生故障的摄像机之外的摄像机，由此能够继续进行监视。
另外，具有利用监视区域内的障碍物的信息来确定摄像机功能的单元，由此得到下面的效果，联合由遮挡物导致不能摄像的摄像机之外的摄像机，能够放大显示监视对象。
另外，通过对应于2台以上的多个摄像机，还将具有相同效果的摄像机功能分配给多个摄像机，由此得到下面的效果，能够更详细地放大显示监视对象的图像，和能够更高精度地检测监视对象的位置和方向。
另外，作为其它效果，具有使用图像处理和各种传感器来求出侵入物体的移动方向，对应于移动方向来确定摄像机功能的单元，由此得到下面的效果，能够与侵入物体的移动方向相匹配来进行合适的变焦处理，能够放大显示例如侵入者的正面面孔这样的应该监视的部位。
另外，具有识别侵入物体的方向，对应于该方向确定摄像机功能的单元，由此能够实现同样的效果。
本发明的上述目的和优点，通过参照附图进行的下面的说明可更明白。
图1是表示已有的侵入物体跟踪图像处理系统的构成的方框图。
图2是说明现有技术的不匹配的示意图。
图3是表示本发明第一实施方式的监视装置的构成的方框图。
图4是说明本发明的第一实施方式中，从图像信号开始的确定跟踪对象的监视空间的三维坐标的处理顺序的流程图。
图5是定义本发明的第一实施方式的监视空间的图。
图6是表示本发明的第一实施方式中为了求出侵入物体的位置，从输入图像开始直到求出监视空间上的三维坐标的中间处理图像的图。
图7是说明本发明第一实施方式中摄像机功能确定单元从侵入物体的三维位置开始分配摄像机功能的处理顺序的流程图。
图8是说明本发明的第一实施方式中通过摄像机功能确定单元来确定摄像机功能的事例的图。
图9是说明本发明的第一实施方式中通过摄像机功能确定单元来确定摄像机功能的其它事例的图。
图10是本发明的第一实施方式中，表示侵入者从监视空间外通过监视空间内，直到再到监视空间外的旋转摄像机A和旋转摄像机B的动作，并且说明摄像机功能的图。
图11是说明本发明的第一实施方式中，能够显示侵入者的正面面孔，通过摄像机功能确定单元来确定摄像机功能的事例的图。
图12是表示本发明的第二实施方式的监视装置的构成的方框图。
图13是说明本发明的第二实施方式的摄像机功能的图。
图14是说明本发明的第二实施方式的确定摄像机功能的处理操作的流程图。
具体实施例方式
使用图3到图14来说明本发明的实施方式。而且，本发明不限于这些实施方式中的任何一种，在不脱离其宗旨的范围内，能够以各种形式来实施。
实施方式1图3到图11是说明本发明的第一实施方式的图。说明在本实施方式中，使用2台其支持摄像机的工作台能够在左右(摇摄)和上下(俯仰)方向旋转移动，和能够改变透镜的视场角(变焦)的旋转摄像机，来跟踪侵入者，在画面上放大显示的方法。
图3是表示本实施方式的监视装置的构成的方框图。本实施方式的监视装置由下列部分构成通过控制信号能够摇摄、俯仰、变焦控制的两台旋转摄像机101、102；处理从旋转摄像机101、102发送的图像信号，对应于处理结果产生旋转摄像机101、102的控制信号的图像处理装置103；将从旋转摄像机101、102发送来的图像信号显示到画面上的监视器104、105。
能够对旋转摄像机101、102分配跟踪摄像功能和广域摄像功能两个功能。在分配跟踪摄像功能的情况下，图像处理装置103根据产生的控制信号，在上下左右方向旋转移动，摄像机朝向目的方向，调节视场角来拍摄对象，向监视器104、105输出图像信号。另一方面，在分配广域摄像功能的情况下，为了能够对监视空间整体进行摄像，调整视场角，向监视器104、105和图像处理装置103输出图像信号。
图像处理装置103由下列部分构成确定成为监视对象的侵入者的位置的侵入物体识别单元106；对应于侵入者的位置来确定旋转摄像机的功能的摄像机功能确定单元107；对应于摄像机功能来生成旋转摄像机的控制信号的摄像机控制单元108。
侵入物体识别单元106分析从分配广域摄像功能的旋转摄像机101、102发送的图像信号，确定监视空间的侵入者的三维坐标。在监视空间中，三维坐标系预先被设定，各个摄像机存在于共同的坐标空间中，由此能够容易实施摄像机控制。
图4是说明从图像信号开始的确定跟踪对象的监视空间的三维坐标的处理顺序的流程图。图5是定义本实施方式的监视空间的图。在实行图4的处理过程中，设定监视空间，使得象图5所示那样，X轴和Y轴与地板平行，Z轴与地板垂直，各个轴正交，将旋转摄像机A设置在基准点上部301，将旋转摄像机B设置在与旋转摄像机A相同高度的302。另外，例如在求侵入物体的位置之时，从输入图像开始直到求出监视空间上的三维坐标，图6表示了中间处理图像。
在图4中，在步骤201，根据从旋转摄像机101、102输入的图像，产生仅显示图像变化的差分图像。差分图像是除去背景，表示包含侵入物体的移动物体的图像，该图像能够利用例如“图像的处理和识别”(长尾智晴·安居院猛著，昭晃堂出版)中162、163页所记载的，利用连续的3个帧的方式来生成。图6(a)表示了上述连续的3个帧的例子。
在步骤202，实施利用0和1来表示步骤201所求出的差分图像内图像变化的二值化处理，求出差分图像。在步骤203，对进行了二值化处理的图像进行“图像的处理和识别”(长尾智晴·安居院猛著，昭晃堂出版)的67、68页中所记载的附加标记处理，求出对二值图像上每个组附加相同标记的标记图像。
二值化处理和附加标记处理是为了从差分图像中提取成为侵入物体的候补对象的位置和大小等的特征量而进行的预处理。图6(b)、(c)表示了二值图像和标记图像的例子。在步骤204，相对步骤203求出的标记图像内的各个标记，求出图像上的重心位置和大小等的特征量。通过求出特征量，判断是否存在侵入物体。图6(d)表示图像组的特征的显示例。
在步骤205，将步骤204中所求出的各标记的特征量与存储的侵入物体的重心位置和大小来进行比较，在特征量类似的情况下，判断为存在侵入物体。在步骤206，如在步骤205判断存在侵入物体的情况下，转到步骤207，否则为不存在侵入物体，传到摄像机功能确定单元107，结束。在步骤207，将与步骤205的侵入物体的特征量类似的标记的特征量作为侵入物体的特征量来更新。在步骤208，使用预先求出的旋转摄像机101、102的摄像机参数，将作为侵入物体的特征量的图像上的重心位置变换为监视空间的三维坐标，并且向摄像机功能确定单元107发送。
摄像机参数的求出方法和旋转摄像机将摄像的图像上的坐标变换为监视空间上的坐标的方法，使用“三维图像测量”(佐藤宏介·井口征士著，昭晃堂出版)中91～99页所记载的方式。摄像机参数由通过测量6点以上与旋转摄像机所摄像的图像上的坐标相对应的监视空间中的三维坐标来求出。利用该参数，根据图像上的任意点的坐标，能够计算三维空间的坐标。图6(e)表示画面上的点和三维空间的坐标之间的关系。
摄像机功能确定单元107，对应于利用侵入物体识别单元106求出的侵入者的监视空间的三维坐标G(Xin，Yin，Zin)，对旋转摄像机101、102分配用于检测侵入物体的广域摄像功能和用于放大显示侵入物体的跟踪摄像功能。说明用于根据侵入物体的三维位置来分配摄像机功能的摄像机功能确定部107的操作。图7是说明上述摄像机功能确定操作的流程图。
在图7中，在步骤501，根据由侵入物体识别单元106接收的信息来判断是否存在侵入者，如果存在侵入者就转到步骤502，否则转到步骤509。在步骤502，将图5所示的侵入者的监视空间的三维坐标G(Xin，Yin，Zin)中的X成分的值Xin306，与监视空间上的旋转摄像机A的摄像范围304和旋转摄像机B的摄像范围305的X轴上的边界Xth307来进行比较，在Xin比Xth小的情况下，转到步骤503，否则转到步骤506。
在步骤503，如图8所示那样，由于侵入者601存在于旋转摄像机B的摄像范围602内，所以将旋转摄像机A的功能确定为放大侵入者在画面上显示的跟踪摄像功能，在步骤504将旋转摄像机B的功能确定为发现侵入者的广域摄像功能。另外，在步骤505，将侵入者的监视空间的三维坐标G(Xin，Yin，Zin)发送到摄像机控制单元108。
在步骤506，如图9所示那样，由于侵入者701存在于旋转摄像机A的摄像范围702内，所以将旋转摄像机A的功能确定为发现侵入者的广域摄像功能，在步骤507将旋转摄像机B的功能确定为放大侵入者并在画面上显示的跟踪摄像功能。另外，在步骤508，将侵入者的监视空间的三维坐标G(Xin，Yin，Zin)发送到摄像机控制单元108。
在步骤509，是不存在侵入者的状态，为了监视图5所示的监视范围308内的侵入物体，将旋转摄像机A的功能确定为发现侵入者的广域摄像功能，在步骤510将旋转摄像机B的功能确定为发现侵入者的广域摄像功能。
摄像机控制单元108，对分配跟踪摄像功能的摄像机，生成能够以合适的大小来摄像跟踪对象那样的摄像机控制信号，对分配广域摄像功能的摄像机，生成能够拍摄监视空间整体那样的摄像机控制信号，发送到旋转摄像机。控制信号的生成方法能够通过将摄像地点的监视空间的三维坐标(X，Y，Z)变换为将控制的摄像机作为原点的极坐标系的坐标(α，β，γ)来求出。
在变换的极坐标(α，β，γ)中，α是摇摄角，β是俯仰角，γ是变焦值。基于这些值，求出在摄像机内部保持的旋转移动前的摇摄角、俯仰角、变焦值(α’，β’，γ’)的差分(Δα，Δβ，Δγ)，对应于差分生成控制摇摄、俯仰、变焦的控制信号。例如，在摄像机功能是跟踪摄像功能的情况下，将从摄像机功能确定单元发送的监视空间的三维坐标G(Xin，Yin，Zin)置换为摄像地点的坐标，生成控制信号。
图10是表示侵入者从监视空间外通过监视空间内，直到再到监视空间外，旋转摄像机B动作的图。参照图10说明使用2台旋转摄像机A、B，相互没有死角地放大显示侵入物体的例子。
在侵入者801存在于监视空间外的图10(a)中，旋转摄像机A，B以同时补充相互的死角之形状来进行检测侵入者的广域摄像。将该状态定义为初期广域摄像状态。在侵入者801移动，侵入到初期摄像状态的旋转摄像机A的摄像范围803内的图10(b)中，旋转摄像机A捕捉到侵入者801，将该图像发送到图像处理装置103。图像处理装置103处理从旋转摄像机A输入的图像，向旋转摄像机B发送控制信号，使得旋转摄像机B对着侵入者801的监视空间上的坐标805，进行放大摄像。旋转摄像机B接收控制信号，在存在监视者的805附近调整旋转摄像机的视场角来摄像，能够放大监视者，在监视器上显示。
同样的，在侵入者801移动并侵入初期摄像状态的旋转摄像机B的摄像范围804内的图10(c)中，旋转摄像机B捕捉到侵入者801，将其图像发送到图像处理装置103，图像处理装置103将控制信号发送到旋转摄像机A，由此旋转摄像机A能够放大摄像监视者。在侵入者801向监视空间外移动的图10(d)中，由于没有检测到侵入物体，图像处理装置103为了再次进行侵入物体的检测而向旋转摄像机A，B发送控制信号，使其移动到初期摄像状态。
这样，对应于侵入物体的位置来切换摄像机的功能，由此能够相互补充死角地跟踪放大显示侵入物体。
而且，在本实施方式中，对应于侵入物体的检测位置来确定摄像机功能，但也可以这样，组合光流(optical flow)等已存在的图像处理技术和红外线以及磁传感器等，来求出侵入物体的移动方向，对应于移动方向来确定摄像机功能，联合多个摄像机。
例如，如图11所示那样，假设移动方向和面孔朝向相同，根据侵入者901的移动方向902判断，将旋转摄像机A的功能确定为跟踪摄像功能，将旋转摄像机B的功能确定为从侵入者附近进行广域摄像的功能，由此能够显示侵入者的正面面孔。同样的，也可以这样，组合图像处理和各种传感器，识别侵入物体的朝向方向，根据侵入物体的朝向方向来确定摄像机功能，联合多个摄像机。
另外，在本实施方式中，表示了这样的例子2台摄像机中，1台分配了跟踪侵入物体的功能，1台分配了广域摄像侵入物体附近的功能，但是既使设置了2台以上多个摄像机的情况下，也可以利用与本实施方式相同的方法来分配所述功能，监视摄像机的设置台数不一定是2台。
此外，在设置2台以上多个摄像机的情况下，分配所述功能的各个摄像机不一定是一台，也可以是多个摄像机具有同时跟踪侵入物体的功能，或者多个摄像机具有同时广域监视侵入物体周边的功能。通过多个摄像机同时跟踪侵入物体，可以产生能够更详细地视频捕捉到侵入物体这样的新效果。另外，通过多个摄像机同时广域摄像侵入物体的周边，可产生能够更高精度地计算侵入物体的位置、移动方向、朝向等这样的新效果。
另外，也可以这样，不仅对应于侵入物体的检测位置，也对应于旋转摄像机的状态来确定摄像机功能并联合使用。例如，已知各旋转摄像机的可摄像范围，某个旋转摄像机故障的情况下，摄像机功能确定单元从没有发生故障的旋转摄像机中选择最合适的旋转摄像机来分配功能，由此能够代替发生故障的旋转摄像机的任务。
同样的，也可以这样，不仅根据侵入物体的检测位置，也根据监视空间内存在的障碍物等，根据遮挡摄像机的视野的遮挡物的信息来确定摄像机功能并联合使用。例如，摄像机功能确定单元，掌握存在于监视空间内的障碍物的位置、大小，对由于所述障碍物而不能摄像侵入物体的摄像机，不分配跟踪侵入物体来摄像的功能和广域摄像监视区域的功能，由此能够确实进行侵入物体的跟踪摄像和监视区域的广域摄像。
另外，在本实施方式中，对从摄像机送来的图像信号进行图像处理，求出侵入物体的位置，但也可以组合红外线和磁传感器等来确定侵入物体的位置，能够联合摄像机来放大显示侵入物体。
实施方式2图12是表示本发明的实施方式2的监视装置的构成的方框图。在图12中，对于与图3相同的构成要件，使用相同的符号，省略了其说明。本实施方式的特征在于，组合监视摄像和其控制功能，和作为图像识别单元的面孔图像识别装置，对应于识别结果分配各个旋转摄像机的功能，由此进行面孔图像识别所适合的摄像机功能的切换，提高了面孔图像识别结果。
在图12中，1201是作为图像识别单元的识别人物面孔图像的面孔图像识别装置，由根据面孔图像选择出特定面孔的面孔图像识别单元1202，和存储面孔图像的面孔图像存储单元1203构成。
侵入物体识别单元106，确定侵入物体的三维坐标，还使用过去的坐标值来计算移动方向。另外，将分配了跟踪功能的摄像机的图像信号和摄像机固有号码发送到面孔图像识别单元1202。面孔图像存储单元1203，预先存储从可识别面孔图像范围内的各个方向摄像到的可疑者等识别对象的面孔图像数据。
面孔图像识别单元1202接收来自侵入物体识别单元106的图像信号和摄像机固有号码，将接收的图像信号与面孔图像存储单元1203所存储的面孔图像数据进行比较。
作为上述面孔图像识别的操作，首先，作为预处理，例如，使用由C语言形成的图像处理技术中的遗传算法，从接收的图像信号中进行面孔区域的提取。关于这种技术，例如在安居院猛、长尾智晴著，“C语言的图像处理入门”的187-211页，昭晃堂，2000年出版，在其中进行了说明。下面，求出提取的面孔区域内的图像，和面孔图像存储单元1203内的各个面孔图像数据的相关系数，存储相关系数的最大值和带有最大值的面孔区域内的图像和面孔图像存储部1203内的面孔图像数据。最后，比较相关系数的最大值和阈值TH1，在大于等于阈值的情况下，将存储的面孔区域内的图像和面孔图像存储部1203内的面孔图像数据，在监视器104-1、104-2、104-3上并列显示并警告。另外，将相关系数的最大值作为类似度发送到摄像机功能确定单元107。
摄像机功能确定单元107利用从侵入物体识别单元106发送的侵入物体的三维坐标、移动方向和从面孔图像识别单元1202发送的面孔图像数据的类似度，来确定摄像机101-1、101-2、101-3的摄像机功能切换。接着，使用图13、图14来说明摄像机功能切换。
图13是表示侵入者在与X轴方向相反方向侵入的情况下，摄像机101-1～101-3的大致操作的图。在图13中，(a)表示在监视区域不存在侵入者的状态。图13(b)～(c)表示侵入者存在于1301(b)～1301-(c)的位置的情况下的状态。图13(d)表示根据识别结果摄像机功能刚从图13(c)的状态切换后的摄像机状态。例如，1302(b)-1～1302(b)3表示图13(b)状态的摄像机101-1～101-3的摄像范围，摄像范围大的1302(b)-1、1302(b)-3表示分配了广域摄像功能，摄像范围小的摄像侵入者1301的面孔的1302(b)-2表示分配了跟踪摄像功能。
图14是说明本实施方式2的摄像机功能确定单元的操作的流程图。在图14中，如开始处理(步骤S1401)，摄像机功能确定单元107根据侵入物体的三维坐标来判断是否有侵入者(步骤S1402)，在不存在侵入者的图13(a)的情况下，给摄像机101-1的功能分配广域摄像功能(步骤S1413)，接着，给摄像机101-2的功能分配广域摄像功能(步骤1414)，此外，给摄像机101-3的功能分配广域摄像功能(步骤S1415)，之后结束其处理。另一方面，在存在侵入者的情况下，摄像机功能确定单元107，对摄像机101-1分配广域摄像功能(步骤S1403)，由于图13(a)中摄像范围与其它摄像机的摄像范围广泛重复，既使从广域摄像功能切换到跟踪摄像功能也对侵入物体识别单元给予很少影响，对摄像机101-2分配跟踪摄像功能(步骤S1404)，对摄像机101-3分配广域摄像功能(步骤S1405)。接着，摄像机功能确定单元107在步骤S1406进行是否对别的摄像机分配摄像机101-2的跟踪摄像功能的切换判断。这种情况下的切换判断方法是这样进行的，面孔图像识别单元1202判断发送的、由摄像机101-2所摄像的图像信号计算的面孔图像数据的类似度在一定时间内是否超过阈值TH2。在这种切换判断中，在类似度不超过阈值TH2的情况下，摄像机功能确定单元107判断为摄像机101-2的跟踪摄像功能在面孔图像识别中没有充分操作，为了对其它摄像机分配跟踪摄像，前进到步骤S1407。另一方面，在类似度超过阈值TH2的情况下，摄像机功能确定单元107判断为摄像机101-2的跟踪摄像功能在面孔图像识别中充分操作，前进到步骤S1412。
例如，在图13(b)的1301(b)存在侵入者的情况下，摄像机101-2能够摄像侵入者的面孔全部，作为面孔图像识别结果的类似度也表示较高的值。因此，这种情况下，前进到步骤S1412。另一方面，如图13(c)所示那样，在1301(c)的位置存在侵入者的情况下，由于摄像机101-2从正上方看侵入者那样的状态来摄像，所以眼睛、鼻子、眉毛、口等面孔图像识别困难不能摄像，类似度降低。因此，这种情况下，前进到步骤S1407。
由步骤S1406的切换判断处理的结果，进行跟踪摄像功能切换判断的情况下，在步骤S1407，摄像机功能确定单元107比较从侵入物体识别单元106发送的侵入物体的前进方向和X轴方向，判断是否是相同方向。然后，在从侵入物体识别单元106发送的侵入物体的前进方向与X轴方向是相同方向的情况下(图14中是+)，对摄像机101-3分配跟踪摄像功能(步骤S1408)，另一方面，对摄像机101-2分配广域摄像功能(步骤S1409)，之后前进到步骤S1412。另外，在从侵入物体识别单元106发送的侵入物体的前进方向和X轴方向不同的情况下，对摄像机101-1分配跟踪摄像功能(步骤S1410)，另一方面，对摄像机101-2分配广域摄像机功能(步骤S1411)，之后前进到步骤S1412。
这里，假设侵入者的前进方向和此时的侵入者的面孔朝向相同，从与前进方向相反的方向(即侵入者和摄像机相对的状态)，对能够摄像侵入者的摄像机分配跟踪摄像功能，将反映眼睛、口等的正面的面孔图像进行摄像，具有提高面孔图像识别率的效果。另外，由于分配了跟踪摄像功能的摄像机在以前摄像的区域变为死角，所以如图13(d)所示那样，为摄像机101-2分配广域摄像功能，使其没有了死角。
下面，在步骤S1412，摄像机控制单元108参照从摄像机功能确定单元107发送的侵入物体的三维位置坐标，和摄像机101-1～101-3所分配的摄像机功能，产生各个摄像机的控制信号。
这样，如按本实施方式，摄像机功能确定单元107接收作为面孔图像识别单元1202的识别结果的面孔图像数据的类似度，从而能够对适合于面孔图像识别的摄像机分配跟踪摄像功能，对于进行步行中的侵入者的面孔识别在步行通过识别等中是有效的。
而且，在本实施方式中，以面孔图像识别装置为例子进行了说明，但也能够利用作为预处理的面孔区域的识别结果。此外，不仅面孔识别，而且可组合确定人物整体的人物识别单元，确定汽车的汽车识别单元等、识别特定对象的单元，利用其识别结果，能够实现适合于各种识别的摄像机功能的切换，产生提高识别性能这样的效果。本发明不限于任何一种实施例。
另外，在本实施方式中，如图14的步骤S1401所示那样，识别侵入者之后，对摄像机101-2分配跟踪摄像功能，但不限于该实施例。例如，不选择侵入者位置附近的摄像机来从正上方向下看来进行摄像，也可以对存在于侵入者的前进方向的延长线上的距侵入者的位置最远的摄像机分配跟踪摄像功能，使得选择距侵入者位置较远的摄像机，从正侧面捕捉正面的面孔来摄像。
同样的，也可以这样，对距侵入者的位置较近的摄像机分配广域摄像功能，提高侵入者的位置和前进方向识别的精度，本发明不限于任何一种实施例。
另外，在本实施方式中，在确定摄像机功能时，使用侵入物体的位置、前进方向、面孔图像识别的结果，但也可以仅使用面孔图像识别结果。例如，通过依次切换摄像机功能的分配，直到识别结果到最高的状态，能够自动检测出识别结果最高的摄像机功能的切换方式。另外，通过学习分配摄像机功能的过程，在探索其它状态识别结果最高的摄像机功能的切换方式时，也能够减少探索时间。
另外，不仅利用侵入物体的位置、前进方向、识别结果，还可以利用其它信息来分配摄像机功能。例如，通过组合埋入地板的位置检测传感器和温度传感器等的传感器信息，能够更高精度地识别侵入者的位置和侵入方向，根据识别结果更高精度地选择最适合面孔图像识别的摄像机功能的分配。例如，通过温度传感器的处理，判断前进方向和面孔朝向是否一致，由此，既使面孔朝向和前进方向相反的向后前进的可疑者，也能实现分配可面孔图像识别的摄像机功能的处理。
另外，在本实施方式中，说明了对应于监视对象的位置摄像机功能为放大摄像监视对象的跟踪摄像功能，和为了识别监视对象的位置而以广角摄像监视空间的广域摄像功能的两个例子，但也能够分配其它功能，例如，也可以这样，将运动检测结果反馈给摄像机控制，将常常在画面中央的运动物体以一定大小捕捉，之后分配单体摄像机的移动体跟踪摄像功能等，本发明不限于任何一种本发明基于附图所示的较佳实施方式进行了说明，但很清楚，本领域技术人员能够不脱离本发明的思想容易地进行各种变换、改变。本发明包含这样的变更例。
权利要求
1.一种监视装置，其特征在于，具有包含至少能够进行摇摄、俯仰、变焦控制的旋转摄像机的多个摄像机；分析从所述多个摄像机输入的图像信号，并识别监视对象的状况的侵入物体识别单元；摄像机功能确定单元，其对应于所述监视对象的状况，对所述监视对象的预定方向成为摄像范围的第一摄像机分配跟踪功能，将以广角来摄像监视空间的广域摄像功能分配给第二摄像机；对应于所述摄像机功能单元，来控制所述多个摄像机的摄像机控制单元。
2.根据权利要求1所述的监视装置，其特征在于，还包括预先存储监视对象的图像的图像存储单元；将所述存储的监视对象的图像与从第一摄像机输入的监视对象的图像进行比较的图像识别单元，摄像机功能确定单元，对应于所述图像识别单元的比较结果和监视对象的状况，对第三摄像机分配跟踪功能。
3.根据权利要求1所述的监视装置，其特征在于，摄像机功能确定单元，选择监视对象的预定方向成为摄像范围的摄像机，从最近的摄像机开始按顺序对所述监视对象分配跟踪摄像功能。
4.根据权利要求1所述的监视装置，其特征在于，摄像机功能确定单元，选择监视对象的预定方向成为摄像范围的摄像机，从最远的摄像机开始按顺序对所述监视对象分配跟踪摄像功能。
5.根据权利要求1所述的监视装置，其特征在于，摄像机功能确定单元，选择监视对象的预定方向成为摄像范围的摄像机，从最远的摄像机开始按顺序对所述监视对象分配广域摄像功能。
6.根据权利要求1所述的监视装置，其特征在于，摄像机功能确定单元，存储多个摄像机的状态，对应于所述多个摄像机的状态和监视对象的状态，对所述多个摄像机分配跟踪摄像功能或者广域摄像功能。
7.根据权利要求6所述的监视装置，其特征在于，摄像机功能确定单元，在追加或者除去摄像机，或者摄像机故障的情况下，更新存储的多个摄像机的状态。
8.根据权利要求1所述的监视装置，其特征在于，摄像机功能确定单元，存储监视区域的状态，对应于所述监视区域的状态和监视对象的状况，对摄像机分配跟踪摄像功能或者广域摄像功能。
9.根据权利要求8所述的监视装置，其特征在于，摄像机功能确定单元，由于在监视区域内存在的障碍物导致不能对监视对象进行摄像的情况下，更新存储的多个摄像机的状态。
10.根据权利要求2所述的监视装置，其特征在于，将从各个方向摄像的面孔图像数据预先保存到图像存储单元中，另外，图像识别单元比较所述面孔图像数据和从摄像机输入的监视对象的面孔图像。
全文摘要
本发明提供一种监视装置，其联合包含能够进行遥摄、俯仰、变焦控制的旋转摄像机的多个摄像机，以最小限度的摄像机台数来没有死角地放大显示侵入物体。为此，监视装置由下列部分构成包含能够进行遥摄、俯仰、变焦控制的旋转摄像机的多个摄像机；处理来自旋转摄像机的图像信号，并且跟踪侵入物体的位置的侵入物体识别单元；摄像机功能确定单元，其对应于监视对象的状况，对监视对象的预定方向成为摄像范围的第一摄像机分配跟踪功能，将以广角来摄像监视空间的广域摄像功能分配给第二摄像机；对应于摄像机功能单元，来控制多个摄像机的摄像机控制单元。通过这种构成，与监视对象的方向相对应，通过切换检测监视对象的摄像机，以最小限度的摄像机台数来没有死角地跟踪侵入物体。
文档编号H04N7/18GK1543200SQ200410047779
公开日2004年11月3日 申请日期2004年4月22日 优先权日2003年4月22日
发明者石上智英, 丸谷健介, 冈田晋, 介 申请人:松下电器产业株式会社