检测区域调整装置的制作方法

文档序号:7633737阅读:157来源:国知局
专利名称:检测区域调整装置的制作方法
技术领域
本发明涉及对使用多个摄像机进行摄影的区域进行调整的检测区域调整装置,特别涉及适用于使用多个摄像机的监视系统中的装置。
背景技术
近年来,对于主要用于监视用途的使用多个摄像机的装置的研究开发渐渐盛行起来。这种装置为了达到其使用目的,被要求达到下述要求,即要求对作为进行监视的区域的检测对象区域无死角地常时监视检测对象区域内、要求检测同区域内的检测对象、以及要求取得存在于检测对象区域内的检测对象的详细信息。
在以往的使用多个摄像机的装置中,通过自动调整各摄像机的摄影范围来达到上述要求。作为这种代表性的以往的使用多个摄像机的装置,有专利文献1及专利文献2中所示的装置。
图1是表示在上述专利文献1中记载的自动调整摄像机的摄影区域的装置的图。在检测摄像机装置9010中,利用摄像机9011及反射镜9012,遍及较大的摄影区域对检测对象进行摄影,移动物体提取部9013从所摄影的该图像中提取检测对象,位置信息提取部9014提取该检测对象的位置信息,所以检测摄像机装置9010遍及较大的检测区域取得检测对象的位置信息。在判断摄像机装置9020中,摄像机控制部9022基于检测对象的位置信息控制摄像机9021的旋转角、俯角及缩放比例,判断摄像机装置9020对检测对象的放大图像进行摄影,所以判断摄像机装置9020取得了检测对象的详细信息。
图2是表示检测摄像机装置9010及判断摄像机装置9020的检测区域的图。在该图中,黑色圆表示检测摄像机装置9010的设置位置,该检测摄像机装置9010是固定的摄像机。圆或六角形表示各检测摄像机装置9010的检测区域。如该图所示,只要人为地规则正确地设置各检测摄像机装置9010,就能够无死角地常时检测作为要监视的对象区域的检测对象区域。
图3是表示在上述专利文献2中记载的自动调整摄像机的摄影区域的装置的图。在该图中,所担负的目的为遍及较大的摄影区域对检测对象进行摄影的移动物体检测用摄像机9211,通过姿势控制单元9212改变自身的摄影区域,所担负的目的为对检测对象的放大图像进行摄影的监视用摄像机9221,通过姿势控制单元9222改变自身的摄影范围。
在图像处理装置9240中,根据从移动物体检测用摄像机9211摄影的图像所提取出的检测对象的位置以及各摄像机的检测区域,基于预先存储在摄像机视场角存储单元9231及摄像机视场角存储单元9232中的信息,来决定各摄像机的摄影区域。
该各摄像机的摄影区域决定方法如下所述。图4~图6是用于说明各摄像机的摄影区域决定方法的图,是分割为多个块图像的移动物体检测用摄像机9211所摄影的图像。首先,移动物体检测用摄像机9211的摄影区域是如下这样决定的。在由图4的斜线表示的块中存在检测对象的情况下,使移动物体检测用摄像机9211的姿势,向在各个块位置与图4所示的块位置对应的图5的各块中所记载的箭头方向所示的方向变化,来改变该摄像机的摄影区域。与各块位置对应的移动物体检测用摄像机9211的摄影区域预先由人来决定,该信息预先设定在摄像机视场角存储单元9231中。接着,监视用摄像机9221的摄影区域是如下这样决定的。在图6所示的块位置上存在检测对象的情况下,使监视用摄像机9221的姿势变化,以形成虚线所示的摄影区域,来改变该摄像机的摄影区域。与各块位置对应的监视用摄像机9221的摄影区域预先由人来决定,该信息预先设定在摄像机视场角存储单元9232中。
上述以往的使用多个摄像机的装置的特征如下所述。另外,在这些装置中,各摄像机基于由该摄像机所摄影的摄影范围内的信息,检测检测对象,或取得检测对象的详细信息。因此,各摄像机的摄影范围与该摄像机所进行的检测对象的检测及信息取得的检测范围是同样的意思。所以,以后将摄像机的摄影范围记载为摄像机的检测范围。
首先,在专利文献1所示的以往的装置中,检测摄像机装置9010起到遍及较大的检测区域对检测对象进行检测的作用,在专利文献2所示的以往的装置中,移动物体检测用摄像机9211起到遍及较大的检测区域对检测对象进行检测的作用;在专利文献1所示的以往的装置中,判断摄像机装置9020起到取得检测对象的放大图像那样的检测对象的详细信息的作用,在专利文献2所示的以往的装置中,监视用摄像机9221起到取得检测对象的放大图像那样的检测对象的详细信息的作用;如上所述,各摄像机分担各自的固定且预先决定的作用,起到着一个作用的摄像机监视整个检测对象区域,起到另一个作用的摄像机取得详细的信息。
此外,在专利文献2所示的以往的装置中,例如移动物体检测用摄像机9211的检测区域在图4的左上块中有检测对象的状况变化下,变更为图5的左上块中所示那样的向左上方向移动后的检测区域,如上所述那样,基于预先由人设想并制作的记载有与状况变化内容一一对应的检测区域的形式的信息来决定并调整各摄像机的检测区域。
但是,在上述专利文献1的装置中,通过由人预先将固定摄像机设置在有规则的位置上来监视整个检测对象区域,所以即使在只有1个摄像机故障的情况下,也已经不能继续进行监视。因此,通过例如图7所示那样增加检测摄像机装置9010的数量,能够在其中1个故障的情况下也无死角地覆盖检测对象区域,但不能不说这样是低效率的。
此外,在上述专利文献2的装置中,首先,因为根据预先由人设想并设定的记载有与状况变化内容一一对应的检测区域的表形式的信息,来决定并调整各摄像机的检测区域,所以需要由人对每个摄像机逐一地设想并制作记载有与状况变化内容一一对应的检测区域的表形式的信息。该信息依赖于检测对象区域的位置及大小、人设想的状况变化内容、设置各摄像机的位置及台数等,在它们中有改变等的情况下,每次都需要由人逐一重新制作该信息。摄像机台数越是增加,该作业越烦杂,与其对应的成本及负荷很庞大。在大厦内的使用摄像机的监视系统等中,使用十几台的摄像机的情况是很普遍的。
专利文献1日本特许第3043925号公报专利文献2日本特许第3180730号公报发明内容所以,本发明是为了解决上述以往的课题而做出的,其目的是提供一种检测区域调整装置,该检测区域调整装置不需要人预先预测状况变化来制作表,并且即使在摄像机发生了故障的情况下,也能够无死角地全部检测作为检测对象的区域。
为了达到上述目的,有关本发明的检测区域调整装置,具有通过通信线路连接的多个摄像机终端,通过调整上述多个摄像机终端的摄影区域即检测区域,能够对检测对象区域进行摄影,其特征在于,上述多个摄像机终端具备摄像机,对包含在上述检测对象区域中的检测区域进行摄影,并且具有改变上述检测区域的位置的单元;通信单元,将确定上述检测区域的检测区域信息经由上述通信线路发送给其他摄像机终端,并且从其他摄像机终端接收检测区域信息;调整单元,根据该摄像机终端的检测区域信息和由上述通信单元接收到的其他摄像机终端的检测区域信息,控制该摄像机终端的摄像机来调整检测区域的位置,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述检测对象区域。
例如优选为上述调整单元调整上述检测区域的位置,以使在与该摄像机终端的检测区域邻接的周边的区域中不会产生不属于上述多个摄像机终端的检测区域的任一个的非检测区域。
由此,其结果是,能够避免在检测对象区域内产生死角区域,能够遍及整个检测对象区域完全地检测。并且,各摄像机终端具有相同的功能,一边与检测区域邻接的其他摄像机终端相互通信,一边自律协调地动作,所以不需要由人预先预测状况变化而制作表,并且即使在摄像机发生故障的情况下也能够无死角地完全检测作为检测对象的区域。
这里,优选为,上述摄像机具有改变上述检测区域的空间分辨率的单元;在上述检测区域信息中包含有对上述检测区域的空间分辨率进行确定的信息;上述调整单元根据该摄像机终端的检测区域信息和由上述通信单元接收到的其他摄像机终端的检测区域信息,控制该摄像机终端的摄像机来调整检测区域的位置及空间分辨率,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述检测对象区域,并且使上述多个摄像机终端的检测区域的空间分辨率大致相同。
由此,各摄像机终端不仅控制摄像机的朝向(摇动、倾斜等),也控制缩放比例,来调整检测区域的位置与大小,其结果是,能够以均匀化后的空间分辨率完全地对整个检测对象区域进行摄影。
另外,本发明不只是在各摄像机终端中设置调整单元的分散控制型的结构,也可以通过设有调整所有的摄像机终端的检测区域的共用的调整单元的集中控制型的结构来实现,或者作为检测区域调整方法、以及使计算机执行该方法的程序来实现。进而,本发明可以作为代替摄像机可摄影的区域即检测区域而调整可检测麦克风等的物理量的传感器的检测区域的装置来实现。另外,不言而喻,也可以将有关本发明的程序经由CD-ROM等记录介质或因特网等传送媒体发送。
发明效果根据本发明的检测区域调整装置,由于自动调整各摄像机终端的摄像机的检测区域以使将各摄像机的检测区域相加后的区域完全覆盖规定的检测对象区域,所以不需要如以往那样由人预先对每个摄像机逐一设想并制作对应于状况变化的检测区域信息,并且即使在一些摄像机故障的情况下也能够无死角地有效地覆盖规定的检测对象区域。
由此,根据本发明,可保证无死角地检测任意的空间,特别是作为学校、大厦等的可疑者的监视用系统等,其实用价值很高。


图1是现有技术1的结构框图。
图2是表示现有技术2的摄像机视野范围的说明图。
图3是表示现有技术2的结构框图。
图4是现有技术2的动作说明图。
图5是现有技术2的动作说明图。
图6是现有技术2的动作说明图。
图7是现有技术2的动作说明图。
图8是本发明的实施方式1的检测区域调整装置的结构框图。
图9是表示检测区域及重复区域的例子的图。
图10是摄像机P的结构框图。
图11是表示调整部所进行的处理的流程图。
图12是表示邻接的检测区域的说明图。
图13是表示函数U()的说明图。
图14是表示另一函数U()的说明图。
图15是表示1个调整部调整所有的检测区域的集中控制型的检测区域调整装置的结构的框图。
图16是说明将本发明应用到麦克风中的例子的图。
图17是表示将X轴上的处理也应用到Y轴上的方法的图。
图18是本发明的实施方式2的检测区域调整装置的结构框图。
图19是摄像机PR的结构框图。
图20是表示调整部所进行的处理的流程图。
图21是对本发明的补充说明1的检测处理装置计算的说明图。
图22是本发明的补充说明1中的检测区域调整装置的结构框图。
图23是本发明的补充说明1的摄像机的结构框图。
图24是表示本发明的补充说明2的与检测区域邻接的区域的判断方法的图。
图25是表示本发明的补充说明2的与检测区域邻接的区域的判断方法的图。
图26是本发明的补充说明3的检测区域调整装置的结构框图。
图27是表示本发明的补充说明4中的调整部所进行的处理的流程图。
图28是表示本发明的补充说明4中的调整部所进行的处理的流程图。
图29是本发明的补充说明4的检测区域调整装置的结构框图。
图30是本发明的补充说明4的另一检测区域调整装置的结构框图。
图31是表示合成图像的例子的图。
图32是表示具有移动式摄像机终端的监视系统的结构的框图。
图33是表示监视系统中的移动式摄像机终端的动作状况的图。
图34是表示移动式摄像机终端在设置于监视区域内的导轨的轨道上移动的状况的图。
符号说明P101、PR1101、PR1201、2103、P2301摄像机102、1102调整部103、1103、6104通信部P110、P111、PR1110、4101、5301、5401摄像机终端112、1112、4102、5302、5402、6103网络201、1201、2101、2301透镜202、1202、2102、2302摄像面203、1203、2303图像处理部204、1204、2304姿势控制部1111、4105操作终端2305激光指示器4103车4104道路5405图像合成部5406显示部5407指示部6101移动式摄像机终端6102移动部6105邻接摄影区域确定部6106摄影元件6107摄影区域推测部6108监视范围存储部6109摄影位置评价部6110摄影位置变更部
具体实施例方式
下面参照

本发明的实施方式。
(实施方式1)首先对本发明的实施方式1进行说明。
本实施方式涉及检测区域调整装置,利用从图8到图14进行说明,该检测区域调整装置自动调整各摄像机终端的摄像机的检测区域,以使将各摄像机终端的摄像机的检测区域相加后的区域完全覆盖规定的检测对象区域。
图8是本发明的实施方式1的检测区域调整装置的结构框图。该检测区域调整装置具有通过网络112连接的多个摄像机终端P110A~C、2台操作终端111L及111R。
多个摄像机终端P110A~C是一边相互通信一边自律协调地动作的摄像机终端,具备相同的结构要素(摄像机P101、调整部102及通信部103)。摄像机P101是该摄像机的检测区域的位置即检测区域位置可变的摄像机,调整部102是调整摄像机P101的检测区域位置的处理部,通信部103是对摄像机P101的检测区域位置信息进行通信的处理部。
调整部102根据本摄像机终端的检测区域位置信息与由通信部103接收到的其他摄像机终端的检测区域位置信息,控制本摄像机终端的摄像机P101,来调整检测区域的位置,以使将多个摄像机终端P110A~C的检测区域相加后的区域完全覆盖检测对象区域。更详细地讲,调整部102调整本摄像机终端的检测区域的位置,以使在与本摄像机终端的检测区域邻接的周边的区域中,不会产生不属于多个摄像机终端P110A~C的检测区域中的任一个的非检测区域。
操作终端111L及操作终端111R是取得来自用户的指示、将该指示通知给摄像机终端P1110A~C的终端,具备对检测对象信息进行通信的通信部103。网络112是在经由各摄像机终端P110A~110C、以及操作终端111L及操作终端111R内的通信部103进行通信时所使用的网络线路。各摄像机终端P110A~110C通过该网络112对各摄像机终端P内的摄像机P101的检测区域位置信息进行通信,操作终端111L及操作终端111R通过该网络112将检测对象区域通信给各摄像机终端P110A~110C。
这里,为了表现区域及该区域的位置而设定相互正交的XW轴120及ZW轴122。实空间面125是各摄像机终端P110A~110C所存在的实空间上的面,例如在从天花板朝下设定各摄像机终端P110A~110C的情况下,是地板等面,在本实施方式1中,与XW轴120一致,各种区域及该区域的位置利用该面来表现。在该实空间面125上,检测对象区域130是以本发明中的检测为对象的整个区域,用XTL及XTR表现该区域的位置。检测对象外区域131是不以本发明中的检测为对象的区域。
从各摄像机P101放射的虚线表示各摄像机P101的检测区域的端界。检测区域140A是摄像机终端P110A的检测区域,用XAL及XAR表现该区域的位置。检测区域140B是摄像机终端P110B的检测区域,用XBL及XBR表现该区域的位置。检测区域140C是摄像机终端P110C的检测区域,用XCL及XCR表现该区域的位置。重复区域141TA是摄像机终端P110A的检测区域即检测区域140A与检测对象外区域131重复的区域,表示该区域的大小的量用XTL-XAL表现。重复区域141AB是摄像机终端P110A的检测区域即检测区域140A与摄像机终端P110B的检测区域即检测区域140B重复的区域,表示该区域的大小的量用XAR-XBL表现。重复区域141BC是摄像机终端P110B的检测区域即检测区域140B与摄像机终端P110C的检测区域即检测区域140C重复的区域,表示该区域的大小的量用XBR-XCL表现。重复区域141CT是摄像机终端P110C的检测区域即检测区域140C与检测对象外区域131重复的区域,表示该区域的大小的量用XCR-XTR表现。
另外,在本图中,为了便于说明,检测区域及重复区域仅在1维的XW轴120上表示,但实际上检测区域及重复区域在平面上存在。图9(a)是以2维表示本实施方式的检测区域的图,图9(b)表示检测区域为矩形时的检测区域(四边形)与重复区域(斜线部)的例子,图9(c)是表示检测区域为圆形时的检测区域(圆形)与重复区域(斜线部)的例子的图。本实施方式的检测区域调整装置如后所述,不仅在检测区域是面的情况下,在是立体的情况下也能够适用,但由于作为处理,能够通过将1维的处理扩展为2维、3维,所以以下仅缩略在X轴上进行说明。
图10(a)是表示摄像机P101的内部结构的图。摄像机P101具备透镜201、摄像面202、图像处理部203及姿势控制部204。透镜201是用来使像成像的透镜,摄像面202是对由透镜201成像的像进行摄影的CCD等元件,图像处理部203是处理由摄像面202摄影的图像的处理部,姿势控制部204是控制透镜201及摄像面202的姿势、或者透镜201与摄像面202的间隔的处理部。所谓的姿势控制部204所进行的透镜201及摄像面202的姿势的控制,是一般称作摇动或倾斜的控制,如图10(b)所示,透镜201及摄像面202联动,以某个点或轴为中心旋转。此外,所谓姿势控制部204所进行的透镜201及摄像面202的间隔的控制,是一般称作缩放的控制,如图10(c)所示,增减透镜201及摄像面202的间隔。
利用图8说明本发明的实施方式1的检测区域调整装置的动作。在各摄像机终端P110A~110C中,摄像机P101具有图10(a)所示的内部结构。在摄像机P101中,将由图10(a)所示的透镜201所成像的像通过摄像面202变换为图像信号,在图像处理部203中通过一般的图像处理技术及图像识别技术等,从该图像信号进行检测对象的检测及信息提取。这样,摄像机P101相对实空间,进行将由透镜201及摄像面202的姿势及各自的间隔所决定的自身的摄影范围作为检测区域的、检测对象的检测及信息提取等检测动作。检测到的检测对象的信息被发送给图8的调整部102。另外,作为上述一般的图像处理技术及图像识别技术,可以列举广泛公知的背景差分法及动差分法等。
进而,在摄像机P101中,图10(a)所示的姿势控制部204通过控制透镜201及摄像面202的姿势、或透镜201及摄像面202的间隔,使摄像机P101的检测区域的位置与图8中的调整部102所指示的检测区域的位置一致。并且,姿势控制部204将由当前的透镜201及摄像面202的姿势或间隔决定的当前的摄像机P101的检测区域的位置信息发送给调整部102。这样,摄像机P101的检测区域的位置由调整部102控制,并且当前的摄像机P101的检测区域的位置信息被发送给调整部102。另外,对于计算由当前的透镜201及摄像面202的姿势或间隔决定的当前的摄像机P101的检测区域的位置的方法,在后述的补充说明1中详细地说明。此外,只要使用例如步进马达等就能够变化透镜201及摄像面202的姿势及间隔,并且,也能够读取当前的姿势及间隔。
调整部102将从摄像机P101发送来的摄像机P101的检测区域的位置信息经由通信部103及网络112,周期性地发送给其他摄像机终端P的调整部102。并且,调整部102接收从其他摄像机终端P的调整部102周期性地发送的其他摄像机终端P的摄像机P101的检测区域的位置信息。进而,在操作终端111L及操作终端111R中,通信部103将检测对象区域130的位置信息经由网络112周期性地发送给各摄像机终端P110A~110C的调整部102。
因此,在各摄像机终端P110A~110C中,调整部102周期性地取得本摄像机终端P及其他摄像机终端P的摄像机P101的检测区域的位置信息及检测对象区域的位置信息,在本实施方式1中,各调整部102经由通信部103及网络112周期性地取得摄像机终端P110A的检测区域140A的位置即XAL及XAR、摄像机终端P110B的检测区域140B的位置即XBL及XBR、摄像机终端P110C的检测区域140C的位置即XCL及XCR、检测对象区域130的位置即XTL及XTR。
进而,调整部102为了使得在与本摄像机终端的检测区域邻接的周边的区域中不产生不属于多个摄像机终端P110A~C的检测区域中的任一个的非检测区域,基于所取得的上述检测区域的位置信息及检测对象区域的位置信息,进行图11所示的以下的步骤的处理。
首先,根据表示本摄像机终端P及其他摄像机终端P的摄像机P101的检测区域位置的信息,选择与本摄像机终端P的检测区域邻接的其他摄像机终端P的检测区域或检测对象外区域(步骤301)。利用图12在下面说明该选择方法的一例。
图12(a)是表示图12(b)所示那样的检测区域为矩形时的XW轴上的检测区域与重复区域的图。首先,计算本摄像机终端P的检测区域的中心位置、其他摄像机终端P的检测区域的中心位置、以及检测对象外区域的中心位置。接着,将具有比本摄像机终端P的检测位置的中心位置在数值上小的中心位置的其他摄像机的检测区域或检测对象外区域选择为在左侧邻接的检测区域。并且,将具有比本摄像机终端P的检测位置的中心位置在数值上大的中心位置的其他摄像机的检测区域或检测对象外区域选择为在右侧邻接的检测区域。另外,在存在多个具有数值上较小或较大的中心位置的其他摄像机的检测区域或检测对象外区域的情况下,选择其中在离本摄像机终端P的检测区域的中心位置距离上最近的位置上具有中心位置的区域。因此,在摄像机终端P110A中,选择检测对象外区域131作为左邻,选择检测区域140B作为右邻,在摄像机终端P110B中,选择检测区域140A作为左邻,选择检测区域140C作为右邻,在摄像机终端P110C中,选择检测区域140B作为左邻,选择检测对象外区域131作为右邻。另外,除了上述邻接区域的选择方法以外,还存在一些方法。对于其他方法在后述的补充说明2中说明。
接着,计算表示在步骤301中所选择的检测区域和本摄像机终端P的检测区域重复的区域即重复区域的大小的量(步骤302)。该计算方法如图12所示,能够根据所选择的检测区域位置及本摄像机终端P的检测区域位置的大小关系简单地计算。因此,在摄像机终端P110A中,计算表示左邻的重复区域即重复区域141TA的大小的量XTL-XAL、表示右邻的重复区域即重复区域141AB的大小的量XAR-XBL,在摄像机终端P110B中,计算表示左邻的重复区域即重复区域141AB的大小的量XAR-XBL、表示右邻的重复区域即重复区域141BC的大小的量XBR-XCL,在摄像机终端P110C中,计算表示左邻的重复区域即重复区域141BC的大小的量XBR-XCL、表示右邻的重复区域即重复区域141CT的大小的量XCR-XTR。
接着,调整本摄像机终端P的检测区域位置,以使在步骤302中计算出的表示重复区域的大小的量接近于一定的量C(步骤303)。下面说明该调整方法。首先,设定函数UP()作为表示重复区域的大小的量与0或0以上的一定量C的差的量。在本实施方式1中,如以下的式1到式3所示,对于各摄像机终端P110A~110C设定相同的函数。
式1UPAL(XAL)=(XTL-XAL-C)2UPAR(XAR)=(XAR-XBL-C)式2UPBL(XBL)=(XAR-XBL-C)2UPBR(XBR)=(XBR-XCL-C)式3UPCL(XCL)=(XBR-XCL-C)2UPCR(XCR)=(XCR-XTR-C)2从上述式1到式3分别对应于摄像机终端P110A~110C,将表示重复区域的大小的量与一定量C的差的平方作为表示各个差的量。接着,如以下的式4到式6所示,利用一般公知的最速下降法的算式,计算本摄像机终端P的下一个的检测区域位置。
式4X′AL=XAL-α∂UPAL(XAL)∂XAL]]>X′AR=XAR-α∂UPAR(XAR)∂XAR]]>式5X′BL=XBL-α∂UPBL(XBL)∂XBL]]>X′BR=XBR-α∂UPBR(XBR)∂XBR]]>式6X′CL=XCL-α∂UPCL(XCL)∂XCL]]>X′CR=XCR-α∂UPCR(XCR)∂XCR]]>在从上述式4到式6中,X’AL、X’AR、X’BL、X’BR、X’CL、X’CR分别表示各摄像机终端P110A~110C的下一个的检测区域位置,α是常数。最后将摄像机P101的检测区域位置调整到下一个的检测区域位置。
另外,在上述方法中,需要能够分别独立地调整本摄像机终端P的检测区域位置即XAL及XAR。对于XBL及XBR、XCL及XCR也同样。一般的摄像机如图10(a)及后述的补充说明1中记载那样,难以独立地对它们进行调整。这样,在不能分别独立地调整的情况下,只要将函数UP()设为以下的式7到式9所示那样,并利用以下的式10到式12所示的最速下降法的算式,就能够进行与上述调整同样的调整。
式7UPA(XAL,XAR)=UPAL(XAL)+UPAR(XAR)如果设XAL=FAL(θ1A,θ2A…),XAR=FAR(θ1A,θ2A…),则UPA(XAL,XAR)=UPA(θ1A,θ2A…)=(XTL-FAL(θ1A,θ2A…)-C)2+(FAR(θ1A,θ2A…)-XBL-C)2
式8UPB(XBL,XBR)=UPBL(XAL)+UPBR(XAR)如果设XBL=FBL(θ1B,θ2B…),XBR=FBR(θ1B,θ2B…),则UPB(XBL,XBR)=UPB(θ1B,θ2B…)=(XAR-FBL(θ1B,θ2B…)-C)2+(FBR(θ1B,θ2B…)-XCL-C)式9UPC(XCL,XCR)=UPCL(XCL)+UPCR(XCR)如果设XCL=FCL(θ1C,θ2C…),XCR=FCR(θ1C,θ2C…),则UPC(XCL,XCR)=UPC(θ1C,θ2C…)=(XBR-FCL(θ1C,θ2C…)-C)2+(XTR-FCR(θ1C,θ2C…)-C)式10θ′1A=θ1A-α∂UPA(θ1A)∂θ1A]]>θ′2A=θ2A-α∂UPA(θ2A)∂θ2A]]>式11θ′1B=θ1B-α∂UPB(θ1B)∂θ1B]]>θ′2B=θ2B-α∂UPB(θ2B)∂θ2B]]>式12θ′1C=θ1C-α∂UPC(θ1C)∂θ1C]]>θ′2C=θ2C-α∂UPC(θ2C)∂θ2C]]>调整部102依次进行步骤301、步骤302、步骤303的处理,在步骤303的处理结束后回到步骤301的处理。并且,调整部102一边不断地重复从步骤301到步骤303的处理,一边调整摄像机P101的检测范围。
本发明的实施方式1的检测区域调整装置的动作如上所述,在步骤303中利用最速下降法的算式计算本摄像机终端P的下一个的检测区域位置,将摄像机P101的检测区域位置调整到该下一个的检测区域位置,以使表示重复区域的大小的量接近于0或0以上的一定量,所以各摄像机终端P110A~110C的检测区域即检测区域140A、检测区域140B、检测区域140C以及检测对象外区域相互通过重复步骤301到步骤303的处理而以0或0以上的一定量C的大小重复。如图8所示,包括检测对象物区域,各摄像机终端P110A~110C检测区域分别以0或0以上的一定量C的大小重复,检测对象区域130包含在各摄像机终端P110A~110C的检测区域相加后的区域中,所以本发明的检测区域调整装置能够利用各摄像机终端P110A~110C无死角地检测检测对象区域130。
此外,调整部102通过重复从步骤301到步骤303的处理,可发挥无死角地检测检测对象区域130的效果。该重复进行的处理的步骤302及步骤303的处理是针对在步骤301中选择的与本摄像机终端P的检测区域邻接的其他摄像机P的检测区域所进行的。
因此,即使在各时刻与本摄像机终端P的检测区域邻接的其他摄像机P的检测区域的位置或检测对象区域的位置发生了变化,也能够对应于该变化而得到无死角地检测检测对象区域130的效果。作为上述检测区域位置或检测对象区域位置发生变化的情况,可以列举出,(1)改变了摄像机终端P的检测区域位置,(2)新设置了摄像机终端P,(3)各摄像机终端P中的某几个摄像机终端P被摘除或故障,(4)改变了从操作终端发送的检测对象区域位置。
对应于这些变化状况的本发明的动作记载在后述的补充说明3及补充说明4中,但即使因这些变化而使各摄像机终端P发送的检测区域位置或操作终端发送的检测对象区域位置发生了变化、或发送了没有发送的新的检测区域位置,本发明的检测区域调整装置也能够与检测区域位置或检测对象区域位置的变化相对应,利用各摄像机终端P无死角地检测检测对象区域130。
另外,在本实施方式1中,将表示表示重复区域的大小的量与0或0以上的一定量C的差的函数UP()如从上述式1到式3或从上述式7到式9所示那样设为表示重复区域的大小的量与一定量C的差的平方,但如图13所示,即使将函数UP()设为表示重复区域的大小的量与一定量C的差的4次方、6次方、10次方等那样的差的偶数次方、或将函数UP()设为表示重复区域的大小的量与一定量C的差的绝对值,由于这些函数UP()在XAL-XTL为C时具有最小值,所以通过在步骤303中进行的最速下降法的效果,使表示重复区域的大小的量接近于一定量C,所以不言而喻可以得到同样的效果。
此外,即使函数UP()是图14所示那样的、在XAL-XTL为C时不是最小值而是极小值的函数UP(),只要是在XAL-XTL的可变化的范围中在XAL-XTL为C时达到最小值的函数UP(),不言而喻可以得到同样的效果,上述函数UP()表示表示重复区域的大小的量与0或0以上的一定量C的差。
此外,在本实施方式1中,如图8所示,调整部102分散存在于各摄像机终端P110A~110C中,但如果如图15所示的检测区域调整装置那样,只存在一个调整部102,只存在一个的调整部102调整各摄像机终端P110A~110C的摄像机P101的所有检测区域位置,不言而喻可以得到同样的效果。
此外,在本实施方式1中,将摄像机P101作为一般的摄像机进行处理,但该摄像机P101如果是检测可视光或红外线、紫外线等非可视光的摄像机,不言而喻也可以得到同样的效果。进而,如果是微动传感器、压力传感器、温度传感器、气压传感器等、具有检测各种物理量的检测区域并且检测区域位置可变的一般的传感器,不言而喻也可以得到同样的效果。例如,对于图16(a)所示那样的具有指向特性的麦克风,如图16(b)所示,将能够以一定以上的灵敏度检测声音的方向(区域)定义为感知区域(检测区域),所以通过与本实施方式的摄像机的摇动及倾斜同样地控制麦克风的姿势,能够代替本实施方式的摄像机,或者除摄像机之外,构建由多个麦克风构成的检测区域调整装置。即,本发明不仅能应用在摄像机中,也能够应用在上述各种传感器中。
此外,在本实施方式1中,将网络112作为在一般的通信时使用的网络线路来处理,但如果该网络112是有线或无线的网络,不言而喻都能够得到同样的效果。
另外,在本实施方式中,主要说明了X轴上的处理,但通过将同样的处理也应用在Y轴上,可避免在平面上发生死角区域。如图17所示,一边使XW轴以一定间隔向Y轴方向移动,一边重复本实施方式的XW轴上的处理(使重复区域为0以上的处理),设定各摄像机终端的检测区域,以使得无论在哪个Y轴上的位置上都使重复区域为0以上(对每个摄像机终端调整为向Y轴方向的扫描中的最大的检测区域)。由此,无论以怎样的分布配置各摄像机终端,或者不论检测区域的形状如何,都可以避免平面上的死角区域的产生。不言而喻,这种维度的扩展也可以应用到Z轴。
(实施方式2)接着对本发明的实施方式2进行说明。
本实施方式涉及检测区域调整装置,该检测区域调整装置即使与本摄像机终端的检测区域邻接的其他摄像机的检测区域的空间分辨率发生了变化,也能够对应于该变化而取得空间分辨率一致的各摄像机的摄影图像。
图18是本发明的实施方式2的检测区域调整装置的结构框图。该检测区域调整装置具有通过网络112连接的多个摄像机终端PR1110A~C、2台操作终端1111L及1111R。
多个摄像机终端PR1110A~C是一边相互通信一边自律协调地动作的摄像机终端,具备相同的结构要素(摄像机P1101、调整部1102及通信部1103)。摄像机PR1101是该摄像机的检测区域的位置即检测区域位置可变、且该摄像机的检测区域的空间分辨率即检测区域空间分辨率可变(例如可缩放控制)的摄像机,调整部1102是调整摄像机PR1101的检测区域位置及检测区域分辨率的处理部,通信部1103是对摄像机PR1101的检测区域位置信息及检测区域分辨率信息进行通信的处理部。
调整部1102根据本摄像机终端的检测区域位置信息及检测区域分辨率信息、和由通信部1103接收到的其他摄像机终端的检测区域位置信息及检测区域分辨率信息,控制本摄像机终端的摄像机来调整检测区域的位置及空间分辨率,以使将多个摄像机终端PR1110A~C的检测区域相加后的区域完全覆盖检测对象区域,并且多个摄像机终端PR1110A~C的检测区域的空间分辨率大致相同。更详细地讲,调整部1102调整本摄像机终端的检测区域的位置及空间分辨率,以使在与本摄像机终端的检测区域邻接的周边的区域中,不会产生不属于多个摄像机终端PR1110A~C的检测区域中的任一个的非检测区域,并且本摄像机终端的检测区域的空间分辨率与该检测区域所邻接的其他摄像机终端的检测区域的空间分辨率大致相同。
操作终端1111L及操作终端1111R取得来自用户的指示,将该指示通知给摄像机终端PR1110A~C,具备对检测对象位置信息进行通信的通信部1103。网络1112是在经由各摄像机终端PR1110A~1110C、以及操作终端1111L及操作终端1111R内的通信部1103进行通信时所使用的网络线路。各摄像机终端PR1110A~1110C通过该网络1112对各摄像机终端PR内的摄像机PR1101的检测区域位置信息及检测区域空间分辨率信息进行通信,操作终端1111L及操作终端1111R通过该网络1112将检测对象区域通信给各摄像机终端PR1110A~1110C。
操作终端1111L、操作终端1111R、网络1112分别与本发明的实施方式1中的图8的操作终端111L、操作终端111R、网络112相同。与实施方式1的不同点是,在本实施方式2中,摄像机PR1101不仅检测区域位置可变,检测区域空间分辨率也可变,随之,调整部1102及通信部1103不仅处理检测区域位置信息,也处理检测区域空间分辨率信息。另外,所谓的空间分辨率,是指摄像机所摄影的图像的空间上的分辨率,相当于用摄像元件的数量除检测区域的面积后的值。该空间分辨率主要通过摄像机的缩放控制而变化,检测区域的面积越小,值越大(能够取得详细的图像的状态)。
XW轴1120、ZW轴1122、实空间面1125、检测对象区域1130及该区域的位置即XTL及XTR、检测对象外区域1131、检测区域1140A及该区域的位置即XAL及XAR、检测区域1140B及该区域的位置即XBL及XBR、检测区域1140C及该区域的位置即XCL及XCR、重复区域1141TA及表示该区域的大小的量即XTL-XAL、重复区域1141AB及表示该区域的大小的量即XAR-XBL、重复区域1141BC及表示该区域的大小的量即XBR-XCL、重复区域1141CT及表示该区域的大小的量即XCR-XTR与图8所示的实施方式1相同。RA表示摄像机终端PR1110A的检测区域空间分辨率,RB表示摄像机终端PR1110B的检测区域空间分辨率,RC表示摄像机终端PR1110C的检测区域空间分辨率。
图19(a)是表示摄像机PR1101的内部结构的图。摄像机PR1101具备透镜1201、摄像面1202、图像处理部1203及姿势控制部1204。透镜1201是用来使像成像的透镜,摄像面1202是对由透镜1201成像的像进行摄影的CCD等元件,图像处理部1203是处理由摄像面1202摄影的图像的处理部,姿势控制部1204是控制透镜1201及摄像面1202的姿势、以及透镜1201与摄像面1202的间隔的处理部。
透镜1201、摄像面1202、及图像处理部1203分别与本发明的实施方式1中的图10(a)的透镜201、摄像面202、及图像处理部203相同。本发明的实施方式1与实施方式2的不同点是,在图19(a)所示的本实施方式2中,姿势控制部1204不是控制透镜1201及摄像面1202的姿势或间隔中的某一个,而是同时控制透镜1201及摄像面1202的姿势及间隔。姿势控制部1204如图19(b)所示,同时地控制一般称作摇动或倾斜的控制即透镜1201及摄像面1202的姿势、和一般称作缩放的控制即透镜1201及摄像面1202的间隔。
利用图18说明本发明的实施方式2的检测区域调整装置的动作。在各摄像机终端PR1110A~1110C中,摄像机PR1101对于实空间进行将由透镜1201及摄像面1202的姿势及各自的间隔所决定的自身的摄影范围作为检测区域的、检测对象的检测及信息提取等检测动作。检测到的检测对象的信息被发送给图18的调整部1102。进而,在摄像机PR1101中,图19(a)所示的姿势控制部1204通过控制透镜1201及摄像面1202的姿势、以及透镜1201及摄像面1202的间隔,使摄像机PR1101的检测区域的位置与图18的调整部1102所指示的检测区域的位置一致。此外,姿势控制部1204将由当前的透镜1201及摄像面1202的姿势或间隔决定的当前的摄像机PR1101的检测区域的位置信息发送给调整部1102。
以上的动作与本发明的实施方式1中的摄像机终端P110A~110C相同。在本发明的实施方式2中,还通过姿势控制部1204控制透镜1201及摄像面的间隔,使摄像机PR1101的检测区域空间分辨率与图18的调整部1102所指示的检测区域空间分辨率一致。此外,姿势控制部1204将由当前的透镜1201及摄像面1202的间隔决定的当前的摄像机PR1101的检测区域的空间分辨率发送给调整部1102。
这样,在本发明的实施方式2中,与本发明的实施方式1同样,摄像机PR1101的检测区域的位置由调整部1102控制,当前的摄像机PR1101的检测区域的位置信息被发送给调整部1102,并且,在本发明的实施方式2中,摄像机PR1101的检测区域的空间分辨率由调整部1102控制,当前的摄像机PR1101的检测区域的空间分辨率信息被发送给调整部1102。
调整部1102将从摄像机PR1101发送来的摄像机PR1101的检测区域的位置信息及空间分辨率信息经由通信部1103及网络1112,周期性地发送给其他摄像机终端PR的调整部1102。并且,调整部1102接收从其他摄像机终端PR的调整部1102周期性地发送的其他摄像机终端PR的摄像机PR1101的检测区域的位置信息及空间分辨率信息。进而,在操作终端1111L及操作终端1111R中,通信部1103将检测对象区域1130的位置信息经由网络1112周期性地发送给各摄像机终端PR1110A~1110C的调整部1102。
以上的动作、即在各摄像机终端PR1110A~1110C以及操作终端1111L及操作终端111R之间、调整部1102及通信部1103收发检测区域的位置信息这一点是本发明的实施方式1。在本发明的实施方式2中,还在各摄像机终端PR1110A~1110C间调整部1102及通信部1103收发检测区域的空间分辨率。
因此,在各摄像机终端PR1110A~1110C中,调整部1102周期性地取得本摄像机终端P及其他摄像机终端P的摄像机PR1101的检测区域的位置信息及空间分辨率信息、以及检测对象区域的位置信息,与本发明的实施方式1同样,各调整部1102经由通信部1103及网络1112周期性地取得摄像机终端PR1110A的检测区域1140A的位置即XAL及XAR、摄像机终端PR1110B的检测区域1140B的位置即XBL及XBR、摄像机终端PR1110C的检测区域1140C的位置即XCL及XCR、检测对象区域1130的位置即XTL及XTR,并且,在本发明的实施方式2中,还经由通信部1103及网络1112周期性地取得摄像机终端PR1110A的检测区域1140A的空间分辨率即RA、摄像机终端PR1110B的检测区域1140B的空间分辨率即RB、摄像机终端PR1110C的检测区域1140C的空间分辨率即RC。
进而,调整部1102基于所取得的上述检测区域的位置信息及空间分辨率信息、以及检测对象区域的位置信息,进行图20所示的以下步骤的处理。
首先,调整部1102根据表示本摄像机终端PR及其他摄像机终端PR的摄像机PR1101的检测区域位置的信息,选择与本摄像机终端PR的检测区域邻接的其他摄像机终端PR的检测区域或检测对象外区域(步骤1301)。该处理与本发明的实施方式1相同。
接着,调整部1102计算表示在步骤1301中选择的检测区域与本摄像机终端P的检测区域重复的区域即重复区域的大小的量(步骤1302)。该处理也与本发明的实施方式1相同。
接着,调整部1102计算表示在步骤1301中选择的检测区域的空间分辨率与本摄像机终端P的检测区域的空间分辨率的差的量(步骤1303)。由此,在摄像机终端PR1110A中,计算出表示自身的检测区域1140A及与其邻接的检测区域1140B各自的检测区域分辨率的差的量RA-RB,在摄像机终端PR1110B中,计算出表示自身的检测区域1140B及与其邻接的检测区域1140A各自的检测区域分辨率的差的量RB-RA、表示自身的检测区域1140B及与其邻接的检测区域1140C各自的检测区域分辨率的差的量RB-RC,在摄像机终端PR1110C中,计算出表示自身的检测区域1140C及与其邻接的检测区域1140B各自的检测区域分辨率的差的量RC-RB。
接着,调整部1102调整本摄像机终端PR的检测区域位置,以使在步骤1303中计算出的表示重复区域的大小的量接近于一定量C(步骤1304)。该处理与本发明的实施方式1同样。在本发明的实施方式2中,还调整本摄像机终端PR的检测区域空间分辨率,以使在步骤1303中计算出的表示检测区域空间分辨率的差的量接近于0。下面说明该调整方法。
首先,设定函数UR()作为表示检测区域空间分辨率的差。在本实施方式2中,将从以下的式13到式15所示的算式设定为该函数UR()。
式13URAR(RA)=(RA-RB)式14URBL(RB)=(RB-RA)2URBR(RB)=(RB-RC)式15URCL(RC)=(RC-RB)2从上述式13到式15分别与摄像机终端PR1110A~1110C对应,将表示检测区域空间分辨率的差的量的平方作为表示各自的差的量。接着,如以下的式16到式18所示,利用一般已知的最速下降法的算式,计算本摄像机终端PR的下一个的检测区域空间分辨率。
式16R′A=RA-α∂URAL(RA)∂RA]]>式17R′B=RB-α∂(URBL(RB)+URBR(RB))∂RB]]>式18R′C=RC-α∂URCR(RC)∂RC]]>在上述式16到式18中,R’A、R’B、R’C分别表示各摄像机终端PR1110A~1110C的下一个的检测区域空间分辨率,α是常数。最后,将摄像机PR1101的检测区域空间分辨率调整为该下一个的检测区域空间分辨率。
调整部1102依次进行步骤1301、步骤1302、步骤1303、步骤1304的处理,在步骤1304的处理结束后回到步骤1301的处理。并且,在调整部1102中,一边不断地重复从步骤1301到步骤1304的处理,一边调整摄像机PR1101的检测区域。
本发明的实施方式2的检测区域调整装置的动作如上所述,本发明的实施方式2中的动作由于完全包括本发明的实施方式1中的动作,所以显然具有本发明的实施方式1所示的效果。在本发明的实施方式2中还在步骤1303中利用最速下降法的算式计算本摄像机终端PR的下一个的检测区域空间分辨率,并将摄像机PR1101的检测区域空间分辨率调整为该下一个的检测区域空间分辨率,以使表示检测区域空间分辨率的差的量接近于0,所以,各摄像机终端PR1110A~1110C的检测区域空间分辨率相互通过重复从步骤1301到步骤1304的处理而变为一致。因此,如果采用本发明的检测区域调整装置,则能够取得空间分辨率一致的、由摄像机终端PR1110A~1110C内的摄像机PR1101摄影的各图像。此外,在本实施方式中摄像机终端PR1110A~1110C的各摄像面1202的元件数相同,所以所谓的各摄像机终端PR1110A~1110C的检测区域空间分辨率一致,意味着各摄像机终端PR1110A~1110C所担负检测的检测区域的面积相同。
此外,调整部1102通过重复从步骤1301到步骤1304的处理,可发挥能够取得空间分辨率一致的各摄像机的摄像图像的效果。该重复进行的处理的步骤1302及步骤1303的处理是对在步骤1301中选择的与本摄像机终端PR的检测区域邻接的其他摄像机PR的检测区域进行的处理。
因此,即使在各时刻与本摄像机终端PR的检测区域邻接的其他摄像机PR的检测区域的空间分辨率发生了变化,也能够对应于该变化而得到能够取得空间解析度一致的各摄像机的摄影图像的效果。作为上述检测区域空间分辨率发生变化的情况,可以列举出,(1)改变了摄像机终端PR的检测区域空间分辨率,(2)新设置了摄像机终端PR,(3)各摄像机终端PR中的某几个摄像机终端PR被摘除或故障。
对应于这些变化的本发明的动作记载在后述的补充说明3及补充说明4中,但即使因这些变化而使各摄像机终端PR所发送的检测区域空间分辨率信息发生了变化、或发送了没有发送的新的检测区域空间分辨率信息,本发明的检测区域调整装置也能够对应于检测区域空间分辨率的变化,取得空间分辨率一致的各摄像机的摄影图像。
另外,在本实施方式2中,将表示检测区域空间分辨率的差的函数UR()如从上述式13到式15所示那样设为检测区域空间分辨率的差的平方,但与本发明的实施方式1同样,即使将函数UR()设为检测区域空间分辨率的差的4次方、6次方、10次方等那样的差的偶数次方、或将函数UR()设为检测区域空间分辨率的差的绝对值,由于这些函数UR()在RA-RB为0的时候具有最小值,所以,由于在步骤1304中进行的最速下降法的效果,而使表示检测区域空间分辨率的差的量接近于0,所以不言而喻可以得到同样的效果。
此外,与本发明的实施方式1同样,即使表示检测区域空间分辨率的差的函数UR()是在RA-RB为0时不具有最小值而具有极小值的函数UR(),只要是在RA-RB的可变化的范围中在RA-RB为0时成为最小值的函数UR(),则不言而喻也可以得到同样的效果。
此外,在本实施方式2中,如图18所示,调整部1102分散存在于各摄像机终端PR1110A~1110C中,但如图15所示的结构图那样,如果调整部1102只存在一个,并且只存在一个的调整部1102调整各摄像机终端PR1110A~1110C的摄像机PR1101的所有检测区域位置,不言而喻也可以得到同样的效果。
此外,在本实施方式2中,将摄像机PR1101作为一般的摄像机进行处理,但该摄像机PR1101如果是检测可视光或红外线、紫外线等非可视光的摄像机,不言而喻也可以得到同样的效果。进而,如果是具有检测区域且检测区域空间分辨率可变的一般的传感器,不言而喻也可以得到同样的效果。
此外,在本实施方式2中,将网络1112作为在一般的通信时使用的网络线路来处理,但如果该网络1112是有线或无线的网络,不言而喻也都能够得到同样的效果。
此外,在本实施方式2中,各摄像机终端通过与检测区域邻接的其他摄像机终端互相通信,来进行调整以使自己的检测区域的空间分辨率与其他摄像机终端的检测区域的空间分辨率一致,但本发明并不仅限于该方法,各摄像机终端也可以不与其他摄像机终端互相通信,而是固定自己的检测区域的空间分辨率以使其成为最高的空间分辨率。由此,结果是,邻接的检测区域具有重复区域,所有的检测区域成为最高的空间分辨率,所以根据本实施方式的检测区域调整装置,能够以最高的空间分辨率(能够取得最详细的图像的状态)对整个检测对象区域全部地进行摄影。
接着补充由实施方式1及实施方式2说明的内容,并且对本发明的具体例进行说明。
(补充说明1)在本补充说明中,对于在实施方式1及实施方式2中说明的摄像机P101及摄像机PR1101的检测区域的计算方法详细地进行说明。
图21是说明摄像机P101及摄像机PR1101的可变检测区域的图。在图21中,透镜2101相当于图10(a)所示的透镜201及图19(a)所示的透镜1201,摄像面2102相当于图10(a)所示的摄像面202及图19(a)所示的摄像面1202,摄像机2103相当于图10(a)所示的摄像机P101及图19(a)所示的摄像机PR1201。XC轴2104、YC轴2105及ZC轴2106相互正交,构成以透镜2101为原点的摄像机坐标系。摄像机2103绕各轴进行摇动旋转(绕YC轴2105旋转)、倾斜旋转(绕XC轴2104旋转)、转动旋转(绕ZC轴2106旋转)。将各个旋转角度表示为ΘPC、ΘTC、ΘRC。摄像面2102存在于从透镜2101向ZC轴2106方向离开f的距离,具有2W×2H的大小。XW轴2107、YW轴2108及ZW轴2109相互正交,构成世界坐标系。XW轴2107相当于图8所示的XW轴120及图18所示的XW轴1120,ZW轴2109相当于图8所示的ZW轴122及图18所示的ZW轴1122。摄像机2103在世界坐标系中存在于由(XT,YT,ZT)表示的位置,以该位置为基点移动(ΔXTW,ΔYTW,ΔZTW)。
处于由XC轴2104、YC轴2105及ZC轴2106构成的摄像机坐标系上的点(XC,YC,ZC)能够通过以下的式19变换为由XW轴2107、YW轴2108及ZW轴2109构成的世界坐标轴上的点(XW,YW,ZW)。
式19XWYWZW=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22XCYCZC+XTWYTWZTW+ΔXWΔYWΔZW]]>在上述式19中,以从M00到M22为要素的3×3行列值表示摄像机2103的姿势基准点(摄像机2103的姿势的旋转角度(ΘPC,ΘTC,ΘRC)=(0,0,0))的行列值、以从R00到R22为要素的3×3行列值表示从摄像机2103的姿势基准点的姿势位移的行列值,(XTW,YTW,ZTW)表示摄像机2103的位置基准点(摄像机2103的位置的位移(ΔXTW,ΔYTW,ΔZTW)=(0,0,0))的位置,(ΔXTW,ΔYTW,ΔZTW)表示从摄像机2103的位置基准点的位置位移。
能够通过使摄像机2103与姿势基准点及位置基准点一致、或者分别以当前的摄像机2103的姿势及位置为姿势基准点及位置基准点、利用以下的文献1所示的校准方法等计算出以从M00到M22为要素的3×3行列值及(XTW,YTW,ZTW),在本发明的检测区域调整装置的动作开始前事前计算。
文献1R.Tsai.A Versatile Camera Calibration Technique forHigh-Accuracy 3D Machine Vision Metrology Using Off-the Shelf TVCameras and Lenses.IEEE journal of Robotics and A utomation,Vol.RA-3,No.4,pp.323-344,1987如以下的式20所示,可以通过摄像机2103的姿势即旋转角度(ΘPC,ΘTC,ΘRC)计算出以从R00到R22为要素的3×3行列值。
式20R00R01R02R10R11R12R20R21R22=cosΘRCsinΘRC0-sinΘPCcosΘPC00001000cosΘTCsinΘTC0-sinΘTCcosΘtccosΘPC0-sinΘPC010sinΘPC0cosΘPC]]>另外,旋转角度(ΘPC,ΘTC,ΘRC)在本发明的实施方式1及实施方式2中,分别由图10(a)所示的姿势控制部204、图19(a)所示的姿势控制部1204读取。
从摄像机2103的位置基准点的位置位移即(ΔXTW,ΔYTW,ΔZTW)如果是通过步进马达等使该摄像机2103的位置变化的结构,则能够通过该步进马达读取该位移。
摄像面2102上的各点(XPC,YPC,f)通过以下的式21投影在ZW=C的实空间面2110上。
式21XPWYPWZPW=X0+(Z0-ZC)XDZDY0+(Z0-ZC)YDZDZC]]>X0Y0Z0=XTWYTWZTW+ΔXWΔYWΔZW]]>XDYDZD=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22XPCYPCf]]>
因此,摄像面4角的各点(-W,-H,f)、(W,-H,f)、(-W,H,f)、(W,H,f)通过以下的式22投影在ZW=C的实空间面2110上。
式22XPW0YPW0ZPW0=X0+(Z0-ZC)XD0ZD0Y0+(Z0-ZC)YD0ZD0ZCXD0YD0ZD0=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22-W-Hf]]>XPW1YPW1ZPW1=X0+(Z0-ZC)XD1ZD1Y0+(Z0-ZC)YD1ZD1ZCXD1YD1ZD1=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22W-Hf]]>XPW2YPW2ZPW2=X0+(Z0-ZC)XD2ZD2Y0+(Z0-ZC)YD2ZD2ZCXD2YD2ZD2=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22-WHf]]>XPW3YPW3ZPW3=X0+(Z0-ZC)XD3ZD3Y0+(Z0-ZC)YD3ZD3ZCXD3YD3ZD3=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22WHf]]>由投影在该ZW=C的实空间面2110上的摄影面4角的各点构成的面是摄像机2103的检测区域。在本发明的实施方式1及实施方式2中,特别是由于使实空间面2110为ZW=0,所以能够通过以下的式23计算摄像机2103的检测区域。
式23XPW0YPW0ZPW0=X0+Z0XD0ZD0Y0+Z0YD0ZD00XD0YD0ZD0=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22-W-Hf]]>XPW1YPW1ZPW1=X0+Z0XD1ZD1Y0+Z0YD1ZD10XD1YD1ZD1=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22W-Hf]]>XPW2YPW2ZPW2=X0+Z0XD2ZD2Y0+Z0YD2ZD20XD2YD2ZD2=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22-WHf]]>XPW3YPW3ZPW3=X0+Z0XD3ZD3Y0+Z0YD3ZD30XD3YD3ZD3=R00R01R02R10R11R12R20R21R22M00M01M02M10M11M12M20M21M22WHf]]>另外,图22是将与图8及图22同样的实空间面2210设为ZW=C时的本发明的检测区域调整装置的结构框图。在本发明的实施方式1及实施方式2中,将实空间面2110设为ZW=0。在将实空间面2110设为ZW=C的情况下也能够通过上述式22计算摄像机2103的检测区域位置。如该图22所示,如果将实空间面2110设为ZW=C,则在具有从ZW=0到ZW=C的宽度的检测对象区域2230中,也能够利用各摄像机终端P无死角地进行检测。
以上对摄像机P101及摄像机PR1101的检测区域的计算方法进行了说明,但除了上述以外,还有使用激光指示器等、发送摄像机P101及摄像机PR1101可检测的信号的设备的方法。以下表示该例。
图23是表示具备激光指示器的摄像机P2301的内部结构的图。该摄像机P2301具备透镜2301、摄像面2302、图像处理部2303、姿势控制部2304及激光指示器2305。透镜2301是用来使像成像的透镜,摄像面2302是对由透镜2301成像的像进行摄影的CCD等元件,图像处理部2303是对由摄像面2302摄影的图像进行处理的处理部,姿势控制部2304是控制透镜2301、摄像面2302以及激光指示器2305的姿势、以及透镜2301与摄像面2302的间隔的处理部,激光指示器2305是与透镜2301及摄像面2302联动而通过姿势控制部2304改变姿势、将激光投射到摄像机P2301的检测区域的端部上的部件。
透镜2301、摄像面2302、图像处理部2303分别与本发明的实施方式1的图10(a)的透镜201、摄像面202、图像处理部203相同。与本发明的实施方式1的不同点是,姿势控制部2304不仅控制透镜2301及摄像面2302,还控制激光指示器2305的姿势,由此,该激光指示器2305将激光投射在摄像机P2301的检测区域的端部上。
在图23所示的摄像机P2301中,激光指示器2305将激光投射在该摄像机的检测区域的端部上。投射的激光照在图8所示的实空间面125上,在该面上出现光点。该光点表示摄像机P2301的检测区域端部,与该摄像机邻接的其他摄像机对该光点进行摄影,在图像处理部2303中,利用一般的图像处理方法提取该光点的位置。在图像处理部2303中所提取的光点的位置是摄像机坐标系中的位置,但如补充说明1中说明的那样,如果利用上述式19,则能够计算世界坐标系中的位置。如上所述,如果使用上述式23所示的摄像机P2301,则能够计算出检测区域位置,并且即使不使用图8所示的网络112,也能够将检测区域位置信息传递给需要本摄像机P2301的检测区域位置信息的、与本摄像机邻接的其他摄像机。
(补充说明2)在本补充说明中,关于根据表示本摄像机终端P及其他摄像机终端P的摄像机P101的检测区域位置的信息来选择与本摄像机终端P的检测区域邻接的其他摄像机终端P的检测区域或检测对象外区域的方法,进行补充。
在本发明的实施方式1中,举例说明了检测区域为线的情况。下面举例说明检测区域为面或立体的情况。
图24是表示相对于通过点(X1,Y1)及点(X2,Y2)的直线、点(XA,YA)存在于该直线的哪一侧的区域中的图。通过点(X1,Y1)及点(X2,Y2)的直线可以用以下的式24表示。
式24(Y-Y1)=(Y2-Y1)(X2-X1)(X-X1)]]>并且,在点(XA,YA)相对于该直线存在于区域A侧的情况下,成为以下的式25所示的关系,在点(XA,YA)相对于该直线存在于区域B侧的情况下,成为以下的式26所示的关系。
式25(YA-Y1)>(Y2-Y1)(X2-X1)(XA-X1)]]>式26(YA-Y1)<(Y2-Y1)(X2-X1)(XA-X1)]]>若利用该关系,就能够判断作为判断对象的点存在于通过已知的2点的直线的哪一侧。如果将已知的2点设为本摄像机终端P的摄像机P101的检测区域的各顶点,将作为判断对象的点设为其他摄像机终端P的摄像机P101的检测区域的重心位置等,则能够判断其他摄像机终端P的摄像机P101的检测区域相对于本摄像机终端P的摄像机P101的检测区域与哪一侧邻接。
图25(a)及图25(b)是检测区域为面的情况的例子。图25(c)是检测区域为立体的情况的例子。
在图25(a)中,通过本摄像机终端P的摄像机P101的检测区域的顶点(X1,Y1)及顶点(X3,Y3)的直线由以下的式27表示,通过顶点(X2,Y2)及顶点(X4,Y4)的直线由以下的式28表示。
式27(Y-Y1)=(Y3-Y1)(X3-X1)(X-X1)]]>式28(Y-Y2)=(Y4-Y2)(X4-X2)(X-X2)]]>另外,检测区域的各顶点的位置利用上述式19就能够计算。此外,如果知道其他摄像机终端P的摄像机P101的检测区域的顶点位置就能够简单地计算出其他摄像机终端P的摄像机P101的重心位置,将该重心位置设为(XC,YC)。利用上述关系,如果重心位置(XC,YC)在区域A侧,即如果其他摄像机终端P的摄像机P101的检测区域与本摄像机终端P的摄像机P101在检测区域的区域A侧邻接,则满足以下的式29及式31的关系。
如果重心位置(XC,YC)在区域B侧,即如果其他摄像机终端P的摄像机P101的检测区域与本摄像机终端P的摄像机P101在检测区域的区域B侧邻接,则满足以下的式29及式32的关系。
如果重心位置(XC,YC)在区域C侧,即如果其他摄像机终端P的摄像机P101的检测区域与本摄像机终端P的摄像机P101在检测区域的区域C侧邻接,则满足以下的式30及式32的关系。
式29

(YA-Y1)>(Y3-Y1)(X3-X1)(XA-X1)]]>式30(YA-Y1)<(Y3-Y1)(X3-X1)(XA-X1)]]>式31(YA-Y2)>(Y4-Y2)(X4-X2)(XA-X2)]]>式32(YA-Y2)<(Y4-Y2)(X4-X2)(XA-X2)]]>如果重心位置(XC,YC)在区域D侧,即如果其他摄像机终端P的摄像机P101的检测区域与本摄像机终端P的摄像机P101在检测区域的区域D侧邻接,则满足上述式30及式31的关系。由上所述,即使检测区域在面上,也能够根据表示本摄像机终端P及其他摄像机终端P的摄像机P101的检测区域位置的信息,选择与本摄像机终端P的检测区域邻接的其他摄像机终端P的检测区域或检测对象外区域。
图25(b)是相对图25(a)改变了各顶点所通过的直线的引取方法的图,不言而喻,通过与以上说明同样的方法,根据表示本摄像机终端P及其他摄像机终端P的摄像机P101的检测区域位置的信息,能够选择与本摄像机终端P的检测区域邻接的其他摄像机终端P的检测区域或检测对象外区域。
此外,图25(c)是检测区域为立体时的例子,而对此,不言而喻,通过以上说明的同样的方法,根据表示本摄像机终端P及其他摄像机终端P的检测区域位置的信息,能够选择与本摄像机终端P的检测区域邻接的其他摄像机终端P的检测区域或检测对象外区域。
(补充说明3)在本补充说明中,关于在本发明的实施方式1及实施方式2中说明的本发明的检测区域调整装置的操作终端进行一些补充。
在本发明的实施方式1及实施方式2中,图8的操作终端111L及操作终端111R、以及图18的操作终端1111L及操作终端1111R具有通过通信部103或通信部1103将检测对象区域的位置信息发送给图8的各摄像机终端P110A~110C、图18的各摄像机终端PR1110A~1110C的功能。
另外,如果是在本发明的实施方式1及实施方式2中说明的各摄像机终端的动作及结构,则需要操作终端,但如果在各摄像机终端中预先设定了检测对象区域信息,则不特别需要操作终端。
此外,操作终端具有通信部103或通信部1103,但该通信部也存在于各摄像机终端P或各摄像机终端PR中。存在于各摄像机终端P或各摄像机终端PR中的通信部103或通信部1103如果发送检测对象区域的位置信息,则各摄像机终端P或各摄像机终端PR兼具备操作终端的功能。在此情况下,不特别需要操作终端。
此外,在本发明的实施方式1及实施方式2中,各操作终端发送检测对象区域的各端位置信息,将由各端位置构成的闭区域作为检测对象区域,但不言而喻,如果1台操作终端发送检测对象区域的所有的端位置信息,将由各端位置构成的闭区域作为检测对象区域,则也能够得到本发明的检测区域调整装置的效果。进而,在本发明的实施方式1及实施方式2中,2个操作终端分别发送检测对象区域的2个端位置信息,但如果检测对象区域的端为N个,则也可以由N个操作终端发送各自的端位置信息。
此外,操作终端所发送的检测对象区域的位置信息在本发明的实施方式1及实施方式2中是预先设定的一定的值。如本发明的实施方式1及实施方式2说明的那样,本发明的检测区域调整装置即使在从操作终端发送的检测对象区域位置改变了的情况,也能够对应于该改变而得到无死角地检测检测对象区域的效果。因此,操作终端所发送的检测对象区域的位置信息即使是在本发明的检测区域调整装置动作中随时间而变化的值也可以。
利用图26说明添加了以上的补充内容的本发明的检测区域调整装置的动作例。在图26中,摄像机终端4101是本发明的实施方式1及实施方式2中的摄像机终端P或摄像机终端PR,经由无线网络4102与其他摄像机终端4101及操作终端4105通信信息。车4103是在道路4104上行驶的车,在该车中装备有操作终端4105。检测区域4106A及检测区域4106B是在道路4104上行驶的车4103的各时刻的检测区域,该检测区域是以利用GPS或陀螺罗盘等取得的该车的位置为中心的具有一定大小的区域,从操作终端4105被发送。
这种检测区域调整装置的动作如下所述。在道路4104上设置有多台的本发明的检测区域调整装置的摄像机终端4101利用无线网络4102与其他摄像机终端通信。在道路4101上行驶的车4103中设置的操作终端4105利用无线网络4102将以车4103的当前的存在位置为中心的检测区域位置信息发送给各摄像机终端4101。由此,该检测区域调整装置能够总是无死角地对随时间而时时变化的以车4103的位置为中心的检测区域内进行摄影。通过将这些总是无死角地摄影的图像信息利用无线网络4102提供给车4103的驾驶者,车4103的驾驶者能够无死角地取得车的周围信息,对车的安全行驶及停车起到辅助作用。
(补充说明4)在本补充说明中,关于在本发明的实施方式1及实施方式2中说明的本发明的检测区域调整装置的摄像机终端P及摄像机终端PR的检测区域的指定方法进行一些补充。
在本发明的实施方式1及实施方式2中,图8的各摄像机终端P110A~110C、图18的各摄像机终端PR1110A~1110C基于图11及图20所示的流程图的顺序进行动作。在本补充说明中,关于各摄像机终端P,基于图27所示的流程图的顺序进行动作,关于各摄像机终端PR,基于图28所示的流程图的步骤进行动作。
图27所示的流程图与在本发明的实施方式1中说明的图11所示的流程图相比,附加了步骤5104及步骤5105,如果步骤5104的判断为否,即如果没有检测区域的指定,则重复与本发明的实施方式1同样的从步骤5101到步骤5103的处理,所以不言而喻能够得到本发明的检测区域调整装置的效果。图28所示的流程图与在本发明的实施方式2中说明的图20所示的流程图相比附加了步骤5205及步骤5206,如果步骤5205的判断为否,即如果没有检测区域或空间分辨率的指定,则重复与本发明的实施方式2同样的从步骤5201到步骤5204的处理,所以不言而喻能够得到本发明的检测区域调整装置的效果。
在图27及图28所示的流程图中,在步骤5104或步骤5205中的判断为是,即有检测范围的指定的情况下,在步骤5105或步骤5206中,将摄像机终端P或摄像机终端PR的检测区域位置或检测区域空间分辨率调整为在步骤5104或步骤5205中指定的检测区域位置或检测区域空间分辨率。
步骤5104及步骤5205中所指定的检测区域的位置及检测区域空间分辨率由人来指定。或者,在图10(a)的图像处理部203、图19(a)的图像处理部1203中,通过图形匹配等一般的图像处理方法,从摄像机终端P及摄像机终端PR摄影的图像中检测出检测对象物的位置及大小。并且,以该检测到的检测对象物的位置为中心,指定该检测对象物收容在检测区域内的检测区域位置及检测区域空间分辨率。
如上所述,如果摄像机终端P及摄像机终端PR基于图27及图28所示的流程图进行动作,则在有检测区域位置或检测区域空间分辨率的指定的情况下,或者对该有指定的摄像机终端P及摄像机终端PR,将摄像机终端P及摄像机终端PR调整为该检测区域位置或该检测区域空间分辨率,在没有检测区域位置或检测区域空间分辨率的指定的情况下,或者对该没有指定的摄像机终端P及摄像机终端PR,与本发明的实施方式1与实施方式2同样,摄像机终端P及摄像机终端PR进行无死角地检测检测对象区域的动作。
以上关于摄像机终端P及摄像机终端PR的检测区域的指定方法进行了一些补充说明。下面利用图29~图31说明添加了该补充内容的本发明的检测区域调整装置的动作例。
在图29中,从摄像机终端5301A到摄像机终端5301E是本发明的实施方式1及实施方式2的摄像机终端P或摄像机终端PR,基于图27及图28所示的流程图而动作。网络5302是传递各摄像机终端5301A~5301E间的信息的网络,检测对象物5303是各摄像机终端5301A~5301E检测的对象物,存在于检测对象区域5304内。
动作如下。各摄像机终端5301A~5301E基于图27或图28所示的流程图而动作。即,摄像机终端5301B与其他摄像机终端不同,由于检测到检测对象物5303,所以在步骤5104及步骤5205中,指定检测区域位置或检测区域空间分辨率。所指定的检测区域位置或检测区域空间分辨率是以检测对象物5303的位置为中心、该检测对象物5303收容在检测区域内的检测区域位置及检测区域空间分辨率。结果,摄像机终端5301B被调整为以检测对象物5303的位置为中心的、该检测对象物5303收容在检测区域内的检测区域位置及检测区域空间分辨率。
另一方面,其他的摄像机终端5301A、摄像机终端5301C、摄像机终端5301D、摄像机终端5301E由于没有检测出检测对象物5303,所以与本发明的实施方式1及实施方式2同样地调整检测区域位置,以使其与邻接的检测区域有一定的重复区域。
根据以上那样的从摄像机终端5301A到摄像机终端5301E的动作,即使在检测对象物5303存在于检测对象区域5304中的情况下,也能够自动地取得以检测对象物5303的位置为中心将该检测对象物5303收容在检测区域内的详细的图像,并且总是无死角地检测检测对象区域5304。以上的动作即使检测对象物5303移动也只是切换检测检测对象物5303的摄像机终端,所以不言而喻是进行同样的动作。
在图30中,从摄像机终端5401A到摄像机终端5401E是本发明的实施方式1及实施方式2的摄像机终端P或摄像机终端PR,基于图27及图28所示的流程图而动作。网络5402是传递各摄像机终端5401A~5401C间的信息的网络,检测对象物5403是各摄像机终端5401A~5401C检测的对象物,存在于检测对象区域5404内。以上与图29同样,由此可知,从摄像机终端5401A到摄像机终端5401C即使在检测对象物5403存在于检测对象区域5404内的情况下,也能够自动地取得以检测对象物5403的位置为中心将该检测对象物5403收容在检测区域内的详细的图像,并且总是无死角地检测检测对象区域5404。
图30所示的检测区域调整装置相对于图29所示的本发明的检测区域调整装置附加了新的处理部(图像合成部5405、显示部5406及指示部5407)。图像合成部5405是将各摄像机终端5401A~5401C所取得的各图像合成为一张图像等的处理部,显示部406是对图像合成部5405所合成的图像进行显示的处理部,指示部5407是对各摄像机终端5401A~5401C指定检测区域或检测区域空间分辨率的处理部。
这种检测区域调整装置的动作如下。即,图像合成部5405经由网络5402获取各摄像机终端5401A~5401C所摄像的图像及各摄像机终端5401A~5401C所发送的检测区域位置信息。图像合成部5405利用各摄像机终端的检测区域位置信息,将各摄像机终端所摄影的图像合成为图31所示那样的各图像的空间位置连续的图像。合成后的图像被显示在显示部5406上,将该图像信息向人出示。另外,在图像合成部5405中用于合成的各摄像机终端5401A~5401C所取得的图像及构成该图像的像素的世界坐标系的位置能够通过上述式19计算出,所以若采用一般的投影变换方法,就能够在图像合成部5405中合成各种视点的空间位置连续的图像。
看到了在显示部5406上显示的合成图像的人将自己所希望的合成图像上的区域的位置或空间分辨率输入到指示部5407中。在输入中利用指示设备等指示区域的位置或空间分辨率。接受到人所指定的区域的位置或空间分辨率的指示部5407判断在检测区域内具有当前该区域的摄像机终端。该判断利用各摄像机终端5401A~5401C发送的检测区域信息就能够简单地判断。并且,指示部5407对通过上述判断决定的检测区域内具有人所指定的区域的摄像机终端,经由网络5402将人所指定的区域的位置或空间分辨率指示为该摄像机终端的检测区域位置或检测区域空间分辨率。被指定了检测区域位置或检测区域空间分辨率的摄像机终端将该摄像机终端的检测区域位置或检测区域空间分辨率调整为被指定的检测区域位置或检测区域空间分辨率。
通过以上的动作,人能够将检测对象区域5404的区域总是无死角地、并且以各种视点、并且作为空间位置连续的图像信息而获取。进而,通过指定基于该图像信息而指定的区域的位置或空间分辨率,还能够取得特定的区域位置或空间分辨率的图像。例如,如果人对指示部5407进行输入以提高某个区域的空间分辨率,则对于该区域将空间分辨率即分辨率较高的图像显示在显示部5406上。这些效果在对具有大范围的检测对象区域的大厦等的监视中是有利的。
另外,在以上的图29~图31所示的例子中,对于对检测对象物进行摄影的1台摄像机终端,固定检测区域的位置与面积(形成最高空间分辨率的状态),对于包括该1台的所有的摄像机终端进行控制以使邻接的检测区域重复,但是,作为可得到同样的结果的另一方法,也可以对于对检测对象物进行摄影的1台摄像机终端,固定检测区域的位置与面积(形成最高空间分辨率的状态),对于除了该1台以外的所有的摄像机终端进行控制以使邻接的检测区域重复。即,作为使检测区域重复的控制的对象的摄像机终端,也可以将对检测对象物进行摄影的1台摄像机终端除外。换言之,也可以将对检测对象物进行摄影的1台摄像机终端看作故障,仅在除了该摄像机终端以外的其他摄像机终端中进行使检测区域重复的控制。由此,对于检测对象物能够以最高的空间分辨率得到图像,并且能够完全地对整个检测对象区域进行摄影。
以上,根据实施方式及补充说明对有关本发明的检测区域调整装置进行了说明,但本发明并不仅限于这些例子。在各实施方式中,在不脱离发明构思的范围内,本领域的技术人员既可以进行可想到的各种变形或功能追加,也可以在功能上能够并存的条件下将各实施方式的各结构要素任意地组合。
例如,在上述实施方式中,构成检测区域调整装置的多个摄像机终端都能够进行摇动、倾斜及缩放的控制,但本发明并不一定限于这样的结构,也可以一部分摄像机将摇动、倾斜及缩放中的某一种或全部固定。根据本发明,通过构成检测区域调整装置的多个摄像机终端相互通信,来自律协调地进行调整以使邻接的检测区域重叠,或使空间分辨率一致,所以只要检测区域邻接的一个摄像机终端具有能够调整摇动、倾斜及缩放的功能就可以。在此情况下,其结果也是,作为整个检测对象区域,能够进行调整以使邻接的检测区域重叠,或进行调整以使空间分辨率一致。
此外,在上述实施方式中,摄像机终端是固定在特定的地点的固定式的摄像机终端,但也可以是移动式摄像机终端。图32是表示将有关本发明的检测区域调整装置应用到由移动式摄像机终端构成的监视系统中时的监视系统的结构的框图。该监视系统具有通过通信网络6103连接的多个移动式摄像机终端6101等,具有如下特征这些多个移动式摄像机终端6101不仅调整摇动及倾斜,还自律协调地移动,以便能够完全地对监视区域6111进行监视。移动式摄像机终端6101是由移动部6102支撑而移动的摄像机终端。移动部6102是改变移动式摄像机终端6101的摄影位置的机构部等。通信网络6103是连结多个移动式摄像机终端6101的传送路径。通信部6104是用来经由通信网络6103与其他移动式摄像机终端进行信息交换的通信接口。邻接摄影区域确定部6105是根据通知给通信部6104的来自其他移动式摄像机终端的信息推测摄影区域邻接的移动式摄像机终端的处理部。摄影元件6106是获取监视区域内的影像的CCD摄像机等。摄影区域推测部6107是根据摄影元件6106的特性和移动部6102的位置来推测移动式摄像机终端6101的摄影区域的处理部。监视范围存储部6108是存储移动式摄像机终端6101要监视的区域的范围的存储器等。摄影位置评价部6109是评价与移动式摄像机终端6101的摄影区域相互邻接的摄影区域的重叠区域、或者评价与监视区域的边界的距离的处理部。摄影位置变更部6110是控制移动部6102、改变移动式摄像机终端6101的摄影位置的控制部。监视区域6111是移动式摄像机终端6101应监视的区域。摄影区域6112是由移动式摄像机终端6101摄影的区域。
根据这种监视系统,移动式摄像机终端6101与周围的移动式摄像机终端相互通知与自身的摄影位置和根据摄影元件6106的特性推测的摄影区域有关的信息,一边与周围的移动式摄像机终端协调,以使与邻接的摄影区域重叠的区域的大小和与监视区域的边界的距离接近于规定的状态,一边摇动、倾斜及改变摄影位置,由此在多个移动式摄像机终端6101同时进行的摄影中能够移动到监视区域内的死角变少的摄影位置。
图33表示这种监视系统的移动式摄像机终端6101的动作的状况。在本图中,为了使说明简单而表示将能够横向(1维)移动的移动式摄像机终端6101设置在高度为一定的房间的天花板上并监视地面的情况。如本图的上图所示,即使将移动式摄像机终端6101设置在天花板适当的位置上,移动式摄像机终端通过改变摄影位置以使相互的摄影区域的重叠区域的宽度C或与监视区域的边界的距离D接近于规定的值,如本图的下图所示,也能够自动移动到能够通过多个移动式摄像机终端同时对整个监视区域进行摄影的位置。进而,即使例如在较高的天花板等那样难以进行设置作业的地方将移动式摄像机终端6101集中设置在一处,由于移动式摄像机终端自动地移动到在多个移动式摄像机终端的同时摄影中死角变少的位置上,所以能够减轻决定移动式摄像机终端的设置位置及设置作业这样的负担。作为该实现方法的一例,如图34所示,只要将导轨设置在监视区域内、使移动式摄像机终端在该导轨的轨道上移动来构成系统就可以。
工业实用性有关本发明的检测区域调整装置作为使用多个摄像机的监视系统、使用多个传感器元件计测物理量的传感系统等,特别是作为由摄影区域可改变的多个摄像机终端构成的、在大范围的区域中不产生死角地进行监视的高性能的监视系统,例如作为学校及大厦等中的可疑者的监视用系统等是有实用性的。
权利要求
1.一种检测区域调整装置,具有通过通信线路连接的多个摄像机终端,通过调整上述多个摄像机终端的摄影区域即检测区域,能够对检测对象区域进行摄影,其特征在于,上述多个摄像机终端具备摄像机,对包含在上述检测对象区域中的检测区域进行摄影,并且具有改变上述检测区域的位置的单元;通信单元,将确定上述检测区域的检测区域信息经由上述通信线路发送给其他摄像机终端,并且从其他摄像机终端接收检测区域信息;调整单元,根据该摄像机终端的检测区域信息和由上述通信单元接收到的其他摄像机终端的检测区域信息,控制该摄像机终端的摄像机来调整检测区域的位置,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述检测对象区域。
2.如权利要求1所述的检测区域调整装置,其特征在于,上述调整单元调整上述检测区域的位置,以使在与该摄像机终端的检测区域邻接的周边的区域中,不产生不属于上述多个摄像机终端的检测区域的任一个的非检测区域。
3.如权利要求2所述的检测区域调整装置,其特征在于,上述调整单元调整上述检测区域的位置,以使该摄像机终端的检测区域和与该检测区域邻接的其他摄像机终端的检测区域重复的量即重复区域量为0以上的一定量即目标量。
4.如权利要求3所述的检测区域调整装置,其特征在于,上述调整单元重复进行从上述多个摄像机终端的检测区域中选择与该摄像机终端的检测区域邻接的检测区域的步骤、计算所选择的检测区域与该摄像机终端的检测区域的重复区域量、和上述目标量的差即重复区域差分量的步骤、和计算使上述重复区域差分量接近于0的该摄像机终端的检测区域的位置的步骤;进行上述调整,以使该摄像机终端的检测区域的位置为在上述重复步骤中得到的位置。
5.如权利要求4所述的检测区域调整装置,其特征在于,上述调整单元利用在上述重复区域量与上述目标量相等时取最小值的函数,计算上述重复区域差分量。
6.如权利要求5所述的检测区域调整装置,其特征在于,上述摄像机的上述检测区域的位置在一定范围内是可变的;上述函数在该摄像机终端的检测区域处于上述一定范围内的情况下,在上述重复区域量与上述目标量相等时取最小值。
7.如权利要求1所述的检测区域调整装置,其特征在于,上述调整单元在该摄像机终端的摄像机检测到检测对象物的情况下,或者在接受到与检测对象物的位置有关的指示的情况下,比上述调整优先地调整上述检测区域的位置,以使上述摄像机对检测到的上述检测对象物或被指示的上述检测对象物进行摄影。
8.如权利要求1所述的检测区域调整装置,其特征在于,上述摄像机具有改变上述检测区域的空间分辨率的单元;在上述检测区域信息中包含有对上述检测区域的空间分辨率进行确定的信息;上述调整单元根据该摄像机终端的检测区域信息和由上述通信单元接收到的其他摄像机终端的检测区域信息,控制该摄像机终端的摄像机来调整检测区域的位置及空间分辨率,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述检测对象区域,并且使上述多个摄像机终端的检测区域的空间分辨率大致相同。
9.如权利要求8所述的检测区域调整装置,其特征在于,上述调整单元调整上述检测区域的位置及空间分辨率,以使在与该摄像机终端的检测区域邻接的周边区域中不会产生不属于上述多个摄像机终端的检测区域中的任一个的非检测区域,并且使该摄像机终端的检测区域的空间分辨率和与该检测区域邻接的其他摄像机终端的检测区域的空间分辨率大致相同。
10.如权利要求9所述的检测区域调整装置,其特征在于,上述调整单元调整上述检测区域的位置,以使该摄像机终端的检测区域和与该检测区域邻接的其他摄像机终端的检测区域重复的区域的量即重复区域量为0以上的一定量即目标量,并且调整上述检测区域的空间分辨率,以使该摄像机终端的检测区域的空间分辨率和与该检测区域邻接的其他摄像机终端的检测区域的空间分辨率大致相同。
11.如权利要求10所述的检测区域调整装置,其特征在于,上述调整单元重复进行从上述多个摄像机终端的检测区域中选择与该摄像机终端的检测区域邻接的检测区域的步骤、计算所选择的检测区域与该摄像机终端的检测区域的重复区域量、和上述目标量的差即重复区域差分量的步骤、计算所选择的检测区域的空间分辨率与该摄像机终端的检测区域的空间分辨率的差即空间分辨率差分量的步骤、和计算使上述重复区域差分量及上述空间分辨率差分量接近于0的该摄像机终端的检测区域的位置及空间分辨率的步骤;进行上述调整,以使该摄像机终端的检测区域的位置及空间分辨率为在上述重复步骤中得到的位置及空间分辨率。
12.如权利要求11所述的检测区域调整装置,其特征在于,上述调整单元利用在所选择的上述检测区域的空间分辨率与该摄像机终端的检测区域的空间分辨率相等时取最小值的函数,计算上述空间分辨率差分量。
13.如权利要求12所述的检测区域调整装置,其特征在于,上述摄像机的上述检测区域的空间分辨率在一定范围内是可变的;上述函数在该摄像机终端的检测区域的空间分辨率处于上述一定范围内的情况下,在所选择的上述检测区域的空间分辨率与该摄像机终端的检测区域的空间分辨率相等时取最小值。
14.如权利要求8所述的检测区域调整装置,其特征在于,上述调整单元在该摄像机终端的摄像机检测到检测对象物的情况下,或者在接受到与空间分辨率有关的指示的情况下,比上述调整优先地将该摄像机终端的检测区域的空间分辨率调整为基于检测到的上述检测对象物的空间分辨率或被指示的上述空间分辨率。
15.如权利要求1所述的检测区域调整装置,其特征在于,上述检测区域是平面或立体的区域。
16.如权利要求1所述的检测区域调整装置,其特征在于,上述检测区域调整装置还具备取得检测对象区域的指示的操作终端;上述调整单元进行上述调整,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述操作终端所取得的检测对象区域。
17.如权利要求1所述的检测区域调整装置,其特征在于,上述多个摄像机终端还具备激光指示器,投射对该摄像机终端的检测区域进行确定的激光;图像处理单元,利用该摄像机终端的摄像机对从其他摄像机终端投射的激光照射在检测对象区域中而生成的光点进行摄像,并通过对摄像后的图像进行处理,确定上述光点的位置;上述调整结构根据该摄像机终端的检测区域信息和由上述图像处理单元确定的上述光点的位置,调整上述检测区域的位置。
18.如权利要求1所述的检测区域调整装置,其特征在于,上述检测区域调整装置还具备合成单元,取得上述多个摄像机终端的摄像机所摄像的图像,合成为空间上连续的图像;显示单元,显示合成后的图像。
19.一种检测区域调整装置,具有通过通信线路连接的多个摄像机终端和调整装置,通过调整上述多个摄像机终端的摄影区域即检测区域,能够对检测对象区域进行摄影,其特征在于,上述多个摄像机终端具备摄像机,对包含在上述检测对象区域中的检测区域进行摄影,并且具有改变上述检测区域的位置的单元;通信单元,将确定上述检测区域的检测区域信息经由上述通信线路发送给上述调整装置,并且从上述调整装置接收指示,按照接收到的指示,控制该摄像机终端的摄像机,来调整检测区域的位置;上述调整装置具备通信单元,该通信单元从上述多个摄像机终端接收上述检测区域信息,根据接收到的检测区域信息对上述多个摄像机终端进行指示,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述检测对象区域。
20.如权利要求19所述的检测区域调整装置,其特征在于,上述摄像机具有改变上述检测区域的空间分辨率的单元;在上述检测区域信息中包含有对上述检测区域的空间分辨率进行确定的信息;上述多个摄像机终端的通信单元还按照从上述调整装置接收到的指示,控制该摄像机终端的摄像机,来调整检测区域的空间分辨率;上述调整装置的通信单元根据上述检测区域信息,对上述多个摄像机终端进行指示,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述检测对象区域,并且使上述多个摄像机终端的检测区域的空间分辨率大致相同。
21.一种检测区域调整装置,具有通过通信线路连接的多个传感器终端,通过上述多个传感器终端调整检测物理量的检测区域,能够对检测对象区域进行物理量的检测,其特征在于,上述多个传感器终端具备传感器,检测包含在上述检测对象区域中的检测区域的物理量,并且具有改变上述检测区域的位置的单元;通信单元,将确定上述检测区域的检测区域信息经由上述通信线路发送给其他传感器终端,并且从其他传感器终端接收检测区域信息;调整单元,根据该传感器终端的检测区域信息和由上述通信单元接收到的其他传感器终端的检测区域信息,控制该传感器终端的传感器来调整检测区域的位置,以使将上述多个传感器终端的检测区域相加后的区域完全覆盖上述检测对象区域。
22.如权利要求21所述的检测区域调整装置,其特征在于,上述传感器具有改变上述检测区域的空间分辨率的单元;在上述检测区域信息中包含有对上述检测区域的空间分辨率进行确定的信息;上述调整单元根据该传感器终端的检测区域信息和由上述通信单元接收到的其他传感器终端的检测区域信息,控制该传感器终端的传感器来调整检测区域的位置及空间分辨率,以使将上述多个传感器终端的检测区域相加后的区域完全覆盖上述检测对象区域,并且使上述多个传感器终端的检测区域的空间分辨率大致相同。
23.一种检测区域调整方法,在具有多个摄像机终端的摄像机系统中,通过调整检测区域,能够对检测对象区域进行摄影,上述摄像机终端具有摄影区域即检测区域的位置可变的摄像机、和对表示上述摄像机的检测区域的检测区域信息进行收发的通信单元,其特征在于,上述检测区域调整方法包括调整步骤,上述多个摄像机终端根据该摄像机终端的检测区域信息和由上述通信单元接收到的其他摄像机终端的检测区域信息,控制该摄像机终端的摄像机来调整检测区域的位置,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述检测对象区域。
24.如权利要求23所述的检测区域调整方法,其特征在于,上述摄像机具有改变上述检测区域的空间分辨率的单元;在上述检测区域信息中包含有对上述检测区域的空间分辨率进行确定的信息;在上述调整步骤中,根据该摄像机终端的检测区域信息和由上述通信单元接收到的其他摄像机终端的检测区域信息,控制该摄像机终端的摄像机来调整检测区域的位置及空间分辨率,以使将上述多个摄像机终端的检测区域相加后的区域完全覆盖上述检测对象区域,并且使上述多个摄像机终端的检测区域的空间分辨率大致相同。
25.一种程序,在具有多个摄像机终端的摄像机系统中,用于通过调整检测区域而能够对检测对象区域进行摄影的摄像机终端中的程序,上述摄像机终端具有摄影区域即检测区域的位置可变的摄像机、和对表示上述摄像机的检测区域的检测区域信息进行收发的通信单元,其特征在于,上述程序使计算机执行在上述权利要求23所述的检测区域调整方法中包含的步骤。
全文摘要
提供一种检测区域调整装置,该检测区域调整装置不预先由人将固定摄像机设置在有规则的位置上,并且即使在摄像机发生故障的情况下也能够自动地、无死角地完全检测作为检测对象的区域。检测区域调整装置具备多个摄像机终端(P)。多个摄像机终端(P)具备检测区域的位置可变的摄像机(P)、通过控制摄像机(P)来调整检测区域的位置的调整部(102)、和收发表示摄像机(P)的检测区域的检测区域信息的通信部(103),调整部(102)根据本摄像机终端(P)的摄像机(P)的检测区域和其他摄像机终端(P)的摄像机(P)的检测区域,调整本摄像机终端(P)的摄像机(P)的检测区域,以使将多个摄像机终端(P)的检测区域相加后的区域完全覆盖检测对象区域(130)。
文档编号H04N5/225GK1914919SQ200580004019
公开日2007年2月14日 申请日期2005年1月18日 优先权日2004年2月3日
发明者青木胜司, 吉田笃, 荒木昭一 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1