关心区域设定方法及装置与流程

文档序号:13214933阅读:280来源:国知局
技术领域本发明涉及一种关心区域设定方法及装置。更详细地,涉及一种没有用户的输入也能够进行关心区域设定的关心区域设定方法及装置。

背景技术:
对如摄像头监控系统(CameraMonitoringSystem)的通过由摄像头获取的视频来检测异常行为的技术的研究很活跃。为了通过由摄像头获取的视频来检测异常行为,很多时候需要在由摄像头获取的视频中先进行关心区域设定。关心区域设定可以是用于检测异常行为的区域,也可以是与用于检测异常行为的条件相关联的区域(例如,入侵线区域、人行横道区域、道路区域、停车线区域和中心线区域等)。为了进一步准确地检测用户期望的异常行为,准确地设定关心区域很重要。一般来讲,依据用户的输入设定关心区域。因此,根据用户的熟练度,所设定的关心区域不同,要求持续的关注。

技术实现要素:
本发明所要解决的技术问题是提供一种没有用户的输入也能够设定关心区域的关心区域设定方法及装置。此外,本发明所要解决的另一技术问题是提供一种摄像头的视点变更时能够自动地重新设定关心区域的关心区域设定方法及装置。此外,本发明所要解决的又一技术问题是提供一种关心区域设定方法及装置,其能够设定关心区域,使得能够不因用户的熟练度而产生性能偏差且能够稳定地检测异常行为。本发明的技术问题并不限定于以上所提及的技术问题,本领域技术人员能够从下面的记载中明确理解没有提及的其他技术问题。为了解决上述技术问题,本发明的一方面的关心区域设定方法可包括以下步骤:从由摄像头拍摄的视频帧中检测出标识;以及利用所检测到的标识来设定关心区域。为了解决上述技术问题,本发明的第二方面的关心区域设定方法可包括以下步骤:检测摄像头的视点变化;当检测到所述视点变化时从由所述摄像头拍摄的视频帧中检测出标识;以及利用所检测到的标识来设定关心区域。为了解决上述技术问题,本发明的第四方面的关心区域设定装置可包括:标识检测部,从由摄像头拍摄的视频帧中检测出标识;以及关心区域设定部,利用所检测到的标识来设定关心区域。为了解决上述技术问题,本发明的第五方面的关心区域设定装置可包括:视点变化检测部,检测摄像头的视点变化;标识检测部,当检测到视点变化时从由所述摄像头拍摄的视频帧中检测出标识;以及关心区域设定部,利用所检测到的标识来设定关心区域。根据如上所述的本发明,具有没有用户的输入也能够设定关心区域的效果。此外,根据本发明,摄像头的视点变更时能够自动地重新设定关心区域。此外,根据本发明,能够设定关心区域,使得能够不因用户的熟练度而产生性能偏差且能够稳定地检测异常行为。本发明的效果并不限定于以上所提及的技术效果,本领域技术人员能够从下面的记载中明确理解没有提及的其他技术效果。附图说明图1是本发明的一实施例的关心区域设定方法的流程图。图2是表示摄像头拍摄道路状况时从视频帧中检测到的标识的一例的图。图3是用于说明检测标识的具体的一例的流程图。图4是表示用于修正移动轨迹所在区域的方法的一例的流程图。图5是表示透视瓦片的一例的图。图6是对收集到的移动轨迹中不准确的移动轨迹的存在及去除的必要性进行说明的图。图7是在本发明的一实施例的关心区域设定方法中附加有标记过程的流程图。图8是用于说明按像素进行标记的一例的图。图9是表示本发明的一实施例的关心区域设定方法的其他适用例的流程图。图10是用于说明对摄像头的视点被变更的情况进行检测的方法的一例的流程图。图11是本发明的另一实施例的关心区域设定装置的方框图。图12是本发明的另一实施例的关心区域设定装置的标识检测部的方框图。图13是本发明的另一实施例的关心区域设定装置的另一方框图。图14是所述关心区域设定装置的又一结构图。具体实施方式下面,参照附图,对本发明的优选实施例进行详细说明。参照附图的同时参照详细地后述的实施例,将会明确本发明的优点及特征,以及实现这些的方法。但是,本发明并不限定于以下所公开的实施例,而是可以以彼此不同的多种方式实现,本实施例仅仅用于完整地公开本发明,并且为了向本发明所属技术领域的技术人员完整地告知本发明的范围而提供的,本发明仅由权利要求的范围定义。在说明书全文中相同的附图标记指相同的结构要素。如果没有其他定义,则在本说明书中所使用的所有用语(包括技术用语及科技用语)能够以本发明所属技术领域的技术人员共同理解的含义使用。另外,在通常使用的词典中定义的用语只要没有被明确地特别定义,就不理想地或过度地解释。本说明书中所使用的用语用于说明实施例,并不限制本发明。在本说明书中,单数形式只要在句子中未特别提及就包括复数形式。在本说明书中,单数形式只要在句子中未特别提及就可以包括复数形式。在说明书中使用的“包括(comprises)”和/或“包含(comprising)”并不排除所提及的结构要素、步骤、操作和/或元件之外的一个以上的其他结构要素、步骤、操作和/或元件的存在或附加。下面,参照图1至图10,对本发明的一实施例的关心区域设定方法进行说明。本实施例可由具备运算机构的计算装置执行。所述计算装置例如可以是本发明的另一实施例的关心区域设定装置。通过参照图11至图14来说明的内容能够理解所述关心区域设定装置的结构及操作。图1是本发明的一实施例的关心区域设定方法的流程图。参照图1,关心区域设定装置从摄像头接收视频帧(S100)。关心区域设定装置可通过有线通信和/或无线通信从摄像头接收视频帧(S100)。例如,关心区域设定装置可以在每一次拍摄的瞬间从摄像头实时接收视频帧,也可以在特定时间接收视频帧,还可以按特定数据量接收视频帧,而且还可以周期性地接收视频帧。关心区域设定装置可从视频帧中检测出标识(S200)。关心区域设定装置从摄像头接收多个视频帧,关心区域设定装置可从各个视频帧中检测出标识。标识可以是视频帧中存在的静止的客体中属于已设定的客体的客体。具体来讲,标识可以是视频帧中存在的静止的客体中与用户所要检测的异常行为关联的有意义的客体。参照图2,对更具体的例进行说明。图2是表示摄像头拍摄道路状况时从视频帧中检测到的标识的一例的图。参照图2,为摄像头拍摄道路状况的情况,道路状况中的异常行为可以是违反停车线、违反信号、非法掉头、违反速度和侵犯中心线等。因此,与所要检测的异常行为关联的有意义的客体可以是停车线P1、行驶方向显示区域P2、P3、P4、可掉头区域P5、限速显示区域P6、中心线P7、车道P8、P9、P10和道路P11、P12、P13等。与所要检测的异常行为没有关联性的树木、建筑物等不能成为标识。但是在用户所要检测的异常行为与树木或建筑物有关联性的情况下,树木或建筑物也可以成为标识。图2中显示的标识只不过是表示了道路状况中可成为标识的例而已。根据需要在图2中也可以存在更多的标识。因此,根据用户需要可以预先设定标识,也可以变更标识。即,如图2所示,在从拍摄道路状况的摄像头接收的视频帧中,已设定为所要检测的标识的可以是停车线P1、行驶方向显示区域P2、P3、P4、可掉头区域P5、限速显示区域P6、中心线P7、车道P8、P9、P10和道路P11、P12、P13。图3是用于说明检测标识的具体的一例的流程图。参照图3,关心区域设定装置可通过执行步骤S210至步骤S270来检测出标识。具体来讲,关心区域设定装置可从接收到的视频帧中检测出包括静止的客体的背景(S210)。检测背景的方法可利用公知的多种技术。静止的客体包括在背景中。因此,背景中可包括标识。关心区域设定装置对检测到的背景进行分割(Segmentation)(S220)。关心区域设定装置可从经过分割过程的视频帧中获取分割信息,该分割信息为包括线条(Line)、边界(Boundary)等的信息(S230)。关心区域设定装置可利用客体的移动轨迹来判断分割信息中所包括的信息是否属于标识。关心区域设定装置从视频帧中检测出活动的客体(S240)。关心区域设定装置收集检测到的活动的客体的移动轨迹(S250)。关心区域设定装置利用收集到的移动轨迹来生成关于轨迹所在区域的信息(S260)。关心区域设定装置可利用分割信息和关于移动轨迹所在区域的信息来检测出标识(S270)。具体来讲,以如图2所示的道路状况为例,关心区域设定装置可通过参照作为活动的客体的车辆的移动轨迹所在区域来进一步准确地检测关于可掉头区域、中心线、车道和道路等的标识。但是,并非能够利用关于移动轨迹所在区域的信息来检测出所有标识。对于限速显示区域、行驶方向显示区域等,没有关于移动轨迹所在区域的信息也可以仅用检测到的分割信息检测出标识。例如,利用线条和边界信息来检测形状,并且可利用检测到的形状来与已设定的标识进行匹配,从而检测出标识。此外,关心区域设定装置也可以仅用移动轨迹所在区域检测出标识。例如,在道路状况中中心线的情况下,即使没有分割信息也可以检测属于中心线的区域并确定为标识。但是,为了确定更准确的标识的区域、种类等,可以综合利用分割信息和关于移动轨迹所在区域的信息。图4是表示对移动轨迹所在区域进行修正的方法的一例的流程图。参照图4,关心区域设定装置对移动轨迹所在区域的信息进行修正。具体来讲,关心区域设定装置可对根据活动的客体与摄像头之间的距离产生的属于物理上相同的区域的像素数差异进行修正。对相同的物体来说物理上相同的区域所占的体积相同。但是,由于摄像头进行拍摄时产生的透视感或根据摄像头视点的差异等,在视频帧中物理上相同的区域所占的像素数可不同。为了补偿这一点,可利用透视瓦片(PerspectiveTile)。图5是表示透视瓦片的一例的图。各个瓦片的物理信息相同。即,各个瓦片实际上具有物理上相同的长、宽和高。例如,一个瓦片可具有长为1.5m、宽为1.5m、高为1.5m的物理信息。即,图5中Box_1、Box_2和Box_3在现实中均表示物理上长、宽、高为1.5m。可利用如图5的透视瓦片来解决由于摄像头进行拍摄时产生的透视感和根据摄像头视点的差异等产生的问题。此外,利用透视瓦片,关心区域设定装置也可以从帧内获取活动的客体的实际大小、移动速度等多种物理信息。具体来讲,透视瓦片具有关于物理大小等的信息,如果已知摄像头的每小时拍摄速度(例如,1秒拍摄30帧等)则可算出活动的客体的大小、移动速度等。更具体来讲,可利用摄像头标定(Calibration)来获取透视瓦片。这是因为每个摄像头的拍摄视点等可不同。摄像头标定指为了算出摄像头在哪个位置以哪个方向安装而求出摄像头的坐标、倾角、旋转角或摄像头的摇摄角度等。能够以根据标定的执行结果求出的摄像头的参数为基础解决上述问题。此外,可按通过摄像头的坐标、倾角、旋转角或摇摄角度等获取的透视瓦片的区间适用其他参数来得到参数调整的效果。摄像头标定也可用于从收集到的移动轨迹中去除不准确的移动轨迹。图6是对收集到的移动轨迹中不准确的移动轨迹的存在及去除的必要性进行说明的图。参照图6,可知在位于道路上右侧上部的摄像头61拍摄车辆的情况下,由于摄像头61的安装位置、摄像头61的拍摄方向、摄像头61的拍摄视点和车辆的高度等产生不准确的移动轨迹64。即,移动轨迹62为用于生成移动轨迹所在区域的移动轨迹,所述移动轨迹62不仅包括准确的移动轨迹63,而且包括不准确的移动轨迹64。因此,关心区域设定装置可利用通过摄像头61标定生成的透视瓦片和参数来去除不准确的移动轨迹64,从而生成更准确的关于移动轨迹所在区域的信息。图7是本发明的一实施例的关心区域设定方法中附加有标记过程的流程图。参照图7,关心区域设定装置可利用检测到的标识来按像素执行标记。各个像素可按从该像素中检测到的标识的种类进行标记。因此,一个像素可与一个标记信息匹配,一个像素也可以与多个标记信息匹配。此外,某些像素也可以不与任何标记信息匹配。图8是用于说明按像素进行标记的一例的图。参照图8,说明对图2中点线框部分进行放大,然后对放大后的部分按各像素进行标记的例。属于停车线的各个像素可被标记为属于停车线的标签。例如,属于停车线的各个像素可被标记为L_StopLine。属于行驶方向显示区域的各个像素可被标记为属于行驶方向显示区域的标签。例如,属于行驶方向显示区域的各个像素可被标记为L_Direction。属于车道的各个像素可被标记为属于车道的标签。例如,属于车道的各个像素可被标记为L_lane。此外,可根据车道从中心线起为第一车道还是第二车道等顺序进行彼此不同的标记。继而,在图8中构成点线框的所有像素属于道路。因此,点线框内部的所有像素中的每个可被标记为L_Road。因此,属于停车线的各个像素、属于行驶方向显示区域的各个像素和属于车道的各个像素具有两个标记信息。再次返回到图7,关心区域设定装置可利用标记信息来设定关心区域(S710)。例如,如果是用于监测违反停车线的异常行为,则用户或利用本发明的系统可预先指定将停车线区域设定为关心区域。在关心区域设定装置根据预先指定欲将停车线区域设定为关心区域的情况下,可将包括属于停车线区域的标记信息的像素集合设定为关心区域。即,本发明的一实施例的关心区域设定方法,在为了检测异常行为而将与异常行为相关联的标识设定为关心区域的情况下,可将包括与该标识对应的标记信息的像素集合设定为关心区域。此外,在因所要检测的异常行为变更而改变所要设定的关心区域的情况下,也可利用标记信息来很容易地变更或重新设定关心区域。图9是表示本发明的一实施例的关心区域设定方法的其他适用例的流程图。参照图9,本发明的一实施例的关心区域设定方法可利用从摄像头接收的视频帧来检测摄像头的拍摄视点是否变更。本发明的一实施例的关心区域设定方法,在摄像头的拍摄视点变更的情况下,重新检测标识并重新设定关心区域。在摄像头因摇摄(PAN)、倾斜(TILT)和缩放(ZOOM)而变更视点的情况下,在已经检测的标识信息中产生误差,由此可产生不准确的关心区域设定和异常行为检测。因此,在关心区域设定方法中,如果摄像头的拍摄视点变更,则可根据参照图1至图8来说明的内容重新检测标识并重新设定关心区域。图10是用于说明检测摄像头的视点变更的方法的一例的流程图。如前面说明的,关心区域设定方法可由多种计算装置来执行。例如,计算装置为关心区域设定装置。参照图10,关心区域设定装置从现有视频帧中获取特征点(S110、S910)。将从现有视频帧中获取的特征点称作第一特征点。关心区域设定装置从新视频帧中获取特征点(S120、S920)。将从新视频帧中获取的特征点称作第二特征点。现有视频帧是在时间上在拍摄新视频帧之前拍摄到的帧。现有视频帧和新视频帧可以是均通过相同的摄像头拍摄到的视频帧。此外,关心区域设定装置所获取的第一特征点和第二特征点可以是已设定的客体的特征点。已设定的客体为静止的客体。参照图2来举例说明,已设定的客体可以是车道和中心线等。除此之外,可以是路灯和建筑物招牌等多种静置客体。但是,随风而动的树枝等可以不是已设定的客体。优选地,即使摄像头改变视点来进行拍摄,已设定的客体也总是包括在拍摄到的视频帧中。继续参照图10,关心区域设定装置可利用第一特征点和第二特征点来获取运动向量(S930)。关心区域设定装置可利用运动向量来检测摄像头拍摄视点是否变更(S940)。例如,在获取的运动向量为已设定的大小以上的情况下,关心区域设定装置可判断为摄像头拍摄视点已变更。本发明的一实施例的关心区域设定方法,每当摄像头的拍摄视点变更时自动重新检测标识,并且重新设定关心区域,从而没有用户的持续的管理也可以准确且有效地设定关心区域。图11是本发明的另一实施例的关心区域设定装置的方框图。参照图1至图10来说明的本发明的一实施例的关心区域设定方法的内容可适用于本发明的另一实施例的关心区域设定装置100。参照图11,本发明的另一实施例的关心区域设定装置100可包括视频接收部110、标识检测部120、标记部130和关心区域设定部140。视频接收部110可从摄像头接收拍摄到的视频帧。标识检测部120可从视频帧中检测出标识。标记部130按标识的种类进行标记。标记部130可按各个像素进行标记。关心区域设定部140可利用已标记的信息来设定关心区域。图12是本发明的另一实施例的关心区域设定装置的标识检测部的方框图。参照图12来对标识检测部120的具体结构的一例进行说明,标识检测部120可包括背景检测部121、分割部122、分割信息获取部123、移动客体检测部124、轨迹收集部125、轨迹区域生成部126、轨迹区域修正部127和标识信息生成部128。背景检测部121可从视频帧中检测出包括静止客体的背景。分割部122可对检测到的背景进行分割(Segmentation)。分割信息获取部123可从经过分割过程的视频帧中获取包括线条和边界的多种信息。移动客体检测部124可从视频帧中检测出活动的客体。轨迹收集部125可收集检测到的活动的客体的移动轨迹。轨迹区域生成部126可利用收集到的活动的客体的移动轨迹来生成关于移动轨迹所在区域的信息。轨迹区域修正部127可进行从已生成的移动轨迹所在区域中去除不准确的区域的修正,并且对因摄像头的视点而产生的误差进行修正,从而生成更准确的关于移动轨迹所在区域的信息。标识信息生成部可利用从分割信息获取部123中获取的信息和/或在轨迹区域修正部127中生成的移动轨迹所在区域的信息来检测出标识并生成标识种类的信息等关于标识的信息。图13是本发明的另一实施例的关心区域设定装置的另一方框图。参照图13,关心区域设定装置100在图11所示的结构中进一步可包括视点变化检测部150。视点变化检测部可检测摄像头的拍摄视点是否变更。在通过视点变化检测部检测到摄像头的拍摄视点被变更的情况下,标识检测部120可从通过拍摄视点变更的摄像头拍摄到的视频帧中重新检测出标识。标记部130可根据重新检测到的标识按各个像素再执行标记。关心区域设定部140可利用再执行的标记信息来重新设定关心区域。图14是所述关心区域设定装置100的又一结构图。关心区域设定装置100可具有图14所示的结构。关心区域设定装置100可包括执行命令的处理器1、内存2、存储关心区域设定程序数据的存储器3、用于进行与外部装置的数据收发的网络接口4和数据总线5。数据总线5可与处理器1、内存2、存储器3和网络接口4相连接而成为数据移动通道。在存储器3中可存储有关心区域设定程序数据。关心区域设定程序数据可包括检测摄像头的视点变化的过程、当检测到所述视点变化时从通过所述摄像头拍摄到的视频帧中检测出标识的过程和利用所检测到的标识来设定关心区域的过程。目前为止参照图1至图10来说明的本发明的实施例的关心客体设定方法能够通过在计算机可读存储介质中作为计算机可读代码来实现的计算机程序的执行来进行。所述计算机可读介质例如可以是移动型存储介质(CD、DVD、蓝光盘、USB存储装置、移动式硬盘)或固定式存储介质(ROM、RAM、计算机具备型硬盘)。所述计算机可读存储介质中存储的所述计算机程序可通过互联网等网络从第一计算装置传送到第二计算装置并安装在所述第二计算装置,由此能够在所述第二计算装置中使用。所述第一计算装置和所述第二计算装置均包括如服务器装置和桌上电脑的固定式计算装置,如笔记本电脑、智能手机和平板电脑的移动计算装置以及如智能手表和智能眼镜的可穿戴计算装置。本发明的实施例的关心区域设定装置及方法具有没有用户的输入也能够设定关心区域的效果。此外,本发明的实施例的关心区域设定装置及方法若摄像头的视点变更则可自动地重新设定关心区域。此外,本发明的实施例的关心区域设定装置及方法能够设定关心区域,使得能够不因用户的熟练度而产生性能偏差且能够稳定地检测异常行为。目前为止图11、图12和图13中的各结构要素可指软件(software),或如FPGA(field-programmablegatearray,现场可编程门阵列)或者ASIC(application-specificintegratedcircuit,专用集成电路)的硬件(hardware)。但是,所述结构要素并不限定于软件或硬件,而是可以构成为位于可寻址(addressing)的存储介质的结构,还可以构成为运行一个或更多个处理器的结构。由所述结构要素提供的功能可通过进一步细分的结构要素来实现,还可以以将多个结构要素相加来执行特定的功能的一个结构要素来实现。以上参照附图对本发明的实施例进行了说明,但本发明所属技术领域的技术人员应能理解,本发明能够不变更本发明的技术思想或必要特征而以其他具体方式实施。因此,应理解为以上所述的实施例在所有方面为示例性的而不是限定性的。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1