检测异常情形的方法和装置的制造方法

检测异常情形的方法和装置的制造方法
【专利摘要】本发明的实施例提供了一种检测异常情形的方法和装置。根据本发明实施例的检测异常情形的方法，包括：检测所采集的图像中是否存在第一对象；当在图像中存在第一对象时，识别第一对象是否持有物体；当第一对象持有物体时，获取物体的运动信息；以及根据物体的运动信息，确定是否存在异常情形。
【专利说明】
检测异常情形的方法和装置
技术领域
[0001]本发明涉及检测异常情形的方法和装置，更具体地，本发明涉及根据所检测的对象是否持有物体来检测异常情形的方法和装置。【背景技术】
[0002]随着技术的发展和人民安全意识的提高，越来越多的公共场所(例如车站、机场、 银行、写字楼的公共区域等)中安装了监控系统。发现并识别出这些公共场所中存在的异常情形对建立有效的监控系统起着至关重要的作用。这种识别异常情形的能力可以帮助人们检测出公共场所里的潜在安全风险，并为对此做出快速反应以避免对人和设施的损害提供了可能性。[〇〇〇3] 提出了通过对图像进行识别，根据在监控系统的相机所采集的图像中物体所呈现的形状来判断物体危险性从而确定异常情形的方法。然而这些由于容易受到视角变化、障碍物等因素的影响，该方法缺乏足够的对危险性的区分能力，并且往往很难捕获到有代表性的物体的图像。
[0004]此外，还提出了通过红外线、X射线断层扫描或者微波图像等除了监控系统中通常使用的相机以外的其他检测设备来确定物体危险性从而确定异常情形的方法。然而，尽管通过这些检测设备获得的数据可以稳定地展现物体的某些特性信息，但是使用这些检测设备的成本较高，并且常常需要人们配合，比如要求携带物品的人通过一个指定的扫描设备， 这在公共场所通常很难实现。
【发明内容】

[0005]本发明实施例的目的在于提供一种确定物体危险性的方法和装置，以解决上述问题。
[0006]本发明的一个实施例提供了一种检测异常情形的方法，包括:检测所采集的图像中是否存在第一对象；当在图像中存在第一对象时，识别第一对象是否持有物体；当第一对象持有物体时，获取物体的运动信息；以及根据物体的运动信息，确定是否存在异常情形。
[0007]本发明的另一实施例提供了一种检测异常情形的装置，包括:对象检测单元，配置来检测所采集的图像中是否存在第一对象；物体识别单元，配置来当在图像中存在第一对象时，识别第一对象是否持有物体；物体信息获取单元，配置来当第一对象持有物体时，获取物体的运动信息；以及异常情形确定单元，配置来根据物体的运动信息，确定是否存在异常情形。
[0008]公共场所发生的异常情形常常是由行为人通过其所持有的例如棍、棒、刀、枪等物体所导致。在根据本发明实施例提供的检测异常情形的方法和装置中，通过识别图像中的对象是否持有物体并且当存在被对象持有的物体时根据所持物体的运动信息等来确定是否存在异常情形，与现有的通过对物体进行图像识别来判断异常情形的方法和装置相比，根据本发明实施例的检测异常情形的方法和装置能够提供更加准确并且鲁邦的异常情形识别结果。因此根据本发明实施例的检测异常情形的方法和装置可更加灵活、有效地应用于可能出现大量的、变化的危险物体的实际监控场景中。【附图说明】
[0009]图1是描述了根据本发明一个实施例的检测异常情形的方法的流程图。
[0010]图2a是示出了根据本发明的一个示例的人体模板的示意图。
[0011]图2b是示出了根据本发明的一个示例的前景图像的示意图。
[0012]图2c是示出了根据本发明的一个示例的利用人体模板在前景图像中确定人体区域的情形的示意图。
[0013]图3是示出了根据本发明的一个示例，所采集的图像的灰度图和深度图。
[0014]图4是示出了根据本发明的一个示例，检测到的持有物体的第一对象的示意图。
[0015]图5是示出了根据本发明的示例的被第一对象所持的物体的MHI的示意图。
[0016]图6是示出了根据本发明的一个实施例的检测异常情形的装置的示范性结构框图。
[0017]图7是示出了根据本发明的一个实施例的物体信息获取单元的示范性结构框图。
[0018]图8是示出按照本发明实施例的检测异常情形的系统的总体硬件框图。【具体实施方式】
[0019]为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示， 且对这些步骤和元素的重复解释将被省略。
[0020]根据本发明的实施例的检测异常情形的方法和装置可应用于包括相机设备的监控系统。例如，相机设备可以是普通的具有单一镜头部件的相机。又例如，相机设备也可以是例如双目相机之类的立体相机。此外，立体相机的具体形式不限于此，其还可以是能够获得图像中对象的深度信息的任何其他相机。此外在根据本发明的实施例中，监控系统中的相机设备可对所监控的特定场景进行拍摄，并且所采集的图像为通过相机设备所获取的关于特定场景的图像。
[0021]图1是描述了根据本发明一个实施例的检测异常情形的方法100的流程图。下面， 将参照图1来描述根据本发明实施例的检测异常情形的方法。如图1所示，在步骤S101中， 检测所采集的图像中是否存在第一对象。例如，所采集的图像可包括视觉强度(彩色/灰度)图像和深度图像，该视觉强度图像和深度图像可以是由双目相机产生的数据、也可以是由三目相机产生的数据，还可以由基于T0F或者主动光模式的立体相机产生的数据。所采集的图像可以是在特定时刻所的图像，也可以是在一时间段内的图像序列。此外例如，第一对象可以是图像中的人。
[0022]在根据步骤S101检测所采集的图像中是否存在第一对象时，首先可基于所采集的图像(例如视觉强度图像或深度图像)，通过常规的背景建模方法来生成图像的背景模型。背景模型可以是静态背景建模，此外，也可以是使用混合高斯模型等建立的动态背景建模。然后，利用背景减除的方法，分别提取视觉图像和深度图像中的前景像素。接下来，在前景图像中检测出第一对象所在区域。在第一对象为人的情况下，根据本发明的一个示例， 可利用人体模板在前景图像中检测人体区域。图2a是示出了根据本发明的一个示例的人体模板210的示意图。如图2a所示，人体模板210为预先训练的人体头肩归一化模板。图 2b是示出了根据本发明的一个示例的前景图像220的示意图。图2c是示出了根据本发明的一个示例的利用人体模板210在前景图像220中确定人体区域的情形的示意图。在图2c 所示的示例中，利用人体模板210在前景图像220的不同区域进行匹配，并且根据匹配阈值来判断前景区域是否有人的存在。
[0023]此外根据本发明的另一示例，为了更准确地检测所采集的图像中是否存在第一对象，所采集的图像为通过立体相机所采集的图像时，可生成与所采集的图像相应的深度图， 并利用深度图将上述前景图像投影到三维的坐标系中以生成得到三维前景点云。然后，根据三维前景点云计算前景的鸟瞰图。例如，可三维前景点云将前景图像中的像素从采集该图像的相机所在的相机坐标系转换到世界坐标系中。然后在统一的世界坐标系中，通过竖直区段(bin)对三维空间进行划分。然后，在每个竖直的区段内统计其包含的前景像素的数目或者统计其内前景像素的最高值，从而在鸟瞰图上进行统计分析，以确定人体区域。
[0024]返回图1，当在图像中存在第一对象时，在步骤S102中，识别第一对象是否持有物体。根据本发明的一个示例，在根据步骤S101在获得第一对象所在区域后，在步骤S102 中可以利用如梯度直方图HoG，尺度不变特征变换SIFT等视觉表观信息来建立更精细的模型，以分辨出持物对象。
[0025]此外优选地，在步骤S102中识别第一对象持有物体的情况下，还可对检出的第一对象所在区域进行过分割，以定位被持物体所在的区域。具体地，可利用先验的对象结构和肤色信息确定第一对象的上肢区域，然后围绕上肢区域搜索物体区域，最后对搜索到的物体区域进行形态学操作和平滑来进行补全，以完成对被持物体区域的定位。
[0026]如果定位的了被持物体，则可以确定所采集的图像对应的场景是有持物对象的场景。如果没有定位到被持物体，确定所采集的图像对应的场景是无持物对象的场景。
[0027]图3是示出了根据本发明的一个示例，所采集的图像的灰度图310和深度图320。 如图3所示，在灰度图310和深度图320有一个持物人手持短棒站立于办公室内。图4是示出了根据本发明的一个示例，检测到的持有物体的第一对象的示意图。如图4所示，根据以上描述的步骤S101和步骤S102可该持物人连同持物330从灰度图310中正确地分割出来。
[0028]返回图1，当所述第一对象持有物体时，在步骤S103中，获取物体的运动信息。根据本发明的一个示例，物体的运动信息可包括物体的运动速度、运动方向和/或被第一对象使用的方式。又例如，物体被第一对象使用的方式可以是挥、砍、扔等。此外，可根据基于先前所采集的图像获得的物体历史运动信息和当前所采集的图像获得的物体当前运动信息来计算的运动速度、方向以及使用方式等运动信息。然后，在步骤S104中，根据物体的运动f目息，确定是否存在异常情形。
[0029]例如，在步骤S103中可根据物体历史运动信息和当前运动信息构建对象所持物体的运动能量图(MEI)和运动历史图(MHI)。具体地，MEI描述对象运动的运动形状和空间分布，而MHI中每个像素的幅值代表了该位置的运动强度的函数。MHI表示物体运动的一个优势是多种图像的某个时间范围内的运动被在一帧图像中进行了编码表示。MEI和MHI可被看做是物体运动时域模板的两个成分，该时域模板的每个像素的每个成分均是该位置像素的运动的函数。通过这些视角相关的运动时域模板同已知运动类型的模板进行匹配，就可以确定物体的运动模式，并进而确定物体被第一对象使用的方式。
[0030]图5是示出了根据本发明的示例的被第一对象所持的物体的MHI的示意图。图5 中的每个像素的强度幅值表征了该处的运动历史，并且越亮的像素表示时域上距离当前更近的运动。在图5所示的示例中，被第一对象所持的物体为短棒并且第一对象挥舞该短棒。
[0031] 为了减少视角的影响并且更确定地确定对象所持物体的运动信息，优选地，在步骤S103中，可首先根据在一时间段内采集的图像序列获取对象所持物体的二维运动信息， 并且生成所采集的图像的深度图，然后利用深度图，将物体的二维运动信息投影到三维空间中，以生成物体的三维运动信息。在步骤S104中，可根据物体的三维运动信息，确定是否存在异常情形。
[0032] 例如，在得到二维的MHI后，可以通过使用所采集的图像的深度图将其投影到三维空间得到三维的MHI。使用三维的MHI来进行对象运动的表述和运动模式的识别。同时， 基于三维的MHI可以更精准的算出对象的在三维空间中的运动速度和方向等。
[0033] 此外，根据本发明的一个示例，可通过以下公式(1)计算得到被第一对象持有的物体的危险性Risk(object):
[0034]Risk (object) = FI (Mode (object), speed, direct1n).(1)
[0035]其中Mode (object)表示物体被第一对象使用的模式，speed表示物体的运动速度，direct1n表示物体的运动方向。此外，根据不同的判断标准，F1可以是简单的线性函数，也可以是非线性函数。
[0036] 然后，可根据所计算的物体危险性来确定是否存在异常情形。例如可根据实际运行的需要，可以定义不同运动模式的异常系数，例如刺、砍、劈的异常系数高，而挥舞的异常系数低。此外，速度快异常系数高。此外，物体的运动方向只要是离开持物人的方向，都可认为其异常系数高。又例如可定义向下的异常系数要小于向上的异常系数，并且它们都小于直接向外的异常系数。异常系数越高，出现异常情形的可能性越大。
[0037] 此外，根据本发明的另一实施例，还可根据所采集的图像中的持有物体的第一对象，以及第一对象与其他对象之间的交互来确定场景中是否存在异常情形。具体地，图1中所示的方法还可包括当所述第一对象持有物体时，获取所述第一对象的运动信息，并且还根据所述第一对象的运动信息，确定是否存在异常情形。
[0038] 为了更准确地获得所采集的图像中的对象以及对象所持物体的运动信息。根据本发明的一个示例，可首先生成所采集的图像的深度图，并且利用所述深度图，将所述第一对象和所述物体投影到三维空间中，以获得所述第一对象和所述物体在三维空间中的三维运动信息。然后，将所述第一对象和所述物体的三维运动信息投影到鸟瞰图中，以获得所述第一对象和所述物体的鸟瞰运动信息。从而，可根据物体和第一对象的鸟瞰运动信息，确定是否存在异常情形。
[0039]例如，可根据光流计算得到所有的被检测到的持有物体的第一对象(例如，持物人)，在彩色/灰度图序列上计算每个持物人上所有像素点的光流。然后可生成与所采集的图像相应的深度图，并利用深度图投射持物人到三维空间中，得到持物人的三维点云。基于光流计算和匹配的结果，可以得到持物人的每个光流点的在三维空间中的运动方向和速度。然后投影这些持物人的三维点云到鸟瞰视图上，以获得持物人的运动的鸟瞰速度分布和鸟瞰方向分布。并且可以类似的方法获得持物人所持物体的运动的鸟瞰速度分布和鸟瞰方向分布。
[0040]此外优选地，图1中所示的方法还可包括根据第一对象的运动信息，在所采集的图像中确定第一对象是否朝向第二对象运动，以及当第一对象朝向第二对象运动时，还根据第一对象和第二对象之间的距离，确定是否存在异常情形。
[0041]根据本发明的一个示例，可通过以下公式(2)根据第一对象的运动方向和速度， 被持物体的运动方向和速度以及第一对象和第二对象的之间的距离计算得到第一对象行为的危险性 Risk(harmful_act1n):
[0042]Risk (harmful_act1n) = F2 (dis, P_speed, P_direct1n, 0_speed, 0_direct1n).(2)
[0043]其中dis表示第一对象和第二对象的之间的距离，P_speed表示第一对象的运动速度，P_direct1n表示第一对象的运动方向，0_speed表示被持物体的运动速度，0_ direct 1n表示被持物体的运动方向。此外，根据不同的判断标准，F2可以是简单的线性函数，也可以是非线性函数。然后，可根据所计算的第一对象行为的危险性来确定是否存在异常情形。在公式(2)中的第一对象和被持物体的运动方向和速度可以是上述鸟瞰图中的运动方向和速度，也可以是以其他方式计算的运动方向和速度。例如，在三维空间中的运动方向和速度。
[0044]例如可根据实际运行的需要，可以定义不同运动模式的异常系数。例如dis，其越小，异常系数越高；第一对象的速度？_叩％(1，其越大，异常系数越高；第一对象的运动方向，P_direct1n，其越指向第二对象，异常系数越高；被持物体的运动速度0_speed越大， 异常系数越高；被持物体的运动方向(^direct1n，其越指向第二对象，异常系数越高。异常系数越高，出现异常情形的可能性越大。
[0045]在根据本发明实施例提供的检测异常情形的方法中，通过识别图像中的对象是否持有物体并且当存在被对象持有的物体时根据所持物体的运动信息等来确定是否存在异常情形，与现有的通过对物体进行图像识别来判断异常情形的方法相比，根据本发明实施例的检测异常情形的方法能够提供更加准确并且鲁邦的异常情形识别结果。因此根据本发明实施例的检测异常情形的方法可更加灵活、有效地应用于可能出现大量的、变化的危险物体的实际监控场景中。
[0046]此外根据本发明的另一示例，图1中所示的方法还可包括综合考虑根据公式(1) 所计算的被第一对象持有的物体的危险性和根据公式(2)所计算的第一对象行为的危险性来确定是否存在异常情形。
[0047]此外可选择地，图1中所示的方法还可包括对被第一对象持有的物体进行图像识别以确定该物体的属性，并且在确定异常情形时，还考虑所确定的物体的属性。
[0048]此外，当在步骤S102中识别第一对象不持有物体时，图1中所示的方法还可包括根据第一对象的运动信息、对第一对象进行图像识别等来确定是否存在异常情形。
[0049]下面，参照图6说明本发明实施例的检测异常情形的装置。图6是示出了根据本发明的一个实施例的检测异常情形的装置600的示范性结构框图。如图6中所示，本实施例的检测异常情形的装置600包括对象检测单元610、物体识别单元620、物体信息获取单元630和异常情形确定单元640。在检测异常情形的装置600中的各个单元可分别执行上述图1中的检测异常情形的方法100的各个步骤/功能。因此，以下仅对检测异常情形的装置600的主要部件进行了描述，而省略了以上已经结合图1描述过的细节内容。
[0050]对象检测单元610检测所采集的图像中是否存在第一对象。例如，所采集的图像可包括视觉强度(彩色/灰度)图像和深度图像，该视觉强度图像和深度图像可以是由双目相机产生的数据、也可以是由三目相机产生的数据，还可以由基于T0F或者主动光模式的立体相机产生的数据。所采集的图像可以是在特定时刻所的图像，也可以是在一时间段内的图像序列。此外例如，第一对象可以是图像中的人。
[0051]对象检测单元610检测所采集的图像中是否存在第一对象时，首先可基于所采集的图像(例如视觉强度图像或深度图像)，通过常规的背景建模方法来生成图像的背景模型。背景模型可以是静态背景建模，此外，也可以是使用混合高斯模型等建立的动态背景建模。然后，利用背景减除的方法，分别提取视觉图像和深度图像中的前景像素。接下来，在前景图像中检测出第一对象所在区域。在第一对象为人的情况下，根据本发明的一个示例， 可利用人体模板在前景图像中检测人体区域。
[0052]此外根据本发明的另一示例，为了更准确地检测所采集的图像中是否存在第一对象，所采集的图像为通过立体相机所采集的图像时，对象检测单元610可生成与所采集的图像相应的深度图，并利用深度图将上述前景图像投影到三维的坐标系中以生成得到三维前景点云。然后，根据三维前景点云计算前景的鸟瞰图。例如，可三维前景点云将前景图像中的像素从采集该图像的相机所在的相机坐标系转换到世界坐标系中。然后在统一的世界坐标系中，通过竖直区段(bin)对三维空间进行划分。然后，在每个竖直的区段内统计其包含的前景像素的数目或者统计其内前景像素的最高值，从而在鸟瞰图上进行统计分析，以确定人体区域。
[0053]当在图像中存在第一对象时，物体识别单元620识别第一对象是否持有物体。根据本发明的一个示例，在对象检测单元610获得第一对象所在区域后，物体识别单元620可以利用如梯度直方图HoG，尺度不变特征变换SIFT等视觉表观信息来建立更精细的模型， 以分辨出持物对象。
[0054]此外优选地，物体识别单元620识别出第一对象持有物体的情况下，还可对检出的第一对象所在区域进行过分割，以定位被持物体所在的区域。具体地，可利用先验的对象结构和肤色信息确定第一对象的上肢区域，然后围绕上肢区域搜索物体区域，最后对搜索到的物体区域进行形态学操作和平滑来进行补全，以完成对被持物体区域的定位。
[0055]如果定位的了被持物体，则可以确定所采集的图像对应的场景是有持物对象的场景。如果没有定位到被持物体，确定所采集的图像对应的场景是无持物对象的场景。
[0056]当所述第一对象持有物体时，物体信息获取单元630获取物体的运动信息。根据本发明的一个示例，物体的运动信息可包括物体的运动速度、运动方向和/或被第一对象使用的方式。又例如，物体被第一对象使用的方式可以是挥、砍、扔等。此外，可根据基于先前所采集的图像获得的物体历史运动信息和当前所采集的图像获得的物体当前运动信息来计算的运动速度、方向以及使用方式等运动信息。然后，异常情形确定单元640根据物体的运动彳目息，确定是否存在异常情形D
[0057]例如，物体信息获取单元630可根据物体历史运动信息和当前运动信息构建对象所持物体的运动能量图(MEI)和运动历史图(MHI)。具体地，MEI描述对象运动的运动形状和空间分布，而MHI中每个像素的幅值代表了该位置的运动强度的函数。MHI表示物体运动的一个优势是多种图像的某个时间范围内的运动被在一帧图像中进行了编码表示。MEI 和MHI可被看做是物体运动时域模板的两个成分，该时域模板的每个像素的每个成分均是该位置像素的运动的函数。通过这些视角相关的运动时域模板同已知运动类型的模板进行匹配，就可以确定物体的运动模式，并进而确定物体被第一对象使用的方式。
[0058]图7是示出了根据本发明的一个实施例的物体信息获取单元630的示范性结构框图。如图7所示，物体信息获取单元630可包括二维信息获取模块710、深度图生成模块720 和三维信息获取模块730。为了减少视角的影响并且更确定地确定对象所持物体的运动信息，优选地，二维信息获取模块710可首先根据在一时间段内采集的图像序列获取对象所持物体的二维运动信息，并且深度图生成模块720生成所采集的图像的深度图，然后三维信息获取模块730利用深度图，将物体的二维运动信息投影到三维空间中，以生成物体的三维运动信息。从而，异常情形确定单元640可根据物体的三维运动信息，确定是否存在异常情形。
[0059]例如，在二维信息获取模块710得到二维的MHI后，三维信息获取模块730可以通过使用所采集的图像的深度图将其投影到三维空间得到三维的MHI。使用三维的MHI来进行对象运动的表述和运动模式的识别。同时，基于三维的MHI可以更精准的算出对象的在三维空间中的运动速度和方向等。
[0060]此外，根据本发明的另一实施例，检测异常情形的装置600还可根据所采集的图像中的持有物体的第一对象，以及第一对象与其他对象之间的交互来确定场景中是否存在异常情形。具体地，检测异常情形的装置600还可包括对象信息获取单元。当所述第一对象持有物体时，对象信息获取单元可获取所述第一对象的运动信息，并且异常情形确定单元640还可根据所述第一对象的运动信息，确定是否存在异常情形。[0061 ] 为了更准确地获得所采集的图像中的对象以及对象所持物体的运动信息。根据本发明的一个示例，可首先生成所采集的图像的深度图，并且对象信息获取单元利用所述深度图，将所述第一对象和所述物体投影到三维空间中，以获得所述第一对象在三维空间中的三维运动信息。然后，对象信息获取单元将所述第一对象的三维运动信息投影到鸟瞰图中，以获得所述第一对象的鸟瞰运动信息。此外，物体信息获取单元也可类似地获得被持物体的鸟瞰运动信息。从而，可根据物体和第一对象的鸟瞰运动信息，确定是否存在异常情形。
[0062]此外优选地，检测异常情形的装置600还可包括距离确定单元。距离确定单元可根据第一对象的运动信息，在所采集的图像中确定第一对象是否朝向第二对象运动，以及当第一对象朝向第二对象运动时，异常情形确定单元640还根据第一对象和第二对象之间的距离，确定是否存在异常情形。以上已将结合公式(2)描述了根据第一对象的运动方向和速度，被持物体的运动方向和速度以及第一对象和第二对象的之间的距离计算得到第一对象行为的危险性并从而确定异常情形的方式，故在此不再详述。
[0063]在根据本发明实施例提供的检测异常情形的装置中，通过识别图像中的对象是否持有物体并且当存在被对象持有的物体时根据所持物体的运动信息等来确定是否存在异常情形，与现有的通过对物体进行图像识别来判断异常情形的装置相比，根据本发明实施例的检测异常情形的装置能够提供更加准确并且鲁邦的异常情形识别结果。因此根据本发明实施例的检测异常情形的装置可更加灵活、有效地应用于可能出现大量的、变化的危险物体的实际监控场景中。
[0064]此外根据本发明的另一示例，检测异常情形的装置600中的异常情形确定单元 640可综合考虑根据公式(1)所计算的被第一对象持有的物体的危险性和根据公式(2)所计算的第一对象行为的危险性来确定是否存在异常情形。
[0065]此外可选择地，检测异常情形的装置600还可包括识别单元，以对被第一对象持有的物体进行图像识别以确定该物体的属性，并且异常情形确定单元640在确定异常情形时，还考虑所确定的物体的属性。
[0066]此外，当识别第一对象不持有物体时，检测异常情形的装置600中的异常情形确定单元640还可根据第一对象的运动信息、对第一对象进行图像识别等来确定是否存在异常情形。
[0067]此外，根据本发明的另一示例，本发明还可以通过一种检测异常情形的系统来实施。图8是示出按照本发明实施例的检测异常情形的系统800的总体硬件框图。如图8所示，检测异常情形的系统800可以包括:输入设备810,用于从外部输入例如通过立体相机拍摄的视频图像，并且例如可以包括图像传输线、图像输入端口等等；处理设备820,用于实施上述的按照本发明实施例的检测异常情形的方法，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，此外，处理设备820还可以连接到诸如因特网的网络 (未示出)，根据处理过程的需要向远程传送处理后的结果等等；输出设备830,用于向外部输出实施上述检测异常情形过程所得的结果，例如可以包括显示器以及通信网络及其所连接的远程输出设备等等；以及存储设备840,用于以易失或非易失的方式存储上述所采集的图像、第一对象和物体的运动信息等数据，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
[0068]所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“组件、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
[0069]可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、 光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(R0M)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质， 该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0070]计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号， 其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0071]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。
[0072]可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++， 还包括常规的过程式程序设计语言一诸如” C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0073]上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、 专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
[0074]也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruct1n means)的制造品(manufacture) 〇
[0075]也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
[0076]附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0077]以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
【主权项】
1.一种检测异常情形的方法，包括:检测所采集的图像中是否存在第一对象；当在所述图像中存在第一对象时，识别所述第一对象是否持有物体；当所述第一对象持有物体时，获取所述物体的运动信息；以及 根据所述物体的运动信息，确定是否存在异常情形。2.如权利要求1所述的方法，其中所述物体的运动信息包括物体的运动速度、运动方向和/或被所述第一对象使用的方式。3.如权利要求1或2所述的方法，其中 所述获取所述物体的运动信息包括:获取所述物体的二维运动信息；生成所采集的图像的深度图；利用所述深度图，将所述物体的二维运动信息投影到三维空间中，以生成所述物体的 三维运动信息，以及所述根据所述物体的运动信息，确定是否存在异常情形包括:根据所述物体的三维运动信息，确定是否存在异常情形。4.如权利要求1所述的方法，还包括:当所述第一对象持有物体时，获取所述第一对象的运动信息；以及 还根据所述第一对象的运动信息，确定是否存在异常情形。5.如权利要求4所述的方法，还包括:根据所述第一对象的运动信息，在所采集的图像中确定所述第一对象是否朝向第二对 象运动，以及当所述第一对象朝向第二对象运动时，还根据所述第一对象和所述第二对象之间的距 尚，确定是否存在异常情形。6.如权利要求4或5所述的方法，其中所述获取所述物体的运动信息和所述获取所述第一对象的运动信息包括:生成所采集的图像的深度图；利用所述深度图，将所述第一对象和所述物体投影到三维空间中，以获得所述第一对 象和所述物体在三维空间中的三维运动信息；将所述第一对象和所述物体的三维运动信息投影到鸟瞰图中，以获得所述第一对象和 所述物体的鸟瞰运动信息；所述根据所述物体的运动信息，确定是否存在异常情形包括:根据所述物体的鸟瞰运动信息，确定是否存在异常情形；所述还根据所述第一对象的运动信息，确定是否存在异常情形包括:还根据所述第一对象的鸟瞰运动信息，确定是否存在异常情形。7.—种检测异常情形的装置，包括:对象检测单元，配置来检测所采集的图像中是否存在第一对象；物体识别单元，配置来当在所述图像中存在第一对象时，识别所述第一对象是否持有 物体；物体信息获取单元，配置来当所述第一对象持有物体时，获取所述物体的运动信息；以 及异常情形确定单元，配置来根据所述物体的运动信息，确定是否存在异常情形。8.如权利要求7所述的装置，其中 所述物体信息获取单元包括:二维信息获取模块，配置来获取所述物体的二维运动信息；深度图生成模块，配置来生成所采集的图像的深度图；三维信息获取模块，配置来利用所述深度图，将所述物体的运动信息投影到三维空间 中，以生成所述物体的三维运动信息，以及所述异常情形确定单元根据所述物体的三维运动信息，确定是否存在异常情形。9.如权利要求7所述的装置，还包括:对象信息获取单元，配置来当所述第一对象持有物体时，获取所述第一对象的运动信 息，其中所述异常情形确定单元还根据所述第一对象的运动信息，确定是否存在异常情形。10.如权利要求9所述的装置，还包括:距离确定单元，配置来根据所述第一对象的运动信息，在所采集的图像中确定所述第 一对象是否朝向第二对象运动，其中所述异常情形确定单元当所述第一对象朝向第二对象运动时，还根据所述第一对象和 所述第二对象之间的距离，确定是否存在异常情形。
【文档编号】G06T7/00GK106033601SQ201510102360
【公开日】2016年10月19日
【申请日】2015年3月9日
【发明人】范圣印, 成仲炜, 王鑫, 王千, 乔刚
【申请人】株式会社理光