识别物体危险性的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及识别物体危险性的方法和装置，更具体地，本发明涉及基于立体相机 拍摄的图像而识别物体危险性的方法和装置。
【背景技术】
[0002] 随着技术的发展和人民安全意识的提高，越来越多的公共场所（例如车站、机场、 银行、写字楼的公共区域等）中安装了监控系统。发现并识别出危险物体的存在对建立有 效的监控系统起着至关重要的作用。这种识别危险物的能力可以帮助人们检测出公共场所 里的潜在安全风险，并为对此做出快速反应以避免对人和设施的损害提供了可能性。
[0003] 提出了通过图像识别，根据在监控系统的相机所采集的图像中物体所呈现的形状 来判断物体危险性的方法。然而这些由于容易受到视角变化、障碍物等因素的影响，该方法 缺乏足够的对危险性的区分能力，并且往往很难捕获到有代表性的物体的图像。
[0004] 此外，还提出了通过红外线、X射线断层扫描或者微波图像等除了监控系统中通常 使用的相机以外的其他检测设备来确定物体危险性的方法。然而，尽管通过这些检测设备 获得的数据可以稳定地展现物体的某些特性信息，但是使用这些检测设备的成本较高，并 且常常需要人们配合，比如要求携带物品的人通过一个指定的扫描设备，这在公共场所通 常很难实现。
[0005] 此外，在现有的判断物体危险性的方法中，需要使用预先定义或是学习得到的特 定危险物体模型，并通过模型匹配策略决定新的观测是否是危险物体，这使得该方法难以 对新的危险物进行扩展，而针对真实场景中出现的所有危险物分别建立模型付出的代价又 是不可接受的。
【发明内容】
[0006] 本发明实施例的目的在于提供一种识别物体危险性的方法和装置，以解决上述问 题。
[0007] 本发明的一个实施例提供了一种识别物体危险性的方法，包括：根据立体相机拍 摄的图像，生成图像中物体的异质点云，其中异质点云中的每个点具有深度信息和平面图 像信息；根据异质点云中的点的深度信息和平面图像信息，确定该异质点云所对应的物体 的立体形状，并根据立体形状生成第一危险性参数；根据异质点云中的点的深度信息和平 面图像信息，确定该异质点云所对应的物体的表面特征，并根据表面特征生成第二危险性 参数；以及根据第一危险性参数和第二危险性参数，生成异质点云所对应的物体的综合危 险性参数。
[0008] 本发明的另一实施例提供了一种识别物体危险性的装置，包括：点云生成单元，配 置来根据立体相机拍摄的图像，生成图像中物体的异质点云，其中异质点云中的每个点具 有深度信息和平面图像信息；第一参数生成单元，配置来根据异质点云中的点的深度信息 和平面图像信息，确定该异质点云所对应的物体的立体形状，并根据立体形状生成第一危 险性参数；第二参数生成单元，配置来根据异质点云中的点的深度信息和平面图像信息，确 定该异质点云所对应的物体的表面特征，并根据表面特征生成第二危险性参数；以及综合 参数生成单元，配置来根据第一危险性参数和第二危险性参数，生成异质点云所对应的物 体的综合危险性参数。
[0009] 在上述发明实施例提供的识别物体危险性的方法和装置中，通过危险性参数可定 性地确定一般意义上物体的危险性，从而避免针对危险物体的具体建模。因此根据本发明 实施例的识别物体危险性的方法和装置可更加灵活、有效地应用于可能出现大量的、变化 的危险物体的实际监控场景中。此外，通过使用从立体相机拍摄的图像中获得的图像中物 体的深度信息和平面图像信息两者，确定指示物体的立体形状的危险性的第一危险性参数 和指示物体的表面特征的危险性的第二危险性参数，并结合第一危险性参数和第二危险性 参数来判断物体的危险性，与现有的判断物体危险性的方法和装置相比，根据本发明实施 例的识别物体危险性的方法和装置能够提供更加准确的物体危险性识别结果。
【附图说明】
[0010] 图1是描述了根据本发明一个实施例的识别物体危险性的方法的流程图。
[0011] 图2是描述了根据本发明一个示例，根据立体相机拍摄的图像生成图像中物体的 异质点云的方法的流程图。
[0012] 图3是描述了根据本发明一个示例，根据异质点云中的点的深度信息和平面图像 信息生成指示物体的立体形状的危险性的第一危险性参数的方法的流程图。
[0013] 图4是描述了根据本发明一个示例，通过基于异质点云中的点的深度信息和平面 图像信息计算的该异质点云所对应的边权重矩阵来生成该异质点云的二维投影的方法的 流程图。
[0014] 图5a是当立体相机拍摄的图像中的物体为被人手持的棍子时，根据图2中所示的 方法生成的示例性异质点云的示意图。
[0015] 图5b是基于图5a中所示的异质点云根据图4中所示的方法生成的示例性二维投 影的示意图。
[0016] 在图6中是描述了根据本发明一个示例，根据异质点云中的点的深度信息和平面 图像信息，确定该异质点云所对应的物体的表面特征，并根据表面特征生成第二危险性参 数的方法的流程图。
[0017] 图7a是根据深度信息、基于物体的二维纹理获得的一个立体纹理的示意图。
[0018] 图7b是根据深度信息、基于物体的二维纹理获得的另一立体纹理的示意图。
[0019] 图8是示出了根据本发明的一个实施例的识别物体危险性的装置的示范性结构 框图。
[0020] 图9是示出了根据本发明的一个实施例的第一参数生成单元的示范性结构框图。
[0021] 图10是示出了根据本发明的一个实施例的第二参数生成单元的示范性结构框 图。
[0022] 图11是示出按照本发明实施例的识别物体危险性的硬件系统的总体硬件框图。
【具体实施方式】
[0023] 为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实 施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示， 且对这些步骤和元素的重复解释将被省略。
[0024] 根据本发明的实施例的识别物体危险性的方法和装置可应用于包括立体相机的 监控系统。例如，立体相机可以是双目相机。此外，立体相机的具体形式不限于此，其还可 以是能够获得图像中对象的深度信息的任何其他相机。此外根据本发明的实施例中，物体 可以是放置在监控系统所监控的空间中的物体，也可以是在监控系统所监控的空间中出现 的人持有的物体。
[0025] 图1是描述了根据本发明一个实施例的识别物体危险性的方法100的流程图。下 面，将参照图1来描述根据本发明实施例的识别物体危险性的方法1〇〇(以下简称为"识别 方法100")。如图1所示，在步骤S101中，根据立体相机拍摄的图像，生成图像中物体的异 质点云，其中异质点云中的每个点具有深度信息和平面图像信息。图2是描述了根据本发 明一个示例，根据立体相机拍摄的图像生成图像中物体的异质点云的方法200的流程图。 如图2所示，在步骤S201中，可确定图像的前景物体区域中是否存在物体。例如，在步骤 S201中，可通过例如静态背景建模，也可以使用GMM(混合高斯模型）等动态背景建模之类 的任何背景建模方法、基于立体相机获得的深度图来生成背景模型。利用背景减除的方法， 提取度图像中的前景像素以获得前景区域。然后，确定前景物体区域中是否存在物体。
[0026] 例如，在预先确定所要进行识别的物体为人的持有物体的情况下，可从前景区域 中检测持物人并定位被持物体。更具体地，首先，可在深度图像的前景区域使用任何人体检 测技术来检测出人体区域。获得人体区域后，可以利用视觉表观信息（如梯度直方图HoG， 尺度不变特征变换SIFT等特征）来进一步建立更精细的人体模型，以从普通的人体区域中 区分出持物人。然后，确定是否存在被该持物人持有的被持物体。任何物体定位方法都可 以应用到这一步的处理中，比如经典的滑动窗口方法，基于物体性的检测方法或者高级的 启发式搜索方法。
[0027] 当确定存在物体时，在步骤S202中，根据立体相机拍摄的图像生成物体的异质点 云。根据本发明的一个示例，在步骤S202中，可首先获得在前景物体区域中存在的物体所 对应的像素点中的每个像素点的平面图像信息和深度信息。根据本发明的一个示例，平面 图像信息可包括该像素点在平面图像中的平面位置信息、颜色信息、灰度信息和/或亮度 信息等。此外，根据本发明的另一示例，可根据立体相机拍摄的图像计算每个像素点的视差 值，并根据视差值获得该像素点的深度信息。然后将物体所对应像素的位置坐标从相机坐 标系变换到真实世界的三维坐标系下，从而生成异质点云P~。异质点云是指点云（即，点 集）中的每个像素点不仅就有三维坐标，还具有颜色信息、灰度信息和/或亮度信息等平面 图像信息。
[0028] 返回图1，在步骤S102中，根据异质点云中的点的深度信息和平面图像信息，确定 该异质点云所对应的物体的立体形状，并根据立体形状生成第一危险性参数。图3是描述 了根据本发明一个示例，根据异质点云中的点的深度信息和平面图像信息生成指示物体的 立体形状的危险性的第一危险性参数的方法300的流程图。如图3所示，在步骤S301中， 根据异质点云中的点的深度信息和平面图像信息，生成异质点云在多个方向上的二维投 影。根据本发明的一个示例，可将三维空间中异质点云在由任意两个坐标轴确定的平面上 投影，以获得多个二维投影。根据本发明的另一示例，还可将物体的异质点云视为物体流形 的一种高维观测，并对它应用Laplace Beltrami算子来生成多个二维的特征投影（即，二 维投影），这些特征投影可以看作是该物体流形的低维表征。具体地，可以假设每个物体在 本质上都是被一个唯一的低维表征所表示的，该低维表征就嵌入在人们所感知到的该物体 各种各样的高维观测当中。通过对异质点云进行Laplace