视频监控方法、视频监控系统以及计算机程序产品的制作方法_3

文档序号:9757295阅读:来源:国知局
具体步骤流程。
[0062]首先,参照图3和图4描述视频采集装置的配置以及视频采集装置的坐标参数的确定。可以由上述视频数据获取模块21控制和执行视频采集装置的配置以及视频采集装置的坐标参数的确定。图3是进一步图示根据本发明实施例的视频监控方法中配置和确定视频采集装置的参数的流程图。图4是图示用于确定视频采集装置的参数的相机坐标系统和世界坐标系统的示意图。
[0063]如图3所示,根据本发明实施例的视频监控方法中配置和确定视频采集装置的参数的流程包括以下步骤。
[0064]在步骤S301中,配置视频采集装置。将作为所述视频采集装置的深度相机(深度摄像机)安装在需要监控的场景中。通常,深度相机(深度摄像机)的安装高度为2-3.5米,其视角为俯视地面(如图4示意性所示)。在此,所述视频采集装置可以是单一深度相机(即,只有深度相机镜头)或者深度彩色双镜头相机。在深度彩色双镜头相机的情况下,需要对相机进行校准,使得两个镜头得到的图像相对应和同步。此后,处理进到步骤S302,以便对于安装后的所述视频采集装置,确定其离基准面的实际高度和角度等坐标参数。
[0065]在步骤S302中,选择预定基准面上的多个基准点。如图4所示,所述预定基准面可以是地平面,选择的基准点的数目越大(例如,大于等于5个),精度越高。此后,处理进到步骤S303。
[0066]在步骤S303中,基于选择的多个基准点的坐标信息,确定视频采集装置的相机坐标系统与世界坐标系统的变换关系。如图4所示,由点Oc与Xe、Yc和Zc轴构成的直角坐标系为相机坐标系统。为了描述相机的位置,引入世界坐标系统,由点Ow与Xw、Yw和Zw轴构成的直角坐标系为世界坐标系统。可以通过选择多个基准点,基于最小二乘法来估计相机坐标系统到世界坐标系统的转换矩阵,即相机坐标系统与世界坐标系统的变换关系。此后,处理进到步骤S304。
[0067]在步骤S304中,基于所述变换关系,确定视频采集装置的坐标参数。通过利用所述变换关系,将相机坐标系统转换到世界坐标系统,可以确定视频采集装置的实际高度和角度等坐标参数。同样地,将视频采集装置采集的视频中的像素点转换到世界坐标系统,可以确定视频场景中的完整地平面位置。
[0068]以下,将参照图5和图6描述作为监控目标的对象的确定。可以由上述监控对象确定模块22控制和执行监控目标的对象的确定。图5是进一步图示根据本发明实施例的视频监控方法中确定作为监控目标的对象的流程图。图6是图示根据本发明实施例的视频监控方法中确定前景信息的示意图。
[0069]如图5所示,根据本发明实施例的视频监控方法中确定作为监控目标的对象的流程包括以下步骤。
[0070]在步骤S501中,确定视频数据中的背景信息。在本发明的一个实施例中,在根据深度视频进行背景建模时,例如可以拍摄没有任何监控对象存在的背景帧作为背景信息,如图6(A)示出了作为背景信息的背景帧601。此后,处理进到步骤S502。
[0071]在步骤S502中,基于所述背景信息,确定所述视频数据的每帧中的前景信息。在本发明的一个实施例中,例如如图6(B)示出了所述视频数据的当前帧602,通过将所述背景帧601与所述当前帧602进行深度差比较,确定作为前景信息的前景区域603,如图6 (C)所示。此后,处理进到步骤S503。
[0072]在步骤S503中,获取对应于所述前景信息的前景区域的边缘轮廓信息。在本发明的一个实施例中,根据在步骤S502中确定的前景区域,使用边缘检测算法来得到所述前景区域的边缘轮廓信息。此后,处理进到步骤S504。
[0073]在步骤S504中,基于所述边缘轮廓信息,获取候选块。在本发明的一个实施例中,基于在步骤S503中获取的边缘轮廓,使用双层轮廓来得到前景的多个候选块。此后,处理进到步骤S505。
[0074]在步骤S505中,确定大于第一预定阈值的所述候选块为候选对象。具在本发明的一个实施例中,所述第一预定阈值为候选块的最小可接受面积,其面积不大于所述第一预定阈值的候选块可能是由于噪声而产生的,从而剔除该面积过小的候选块,剩余的每一个候选块代表一个候选对象。此后,处理进到步骤S506。
[0075]在步骤S506中,基于预定算法获取所述候选对象的评估值,确定所述评估值大于第二预定阈值的所述候选对象为所述对象。在本发明的一个实施例中,可以基于彩色图像的行人检测算法和/或人头检测算法给每个候选对象进行评估,将其评估值大于第二预定阈值的候选对象确定为所述对象(例如,确定为行人)。在应用所述行人检测算法的情况下,遍历深度视频帧中所有可能的矩形框,每一个矩形框代表一个行人的候选区域。对于该区域,提取梯度直方图的图像特征,然后根据使用支持向量机来做分类,判断该矩形区域是否有行人存在。在应用人头检测算法的情况下,遍历深度视频帧中所有可能的矩形框,对于每个矩形框,提取颜色和纹理特征,此后采用训练好的支持向量机来判断该区域是否有人头存在。此后,处理进到步骤S507。
[0076]在步骤S507中,匹配前一帧与当前帧中确定的所述对象的每一个,以确定离开前一帧的对象。在本发明的一个实施例中,对于当前帧中确定的行人和前一帧中确定的行人进行匹配,匹配的标准可以是行人的行进距离以及候选对象上提取的颜色纹理信息。根据匹配的结果,可以得到同一个行人在不同帧上面的跟踪结果。例如,假设在第t-1帧中存在M个检测到的行人,在第t帧存在N个检测到的行人,那么需要求得第t-Ι帧检测到的行人与第t帧检测到的每个行人之间的距离,该距离可以定义为行人在两帧中头部点之间的空间位置距离。如果第t-Ι帧检测到的行人到第t帧的所有行人的最小距离小于预定阈值,则认为该第t-Ι帧检测到的行人匹配到第t帧中具有最小距离的行人。如果该最小距离大于预定阈值,则认为该第t-Ι帧检测到的行人已经离开第t帧,从而不再继续跟踪该行人。
[0077]以下,将参照图7到图12描述提取所述对象的特征信息。可以由上述特征信息提取模块23控制和执行所述对象的特征信息的提取。图7是进一步图示根据本发明实施例的视频监控方法中确定对象的身高信息的第一示例的流程图。图8是进一步图示根据本发明实施例的视频监控方法中确定对象的身高信息的第二示例的流程图。图9是图示根据本发明实施例的视频监控方法中确定对象的身高信息的示意图。图10是进一步图示根据本发明实施例的视频监控方法中确定对象的移动速度的流程图。图11是图示根据本发明实施例的视频监控方法中确定对象的移动速度的示意图。图12是进一步图示根据本发明实施例的视频监控方法中确定对象的体重信息的流程图。
[0078]如图7所示,根据本发明实施例的视频监控方法中确定对象的身高信息的第一示例的流程包括以下步骤。
[0079]在步骤S701中,选取对象距离所述视频采集装置的最近点作为所述对象的头部点。在本发明的一个实施例中,如图9所示,选取对象距离所述视频采集装置的最近点,因为行人为直立,所以该最近点可以假设为头部点901。此后,处理进到步骤S702。
[0080]在步骤S702中,基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系,确定所述头部点在世界坐标系统中的坐标参数。如上参照图3和图4已经描述的,可以将所述头部点在所述视频采集装置的相机坐标系统中的坐标参数转换为世界坐标系统的坐标参数。此后,处理进到步骤S703。
[0081]在步骤S703中,基于所述头部点在世界坐标系统中的坐标参数,确定所述对象的头部距离地面的距离作为所述对象的身高信息。在本发明的一个实施例中,如图9所示,确定头部点901距离地面的距离为所述对象的身高902。
[0082]根据本发明实施例的视频监控方法中确定对象的身高信息的方法不限于如图7所示的第一示例。如图8所示,根据本发明实施例的视频监控方法中确定对象的身高信息的第二示例的流程包括以下步骤。
[0083]在步骤S801中,类似于步骤S701,选取对象距离所述视频采集装置的最近点作为所述对象的头部点。此后,处理进到步骤S802。
[0084]在步骤S802中,选取所述对象在图像坐标系的纵轴上的最大值的点作为所述对象的脚底点。在本发明的一个实施例中,脚底点可以定义为行人的前景区域在图像坐标系的纵轴上的最大值的点。此后,处理进到步骤S803。
[0085]在步骤S803中,基于所述视频采集装置的相机坐标系统与世界坐标系统的变换关系,确定在世界坐标体系中所述对象的头部点和所述对象的脚底点之间的距离作为所述对象的身高信息。
[0086]除了参照图7到图9描述的身高信息,所述对象的特征信息还包括所述对象的移动速度以及体重信息等。
[0087]如图10所示,根据本发明实施例的视频监控方法中确定对象的移动速度的流程包括以下步骤。
[0088]在步骤S1001中,计算所述对象的第一固定
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1