指定目标和行为的识别定位设备的制作方法

1.本发明属于目标定位技术领域，尤其涉及一种指定目标和行为的识别定位设备。


背景技术：

2.基于视频图像的目标及行为识别是计算机领域运用最为成熟的技术之一，已经广泛应用于日常生活、安防、工业生产、金融等各行各业。但是，在安防巡逻、大型活动安保等场景应用中，除了对目标及行为的识别，往往还要求同时计算出指定目标发生指定行为的位置，以提高情报信息的准确性和完整性。
3.因此，有必要提出一种指定目标和行为的识别定位设备。


技术实现要素：

4.基于此，针对上述技术问题，提供一种指定目标和行为的识别定位设备。
5.本发明采用的技术方案如下：
6.一种指定目标和行为的识别定位设备，其特征在于，包括数据处理装置、用于采集视频并发送给所述数据处理装置的多目深度相机、用于将导航定位数据发送给所述数据处理装置的惯性/卫星组合导航装置以及固定支架，所述数据处理装置、多目深度相机以及惯性/卫星组合导航装置均固定于所述固定支架上，且所述数据处理装置与所述多目深度相机以及惯性/卫星组合导航装置连接；
7.所述数据处理装置被配置为：
8.s101、在所述视频的图像中识别指定目标，并分析指定目标是否发生指定行为；
9.s102、根据所述导航定位数据以及多目深度相机与惯性/卫星组合导航装置的位置关系，确定所述指定目标发生指定行为时的位置。
10.本发明将惯性/卫星组合导航与视觉信息结合，实时计算指定目标发生指定行为的位置，提高了情报信息的准确性和完整性，满足了安防巡逻、大型活动安保等场景应用的需求，可独立安装，静态使用，也可以搭载于车辆，动态使用。
附图说明
11.下面结合附图和具体实施方式对本发明进行详细说明：
12.图1为本发明的结构示意图。
具体实施方式
13.如图1所示，本说明书实施例提供一种指定目标和行为的识别定位设备，包括数据处理装置11、多目深度相机12、惯性/卫星组合导航装置13、显示装置14、交互装置15、存储装置16、供电装置17、通信装置18以及固定支架(图中未示出)。
14.数据处理装置11、多目深度相机12、惯性/卫星组合导航装置13、显示装置14、交互装置15、存储装置16、供电装置17以及通信装置18均固定于固定支架上，数据处理装置11与
多目深度相机12、惯性/卫星组合导航装置13、显示装置14、交互装置15、存储装置16以及通信装置18连接。
15.多目深度相机12用于采集视频并发送给数据处理装置11，选用枪击式(外形参数)、广角(视角参数)、数字式(工作原理参数)以及普通型(照度参数)的双目深度相机，当然，也可以选择其它目数、外形参数(半球或者球形)、视角参数(标准或者全景)、工作原理参数(模拟式)以及照度参数(月光型、星光型或者红外型)的相机。
16.惯性/卫星组合导航装置13用于将导航定位数据发送给数据处理装置 11，选用的参数为：mems陀螺(陀螺仪参数)、双天线定向和惯性组合(方位角计算方式参数)和亚米级定位精度(卫星定位精度参数)，当然，也可以选择其它陀螺仪参数(光纤陀螺仪)、方位角计算方式参数(单天线定向和惯性组合)以及卫星定位精度参数(厘米级差分定位或者米级普通定位)的惯性/卫星组合导航装置。
17.惯性/卫星组合导航是在军事、民用、工业等领域应用极为广泛的技术，通过将惯性导航和卫星导航两种性质不同、特点迥异的系统融合在一起，充分发挥卫星导航精度高、不随时间发散和惯性导航可靠性高、不易被干扰的优点，实现优势互补、协同超越。
18.显示装置14用于通过led灯、显示屏对视频、目标识别结果、行为分析结果、各装置的工作状态进行显示,其通过hdmi接口与数据处理装置11 连接，显示屏可选用led屏或者液晶屏。
19.交互装置15用于通过按键实现设备状态和参数的设置，主要状态和参数如下：电源开关，“on”开始工作，“off”停止工作；工作模式选择，“初始化”状态接收外部输入，“运行”系统开始正常工作；图像参数设置，“标准”状态选用系统默认的帧率、曝光、白平衡、背光参数，“个性化”状态允许用户输入帧率、曝光、白平衡、背光参数，交互装置15通过usb 接口与数据处理装置11连接。
20.存储装置16用于存储多目深度相机12采集的视频以及结构化信息，如视频保存7天，结构化信息保存1年。
21.供电装置17用于向各装置供电，其包括用于将交流220v电压转换为直流12v电压供给各装置的主供电单元以及备用电池，主供电单元供电异常时，自动切换为备用电池供电，备用电池选用锂电池。
22.通信装置18用于为设备提供与外部的通信能力，支持4g/5g、wifi和以太网。
23.固定支架主要功能是固定各部件，尤其是通过刚性连接，确保相机和惯性/卫星组合导航装置之间的相对位置关系固定，固定支架外还可以设置壳体对整个设备进行密封、防护，使设备具备ip65防护等级。
24.其中，数据处理装置11被配置为：
25.s101、在视频的图像中识别指定目标，并分析指定目标是否发生指定行为。
26.为了提高效率，在识别、分析前，先对图像进行预处理，剔除无效的图像：
27.1、对图像进行一元灰度熵计算，得到灰度熵参数h：
28.pi表示灰度为i的像素所占的比例，h数值越大，图像中有用信息越少。
29.2、计算当前图像和上一帧之间的差异度参数ε：
30.a、计算两幅图像的灰度直方图。
31.b、逐个对比255个直方图参数差异，并进行归一化处理。
32.c、归一化之后的255个直方图参数差异取平均值，记为差异度参数ε。
33.3、若h≥20，或者ε≤5％，则当前图像无效，将该图像剔除，否则(h＜20，或者ε＞5％)，当前图像有效。
34.其中，利用人工智能模型和算法进行目标识别。以yolo v3模型为例，首先利用coco数据集对模型进行训练，然后在数据处理装置11部署模型，将视频图像作为模型输入，需识别的目标可以预先指定，如人、车、建筑物、道路设施或者交通标志等等。
35.对于目标的行为分析，同样可以对行为进行预先指定，以人目标为例，可以通过基于卷积姿态机关键点识别的行为分析算法进行行为分析，首先利用mscoco数据集对卷积姿态机进行训练，获得人体18个关键点，如表1所示，标注持械袭击、打架斗殴、攀爬样本，对深度学习模型进行训练，在数据处理装置11部署模型，将视频图像作为模型输入，可以识别出人的指定行为：持械袭击、攀爬等等。
36.编号123456789名称鼻颈右肩右肘右腕左肩左肘左腕右臀编号101112131415161718名称右膝右踝左臀左膝左踝右眼左眼右耳左耳
37.表1
38.s102、根据导航定位数据以及多目深度相机与惯性/卫星组合导航装置的位置关系，确定指定目标发生指定行为时的位置。
39.本步骤的原理为通过多目深度相机可以获得目标相对相机的相对位置和角度关系，由于惯性/卫星组合导航装置与多目深度相机之间的位置关系固定，所以通过惯性/卫星组合导航装置的姿态角(俯仰角、横滚角)和绝对位置(经度和纬度)可以计算得到相机的姿态角和绝对位置，进而进一步计算得到目标的绝对位置。在一种实施方式中，导航定位数据包括惯性/卫星组合导航装置13的俯仰角、横滚角、方位角以及经度和纬度，多目深度相机12与惯性/卫星组合导航装置13刚性连接在固定支架上，且使两者的俯仰角、横滚角和方位角以及经度和纬度相同，故惯性/卫星组合导航装置 13输出的俯仰角、横滚角、方位角、经度以及纬度就是多目深度相机12当前的俯仰角、横滚角、方位角、经度以及纬度。
40.相应地，步骤s102进一步包括：
41.1、在指定目标发生指定行为时，计算指定目标中心点在相机本体坐标系的坐标:
42.a、在指定目标发生指定行为时,通过检测框在图像上框出指定目标，检测框的四个角在相机本体坐标系的o-xy平面的坐标分别为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，相机本体坐标系为满足右手定律的笛卡尔坐标系，具体定义为以相机中心为原点o，垂直相机平面向前为z轴，上、右分别为x轴和 y轴。
43.b、计算指定目标中心点在o-xy平面的坐标和分别代表检测框四个角在o-xy平面的x坐标的平均值和y坐标的平均值。
44.c、计算指定目标中心点在相机本体坐标系的坐标ρ由多目深度相机输出，代表该多目深度相机与指定目标的实际目标中心点的直线距离。
45.2、利用相机本体坐标系到地理坐标系的姿态转移矩阵将指定目标中心点在相机本体坐标系的坐标转换为在地理坐标系的坐标(x
t
,y
t
,z
t
)，其中，θ、γ、φ分别为相机的俯仰角、横滚角和方位角。
46.3、计算当前多目深度相机与指定目标中心点的经度差和维度差re代表地球半径参数，λ代表当前多目深度相机的纬度。
47.4、根据当前多目深度相机的经度和纬度以及计算得到的经度差和维度差，计算指定目标中心点的经度和纬度。
48.进一步地，数据处理装置11还被配置为：
49.在指定目标发生指定行为时，记录行为时间，分别确定目标和行为的属性：正常或者异常。
50.将每一个目标及其对应的行为、时间、位置、属性封装在一起，形成结构化信息，这样，将关键信息封装在一起便于存储、检索，比如车被碰了，就不需要去监控室花费大量时间查看视频了，直接搜索识别到的车牌再看对应的时间就行了。
51.当目标的属性为异常或者行为的属性为异常时，通过通信装置18将相应的结构化信息发送给指挥中心。
52.对于人脸目标或者车牌目标，可以与人员库作比对，确定目标的属性是否为异常。
53.以人目标为例，某些指定行为本身就是异常属性，如持械袭击、攀爬等等，对于人目标的入侵行为，可以进行越界检测等方式确定。对于车辆目标的行为的属性，如可以在图像中设定车辆行驶和停车界限，通过车辆在图像中的位置判定是否非法入侵，通过预设时间内(2分钟)对同一目标车辆位置连续判别，停在禁止停止区域内则判别为违规停车。
54.但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。