一种基于智能摄像头的视频分析方法与流程

[0001]
本发明涉及本视频监控人工智能领域，特别是涉及一种基于智能摄像头的视频分析方法。


背景技术：

[0002]
随着计算机技术和网络技术的不断升级，人工智能得到不断发展，其应用正不断扩展。而人工智能中的核心即为信息检测与信息处理，而不同于传统的处理方式，其处理速度和数据处理量都会以集合数量级增加。
[0003]
目前人工智能算法计算平台多数在服务器中，需要配置一块或者多块显卡。随着芯片技术的发展，智能算法计算平台逐渐转向边缘端，例如摄像头。与此同时，在建筑施工工地数字化转型中，人工智能检测算法也应用其中，例如安全帽检测、反光衣检测、人员区域入侵检测等等。
[0004]
目前，这类算法本地的安装配置大多以服务器为主，且这一方式会存在以下问题：
[0005]
其一，服务器高温散热问题；
[0006]
其二，运输过程中显卡松动问题；
[0007]
其三，机器相对而言较大且费用昂贵，也有一定维护成本。
[0008]
因此，基于边缘摄像头的智能检测算法应运而生。摄像头相比服务器而言，体积小，同时芯片的计算能力有限，因此如何设计合理的算法模型，使其能在一定计算能力的摄像头中运行成为解决问题的关键。


技术实现要素：

[0009]
本发明的目的是提供了一种基于智能摄像头的视频分析方法，能极大提升识别准确度，且安装部署方便节省成本。
[0010]
为解决上述技术问题，本发明提供了一种基于智能摄像头的视频分析方法，包括：
[0011]
s1，对预定位置安装对指定方向监控的摄像头；
[0012]
s2，设计标注对象，并根据所述标注对象设计以及训练检测模型获得监测模型；
[0013]
s3，将所述监测模型芯片不支持的算子进行剪除后，获得剪除部分和剩余部分，所述剪除部分通过cpu进行推理和所述剩余部分通过芯片进行推理并作为模型算法；
[0014]
s4，将所述模型算法安装到所述摄像头；
[0015]
s5、启动所述模型算法，将所述摄像头获得的报警图片传至云平台。
[0016]
其中，所述检测模型为改进的ssd模型，所述改进的ssd模型的基础模块包括第一路稠密层和第二路稠密层，所述第一路稠密层包括一个3*3卷积核，用于捕捉小尺度目标，所述第二路稠密层包括两个3*3卷积核，用于学习大尺度目标的视觉特征。
[0017]
其中，所述s2包括：
[0018]
所述检测模型法采用conv+bn+relu组合进行计算。
[0019]
其中，所述s3包括：
[0020]
将所述改进的ssd模型中prototxt模型文件中的flatten层、priorbox层、concat层、reshape层、softmax层和detectionoutput层进行剪除作为剪除部分；
[0021]
将剪切后的所述prototxt模型文件和caffemodel权重文件进行转换，转换为海思芯片对应的wk模型，作为所述剩余部分。
[0022]
其中，所述剪除部分通过cpu进行推理包括：
[0023]
采用svp_nnie_ssd_priorboxforward对所述priorbox层进行推理；
[0024]
采用svp_nnie_ssd_softmaxforward对所述softmax层进行推理；
[0025]
采用svp_nnie_ssd_detectionoutforward对所述detectionoutput层。
[0026]
其中，所述采用svp_nnie_ssd_priorboxforward对所述priorbox层进行推理包括：
[0027]
根据每一所述priorbox层的最小边长minsize、最大边长maxsize计算正方形框；
[0028]
根据长宽比aspect_ratio计算长方形框；
[0029]
将每一所述priorbox层的特征图大小映射回原图位置，其中，所述特征图大小分别为2个19*19、10*10、5*5、3*3和1*1。
[0030]
其中，所述采用svp_nnie_ssd_softmaxforward对所述softmax层进行推理，包括：
[0031]
采用f
i
作为置信度，对softmax层进行推理。
[0032]
其中，所述采用svp_nnie_ssd_detectionoutforward对所述detectionoutput层，包括：
[0033]
计算所述detectionoutput层的前topk的真实图像坐标值作为预测值解码进行推理计算。
[0034]
其中，所述s4包括：
[0035]
将所述模型算法采用arm-himix200-linux进行交叉编译后获得编译文件；
[0036]
采用rpmbuild工具对所述编译文件打包获得打包文件；
[0037]
将所述打包文件在线安装至所述摄像头。
[0038]
其中，所述s1包括：
[0039]
所述摄像头的俯仰角范围为-15
°
～15
°
。
[0040]
本发明实施例提供的基于智能摄像头的视频分析方法与现有技术相比较，具有以下优点：
[0041]
所述基于智能摄像头的视频分析方法，通过智能摄像头，定向设计检测网络模型，划分芯片计算和cpu计算，极大提升性能且安装部署方便，无需采用服务器进行巨量运算，极大地降低了硬件成本，采用自控监控，有效地减少了建筑工地人力维护成本，算法识别准确率高，实时性好，能够满足工程应用的需要。而且采用该种视屏分析方式，实现了摄像头的拍摄与分析的集成，无需将数据传回后进行分析，而是直接在摄像头进行分析，只需传回分析结果即可，实现即部署即使用的效果，降低部署成本。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图获得其他的附图。
[0043]
图1为本申请提供的基于智能摄像头的视频分析方法的一个实施例的步骤流程示意图。
具体实施方式
[0044]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
如图1所示，图1为本申请提供的基于智能摄像头的视频分析方法的一个实施例的步骤流程示意图。
[0046]
在一种具体实施方式中，本发明提供的基于智能摄像头的视频分析方法，包括：
[0047]
s1，对预定位置安装对指定方向监控的摄像头；对指定方向监控的摄像头，不限定数量，可以根据需要设置一个或者多个。
[0048]
s2，设计标注对象，并根据所述标注对象设计以及训练检测模型获得监测模型；这里的标注对象，是最后的模型检测对象，包括安全帽、反光衣、人员等，如检测建筑工人是否佩戴安全帽，或者在指定区域的人员穿戴反光衣，或者在一定的危险区域是否存在人员等。
[0049]
s3，将所述监测模型芯片不支持的算子进行剪除后，获得剪除部分和剩余部分，所述剪除部分通过cpu进行推理和所述剩余部分通过芯片进行推理并作为模型算法；采用芯片与cpu分别计算处理的方式，无需采用专业的服务器进行运算，降低硬件成本。
[0050]
s4，将所述模型算法安装到所述摄像头；在完成检测模型的算法以及训练之后，将其下载安装到摄像头中，与摄像头本身的拍摄功能集成，这样后方只需要接收处理后的图片即可，无需布置处理需要的服务器，更会节省布置服务器占用的空间，同时采用这种方式，在完成摄像头安装之后即可使用，部署的硬件成本以及人工更低。
[0051]
s5、启动所述模型算法，将所述摄像头获得的报警图片传至云平台。
[0052]
通过智能摄像头，定向设计检测网络模型，划分芯片计算和cpu计算，极大提升性能且安装部署方便，无需采用服务器进行巨量运算，极大地降低了硬件成本，采用自控监控，有效地减少了建筑工地人力维护成本，算法识别准确率高，实时性好，能够满足工程应用的需要。而且采用该种视屏分析方式，实现了摄像头的拍摄与分析的集成，无需将数据传回后进行分析，而是直接在摄像头进行分析，只需传回分析结果即可，实现即部署即使用的效果，降低部署成本。
[0053]
本发明中对于检测模型不做限定，为了提高检测速度，在一个实施例中，所述检测模型为改进的ssd模型，所述改进的ssd模型的基础模块包括第一路稠密层和第二路稠密层，所述第一路稠密层包括一个3*3卷积核，用于捕捉小尺度目标，所述第二路稠密层包括两个3*3卷积核，用于学习大尺度目标的视觉特征。
[0054]
即采用两路密集层来得到不同尺度的感受视野，既能实现相互对比，也能够根据不同的检测精度进行灵活选择，或者采用不同的组合方式获得预期的检测效果。
[0055]
现有densenet中的预激活组合conv+relu+bn，而为了提高速度，在一个实施例中，所述s2包括：
[0056]
所述检测模型法采用conv+bn+relu组合进行计算。
[0057]
采用了conv+bn+relu的组合，这样做方便进行卷积和bn的合并计算，加速推理阶段的速度。
[0058]
本发明包括但不局限于上述的组合方式进行计算，如果有其它的更优的组合，也可以进行替换，实现预期的计算效果，本发明对此不作限定。
[0059]
本发明中在完成检测模型的设计之后，需要进行不断的训练，本发明对其训练次数以及训练采用的影片不作限定，在一个实施例中，在英伟达rtx2080ti上训练模型，模型训练后保存。
[0060]
本发明中需要对训练后获得的监测模型进行剪裁与移植，一部分在cpu上进行推理，一部分在芯片上进行推理，本发明对于选用的芯片不做限定，对于需要剪裁的部分不做限定，在一个实施例中，所述s3包括：
[0061]
将所述改进的ssd模型中prototxt模型文件中的flatten层、priorbox层、concat层、reshape层、softmax层和detectionoutput层进行剪除作为剪除部分；
[0062]
将剪切后的所述prototxt模型文件和caffemodel权重文件进行转换，转换为海思芯片对应的wk模型，作为所述剩余部分。
[0063]
这时基于海思芯片支持的算子有所不同，对于模型中不支持的算子需要剪裁掉，在模型文件prototxt中删除包括flatten层(共13层)、priorbox层(共6层)、concat层(3层)、reshape层、softmax层、detectionoutput层，然后利用工具ruyistudio对剪切后的prototxt模型文件和caffemodel权重文件进行转换，转换为海思芯片需要的wk模型。
[0064]
需要指出的是，本发明中也可以采用其它的芯片，而且裁剪部分也并非上述的部分，也可以是其它的不同的部分，本发明对此不作限定。
[0065]
本发明中对于cpu的退避部分的推理分时不作限定，在一个实施例中，所述剪除部分通过cpu进行推理包括：
[0066]
采用svp_nnie_ssd_priorboxforward对所述priorbox层进行推理；
[0067]
采用svp_nnie_ssd_softmaxforward对所述softmax层进行推理；
[0068]
采用svp_nnie_ssd_detectionoutforward对所述detectionoutput层。
[0069]
具体的，在一个实施例中，所述采用svp_nnie_ssd_priorboxforward对所述priorbox层进行推理包括：
[0070]
根据每一所述priorbox层的最小边长minsize、最大边长maxsize计算正方形框；
[0071]
根据长宽比aspect_ratio计算长方形框；
[0072]
将每一所述priorbox层的特征图大小映射回原图位置，其中，所述特征图大小分别为2个19*19、10*10、5*5、3*3和1*1。
[0073]
在softmax层中，由于cpu部分一般为arm处理器，性能相对较弱，因此cpu推理部分需要优化加速，统计安全帽检测算法共40998个anchor，在softmax层推理计算中，计算公式为如下：
[0074]
那么至少调用40998次exp()方法，然而exp()计算是相对耗时的，需要耗时达20-30ms。
[0075]
因此考虑这一情况，去掉softmax计算，直接用f
i
做为置信度，实验发现并不影响精度。
[0076]
即在一个实施例中，所述采用svp_nnie_ssd_softmaxforward对所述softmax层进行推理，包括：
[0077]
采用f
i
作为置信度，对softmax层进行推理。
[0078]
本发明中包括但不局限于上述的对softmax层推理方式。
[0079]
在detectionout层中通过分析原有代码函数svp_nnie_ssd_detectionoutforward发现对所有anchor的预测值解码为图像的实际坐标值，对每一个anchor都要计算exp()函数，然而实际在做nms计算时只需要将topk置信度最高的，因此修改编解码方式计算前topk的真实图像坐标值，可以大大减少运算时间。
[0080]
因此，在一个实施例中，所述采用svp_nnie_ssd_detectionoutforward对所述detectionoutput层，包括：
[0081]
计算所述detectionoutput层的前topk的真实图像坐标值作为预测值解码进行推理计算。
[0082]
本发明中在完成检测模型之后，需要将其安装到摄像头，本发明对这一过程不做限定，在一个实施例，所述s4包括：
[0083]
将所述模型算法采用arm-himix200-linux进行交叉编译后获得编译文件；
[0084]
采用rpmbuild工具对所述编译文件打包获得打包文件；
[0085]
将所述打包文件在线安装至所述摄像头。
[0086]
由于采用精简的轻量型文件，因此打包文件大小只有5-6m，极大地提高了安装效率。
[0087]
完成安装之后，启动摄像头，摄像头web界面设置算法启动按钮，点击启动算法，摄像头流通道读取视频流信息，并传输至摄像头中的算法模型中，利用摄像头中的芯片以及优化cpu进行推理计算，如检测工地工人是否佩戴安全帽，如若未佩戴，则将未佩戴的报警图片传至云端，检测工地工人是否穿反光衣，如果未穿，同样报警至云端等。
[0088]
当然，可以设置警报器等，在发现之后发出警报。
[0089]
本发明中对于摄像头的安装不做限定，一般所述s1包括：
[0090]
所述摄像头的俯仰角范围为-15
°
～15
°
。
[0091]
综上所述，本发明实施例提供的所述基于智能摄像头的视频分析方法，通过智能摄像头，定向设计检测网络模型，划分芯片计算和cpu计算，极大提升性能且安装部署方便，无需采用服务器进行巨量运算，极大地降低了硬件成本，采用自控监控，有效地减少了建筑工地人力维护成本，算法识别准确率高，实时性好，能够满足工程应用的需要。而且采用该种视屏分析方式，实现了摄像头的拍摄与分析的集成，无需将数据传回后进行分析，而是直接在摄像头进行分析，只需传回分析结果即可，实现即部署即使用的效果，降低部署成本。
[0092]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。