一种基于智能单目视觉的舞台摇头灯运动协调性分析方法与流程

本发明涉及舞台灯检测技术领域，具体为一种基于智能单目视觉的舞台摇头灯运动协调性分析方法。

背景技术：

运动同步性能是舞台摇头灯重要的技术指标之一。对于同一款式、同一批次的舞台摇头灯，需要在执行相同的多组运动指令的情况下完成完全一致的动作。而在设备研发和装配中，由于算法、元器件、装配方法等问题，容易引起灯头运动不完全一致的问题。这种运动不一致问题会直接导致灯具在演出现场出现灯光不协调等问题。在研发和装配的过程中，都需要尽量的使各个舞台摇头灯的灯头的运动保持一致。因此，需要有合适的运动同步性检测和分析方法来辅助开发和装配。

目前，在研发和实验过程中，主要是依靠安装在各个运动轴上的编码器来检测其运动参数，包括位置、速度和加速度数据。这种方法需要在设备内部添加新的检测部件，无法适用于大量装配中的测试评估。

在装配中，目前主要是由装配人员目测检查，无法准确检查同一批次的同步性能，更无法检测不同装配批次的同步性能。

本发明通过单目摄像机结合计算机视觉技术，同时跟踪和检测多台舞台摇头灯，测试并记录其运动参数，生成准确可靠的检测报告。并支持对多批次产品的性能测试与对比。

技术实现要素：

本发明的目的在于提供一种基于智能单目视觉的舞台摇头灯运动协调性分析方法，解决了现有性能检测方法的不方便、不精确等问题；具有成本低、精度高、非接触、无耗材等特点；有利于在舞台摇头灯的研发和生产中提高其设计和生产精度。

为实现上述目的，本发明提供如下技术方案：

一种基于智能单目视觉的舞台摇头灯运动协调性分析方法，所述方法中硬件设备包括：一台用于采集舞台摇头灯在运动时视频数据的广角摄像头和一台计算机，所述方法为：广角摄像头输入的视频图像，通过目标检测深度神经网络、几何变换、边缘检测、全连接神经网络以及cnn回归网络算法，最终，获取灯头的运动偏角。

作为本发明进一步的方案：具体包括如下步骤：

1)数据采集：通过广角摄像头拍摄多台被测的舞台摇头灯，得到舞台摇头灯接收控制指令后的运动视频；

2)检测每台舞台摇头灯的位置和图像：通过目标检测深度神经网络，找到每帧图像中的舞台摇头灯的位置，并截取每一个舞台摇头灯的图片；

3)寻找底座四角坐标：使用边缘检测算法，从步骤2)截取后的图片中寻找出底座四角的坐标；

4)寻找屏幕四角坐标：通过已有的底座四角的坐标，经过几何变换和边缘检测，寻找到屏幕四角的坐标；

5)获取底座偏角：通过底座四角的坐标和屏幕四角的坐标，使用全连接神经网络，得到底座的偏角；

6)灯头相对偏角：将步骤2)中获取的舞台摇头灯照片缩放到合适尺寸，并通过cnn回归网络，得到灯头相对偏角；

7)获取灯头偏角：最终通过步骤6)中灯头相对偏角和步骤5)中底座偏角相减，得到灯头相对于底座的偏角，分析舞台摇头灯的运动参数，方便对比与存储。

作为本发明进一步的方案：所述广角摄像头采用高分辨率高帧率广角摄像头。

作为本发明进一步的方案：所述目标检测深度神经网络采用fast-rcnn神经网络、faster-rcnn神经网络或yolo神经网络。

作为本发明进一步的方案：所述步骤2)中使用已经训练过多种物体检测和分类的网络模型作为基础，然后，使用一定数量的标注过该类灯具设备位置的图片作为训练数据，对网络模型进行进一步训练，直到准确的框选出灯具设备。

作为本发明进一步的方案：所述步骤5)中，训练的样本为步骤3)和步骤4)中获取的坐标，样本标签为灯座与相机传感器平面的偏角，该角度通过人工测量，或者使用深度摄像机检测底座正面所在平面的夹角，全连接神经网络输入的数据是步骤3)和步骤4)中的八个坐标，输出为灯座的偏角。

作为本发明进一步的方案：所述步骤6)中cnn回归网络通过对多层的alexnet或者是resnet修改，使他们适应回归任务，输出灯头的角度。

与现有技术相比，本发明的有益效果是：

(1)完成神经网络模型训练后，不需要再有人工干预；

(2)非接触式检测，不需要安装和拆卸检测设备；

(3)检测精度可以通过增加摄像头分辨率和帧率来直接提高；

(4)分析出的运动性能参数可以方便的与其他设备作对比；

(5)单个检测设备可以同时检测和分析多台摇头灯设备。

附图说明

图1为本发明方法使用场景的示意图；

图2为本发明方法对应的系统流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～2，本发明提供一种技术方案：一种基于智能单目视觉的舞台摇头灯运动协调性分析方法，所述方法中硬件设备包括：一台用于采集舞台摇头灯在运动时视频数据的广角摄像头和一台计算机，所述方法为：广角摄像头输入的视频图像，通过目标检测深度神经网络、几何变换、边缘检测、全连接神经网络以及cnn回归网络算法，最终，获取灯头的运动偏角。

具体实施包括如下步骤：

1)数据采集：通过广角摄像头拍摄多台被测的舞台摇头灯，得到舞台摇头灯接收控制指令后的运动视频；

2)检测每台舞台摇头灯的位置和图像：通过目标检测深度神经网络，找到每帧图像中的舞台摇头灯的位置，并截取每一个舞台摇头灯的图片；

3)寻找底座四角坐标：使用边缘检测算法，从步骤2)截取后的图片中寻找出底座四角的坐标；

4)寻找屏幕四角坐标：通过已有的底座四角的坐标，经过几何变换和边缘检测，寻找到屏幕四角的坐标；

5)获取底座偏角：通过底座四角的坐标和屏幕四角的坐标，使用全连接神经网络，得到底座的偏角；

6)灯头相对偏角：将步骤2)中获取的舞台摇头灯照片缩放到合适尺寸，并通过cnn回归网络，得到灯头相对偏角；

7)获取灯头偏角：最终通过步骤6)中灯头相对偏角和步骤5)中底座偏角相减，得到灯头相对于底座的偏角，分析舞台摇头灯的运动参数，方便对比与存储。

所述方法步骤1)中，所述广角摄像头采用高分辨率高帧率广角摄像头；摄像头的分辨率和帧率会影响到最终的精度，越高的分辨率和帧率会得到更高的分析精度。可以根据实际情况选用合适的摄像头。

所述方法步骤2)中，可以使用的目标检测神经网络的种类有：fast-rcnn网络(参考：girshickr.fastr-cnn[c]//computervision(iccv),2015ieeeinternationalconferenceon.ieee,2015:1440-1448.)，faster-rcnn网络(参考：rens,hek,girshickr,etal.fasterr-cnn:towardsreal-timeobjectdetectionwithregionproposalnetworks[j].ieeetransactionsonpatternanalysisandmachineintelligence,2017,39(6):1137-1149.)，yolo网络(参考：redmonj,divvalas,girshickr,etal.youonlylookonce:unified,real-timeobjectdetection[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2016:779-788.)等神经网络方法。

所述方法步骤2)中，一般使用已经训练过多种物体检测和分类的网络模型作为基础，然后使用一定数量的标注过该类灯具设备位置的图片作为训练数据对网络模型进行进一步训练，直到可以准确的框选出灯具设备。

所述方法步骤3)中，因为已经寻找到了灯具设备的大体位置，使用简单的边缘检测提取四角的特征，结合简单的分类器就可以找到灯具底座的四角坐标了。

所述方法步骤5)中，训练的样本为步骤3)和步骤4)中获取的坐标，样本标签为灯座与相机传感器平面的偏角，该角度可以通过人工测量，或者使用深度摄像机检测底座正面所在平面的夹角。全连接神经网络输入的数据是步骤3)和步骤4)中的八个坐标，输出为灯座的偏角。

所述方法步骤6)中，cnn回归网络可以通过对多层的alexnet(参考：krizhevskya,sutskeveri,hintonge.imagenetclassificationwithdeepconvolutionalneuralnetworks[c]//advancesinneuralinformationprocessingsystems.2012:1097-1105.),vgg16(simonyank,zissermana.verydeepconvolutionalnetworksforlarge-scaleimagerecognition[j].arxivpreprintarxiv:1409.1556,2014.)或者是resnet(hek,zhangx,rens,etal.deepresiduallearningforimagerecognition[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2016:770-778.)修改，使他们可以适应回归任务，输出灯头的角度。

所述方法步骤6)中，训练数据从现有的若干已经精确校准过的摇头灯设备按照一定规律转动，并从多个角度，多种背景下拍摄图片作为样本，标签可以从校准过的摇头灯设备直接输出获得。

最终，灯头相对于底座的角度可以通过步骤6)和步骤7)获得的角度做差得到。通过在一段时间上记录灯头相对于灯座的角度变化，可以准确的分析其运动参数，方便对比与存储。

通过该项技术，最终可以测试和分析的参数有：摇头灯灯头的指令执行延时时间、灯头运动曲线，灯头运动速度曲线、灯头运动加速度曲线等。对于灯具性能的开发和测试都具有重要作用。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。