基于多弹孔模式识别算法的智能报靶系统和方法与流程

本发明属于智能装置和模式识别技术领域，特别涉及一种多弹孔模式识别方法及基于该方法的智能报靶系统和方法。

背景技术：

随着科学技术的发展，结合模式识别的智能装置逐渐代替人工操作，正快速融入到军事领域。传统的军用射击自动报靶，主要依赖于双层电极短路采样系统、声电定位自动报靶系统、光电电子靶系统等机械式测定系统，这类系统具有复杂的硬件结构，要求制定专用靶标且不可重复利用，成本高、适应性差。近年来，基于图像处理技术的自动报靶系统迅速发展，虽然简化了硬件结构，基本能实现自动报靶，但目前报靶图像处理技术主要依赖于监控计算机进行图像处理和报靶控制，图像数据传输量大、计算机数据处理和调控任务繁重，各靶位不能实现独立报靶，智能化程度低、布局繁琐。此外，现有自动报靶系统图像处理算法仅仅对系统的单弹孔识别进行了研究，对多弹孔中的单弹孔和双弹孔识别分类没有提出有效的解决方案，不具备普遍性，适应性和准确率均有待提高。

技术实现要素：

为了克服上述现有技术的缺点，本发明的目的在于提供一种多弹孔模式识别方法及基于该方法的智能报靶系统与方法，实现对军用打靶的智能报靶和管理。

为了实现上述目的，本发明采用的技术方案是：

基于多弹孔模式识别算法的智能报靶系统，包括：

声控传感器，基于射击声音触发智能相机采集图像；

群智能相机，由若干智能相机组成，进行靶标图像采集，对靶标图像采用靶面定位矫正算法进行靶面定位矫正，采用多弹孔模式识别算法进行弹孔识别，通过报靶计分算法实时获取射击得分，并将得分信息发送；

监控计算机，接收得分信息实时显示并存储；

移动客户端，接收得分信息采用语音系统进行报靶；

其中，所述多弹孔模式识别方法，包括粗识别和精识别：

首先对利用相机拍摄的本帧标准靶面图和上一帧标准靶面图做减影处理并将处理结果二值化，对二值图进行形态学腐蚀操作消除噪声，检测二值图中白色连通域的轮廓，定位所有轮廓的最小外接矩形，最小外接矩形区域即为疑似弹孔的外接矩形区域，从而实现弹孔的粗识别；

选定弹孔特征属性和弹孔类别集合，使用多张弹孔样本训练朴素贝叶斯分类器，得到各类别下各特征属性的条件概率估计值，将疑似弹孔的外接矩形区域输入已训练的朴素贝叶斯分类器，根据贝叶斯定理计算弹孔各类别的后验概率，弹孔后验概率最大的类别判定为弹孔的类别，实现多弹孔中单弹孔、双弹孔的分类；

使用Hough圆检测算法获得单弹孔区域的中心坐标，对于重叠的双弹孔区域，使用几何分析法求取两个弹孔的中心坐标，实现多弹孔的精识别。

所述靶面定位矫正算法：

首先将RGB颜色空间的靶标图像变换至HSI颜色空间，胸环靶面的军绿色和白色与背景区域色彩差异形成靶面图像的HSI颜色空间模型约束条件，根据该约束条件，采用轮廓检测算法检测胸环靶面边缘，锁定满足胸环靶面轮廓面积阈值的靶面边缘，求取靶面边缘的外接矩形即得到有效的矩形靶面区域，实现靶面定位；提取本帧原始彩色图像中的有效靶面区域得到靶面图，使用Harris角点检测算法提取靶面灰度图中的8个特征角点，利用本帧靶面特征角点和初始靶面特征角点进行靶面的矫正，得到本帧标准靶面图，实现本帧靶面的矫正。

根据靶面图像HSI阈值以及靶面图像的白绿色边缘特征搜索靶标图像，对搜索结果做一次形态学膨胀处理得到二值靶面边缘图，其外围边缘构成胸环靶面边缘。

所述智能相机建立处理声控传感器信号的线程，通过该线程，智能相机不断实时查询与声控传感器相连的数字输入接口信号，若接收到上升沿信号，智能相机则开始计时并等待下降沿信号，若2s内未检测到下降沿信号输入，判定本次射击为单次射击模式，该线程激活图像采集标志并更新状态等待下一次的上升沿信号，智能相机图像采集线程检测到图像采集标志的变化，则立即采集图像；若2s内检测到下降沿信号输入，判定本次射击为连续射击模式，该线程只更新状态，继续等待上升沿触发，直至射击结束激活图像采集标志。

所述报靶计分算法包括靶面中心提取和弹孔环值判定两个阶段：

首先对本帧标准靶面灰度图进行平滑滤波消除噪声，使用OSTU阈值分割对图像做二值化处理得到靶面环线二值图，采用连通域面积滤波算法消除靶面环线和数字，得到白色连通域为10环区域的二值图，利用Hough圆检测算法获得10环中心坐标即为靶面中心坐标；

对所述靶面环线二值图做细化处理，将靶面环线宽度细化为一个像素点，搜索靶面中心与弹孔中心的连线，绘制连线上的灰度波形图，统计灰度波形图发生脉冲性变化的次数即可判定弹孔所在的靶环区域，从而准确计算射击得分。

所述群智能相机与监控计算机、移动客户端构成以无线路由器为中心的星型局域网，局域网中各个节点均通过无线网络进行通信；所述智能相机包括处理器、全局曝光CCD及光学镜头、数字I/O接口、WIFI模块，智能相机通过建立多线程，一方面接收数字I/O接口信号并处理，一方面采集并处理图像、控制相机无线通信；所述声控传感器输出端与智能相机数字I/O接口相连接，声控传感器将射击声音信号转换为数字信号并将信号输入智能相机，触发智能相机采集图像；所述声控传感器由声电转换模块和阻抗变换模块两部分组成，通过声电转换模块，传感器产生与声音强度成正比的模拟信号，阻抗变换模块则实现模拟信号的不同阈值AD转换；所述智能相机安装于靶标正前方地面，距离靶标底部2m，一台智能相机负责对应一个靶标的智能报靶，各靶标间隔不低于5米，智能相机的处理器通过建立多线程，接收声控传感器的触发信号，根据触发信号时间间隔判定当前射击模式，决策是否采集图像。

本发明智能报靶方法，包括如下步骤：

步骤1：打开智能相机的智能报靶程序系统，智能相机处于休眠状态，开启监控计算机和移动客户端交互系统，用户给智能相机发送射击准备信号并在监控计算机用户界面设置各靶位射击人员信息。智能相机通过自身WIFI模块接收到射击准备信号后立即采集靶标图像，使用靶面定位和矫正方法获得初始标准靶面和矫正基准点。智能相机初始化结束，通过其WIFI模块向射击报靶端发送开始信号，移动客户端通过语音提示射击选手准备射击，监控计算机显示各靶位初始成绩为0；

步骤2：射击人员开始射击，声控传感器检测射击声音信号并转换为数字信号，智能相机根据声控传感器发送的数字信号判定射击模式，若射击模式为单次射击，则立即采集并处理图像，计算得到射击得分信息后立即传送至射击报靶端；若射击模式为连续射击，则等待射击结束后采集靶标图像，处理计算报靶得分并上传至射击报靶端；

步骤3：移动客户端接收到报靶信息后，及时通过其自带语音系统进行语音智能报靶，射击报靶端的监控计算机用户界面实时显示各靶位射击得分并将得分信息存储至数据库；

步骤4：若射击过程没有结束，智能相机继续重复步骤2直至射击过程结束；

步骤5：射击过程结束，智能相机查询与声控传感器相连的数字接口输入信号，若30秒内未查询到触发信号，智能相机判定本次射击过程结束并将结束信号发送移动客户端和监控计算机，然后智能相机再次进入休眠状态，监控计算机接收到智能相机的结束信号，自动显示各靶位的总成绩。

与现有技术相比，本发明的有益效果是：

本发明的报靶系统自动检测射击信号，区分射击模式，射击报靶过程完全智能化。

本发明的智能相机可实时采集和处理图像、并通过自身WIFI模块与射击报靶端进行实时的网络通信。射击报靶端只需要接受射击得分信息，数据传输量小，监控计算机调控任务简单。同时整个系统硬件设备少，结构简洁，成本低。

本发明提出的多弹孔模式识别方法，可实时的对多弹孔进行识别分类，速度快，准确率高。

本发明提出的报靶计分算法，对处于靶环线上以及靶环线周边的弹孔均等能精确计算射击得分。

附图说明

图1为本发明的硬件系统架构图。

图2为本发明声控传感器的输出信号示意图。

图3为本发明的双弹孔示意图。

图4为本发明的工作流程图。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

(1)智能报靶系统的搭建

本发明的硬件系统架构图如图1所示，包括靶标、群智能相机、声控传感器、无线路由器、监控计算机及移动客户端，通过物联网技术组成星型局域网。智能报靶系统包含多个靶标，各靶标间隔不低于5米，多台智能相机分布式布置在每个靶标的正前方2米处的地面。每台智能相机配置一个声控传感器外设组成报靶前端，声控传感器输出端与智能相机数字I/O接口连接，接收射击声音信号并转化为数字信号触发智能相机采集图像。监控计算机、移动客户端是人机交互接口，均设置在射击报靶端，监控计算机提供用户界面，实时显示射击得分信息并将信息存入数据库，用户可根据需要对数据进行统计分析。射击报靶端和报靶前端通过无线路由器进行无线网络通信。无线路由器支持WDS无线中继功能，通过组建多个无线路由器实现无线网络覆盖整个室内外射击范围。整个智能报靶系统的工作流程如图4所示。

如图1所示的声控传感器由声电转换模块和阻抗变化模块组成。声电转换模块将射击声音信号转换为0～3.3V的模拟信号，模拟信号的大小与声音强度成正比。阻抗变换模块用于将模拟信号转换为数字信号，若声音强度小于阈值，传感器输出为高电平，否则传感器输出低电平。打靶射击过程中，传感器输出将形成不同占空比的PWM波，如图2所示。在安装智能报靶系统时，调节传感器灵敏度可实现声音强度阈值的调节，从而使声控传感器能准确检测射击信号而不受干扰。

如图1所示的智能相机搭载500万像素的集成高速CCD图像传感器和英特尔四核处理器，配置双通道DDR3内存及64G固态硬盘EMMC存储，64位Windows操作系统。智能相机包括数字I/O接口、USB3.0接口、物联网通信接口、VGA接口、电源输入接口。其中数字I/O接口采用光耦隔离方式的复用接口，不需要串接限流电阻，抗干扰能力强，接口稳定；物联网通信接口采用WIFI通信技术，具有传输速度快，覆盖范围广的优点；VGA接口支持1080P的高清格式视频输出。每个智能相机在智能报靶系统中均分配有一个独立的IP地址，通过其自带WIFI模块与监控计算机和移动客户端通信。

(2)初始靶标图像的靶面定位和矫正基准点

智能相机接收到射击准备信号，采集初始靶标图像。靶标图像中包含靶面以外的背景区域，胸环靶面的军绿色和白色与背景区域存在明显的色彩差异。首先将RGB颜色空间的靶标图像进行HSI颜色空间模型变换，变换方法为：

其中，

军用胸环靶在HSI色彩空间中，绿色约束条件为：60<H<180,S>0.3，白色约束条件为：S<0.3,I>80。

设图像像素点c(i,j)＝(H(i,j),S(i,j),I(i,j)),其中H(i,j)、S(i,j)、I(i,j)为像素点c(i,j)的H、S、I分量，假定图像中3×3像素窗口区域中心坐标为c(i,j)，若图像像素点满足以下任意一个条件，则判定c(i-1,j)、c(i,j)、c(i+1,j)为绿白边缘。

(a)c(i-1,j-1)、c(i,j-1)、c(i+1,j)均为绿色像素点，同时c(i-1,j+1)、c(i,j+1)、c(i+1,j+1)均为白色像素点；

(b)c(i-1,j-1)、c(i,j-1)、c(i+1,j)均为白色像素点，同时c(i-1,j+1)、c(i,j+1)、c(i+1,j+1)均为绿色像素点。

设置输出边缘图像中像素点c(i-1,j)＝c(i,j)＝c(i+1,j)＝255，该窗口其他像素点赋为0。用该3×3窗口遍历靶标图像得到靶标的绿白边缘图像。

靶标边缘图中，最外围边缘轮廓构成胸环靶。采用3×3的结构元素对靶标边缘图做一次形态学膨胀处理，扫描边缘图中的每一个像素，用结构元素与其覆盖的边缘图做“与”运算，如果都为0，结果图像的该像素为0，否则为1。检测膨胀后的二值图边缘轮廓，根据胸环靶轮廓面积阈值滤除不满足条件的靶面边缘，满足条件的靶面边缘的外接矩形即为有效的矩形靶面区域，提取原始彩色图像中的有效靶面区域得到初始靶面图。

对初始靶面图进行灰度转换，使用Harris角点检测算法提取灰度靶面胸环区域的8个特征角点，包括头部、颈部、肩部、底部各两个角点。Harris角点检测算法利用局部窗口在图像中移动，若各个方向上移动特征窗口时，窗口区域灰度值均发生较大变化，则认为判定该窗口内存在角点。算法步骤如下：

(a)计算I(x,y)在x和y两个方向的梯度I_x、I_y

(b)使用高斯函数对和I_xy进行高斯加权(取σ＝1)，生成矩阵M的元素A、B和C；

(c)计算每个像素的Harris响应值R，并对小于阈值t的R置为零。

R＝det(M)-α*trace²(M),

(d)在3×3的领域内进行非最大抑制，局部最大值点即为图像中的角点。

智能相机处理得到初始靶面图和矫正基准点，完成相机初始化，通过其自身WIFI模块发送准备完成信息至射击报靶端，监控计算机和移动客户端通过无线网络接收到信息，提示射手可进行射击。

(3)智能相机的图像采集

智能相机的图像采集由声控传感器的输出信号进行触发。声控传感器检测射击声音信号，若存在射击声音，传感器输出低电平，否则输出高电平。由于连续射击模式下，射击声音信号时间间隔小，频率高，单次射击模式下，射击信号时间间隔大，声控传感器在两种模式下的输出信号存在明显差异。首先智能相机建立处理声控传感器信号的线程，通过该线程，智能相机不断实时查询与声控传感器相连的数字输入接口信号，若接收到上升沿信号，智能相机则开始计时并等待下降沿信号，若2s内未检测到下降沿信号输入，判定本次射击为单次射击模式，该线程激活图像采集标志并更新状态等待下一次的上升沿信号。智能相机图像采集线程检测到图像采集标志的变化，则立即采集图像；若2s内检测到下降沿信号输入，判定本次射击为连续射击模式，该线程只更新状态等待上升沿触发，直至射击结束激活图像采集标志。

(4)靶面图像的多弹孔识别

智能相机采集靶标图像后，根据上述靶面定位和矫正基准点的检测算法获取本帧图像的靶面和8个矫正基准点。由于在射击过程中，靶标存在细微的抖动，采用二次多项式对靶面进行几何矫正。假定初始矫正基准点坐标为(x,y)，本次射击基准点为(u,v)，两对点的变换关系为：

按照最小二乘法求解a_ij,b_ij，使拟合误差平方和ε_x,ε_y最小，即：

则：

通过求解这两组多元线性方程组得到a_ij,b_ij，根据所得的二次多项式对本帧靶面图进行矫正，得到本帧标准靶面图。

首先对本帧标准靶面图和上一帧标准靶面图做减影处理并将处理结果二值化，然后对二值图进行形态学腐蚀操作消除噪声。若二值图中不存在白色连通域，则判定本次射击脱靶，本次弹孔识别过程结束；若二值图中存在白色连通域，二值图中白色区域即为疑似弹孔区域，求取所有白色区域的最小外接矩形得到疑似弹孔的矩形区域，完成弹孔的粗识别，以便后续工作的开展。

连续射击模式下，粗识别含有多个疑似弹孔区域，对于未脱靶的弹孔使用朴素贝叶斯分类器进一步识别分类疑似弹孔区域的单弹孔和双弹孔。首先选定表征弹孔的特征属性，包括色彩特征、圆形度特征、纵横比特征和面积特征。弹孔的色彩特征用一阶颜色矩、二阶颜色矩表示，定义为：

一阶矩：

二阶矩：

其中，p_i,j为色彩图像第i个颜色通道分量中第j个像素的值，N表示图像中的像素个数。

对粗识别过程中获得的二值矩形疑似弹孔区域进行图像标记，首先扫描一次图像，得到弹孔区域的游程码，接着对游程码进行初始标记并构建邻接表，再由邻接表构建映射表，完成对游程码的最终标记，实现弹孔的标记，计算标记的弹孔区域面积及边缘周长，得到弹孔面积特征值s。弹孔圆形度特征值e为：

e＝(4π×面积)/(周长×周长)

弹孔纵横比特征值ρ采用矩形弹孔的纵横比率表征，即ρ＝h/w。其中，h为矩形区域高度，w为矩形区域宽度。

给定1500个矩形弹孔样本和矩形非弹孔样本，提取每个矩形弹孔样本的弹孔特征向量：

x＝{μ,σ,e,ρ,s}＝{a₁,a₂,a₃,a₄,a₅}

构建样本特征向量集X。设定分类器类别集合C＝{y₁,y₂,y₃}，y₁,y₂,y₃分别表示单弹孔、双弹孔、非弹孔。采用贝叶斯分类器进行弹孔分类识别的步骤如下：

(a)将矩形弹孔训练样本输入朴素贝叶斯分类器进行分类器训练，计算每个特征属性所有分类的条件概率，统计得到在各类别下的各个特征属性的条件概率估计：

P(a₁|y₁),P(a₂|y₁),...,P(a₅|y₁)；P(a₁|y₂),P(a₂|y₂),...,P(a₅|y₂)；P(a₁|y₃),P(a₂|y₃),...,P(a₅|y₃)

(b)计算待分类矩形弹孔区域的特征向量x，将弹孔特征向量输入已训练的朴素贝叶斯分类器；

(c)朴素贝叶斯分类器计算各弹孔特征向量的条件概率P(y₁|x),P(y₂|x),P(y₃|x)。各特征属性是条件独立的，根据贝叶斯定理，弹孔条件概率的计算转化为：

(d)如果P(y_k|x)＝max{P(y₁|x),P(y₂|x),P(y₃|x)}，判定x∈y_k。

朴素贝叶斯分类器将单弹孔、双弹孔有效的区分。采用Hough圆检测算法获取弹孔的中心坐标o(x,y)。重叠的双弹孔如图3所示，假定双弹孔两个中心坐标为o₁(x₁,y₁),o₂(x₂,y₂)，则有：

(5)计算射击得分

首先对本帧标准靶面灰度图进行平滑滤波消除噪声，使用OSTU阈值分割方法对图像做二值化处理得到靶面环线二值图，采用连通域面积滤波算法消除靶面环线和数字，得到白色连通域为10环区域的二值图，利用Hough圆检测算法获得10环中心坐标即为靶面中心坐标。

采用Hilditch算法对上述靶面环线二值做细化处理，使用3×3的邻域结构对图像每个像素从左向右、从上至下进行迭代，在每个迭代周期中标记满足条件的像素点，迭代结束时，将所有标记的像素点设为背景值(设定背景值为0，前景值为255)，实现靶面环线宽度细化为一个像素点。

搜索靶面细化图中靶面中心与弹孔中心的连线，绘制连线上的灰度波形图，灰度波形图在靶面环线处产生脉冲性变化，统计灰度波形图发生脉冲性变化的次数即可判定弹孔所在的靶环区域，从而得到准确的射击成绩。

(6)智能报靶系统的智能报靶

智能相机通过上述的图像处理过程得到射击成绩信息，通过其自身WIFI模块将信息上传至射击报靶端。移动客户端接收到报靶信息，通过其自身的语音系统进行智能语音报靶。监控计算机通过无线网络接收到报靶信息后，实时显示在用户界面并存储至数据库。射击过程结束时，监控计算机则自动显示各靶位的总成绩。此外，用户可根据需要查询射击人员的历史成绩，设计查看射击成绩对比分析图、射击人员成绩走势图等相关对比分析报表。

通过以上步骤即可实现对军用射击的弹孔识别和射击成绩的统计，并通过无线网络将报靶信息发送至监控计算机和移动客户端实现智能报靶。本发明能够提高射击报靶的智能化程度，算法的实时性强、准确性高，该系统通过自动识别射击信号触发智能相机的报靶处理，无需人为监控。同时智能相机集图像采集、图像处理、无线通信于一身，简化了智能报靶系统，整套物联网智能报靶系统较现有的报靶识别系统成本低、结构简洁、覆盖范围广，适用于室内外的军用智能报靶。

值得注意的是，上述的具体实施方式用于解释说明本发明，仅为本发明的优选实施方案，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改、等同替换、改进等，都属于本发明的保护范围。