用于火箭风摆测量的图像识别方法
【专利摘要】本发明用于火箭风摆测量的图像识别方法，采用高分辨率面阵CCD器件采集瞄准仪目视视场图像，并由计算机采用图像采集卡接收和显示，由软件算法进行图像识别和解算，组建机器视觉系统，运用形态学方法例如腐蚀、膨胀、开运算和自适应阈值分割等各种算法进行图像分析。利用分析结果反馈至照明设备，在光线不足时进行补光，结合距离信息的目标筛选原则对获得的靶标图像进行筛选，并采用基于神经网络的智能学习算法对靶标图像进行识别，实现了对火箭风摆量的自动监测及火箭位移的实时解算的功能，测量精度达到了不大于2mm的效果。
【专利说明】用于火箭风摆测量的图像识别方法
【技术领域】
[0001]本发明涉及运载一种火箭地面瞄准系统试验方法，具体的说，是涉及一种用于火箭风摆测量的图像识别方法。
【背景技术】
[0002]随着新一代运载火箭采用捷联惯组技术，需要地面瞄准系统实施跟踪测量瞄准方式，实时获取捷联惯组上的瞄准棱镜方位、高低、左右位置信息。通过图像采集系统与瞄准仪目视系统集成设计，使瞄准仪具备了目视图像采集、功能，配置图像显示器或图像处理软件后，可方便的获得被瞄目标的方位、高低、左右位置信息。
【发明内容】
[0003]针对上述现有技术中的不足，本发明提供一种方便、快捷并且提高测量精度的用于火箭风摆测量的图像识别方法。
[0004]本发明所采取的技术方案是:
[0005]一种用于火箭风摆测量的图像识别装置，包括瞄准仪，瞄准仪与摄像机的镜头相连接；图像采集卡采集摄像机输出的图像信号输入到瞄准控制器，瞄准控制器与照明装置相连接。
[0006]一种用于火箭风摆测量的图像识别方法，包括如下步骤:
[0007]A、图像预处理步骤；
[0008]瞄准控制器采集特征字符图像；
[0009]计算干扰线在图像中的位置；
[0010]计算干扰线的灰度值范围并对整帧图像二值化；
[0011]对图像先腐蚀后膨胀；
[0012]整帧图像高斯滤波；
[0013]计算高斯滤波后图像与源图像在相同坐标像素的灰度值差；
[0014]灰度值差大于20输出滤波后像素，灰度值差小于20输出源图像像素；
[0015]将输出的图像像素进行存储；
[0016]B、背景光设定步骤；
[0017]瞄准控制器采集特征字符图像；
[0018]加权直方图阈值判断；
[0019]图像的灰度值小于120或大于160，照明设备进行补光，返回设定背景光强判断阈值；
[0020]图像的灰度值在120至160之间，保存系统设置，进入下一流程；
[0021]C、建立图像离线识别库；
[0022]首先离线提取大量不同方位俯仰情况下目标棱镜图像；
[0023]手工提取出特征字符图像样本；字母区域归一化；
[0024]送入分类器进行训练，得到训练好的神经网络权重；
[0025]D、目标图像识别；
[0026]联通域检测得到的图像区域送入神经网络识别器中；
[0027]字母区域识别；
[0028]模板匹配；
[0029]置信度判断；
[0030]计算得到五个字符中心位置后，对五个字符中心位置进行平均，得到目标棱镜位置。
[0031]所述图像离线识别库建立过程:
[0032]将CXD相机与设备放置在初始位置，拍摄5幅图像，然后将CXD相机方位角进行改变，每次改变5”，同时拍摄5幅图像，总共拍摄20次；对俯仰角进行改变，同时进行拍摄拍摄5幅图像，总共拍摄20次；
[0033]将CCD相机恢复到初始位置，在保证五个字母都在视场范围内时，对CCD相机方位角和俯仰角进行改变，拍摄20次；
[0034]在光照情况不同的清晨、正午、傍晚重复进行拍摄；
[0035]得到的图像即为图像识别的素材库；
[0036]在素材库中人工圈出目标区域，经过光强判断模块、图像预处理模块，最后得到五个字母的离线识别库；
[0037]对离线识别库中的图像进行归一化，将图像大小归一至32*32 ;将其分为64个大小均为8*8的小块，计算每个小块的灰度均值，按照小块从左到右，从上到下的顺序将计算得到的灰度均值排列为64维的向量，得到相应图像64维的向量，将其送入神经网络分类器中进行训练，得到训练好的神经网络权重。
[0038]所述图像二值化为将图像中高于该灰度值得像素的灰度值赋值255，低于该灰度值的像素赋值O。
[0039]所述图像膨胀是采用中心在(1，I)，大小为4*4的结构元素对图像进行扫描，用结构元素与其覆盖的二值图像做“与”操作如果都为1，结果图像的该像素为1，否则为O。
[0040]所述图像腐蚀是采用中心在(3，3)，大小为5*5的结构元素进行扫描，扫描图像的每一个像素用结构元素与其覆盖的二值图像做“与”操作如果都为0，结果图像的该像素为0，否则为I。
[0041]所述照明装置照度不低于3001x，白光，光路中心与惯组棱镜法线的角度不小于3°，照明灯发射角不小于10°。
[0042]本发明相对现有技术的有益效果:
[0043]本发明用于火箭风摆测量的图像识别方法，采用高分辨率面阵CCD器件采集瞄准仪目视视场图像，并由计算机采用图像采集卡接收和显示，由软件算法进行图像识别和解算，组建机器视觉系统。
[0044]运用形态学方法例如腐蚀、膨胀、开运算和自适应阈值分割等各种算法进行图像分析。利用分析结果反馈至照明设备，在光线不足时进行补光，结合距离信息的目标筛选原则对获得的靶标图像进行筛选，并采用基于神经网络的智能学习算法对靶标图像进行识别。
[0045]实现了对火箭风摆量的自动监测及火箭位移的实时解算的功能，测量精度达到了不大于2mm的效果。
【专利附图】
【附图说明】
[0046]图1是现有技术H型钢焊接方法的机器视觉系统示意图；
[0047]图2是本发明用于火箭风摆测量的图像识别方法的背景光设定模块结构示意图；
[0048]图3是本发明用于火箭风摆测量的图像识别方法的图像预处理模块结构示意图；
[0049]图4是本发明用于火箭风摆测量的图像识别方法的图像离线识别库模块结构示意图；
[0050]图5是本发明用于火箭风摆测量的图像识别方法的目标图像识别模块结构示意图。
【具体实施方式】
[0051 ]以下参照附图及实施例对本发明进行详细的说明:
[0052]附图1-5可知，一种用于火箭风摆测量的图像识别装置，包括瞄准仪，瞄准仪与摄像机的镜头相连接；图像采集卡采集摄像机输出的图像信号输入到瞄准控制器，瞄准控制器与照明装置相连接。
[0053]一种用于火箭风摆测量的图像识别方法，包括如下步骤:
[0054]A、图像预处理步骤；
[0055]瞄准控制器采集特征字符图像；
[0056]计算干扰线在图像中的位置；
[0057]计算干扰线的灰度值范围并对整帧图像二值化；
[0058]对图像先腐蚀后膨胀；
[0059]整帧图像高斯滤波；
[0060]计算高斯滤波后图像与源图像在相同坐标像素的灰度值差；
[0061]灰度值差大于20输出滤波后像素，灰度值差小于20输出源图像像素；
[0062]将输出的图像像素进行存储；
[0063]B、背景光设定步骤；
[0064]瞄准控制器采集特征字符图像；
[0065]加权直方图阈值判断；
[0066]图像的灰度值小于120或大于160，照明设备进行补光，返回设定背景光强判断阈值；
[0067]图像的灰度值在120至160之间，保存系统设置，进入下一流程；
[0068]C、建立图像离线识别库；
[0069]首先离线提取大量不同方位俯仰情况下目标棱镜图像；
[0070]手工提取出特征字符图像样本；字母区域归一化；
[0071]送入分类器进行训练，得到训练好的神经网络权重；
[0072]D、目标图像识别；
[0073]联通域检测得到的图像区域送入神经网络识别器中；
[0074]字母区域识别；
[0075]模板匹配；
[0076]置信度判断；
[0077]计算得到五个字符中心位置后，对五个字符中心位置进行平均，得到目标棱镜位置。
[0078]所述图像离线识别库建立过程:
[0079]将CXD相机与设备放置在初始位置，拍摄5幅图像，然后将CXD相机方位角进行改变，每次改变5”，同时拍摄5幅图像，总共拍摄20次；对俯仰角进行改变，同时进行拍摄拍摄5幅图像，总共拍摄20次；
[0080]将CCD相机恢复到初始位置，在保证五个字母都在视场范围内时，对CCD相机方位角和俯仰角进行改变，拍摄20次；
[0081]在光照情况不同的清晨、正午、傍晚重复进行拍摄；
[0082]得到的图像即为图像识别的素材库；
[0083]在素材库中人工圈出目标区域，经过光强判断模块、图像预处理模块，最后得到五个字母的离线识别库；
[0084]对离线识别库中的图像进行归一化，将图像大小归一至32*32 ;将其分为64个大小均为8*8的小块，计算每个小块的灰度均值，按照小块从左到右，从上到下的顺序将计算得到的灰度均值排列为64维的向量，得到相应图像64维的向量，将其送入神经网络分类器中进行训练，得到训练好的神经网络权重。
[0085]所述图像二值化为将图像中高于该灰度值得像素的灰度值赋值255，低于该灰度值的像素赋值O。
[0086]所述图像膨胀是采用中心在(1，I)，大小为4*4的结构元素对图像进行扫描，用结构元素与其覆盖的二值图像做“与”操作如果都为1，结果图像的该像素为1，否则为O。
[0087]所述图像腐蚀是采用中心在(3，3)，大小为5*5的结构元素进行扫描，扫描图像的每一个像素用结构元素与其覆盖的二值图像做“与”操作如果都为0，结果图像的该像素为0，否则为I。
[0088]所述照明装置照度不低于3001x，白光，光路中心与惯组棱镜法线的角度不小于3°，照明灯发射角不小于10°。
[0089]本发明的视觉系统组成参见示意图1，主要由被测目标，瞄准仪和CXD相机，补光照明灯，计算机和图像采集卡，图像识别软件。本系统中的被测目标为箭体上惯组棱镜，由于瞄准窗口周围的特征字符与惯组棱镜的相对位置固定，为了辨认方便、准确，瞄准系统通过对特征字符进行辨认，来代替辨认惯组棱镜，通过坐标计算同样可以得到惯组棱镜中心的位置。
[0090]特征字符要求:由“MZHBK”组成，每个字符高度30mm，宽度30mm。分布在火箭瞄准窗口上、下位置。
[0091]如图2，本发明用于火箭风摆测量的图像识别方法的背景光设定过程如下:
[0092]该流程开始于步骤S201，步骤S201图像输入；
[0093]在步骤S202设定背景光强判断阈值；
[0094]在步骤S203加权直方图阈值判断；图像的灰度值小于120或大于160执行步骤S204照明设备进行补光，返回步骤S202设定背景光强判断阈值；图像的灰度值在120至160之间，执行步骤S205 ；
[0095]在步骤S205保存系统设置，进入下一流程。
[0096]如图3，本发明用于火箭风摆测量的图像识别方法的图像预处理过程如下:
[0097]该流程开始于步骤S301，步骤S301瞄准控制器采集特征字符图像；
[0098]在步骤S302，计算干扰线在图像中的位置；
[0099]在步骤S303，计算干扰线的灰度值范围并对整帧图像二值化；
[0100]在步骤S304,对图像先腐蚀后膨胀；
[0101]在步骤S305，整帧图像高斯滤波；
[0102]在步骤S306，计算高斯滤波后图像与源图像在相同坐标像素的灰度值差；灰度值差大于20，执行步骤S308，输出滤波后像素；灰度值差小于20，执行步骤S307，输出源图像像素；
[0103]将输出的图像像素进行存储。
[0104]如图4，本发明用于火箭风摆测量的图像识别方法的图像离线识别库建立过程如下:
[0105]该流程开始于步骤S401,步骤S401图像输入；
[0106]在步骤S402，将图像旋转一定的方位角和俯仰角；
[0107]在步骤S403，手工选取字母区域；
[0108]在步骤S404，字母区域归一化；
[0109]在步骤S405，离线训练数据库。
[0110]如图5，本发明用于火箭风摆测量的图像识别方法的目标图像识别过程如下:
[0111]该流程开始于步骤S501，步骤S501图像输入；
[0112]在步骤S502，联通域检测；
[0113]在步骤S503，模板匹配；
[0114]在步骤S504，字母区域识别；
[0115]在步骤S505，对步骤和S503和S504的结果进行置信度判断；
[0116]在步骤S506，得到字符类别。
[0117]本发明用于火箭风摆测量的图像识别方法背景光强判断步骤:
[0118]本发明用于火箭风摆测量的图像识别系统需要全天候运行，因此应能够适应较大的背景光强弱变化，在系统初始化阶段加入背景光强判断模块，通过对图像灰度值的判断，引入自适应阈值判断算法，图像的灰度值在120至160之间时识别效果较好，该实验方法为加权直方图阈值判断方法，这里将CXD摄像机的视场定义左上角为坐标原点(0，O)，右下角坐标为(768，576))，由于字符位于中央区域的几率较大，因此对中央区域赋予较大的权重，边缘部分则赋予较小的权重，这里中心区域的定义为以(384.288)为坐标原点长240，宽度为160的区域。分别计算两个区域中像素的灰度均值，中心区域灰度均值定义为zl，边缘区域灰度均值定义为bl，通过对CXD视场区域分块，并计算0.66*al+0.44*bl的值，如果该值范围在120至160之间，则不需要补光，否则需要开启照明设备进行补光。
[0119]本发明用于火箭风摆测量的图像识别方法图像预处理步骤:
[0120]电控瞄准仪目视分划板上的十字线较长，贯穿于整个目视视场，并和待识别的字符重合。另外背景中火箭箭体上的加强筋在光照下会留下细长的阴影，这些干扰都会影响字符识别的置信度(即该字符属于哪一类的的百分比，O为最低，I为最高)。需要切断干扰线(太阳光照在设备附近因为遮挡等原因出现的阴影以及设备内部分划板中心线造成字符被遮挡)和字符间的连接，使干扰线和字符各自成为独立的目标。首先利用背景光强度判断模块得到的灰度值对图像进行二值话处理，图像中高于该灰度值得像素的灰度值赋值255，低于该灰度值的像素赋值O。应用形态学方法，可以比较有效的去掉图像中狭长细线的干扰。形态学方法包括膨胀与腐蚀两种，腐蚀可以用来消除小且无意义的物体，而膨胀则可以修补因为腐蚀而缺失的边界。首先采用中心在(1，I)，大小为4*4的结构元素对图像进行扫描，用结构元素与其覆盖的二值图像做“与”操作如果都为1，结果图像的该像素为I。否则为O。其次采用中心在(3，3)，大小为5*5的结构元素进行扫描，扫描图像的每一个像素用结构元素与其覆盖的二值图像做“与”操作如果都为O，结果图像的该像素为O，否则为I。
[0121]进行膨胀和腐蚀操作之后，接下来进行图像的高斯滤波操作，用大小为7*7的高斯核对整幅图像进行滤波，该步骤可以消除高斯噪声，将整幅图像进行加权平均，将得到的图像定义为B(x，y)，原始图像则定义为A(x，y)，判断A(x，y)-B(x，y)的绝对值是否小于20，如果大于20，定义新图像C(x，y)位于(x，y)坐标点上的坐标值为B(x，y)，否则为A(x，y)。
[0122]由于字符在图像中的表现为一个封闭的区域，可以通过联通域检测的方法得到字符图像的大概位置。
[0123]本发明用于火箭风摆测量的图像识别方法字符图像的识别:
[0124]在本系统中，根据字符图像的位置可以推断出棱镜中心的位置，由于棱镜姿态未知，因此需要在方位俯仰发生变化时仍能准确检测到字符图像，采用基于机器学习的神经网络识别方法，首先离线提取大量不同方位俯仰情况下目标棱镜图像，手工提取出MZHBK在各种情况下的样本，送入分类器进行训练，得到训练好的神经网络权重。在在线识别阶段，将提取到的字符图像送入分类器进行识别，得到图像置信度，通过与模版匹配得到的置信度进行加权，剔除置信度较小(小于80%)的字符，最终得到分类后结果。
[0125]本发明用于火箭风摆测量的图像识别方法字符图像的识别流程为，
[0126]首先将CCD相机与设备放置好，拍摄5幅图像，然后将CCD相机方位角进行改变，每次改变5”，同时拍摄5幅图像，总共拍摄20次，同理对俯仰角进行改变，同时进行拍摄。最后将CCD相机恢复到初始位置，在保证五个字母都在视场范围内时，对CCD相机方位角和俯仰角进行改变，拍摄20次。在光照情况不同的清晨、正午、傍晚重复进行拍摄。得到的图像即为图像识别的素材库。在其中人工圈出目标区域，经过光强判断模块、图像预处理模块，最后得到五个字母的离线识别库。由于离线识别库中的图像并不能保证大小一致，因此对其进行归一化，将图像大小归一至32*32。将其分为64个大小均为8*8的小块，计算每个小块的灰度均值，按照小块从左到右，从上到下的顺序将计算得到的灰度均值排列为64维的向量，按照这个步骤对离线识别库中向量进行处理，得到多个64维的向量，将其送入神经网络分类器中进行训练，得到训练好的神经网络权重。
[0127]本发明中采用的神经网络识别算法采用BP神经网络算法，包括I个输入层，一个输出层，一个隐含层，共可识别五类目标。
[0128]本发明用于火箭风摆测量的图像识别方法目标图像识别流程为:
[0129]对经过联通域检测得到的疑似区域送入神经网络识别器中，得到该区域属于哪类的概率较高，这个概率称为置信度，定义神经网络识别出的属于类X的概率为Si，同时将该区域与系统预存的模板进行比对，得到模板匹配之后的概率，定义为ml ；
[0130]判断方式为如果Si大于85，则判断该区域为类X。
[0131]如果si大于60小于85，同时ml大于70，则判断该区域为类X。
[0132]如果Si小于60，该区域舍弃，不再进行判断，每一帧可以找到至少5个区域，总会找到一个可以识别的区域，所以丢掉一个两个无所谓。
[0133]目标棱镜位置计算，在计算得到五个字符中心位置后，需要对其综合分析，得到目标棱镜位置，计算方式为对五个字符中心位置进行平均，得到目标棱镜位置。
【权利要求】
1.一种用于火箭风摆测量的图像识别装置，其特征在于，包括瞄准仪，瞄准仪与摄像机的镜头相连接；图像采集卡采集摄像机输出的图像信号输入到瞄准控制器，瞄准控制器与照明装置相连接。
2.一种用于火箭风摆测量的图像识别方法，其特征在于，包括如下步骤: A、图像预处理步骤； 瞄准控制器采集特征字符图像； 计算干扰线在图像中的位置； 计算干扰线的灰度值范围并对整帧图像二值化； 对图像先腐蚀后膨胀； 整帧图像高斯滤波； 计算高斯滤波后图像与源图像在相同坐标像素的灰度值差； 灰度值差大于20输出滤波后像素，灰度值差小于20输出源图像像素； 将输出的图像像素进行存储； B、背景光设定步骤； 瞄准控制器采集特征字符图像； 加权直方图阈值判断； 图像的灰度值小于120或大于160，照明设备进行补光，返回设定背景光强判断阈值； 图像的灰度值在120至160之间，保存系统设置，进入下一流程； C、建立图像离线识别库； 首先离线提取大量不同方位俯仰情况下目标棱镜图像； 手工提取出特征字符图像样本；字母区域归一化； 送入分类器进行训练，得到训练好的神经网络权重； D、目标图像识别； 联通域检测得到的图像区域送入神经网络识别器中； 字母区域识别； 模板匹配； 置信度判断； 计算得到五个字符中心位置后，对五个字符中心位置进行平均，得到目标棱镜位置。
3.根据权利要求2所述用于火箭风摆测量的图像识别方法，其特征在于:所述图像离线识别库建立过程: 将CCD相机与设备放置在初始位置，拍摄5幅图像，然后将CCD相机方位角进行改变，每次改变5”，同时拍摄5幅图像，总共拍摄20次；对俯仰角进行改变，同时进行拍摄拍摄5幅图像，总共拍摄20次； 将CCD相机恢复到初始位置，在保证五个字母都在视场范围内时，对CCD相机方位角和俯仰角进行改变，拍摄20次； 在光照情况不同的清晨、正午、傍晚重复进行拍摄； 得到的图像即为图像识别的素材库； 在素材库中人工圈出目标区域，经过光强判断模块、图像预处理模块，最后得到五个字母的离线识别库； 对离线识别库中的图像进行归一化，将图像大小归一至32*32 ;将其分为64个大小均为8*8的小块，计算每个小块的灰度均值，按照小块从左到右，从上到下的顺序将计算得到的灰度均值排列为64维的向量，得到相应图像64维的向量，将其送入神经网络分类器中进行训练，得到训练好的神经网络权重。
4.根据权利要求2所述用于火箭风摆测量的图像识别方法，其特征在于:所述图像二值化为将图像中高于该灰度值得像素的灰度值赋值255，低于该灰度值的像素赋值O。
5.根据权利要求2所述用于火箭风摆测量的图像识别方法，其特征在于:所述图像膨胀是采用中心在(1，1)，大小为4*4的结构元素对图像进行扫描，用结构元素与其覆盖的二值图像做“与”操作如果都为1，结果图像的该像素为1，否则为O。
6.根据权利要求2所述用于火箭风摆测量的图像识别方法，其特征在于:所述图像腐蚀是采用中心在(3，3)，大小为5*5的结构元素进行扫描，扫描图像的每一个像素用结构元素与其覆盖的二值图像做“与”操作如果都为O，结果图像的该像素为O，否则为I。
7.根据权利要求2所述用于火箭风摆测量的图像识别方法，其特征在于:所述照明装置照度不低于3001x，白光，光路中心与惯组棱镜法线的角度不小于3°，照明灯发射角不小于10。。
【文档编号】G06K9/60GK104182758SQ201410330881
【公开日】2014年12月3日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】王健博, 王岩, 丁爽, 贺长水, 柳雨杉, 王振兴 申请人:北京航天发射技术研究所, 中国运载火箭技术研究院