基于改进轻量型Alexnet的三目光学定位伪点去除方法

本发明涉及光学定位的，尤其是指一种基于改进轻量型alexnet的三目光学定位伪点去除方法。

背景技术：

1、在光学手术导航系统中，需要通过光学定位装置实现对装有发光标记点的手术器械进行定位。目前，光学手术导航中普遍应用近红外双目光学定位装置来完成对手术器械的定位。该光学定位装置通过两个近红外摄像机构成一组双目视觉系统，左右摄像机同时采集带多个标记点的手术器械图像，然后通过灰度重心、立体匹配、三维重建方法来识别和定位标记点，最后根据标记点的三维坐标标定手术器械的坐标和方向。因此，在光学手术导航系统中，保证光学定位装置精确定位标记点的三维坐标至关重要。

2、在该近红外双目光学定位装置的定位过程中往往会存在误识别伪点和误匹配伪点的问题。误识别伪点是指在对图像进行标记点识别的过程中，将环境中大小和标记点相似的反光表面误识别为标记点。误匹配伪点是指在利用双目视觉进行立体匹配时，当两个或者多个标记点和两个相机的光学中心共面时，无法确定双目图像中标记点投影之间的正确对应关系，从而造成误匹配情况的出现，最终生成三维空间中不真实的标记点。

3、针对误识别伪点问题，有研究人员提出基于标记点的圆形投影特征来去除伪点的方法，但该方法不适用于存在螺帽或圆形医疗器械的手术场景。针对误匹配伪点问题，有研究人员提出利用标记点之间的几何距离约束来去除伪点，但该方法不适用于含有多个手术器械的手术场景，另有研究人员提出利用标记点的重投影误差或者基于投影尺寸和镜物距离关系来去除伪点，但是这些方法过于复杂耗时且算法的稳定性不高。ndi公司的optotrakcertus三目光学定位系统使用三个相同的精确标定好的线阵ccd相机，利用双极线约束原理对标记点进行定位，能够有效减少误匹配伪点的出现，但是该系统设备较为复杂、成本高。

4、综上所述，需要研究一种普遍适用且快速稳定的去伪点方法，在保证系统便携、成本低的情况下，解决现有近红外双目光学定位系统定位中的伪点问题。

技术实现思路

1、本发明的目的在于克服现有技术的缺点与不足，提出了一种基于改进轻量型alexnet的三目光学定位伪点去除方法，将一体积较小的彩色相机固定在近红外双目光学定位装置上，根据近红外双目相机和彩色相机的位置关系能够计算出双目图像所识别出的标记点在彩色图像中的位置坐标，进而利用神经网络判别该位置彩色图像中是否含有标记点，从而达到去除双目图像中识别出的伪点的目的，提高了系统的定位准确率，该方法具有普遍适用性，且将神经网络模型部署在fpga上运行，保证了系统的实时性。

2、为实现上述目的，本发明所提供的技术方案为：基于改进轻量型alexnet的三目光学定位伪点去除方法，该方法是基于改进轻量型alexnet网络实现光学定位中标记点的精准识别，该改进轻量型alexnet网络是对传统alexnet网络进行改进，具体改进方式为：减少alexnet网络的卷积层数和全连接层数，将原来的五层卷积层减少为两层卷积层，每层卷积层的后面跟着一层池化层以降低特征图的维度和防止过拟合，将原来的三层全连接层减少为两层全连接层以降低网络计算的复杂度和减少计算资源的占用；

3、该方法的具体实施包括以下步骤：

4、s1：对光学定位装置上的近红外双目相机以及单彩色相机进行标定，以获取相机的内外参数以及畸变系数，从而能够计算得出三个相机之间的相互位置转换关系，其中所述近红外双目相机包含两个相机；

5、s2：控制标定后的三个相机同时拍摄图片，利用标定得到的参数和位置关系，能够计算得出双目图像中的候选标记点在彩色图像中的位置坐标，进而在彩色图像中框选出带有候选标记点的小区域彩色图像，并缩放成同一大小，对小区域彩色图像进行真假标注，构成网络的原始数据集，然后对原始数据集进行数据增强得到增强数据集；

6、s3：将增强数据集划分为训练集和测试集，把训练集和测试集的数据送入改进轻量型alexnet网络进行训练和测试，得到网络的最优模型，并导出网络的权重、偏置文件；

7、s4：根据网络的权重、偏置参数，将最优模型部署到fpga上，得到网络的加速模型；在应用预测时，利用光学定位装置上的三个相机获取输入图像并进行处理得到待检测小区域图像，将待检测小区域图像输入到加速模型得到预测信息，最终筛选出预测为真的标记点信息并输出，从而达到从双目图像中的候选标记点中去除伪点的目的。

8、进一步，在步骤s1中，采用张正友棋盘格标定法对光学定位装置上的三个相机进行标定，控制三个相机同时拍摄棋盘格，通过移动棋盘格获取不同位置的棋盘格图像，将图像输入到标定工程，以获得三个相机的内参、畸变系数以及相对于世界坐标系的外参，然后通过计算获得三个相机之间的相互位置转换关系，进而完成光学定位装置的标定。

9、进一步，所述步骤s2的具体操作步骤如下：

10、s21：控制标定后的三个相机同时拍摄图片，利用双目图像能够获得候选标记点的位置信息，利用标定得到的三个相机的参数和位置关系，能够计算得出双目图像中的候选标记点在彩色图像中的位置坐标，然后在彩色图像中框选出以候选标记点位置坐标为中心的小区域彩色图像，并统一缩放成32×32大小，对于彩色图像框选区域，要根据候选标记点距离光学定位装置的纵向距离调整候选框的大小；

11、s22：对小区域彩色图像进行真假标注，从而构成网络的原始数据集，对原始数据集进行旋转、缩放操作得到增强数据集。

12、进一步，在步骤s3中，将增强数据集按比例划分为训练集、测试集，把训练集的数据送入改进轻量型alexnet网络进行训练，通过改进轻量型alexnet网络的特征提取模块获取候选标记点的特征信息，将提取的特征信息输入到改进轻量型alexnet网络的特征融合模块进行整合后再输入到改进轻量型alexnet网络的预测模块获得候选标记点的预测结果；其中，在反向传播中使用交叉熵损失crossentropyloss函数计算输出标签和实际标签之间的损失值，并使用随机梯度下降法进行反向传播优化，不断迭代至损失值最小，得到网络的最优模型，并导出网络的权重、偏置文件；

13、所述特征提取模块包含两个卷积层和两个池化层；卷积层的作用是提取输入图像的特征，池化层的作用是降低特征图的维度、防止过拟合；首先，通过卷积层提取图像特征图，再通过池化层进行最大池化降维，再通过卷积层进一步提取特征，最后通过池化层进行最大池化降维得到输出特征图，其中，每层池化层后添加relu函数以增强网络的非线性能力；

14、所述特征融合模块包含一个全连接层，用于将特征提取模块提取出来的特征图进行融合，其后添加relu函数以增强网络的非线性能力；

15、所述预测模块包含一个全连接层，用于对特征融合模块融合后的特征图进行预测，其后加入softmax函数将网络的输出转化为预测概率分布。

16、进一步，所述步骤s4的具体操作步骤如下：

17、s41：根据网络的权重、偏置参数，使用c++语言重写网络模型，然后利用xilinx公司的hls工具将c++语言转换成rtl语言，使得网络能够在fpga上运行，在进行网络模型重写时，通过循环展开、数组分割方法能够提高网络在fpga上的运行速率，通过将浮点数转换为定点数、控制循环展开并行度的方法能够减少fpga资源的使用量，通过展开存储器位宽的方法能够减少存储器的使用量；

18、s42：在应用预测时，利用光学定位装置上的三个相机获取输入图像，然后进行步骤s21处理得到待检测小区域彩色图像，将待检测小区域彩色图像输入到加速模型得到预测信息，判定候选标记点的类别为预测信息值最大的类的类别，然后从候选标记点中筛选出预测为真的候选标记点为真实标记点，最后，只输出真实标记点的信息，从而达到从双目图像中的候选标记点中去除伪点的目的

19、本发明与现有技术相比，具有如下优点与有益效果：

20、1、本发明设计了一种利用彩色相机去除近红外双目光学定位中的误识别伪点和误匹配伪点的方法，能够有效提高定位的准确率且具有普遍适用性，具有很强的实际应用价值。

21、2、本发明利用神经网络判别小区域彩色图像中是否含有标记点，在alexnet的基础上对网络进行改进，在保证网络检测精度的同时对网络模型进行缩减，形成轻量型网络结构，提高了网络的运行速率，使得网络可以在小型fpga上执行。

22、3、本发明将神经网络部署在光学定位装置所集成的fpga上运行，装置的算力较高，能够保证定位系统的便携性、低成本性和实时性。