基于多重孪生神经网络与区域神经网络的目标跟踪方法与流程

技术特征：

1.基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于包括以下步骤：

1)给定一段视频序列，其中第一帧包含已标记的目标，定义原始输入图像帧的尺寸、目标的原始尺寸Co以及目标的搜索范围Cs；其中，代表一个矩形区域；目标的原始尺寸Co和目标的搜索范围Cs将作为多重孪生神经网络的输入，用于进行基于实例检索的目标跟踪，原始输入图像帧的尺寸Cf，将作为区域神经网络的输入，用于进行实现丢失目标的重检测；

2)基于步骤1)中定义的图像帧的尺寸Cf、目标的原始尺寸Co以及目标的搜索范围Cs，多重孪生神经网络有三个输入，分别为第一帧目标、当前面目标模板和当前帧搜索范围，分别将第一帧目标以及面目标模板输入尺寸定义为Co，当前帧搜索范围输入尺寸定义为Cs；

所述多重孪生神经网络使用视觉识别数据集ILSVRC_DET进行预训练，ILSVRC_DET数据集包含45万张图片，总共拥有30个类别，该数据集中的45万张图片被标记有类别信息与目标位置，多重孪生神经网络用于目标检索，第一个卷积层拥有96个11×11×3的卷积核，并输出96个原始图像的特征图，之后采用修正线性单元激活函数以及最大池化层，并在最后一层使用互相关层的，所述多重孪生神经网络采用实例检索的方法进行目标跟踪并采用全卷积结构和多分支并行结构，因此，用多重孪生神经网络进行目标跟踪比起一般的基于神经网络的目标跟踪方法有更好地实时性和分辨度，训练过程中采用的损失函数l为：

l(y,v)＝log(1+exp(-yv))

其中，y被称为目标标注，每一帧对应了一个目标标注，采用目标分割的方法进行目标标注，v代表一对样本之间的相似分数；

3)把步骤1)中定义的原始输入图像帧的尺寸Cf用于定义区域神经网络的输入尺寸，区域神经网络有且仅有一个输入并在仅在目标丢失的情况下使用，区域神经网络使用视觉识别数据集ILSVRC中常见得20个目标种类进行预训练，用于对丢失的目标进行重检测；

4)将视频序列第一帧与目标分别输入多重孪生神经网络，获取候选目标Cj；

5)对步骤4)中得到的候选目标进行互相关操作，同时判断多重孪生神经网络是否丢失目标，当所用的搜索帧与候选目标之间的差距过大时，判断为目标丢失；

6)根据步骤5)中得到的结果进行选择，若目标丢失，则通过区域神经网络进行重检测重新获取目标；若目标并未丢失，则直接通过计算获取最佳候选目标，实现目标跟踪。

2.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤2)中，所述多重孪生神经网络及其输入尺寸包括以下子步骤：

(1)当目标图像不为Co时，对应的图像将缩放或扩大为Co；

(2)原始图像不可过小；

(3)发明所设计的深度神经网络中的最大池化层使用3×3的区域；

(4)发明所设计的深度神经网络总共拥有五个卷积层与两个池化层以及一个互相关层。

3.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤3)中，所述区域神经网络包括以下子步骤：

(1)所设计的区域神经网络能够重检测常用的20类目标；

(2)所设计的区域神经网络在需要的时候可以重新训练从而实现更多目标的重检测。

4.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤4)中，所述将视频序列第一帧与目标分别输入多重孪生神经网络，获取候选目标Cj的具体方法为：将步骤2)中多重孪生神经网络应用于实例检索，同时将产生的分数图转化到实数域产生新的独立损失函数L，输出候选结果Cj，其中，1≤j≤2)：

其中，u为分数图在实数域D中的结果，每一个目标标注y对应一个实数域结果。

5.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤5)中，所述互相关操作包括以下子步骤：

(1)所使用的互相关算法为卷积算法；

(2)所使用的对两对候选目标采用分别判别的方式。

6.如权利要求1所述基于多重孪生神经网络与区域神经网络的目标跟踪方法，其特征在于在步骤6)中，所述目标跟踪方法包括以下子步骤：

(1)所使用的实例检索方法有三个尺度，基于原始输入目标大小进行变换；

(2)所使用的判断阈值的设置应该适当。