一种基于复眼形态视觉的目标运动识别方法及系统

本发明属于仿生复眼视觉的，具体地涉及一种基于复眼形态视觉的目标运动识别方法及系统。

背景技术：

1、受自然界果蝇、蜻蜓、蜜蜂等飞行昆虫复眼结构的启发，有别于哺乳动物单孔径形态的单眼睛成像原理设计的常规ccd（charge-coupled device，电荷耦合器件）或cmos（complementary metal-oxide-semiconductor，互补金属氧化物半导体）相机，目前的人工复眼相机是一种模拟自然界昆虫复眼多孔径形态成像原理设计的仿复眼成像系统，人工复眼相机（以下简称为复眼相机）具备多个阵列排布的子眼，使其具有大角度的视野，能够同时聚焦物体的不同深度，人类眼睛和所有相机都是使用单个透镜聚焦光线至一个光敏组织或者材料物质上，这种排列能够制造高分辨率图像，但是复眼却能提供与众不同的优势，它可以产生全景视角，呈现显著的深度感官。

2、复眼相机的每个子眼均存在一定的视觉范围，且由于子眼的排列方式会导致相邻的子眼所拍摄的图像之间存在一定的重叠范围，如采用直接拼接的方式，容易导致最终成型的整体图像存在错乱、目标重叠的情况，影响最终整体图像的成像效果，且现有技术中通常模板匹配法识别目标的运动，但如此存在可靠性差以及效率低下的问题。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于复眼形态视觉的目标运动识别方法及系统，用于解决现有技术中的技术问题。

2、一方面，该发明提供以下技术方案，一种基于复眼形态视觉的目标运动识别方法，包括：

3、获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像，选取其中一子眼作为第一子眼，将与所述第一子眼相邻的子眼作为第二子眼；

4、对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数，在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数；

5、基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像；

6、计算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理，以得到整体图像；

7、对相邻两帧的整体图像进行差分计算，以得到运动目标，计算所述运动目标在各方向上的偏移模拟值，基于所述偏移模拟值确定所述运动目标的运动方向，计算所述运动目标的偏移量，基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离。

8、相比现有技术，本技术的有益效果为：本技术首先获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像，选取其中一子眼作为第一子眼，将与所述第一子眼相邻的子眼作为第二子眼；之后对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数，在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数；而后基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像；然后计算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理，以得到整体图像；最后对相邻两帧的整体图像进行差分计算，以得到运动目标，计算所述运动目标在各方向上的偏移模拟值，基于所述偏移模拟值确定所述运动目标的运动方向，计算所述运动目标的偏移量，基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离，本发明通过标定得到子眼相机的内外参数，并根据内外参数计算重叠区域，根据重叠区域并采用预设算法进行拼接，使得拼接出来的图像完成，且在拼接过程中相互重叠的部分不会出现错乱、目标重叠的情况，同时本发明根据计算得到的偏移模拟值以及偏移量确定目标的运动方向以及运动量，可在复杂背景条件下高效且可靠的检测出目标的运动方向以及对应的运动量。

9、较佳的，所述对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数的步骤包括：

10、在标定坐标系设置一标定点，所述标定点投影在图像像素坐标系中的投影坐标为，基于所述标定点与所述投影坐标建立投影方程：

11、；

12、式中，为第一比例因子，为内参数矩阵，为外参数矩阵；

13、基于所述投影方程确定内参数矩阵：

14、；

15、；；

16、式中，、分别为沿、轴的等效焦距，为第二比例因子，为光轴与像素平面的交点，为焦距替换量，为纵向投影变化量；

17、基于所述内参数矩阵，以得到所述第一子眼与所述第二子眼的内参数：

18、；；；

19、；；

20、式中，为内参数矩阵中第一行第一列的元素，为内参数矩阵中第一行第二列的元素，为内参数矩阵中第一行第三列的元素，为内参数矩阵中第二行第二列的元素，为内参数矩阵中第二行第三列的元素，为内参数矩阵中第三行第三列的元素。

21、较佳的，所述在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数的步骤包括：

22、在所述第一子眼的视觉范围内设置第一标靶并获取第一标靶图像，在所述第二子眼的视觉范围内设置第二标靶并获取第二标靶图像；

23、基于所述第一标靶图像与所述第二标靶图像确定所述第二标靶至所述第一标靶之间的标靶转换矩阵：

24、；

25、式中，为空间坐标系至第一标靶图像旋转矩阵，为空间坐标系至第二标靶图像旋转矩阵，为空间坐标系至第二标靶图像平移矩阵，为空间坐标系至第一标靶图像平移矩阵；

26、基于所述标靶转换矩阵确定所述第二子眼至所述第一子眼的外参数矩阵，基于所述外参数矩阵，以得到所述第一子眼与所述第二子眼的外参数，其中所述外参数矩阵为：

27、；

28、式中，为第一标靶至第一子眼的转换矩阵，为第二标靶至第二子眼的转换矩阵。

29、较佳的，所述基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像的步骤包括：

30、在所述子眼图像中确定一点，基于所述内参数与所述外参数确定点对应的理论坐标点以及空间坐标点，基于点、理论坐标点以及空间坐标点建立校正方程：

31、；

32、；

33、式中，为光轴与像素平面的交点，为第一校正系数，为第二校正系数；

34、求解所述校正方程中的第一校正系数、第二校正系数，并基于所述第一校正系数、所述第二校正系数对所述子眼图像中的像素点坐标进行校正，以得到校正图像。

35、较佳的，所述计算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理，以得到整体图像的步骤包括：

36、基于所述内参数计算所述校正图像之间的重叠区域：

37、；

38、式中，为图像传感器至目标的距离，为相邻子眼之间的距离，为复眼相机至目标的距离，为校正图像的长度，为子眼直径，为子眼焦距；

39、对所述校正图像进行高斯模糊处理，以得到图像空间，对所述图像空间进行多次采样处理，以得到高斯金字塔，对每组所述高斯金字塔的相邻涂层进行差分处理，以得到差分金字塔；

40、基于所述差分金字塔在所述重叠区域内选定第一像素点，在所述第一像素点周围选取预设数量的第二像素点，将所述第一像素点与所述第二像素点存入待选特征点集中，将所述待选特征点集中的极值点作为特征点；

41、基于所述特征点确定特征码段以及匹配特征点，根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理，以得到整体图像。

42、较佳的，所述基于所述特征点确定特征码段以及匹配特征点，根据所述特征码段与所述匹配特征点对所述校正图像进行拼接处理，以得到整体图像的步骤包括：

43、以所述特征点为中心选取预设形状的邻域范围，在所述邻域范围内选取若干像素点对，基于每个所述像素点对之间的像素值大小进行赋值处理，以得到特征码段；

44、计算所述待选特征点集中的像素点与所述像素点对之间的汉明距离，选取汉明距离最小时对应的两个像素点作为第一匹配像素点与第二匹配像素点，计算所述第一匹配像素点至所述像素点对之间的汉明距离与所述第二匹配像素点至所述像素点对之间的汉明距离的距离比值，将距离比值小于预设比值阈值对应的像素点作为匹配特征点；

45、基于所述特征码段与所述匹配特征点将所述校正图像进行拼接处理，以得到整体图像。

46、较佳的，所述对相邻两帧的整体图像进行差分计算，以得到运动目标，计算所述运动目标在各方向上的偏移模拟值，基于所述偏移模拟值确定所述运动目标的运动方向的步骤包括：

47、对相邻两帧的整体图像进行差分计算，以得到差分图像，基于所述差分图像确定运动目标；

48、采用二维小波变换对所述差分图像进行图像分解，以得到第一频率子图与第二频率子图；

49、对所述第二频率子图互抑制处理与平滑滤波处理，以得到第一信号与第二信号，对所述第一信号与所述第二信号进行半波整流处理，以得到第一处理信号与第二处理信号；

50、将所述第一处理信号与所述第二处理信号输出值开关量通道中，以输出偏移模拟值组，所述偏移模拟值组包括第一偏移模拟值、第二偏移模拟值以及第三偏移模拟值，判断所述第一偏移模拟值、所述第二偏移模拟值以及所述第三偏移模拟值是否小于预设值；

51、若所述第一偏移模拟值小于预设值，则所述运动目标的运动方向为向左运动，若所述第一偏移模拟值大于预设值，则所述运动目标的运动方向为向右运动，若所述第二偏移模拟值小于预设值，则所述运动目标的运动方向为向下运动，若所述第二偏移模拟值大于预设值，则所述运动目标的运动方向为向上运动，若所述第三偏移模拟值小于预设值，则所述运动目标的运动方向为向后运动，若所述第三偏移模拟值大于预设值，则所述运动目标的运动方向为向前运动。

52、第二方面，该发明提供以下技术方案，一种基于复眼形态视觉的目标运动识别系统，所述系统包括：

53、获取模块，用于获取复眼相机的子眼在预设周期内拍摄的连续帧的子眼图像，选取其中一子眼作为第一子眼，将与所述第一子眼相邻的子眼作为第二子眼；

54、标定模块，用于对所述第一子眼与所述第二子眼进行内参数标定，以得到所述第一子眼与所述第二子眼的内参数，在所述第一子眼与所述第二子眼的视觉范围内均设置标靶并获取对应的标靶图像，基于所述标靶图像与所述内参数对所述第一子眼与所述第二子眼进行外参数标定，以得到所述第一子眼与所述第二子眼的外参数；

55、校正模块，用于基于所述内参数与所述外参数计算校正系数，基于所述校正系数对所述子眼图像进行校正，以得到校正图像；

56、拼接模块，用于计算所述校正图像之间的重叠区域，基于所述重叠区域与预设拼接算法对所述校正图像进行拼接处理，以得到整体图像；

57、运动识别模块，用于对相邻两帧的整体图像进行差分计算，以得到运动目标，计算所述运动目标在各方向上的偏移模拟值，基于所述偏移模拟值确定所述运动目标的运动方向，计算所述运动目标的偏移量，基于所述偏移量、所述内参数、所述外参数确定所述运动目标在对应运动方向上的运动距离。

58、第三方面，该发明提供以下技术方案，一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于复眼形态视觉的目标运动识别方法。

59、第四方面，该发明提供以下技术方案，一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于复眼形态视觉的目标运动识别方法。