一种非入侵式分析瓢虫爬行步距步速步频的测算方法

本发明涉及一种非入侵式分析瓢虫爬行步距步速步频的测算方法，属昆虫爬行行为分析。

背景技术：

1、瓢虫为圆形突起甲虫的通称，常具红、黑或黄色斑点，属半翅目瓢虫科，其中二十八星瓢虫对植物的危害历史久远，通常称其为马铃薯瓢虫，它们主要以马铃薯、曼陀罗等茄科植物的叶片和果实为食，直接影响了上述农作物的产量和品质。这类瓢虫广泛分布于全球，并对全球经济农作物带来了巨大的危害。

2、目前，这类瓢虫主要有天敌防治、化学药剂防治、物理防控、综合农业防控等防控方式，天敌防治的效率低、化学药剂防治对环境污染较严重、综合农业防控的成本过高，综合考虑各种因素，采用物理防控具有较好的发展前景。

3、针对物理防控，长江大学昆虫实验室利用瓢虫在叶片背面爬行时，瓢虫会被风吹到地面上的这一现象研制了旋风式吸虫机，旋风式吸虫机的工作原理是以物理学和二十八星瓢虫在叶片正反面的附着力为依据，通过计算，旋风式吸虫机内部与外界大气压形成负压差后，可破坏瓢虫爬行时的三角态，进而让二十八星瓢虫从叶子表面坠落，进而通过旋风式吸虫机对其捕获。为了提高旋风式吸虫机吸取二十八星瓢虫的正确率，需要针对二十八星瓢虫爬行的步频、步距和步速进行研究，早在2016华登科提出了使用肉眼观察，借用刻度尺和手动测量计算的方法，虽然可测量出二十八星瓢虫的步频，步距和步速的数值，传统人工观测和计算二十八星瓢虫爬行时的步频、步距和步速的数据时，主观性强，耗时耗力等缺点，而本申请则是针对瓢虫爬行的步频、步距和步速结合计算机视觉技术进行了进一步的研究。

技术实现思路

1、本发明的目的在于，提供一种简单快捷，通过计算机视觉技术分析所拍摄的瓢虫爬行时的图像数据，通过分析和计算每一帧中所标注各个关节点的坐标值得到瓢虫爬行时的步频步距和步速的非入侵式分析瓢虫爬行步距步速步频的测算方法。

2、本发明是通过如下的技术方案来实现上述目的的

3、一种非入侵式分析瓢虫爬行步距步速步频的测算方法，其特征在于：所述的该测算方法包括以下步骤；

4、1）、准备一台高清摄像设备、一个培养皿和一只瓢虫，通过高清摄像设备获取培养皿中瓢虫腹面的视频数据；

5、2）、将瓢虫腹面的视频数据进行人工筛选，人工筛选出能清晰看到瓢虫6个足部的视频数据；

6、3）、从筛选后的视频数据中选取一部分视频数据，分析该段视频数据的关键帧，将该视频数据的关键帧中待检测的瓢虫关节点人工标注，将标注后的关键帧输入神经网络模型进行训练学习；

7、4）、神经网络模型训练学习后，将另外一部分视频数据导入至神经网络模型中，神经网络模型对视频数据的关键帧进行评测分析，得到连续的瓢虫关节点的坐标数据；

8、5）、将视频中的瓢虫关节点的坐标数据使用csv表格进行存储，csv表格存储的值为每帧每一个足部对应的三个值，这三个值分别是该足部的x轴，y轴坐标值，以及系统判定的数据精确拟合度，取数据精确拟合度0.9以上对应每帧每一个足部的x轴，y轴坐标值，根据值的差距，选取落脚点,瓢虫爬行时一般是三条腿固定，另外三条腿移动爬行，反映到csv文件中就存在连续的很多帧的坐标值是一样的，这个一样的值就判定为同一个落脚点，值不一样的就判定为下一落脚地，便于后期计算瓢虫单个足部步距；

9、6）、统计csv表格中瓢虫每帧每一个足部落脚点x轴，y轴坐标值，通过两点之间的距离公式计算出瓢虫各个足部相邻两个落脚点之间的像素距离，两点之间的距离公式为：

10、∣ab∣=√[(x1－x2)²+(y1－y2)²]

11、式中（x1 ，y1）为第一次落脚点的坐标位置；

12、式中（x2 ，y2）为第二次落脚点的坐标位置；

13、式中∣ab∣为瓢虫单个足部两次落脚点的像素间距；

14、7）、得到瓢虫各个足部两次落脚点的像素间距后，通过测量待检测瓢虫的总长除以瓢虫所占的像素数量，得出单个像素的实际长度，将单个像素的实际长度与两次落脚点之间的像素距离相乘即可得到得到瓢虫单个足部两次落脚点的步距；

15、8）、通过通过csv表格中瓢虫相邻腹部的坐标数据结合两点之间的距离公式计算出单位时间内腹部标记点的移动速度，该速度作为瓢虫整个躯体的速度，即可得到瓢虫的步速；

16、9）、通过csv表格统计出单位时间里面瓢虫足部移动的次数，即可得到瓢虫的步频。

17、步骤1）所述高清摄像设备拍摄的方式为：将高清摄像设备的镜头与瓢虫的培养皿的端面保持平行对应，启动高清摄像设备，高清摄像设备拍摄的视频分辨率为1920*1080，帧率为100帧/秒。

18、步骤1）所述视频数据进行人工筛选的方式为：人工手动剪辑视频数据中图像数据模糊、噪声明显以及不存在待检测目标的关键帧，确保视频中每一张图片样本清晰，图片样本包含待检测瓢虫的各个足部关节点。

19、步骤1）所述待检测的关节点包括：左前足足末端、右前足足末端、左中足足末端、右中足足末端、左后足足末端、右后足足末端和腹部中心。

20、步骤1）所述神经网络模型选用deeplabcut工具中的efficientnet-b0进行迁移学习，使用imagenet dataset作为迁移学习的目标模型。

21、步骤1）所述足部相邻两个落脚点之间设置一个冗余值，足部相邻两个落脚点之间间距小于冗余值，将这两个坐标点看作一个落脚点，并取两个落脚点坐标数据的平均值，作为该落脚点的坐标数据；足部相邻两个落脚点之间间距大于冗余值，那么可将其当作瓢虫足部的一次足部移动。

22、本发明与现有技术相比的有益效果在于：

23、该非入侵式分析瓢虫爬行步距步速步频的测算方法，相比于人工手动测算，该非入侵式分析的测算方法通过高清摄像机和后期衍算的方式用于测量瓢虫爬行步距步速步频，未直接对瓢虫的行为产生主观影响，全程客观采集瓢虫的行为数据，有效避免人为主观因素影响瓢虫的行为；通过采用efficientnet-b0神经网络相较于其他神经网络，具有识别速度快、识别准确率高、模型抗干扰能力强等优点；通过efficientnet-b0神经网络学习训练后，分析所拍摄的瓢虫爬行时的图像数据中所标注各个关节点的坐标值，并只取识别率在90%以上的坐标数据进行步距步速步频的测算计算简单快捷。

技术特征：

1.一种非入侵式分析瓢虫爬行步距步速步频的测算方法，其特征在于：所述的该测算方法，包括以下步骤：

2.根据权利要求1所述的一种非入侵式分析瓢虫爬行步距步速步频的测算方法，其特征在于：步骤1）所述高清摄像设备拍摄获取的方式为：将高清摄像设备的镜头与瓢虫的培养皿保持平行对应，启动高清摄像设备，高清摄像设备拍摄的视频分辨率为1920*1080，帧率为100帧/秒。

3.根据权利要求1所述的一种非入侵式分析瓢虫爬行步距步速步频的测算方法，其特征在于：步骤1）所述人工筛选的方式为：人工手动剪辑关键帧中图像数据模糊、噪声明显以及不存在待检测目标的视频，确保视频中每一张图片样本清晰，图片样本包含待检测瓢虫的各个足部关节点。

4.根据权利要求1所述的一种非入侵式分析瓢虫爬行步距步速步频的测算方法，其特征在于：步骤1）所述待检测的关节点包括：左前足足末端、右前足足末端、左中足足末端、右中足足末端、左后足足末端、右后足足末端和腹部中心。

5.根据权利要求1所述的一种非入侵式分析瓢虫爬行步距步速步频的测算方法，其特征在于：步骤1）所述神经网络模型选用deeplabcut工具中的efficientnet-b0进行迁移学习，使用imagenet dataset作为迁移学习的目标模型。

技术总结
本发明涉及一种非入侵式分析瓢虫爬行步距步速步频的测算方法，属昆虫爬行行为分析技术领域。该非入侵式分析瓢虫爬行步距步速步频的测算方法采用efficientnet‑b0神经网络相较于其他神经网络，具有识别速度快、识别准确率高、模型抗干扰能力强等优点；通过efficientnet‑b0神经网络分析所拍摄的瓢虫爬行时的图像数据中所标注各个关节点的坐标值，并只取识别率在90%以上的坐标数据进行步距计算偏差小、简单快捷。

技术研发人员：詹炜,柯舟,王成龙,郭宇衡
受保护的技术使用者：长江大学
技术研发日：
技术公布日：2024/3/17