一种基于单目视觉和光流测距的牧区智能蓄水系统及方法与流程

本发明涉及畜牧养殖，尤其是提供了一种基于单目视觉和光流测距的牧区智能蓄水系统及方法。

背景技术：

1、在当代智能化技术已经在各行业中逐步的应用起来，而在牧区人工给牲畜供水已经满足不了当前社会发展的需求，因此，随着现代化智能技术的不断发展，牧区的智能化供水设备是人们迫切需求的。

2、目前，大型的牲畜养殖场以及牧区，特别是在广阔的大草原更是有着很多大大小小的牧区，但在牧区或养殖场中的给牲畜智能精确供水一直是难以解决的问题，无法做到智能化判断牲畜的饮水意图，因此难以做到精确供水。

3、综上，如何实现对牧区牲畜饮水需求的智能判断已成为当前牧区发展的新趋势，对牧区及养殖场的发展具有重要意义。

技术实现思路

1、基于此，本发明提供了基于单目视觉和光流测距的智能蓄水系统及方法，以对牧区牲畜饮水需求的智能判断，提高牧区养殖的自动化程度。

2、为了达到上述目的，第一方面，本发明提供了一种基于单目视觉和光流测距的智能蓄水系统，包括：图像采集模块，包括安装在供水池附近的相机，所述相机被配置为等时间隔拍摄附近牧区图像；图像预处理模块，包括灰度化单元和自适应中值滤波单元，所述灰度化单元被配置为灰度化处理拍摄的图像，所述自适应中值滤波单元被配置为滤波处理图像；单目视觉牲畜识别模块，包括人工智能处理单元，所述人工智能处理单元被配置为识别图像中的牲畜，并使用实时矩形框标识图像中识别出的牲畜；光流测距模块，被配置为光流动态追踪各帧图像的实时矩形框，并计算下一帧图像的实时矩形框与上一帧图像的同一个实时矩形框的到供水池的距离变化；饮水意图判断模块，被配置为计算出每个实时矩形框与供水池的距离值，并将所述距离值与距离设计阈值对比，判断实时矩形框对应的牲畜是否需要饮水。

3、可选地，所述人工智能处理单元包括区域卷积神经网络系统，利用所述区域卷积神经网络系统识别图像中的牲畜。

4、可选地，所述饮水意图判断模块设置有距离检测器，所述距离检测器被配置为计算每个标识牲畜的实时矩形框与供水池的距离。

5、为了达到上述目的，第二方面，本发明提供了一种基于单目视觉和光流测距的智能蓄水方法，包括步骤：

6、s100.图像采集模块的相机按照等时间隔拍摄牧区图像；

7、s200.图像预处理模块实时接收图像，进行灰度化处理，并进行灰度化图像自适应中值滤波，去除噪声；

8、s300.单目视觉牲畜识别模块的人工智能处理单元对图像中的牲畜进行识别，并使用实时矩形框对各牲畜标识；

9、s400.光流测距模块利用光流跟踪技术对标识的牲畜的实时矩形框跟踪，并检测各实时矩形框到供水池的距离；

10、s500.饮水意图判断模块进行实时矩形框到供水池的距离与距离设定阈值对比，当得到所述距离计算值小于距离设定阈值，则认为实时矩形框所对应的牲畜需要饮水。

11、可选地，所述神经网络处理单元为区域卷积神经网络处理单元，通过牧区的各种类牲畜对所述区域卷积神经网络框架预训练，以使得区域卷积神经网络框架具有识别图像中各种类牲畜的能力。

12、可选地，所述光流测距模块将实时矩形框中的牲畜的像素分割为像素块，求出所述像素块均值并假设像素块的均值不变，并对每个像素块进行光流跟踪，计算实时矩形框中的像素块与上一帧中检测到的实时矩形框中像素块的距离。

13、可选地，在原图上用实时矩形框将牲畜标识出来，并将检测到的牲畜数目和检测的结果图像输入到光流测距模块，所述距离检测器利用两帧图像中实时矩形块的位置和相机所处的位置，结合几何关系和非线性优化方法，计算出每个实时矩形框与相机的距离。

14、可选地，所述饮水意图判断模块对每个标识牲畜的实时矩形块进行分析，设一个实时矩形块在上一帧中实际的空间点p1为(x1,y1,z1)，经光流跟踪后到当前帧，该实时矩形块对应的空间点p2为(x2,y2,z2)：

15、像素点由相机坐标转换关系可得：

16、

17、

18、其中，k为相机内参，r为相机的旋转矩阵，t为物体的平移向量，即[r,t]为相机的外参，z1,z2分别为物体在两个位置的深度，计算出p1、p2点相对相机的距离。

19、可选地，当检测到一个实时矩形块在多帧图像中位置不变时，则将所述实时矩形块去除，不再判断所述实时矩形块是否具有饮水意图。

20、可选地，所述饮水意图判断模块对比得到实时矩形块到供水池距离大于距离设定阈值时，则判定对应的牲畜没有饮水意图，并标出实时矩形块到供水池的距离值；所述饮水意图判断模块对比得到实时矩形块到蓄水池距离小于距离设定阈值时，则判定对应的牲畜有饮水意图。

21、本发明所提供的一种用于牧区畜牧的智能蓄水系统及方法，将计算机视觉和光流技术应用到对牲畜的智能供水中，通过图像采集模块采集供水池附近的牧区图像，人工智能处理到单元对视频帧的图像分析，进行牲畜牛羊识别并通过实时矩形框识别的牲畜位置标识，并通过光流测距模块检测各帧图像的标注同一牲畜的实时矩形框到供水池的距离变化，饮水意图判断模块由此距离至判断牲畜是否靠近供水池附近喝水，从而实现对牲畜饮水需求的判断，实现智能牲畜饮水的智能化管理。

技术特征：

1.一种基于单目视觉和光流测距的智能蓄水系统，其特征在于，包括：

2.根据权利要求1所述的基于单目视觉和光流测距的智能蓄水系统，其特征在于，所述人工智能处理单元包括区域卷积神经网络系统(301)，利用所述区域卷积神经网络系统(301)识别图像中的牲畜。

3.根据权利要求1所述的基于单目视觉和光流测距的智能蓄水系统，其特征在于，所述饮水意图判断模块(50)设置有距离检测器，所述距离检测器被配置为计算每个标识牲畜的实时矩形框(60)与供水池的距离。

4.一种基于单目视觉和光流测距的智能蓄水方法，其特征在于，使用权利要求1至3任一项向所述的基于单目视觉和光流测距的智能蓄水系统进行牲畜饮水意图的判断，包括步骤：

5.根据权利要求4所述的基于单目视觉和光流测距的智能蓄水方法，其特征在于，所述神经网络处理单元为区域卷积神经网络处理单元，通过牧区的各种类牲畜对所述区域卷积神经网络框架预训练，以使得区域卷积神经网络框架具有识别图像中各种类牲畜的能力。

6.根据权利要求4所述的基于单目视觉和光流测距的智能蓄水方法，其特征在于，所述光流测距模块(40)将实时矩形框(60)中的牲畜的像素分割为像素块，求出所述像素块均值并假设像素块的均值不变，并对每个像素块进行光流跟踪，计算实时矩形框(60)中的像素块与上一帧中检测到的实时矩形框(60)中像素块的距离。

7.根据权利要求4或6所述的基于单目视觉和光流测距的智能蓄水方法，其特征在于，在原图上用实时矩形框(60)将牲畜标识出来，并将检测到的牲畜数目和检测的结果图像输入到光流测距模块(40)，所述距离检测器利用两帧图像中实时矩形块的位置和相机所处的位置，结合几何关系和非线性优化方法，计算出每个实时矩形框(60)与相机的距离。

8.根据权利要求7所述的基于单目视觉和光流测距的智能蓄水方法，其特征在于，所述饮水意图判断模块(50)对每个标识牲畜的实时矩形块进行分析，设一个实时矩形块在上一帧中实际的空间点p1为(x1,y1,z1)，经光流跟踪后到当前帧，该实时矩形块对应的空间点p2为(x2,y2,z2)：

9.根据权利要求4所述的基于单目视觉和光流测距的智能蓄水方法，其特征在于，当检测到一个实时矩形块在多帧图像中位置不变时，则将所述实时矩形块去除，不再判断所述实时矩形块是否具有饮水意图。

10.根据权利要求4或5或7所述的基于单目视觉和光流测距的智能蓄水方法，其特征在于，所述饮水意图判断模块(50)对比得到实时矩形块到供水池距离大于距离设定阈值时，则判定对应的牲畜没有饮水意图，并标出实时矩形块到供水池的距离值；所述饮水意图判断模块(50)对比得到实时矩形块到蓄水池距离小于距离设定阈值时，则判定对应的牲畜有饮水意图。

技术总结
本发明公开了一种基于单目视觉和光流测距的智能蓄水系统及方法，图像采集模块的相机等时间隔拍摄附近牧区图像；图像预处理模块灰度化处理拍摄的图像并滤波处理图像；单目视觉牲畜识别模块的人工智能处理单元识别图像中的牲畜，并使用实时矩形框标识图像中识别出的牲畜；光流测距模块通过光流动态技术追踪各帧图像的实时矩形框，并计算下一帧图像的实时矩形框与上一帧图像的同一个实时矩形框的到供水池的距离变化；饮水意图判断模块计算出每个实时矩形框与供水池的距离值，判断实时矩形框对应的牲畜是否需要饮水。所提供的智能蓄水系统及方法实现对牧区牲畜饮水需求的智能判断，提高牧区养殖管理的智能化程度。

技术研发人员：朱俊峰,王星天,曹亮,王世锋,刘文兵,姚佳男,牛俊奎,胡伟,侯诗文
受保护的技术使用者：中国水利水电科学研究院
技术研发日：
技术公布日：2024/3/27