本专利涉及计算机视觉、时间序列分析、畜禽精准养殖等
技术领域：
：。具体地讲是一种通过深层卷积神经网络算法自动化检测妊娠后期母猪姿态转化频率、筑巢行为表达主要姿态比率、姿态变化统计特征、趋势特征、时序差分特征等母猪产前姿态转化相关特性，并对多种特征分别进行4类时间分窗统计，将空间分布与时序统计特征融合建模实现母猪分娩时间预测。
背景技术：
：：初生仔猪的死亡率高达25-33％，是造成生猪养殖生产损失的突出问题之一，有研究表明如果能够准确预测母猪分娩时间，加以适当的人工监管和环境调控可有效降低仔猪死亡率。目前主要通过人工记录母猪妊娠期，凭经验预测母猪分娩时间。然而该方法耗时耗力，且主观性强。通过穿戴式设备、光敏、加速度等传感器技术自动化预测母猪分娩时间极大地减轻了劳动力，但也有造成应激反应、功耗高、抗环境干扰能力差等问题。卷积神经网络推动计算机视觉各领域高速发展，利用计算机视觉技术实现自动化母猪分娩时间预测是急需解决的一个课题。近年来基于计算机视觉技术对动物行为进行分析多为分类任务。公开号cn109492535a公开了一种基于计算机视觉的母猪哺乳行为识别方法。其使用了deeplab实例分割算法提取光流特征，适用于开放式的分娩环境，依赖母猪体型的几何特征，不适用于规模化养殖限位栏条件下多硬性遮挡、光线干扰明显等场景。公开号cn106778784a公开了一种基于机器视觉的猪个体识别与饮水行为分析的方法，公开号cn111274975a公开了一种猪只采食行为预测的方法和装置，均未考虑猪只行为的时序特征。通过时间序列分析对母猪分娩时间预测的研究未有报道。技术实现要素：本发明的目的在于填补现有技术的空白，提出了一种将母猪妊娠后期姿态转化的空间特征与时序特征相结合的方法实现母猪分娩时间的预测，克服传统人工看守的耗时耗力问题，避免了传感器设备给母猪带来的接触式应激反应与高功耗的不足。以数据为驱动，较长地提前了母猪分娩预测的时间，也提高了预测的容错性，能够适应规模化集约化生猪养殖过程中，限位栏条件下的硬性遮挡、光线干扰严重的情况，实现较高准确度的母猪分娩时间预测。技术方案：一种基于妊娠后期姿态转化特性的母猪分娩时间预测系统，它包括图像采集模块、网络传输模块、视频存储单元、本地服务器、中心计算模块以及移动端接收模块，图像采集模块采集妊娠后期限位栏环境下的母猪视频，采集的数据存储至视频存储单元；本地服务器截图图像帧通过网络传输模块上传至中心计算模块，所述中心计算模块执行以下步骤：s1、姿态识别：识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态；s2、姿态转化特性空间特征与时序特征的提取：对6类姿态检测结果进行深入挖掘，提取不同时间分窗下的姿态变化相关的多类空间分布与时序统计特征，并采用嵌入式特征选择方法筛选高方差低耦合的特征；s3、分娩时间预测：基于提取的高权重特征和集成学习方法，对多个基学习器进行加权决策，获得最终的分娩预测时间t：q表示基模型的个数，αq表示第q个模型的权重，pq表示第q个模型的预测结果；s4、将分娩预测时间t存储至云服务器，管理人员通过移动端接收模块及时获知预测结果。优选的，所述图像采集模块为红外摄像机，红外摄像机固定于产床正上方2.2米，24小时不间断采集妊娠后期母猪限位栏下行为。优选的，所述视频存储单元与图像采集模块共处于局域网内，本地服务器对多路视频数据多线程同步等间隔截帧，通过高带宽无线通信，将图像上传至中心计算模块。优选的，s1具体包括以下步骤：s1-1、图像预处理：对无损图像进行筛选，低光照图像去模糊，对6类姿态图像实现类别和场景的均衡化，整体进行数据增强；所述6类姿态图像分别为侧卧、腹卧、胸卧、过渡姿态、坐卧、站立；s1-2、数据标注：对母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类图像各取m张进行人工标注，训练基模型后，采用模型标注；训练集、测试集、验证集按照比例随机划分；s1-3、姿态识别卷积神经网络设计与训练：选择yolov3为母猪姿态识别的网络架构，以darknet53在imagenet数据集进行训练的模型权重为预训练权重，采用mini-batchsgd方法进行训练，配合early-stopping的策略监视模型在验证集的精度，降低模型的过拟合风险；s1-4、将实时数据输入姿态识别卷积神经网络，识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态。优选的，s1-1中低光照图像采用yuv或rgb直方图均衡化两种图像去模糊方法。优选的，采用one-stage目标检测网络模型yolov3，检测模型损失函数为：式中s×s表示将整幅图像均分为s×s个栅格，coorderr为目标框回归损失，iouerr为预设正样本交并比阈值损失，clserr为分类损失；其中各损失分量公式如下：式中，λcoord是目标框向量回归损失权重，b为每个栅格预生成目标框个数，表示目标在第n个栅格第m个预设框中的权重为1，xn,yn,wn,hn为标定坐标，为预测坐标，λnoobj为不含目标预设框的权重，cn，分别为置信度的标定值和预测值，pn，分别为包含目标的栅格分类概率的标定值和预测值；采用mini-batchsgd算法更新网络权重，batch_size为128，learning_rate(lr)初始化为0.001，步进式学习策略，max_batches为30000，在24000次和27000次迭代时，学习率缩小10倍，以便损失函数更好地收敛；权重更新公式如下：式中，▽是梯度符号，:＝表示迭代赋值，lr表示梯度下降步幅，j表示迭代次数，θ表示特征权重，i表示数据样本，x(i)，y(i)表示第i个输入样本和样本真实标签，hθj(x(i))表示第j次迭代时模型的输出结果；每批次迭代更新一次权重，每迭代5000次备份权重模型；卷积层间的非线性激活函数采用leakyrelu，其公式为：yi＝max(0,xi)+0.01min(0,xi)式中，xi和yi表示激活函数输入输出特征值，通过非线性非饱和激活函数，既能表示更高维的特征空间，又保留了小范围的梯度更新，避免了梯度消失现象，加快了模型收敛。优选的，所述姿态转化特性空间特征与时序特征的提取通过python编程自动化完成，特征包括：姿态变化频率特征、筑巢行为表达主要姿态比率特征、趋势特征、统计特征、时序差分特征、指数/对数特征、hilbert均值特征、hann窗特征；其中姿态变化频率特征公式如下：式中f表示母猪单位时间姿态转化频率，n表示母猪单位时间姿态转化频数，d表示时间分窗长度；筑巢行为表达主要姿态比率特征公式如下：式中h表示母猪产前表达筑巢行为的姿态比率，nsit表示单位时间坐卧姿态的出现频数，nstd表示单位时间站立姿态的出现频数，apostures表示单位时间6类姿态的转换频数。优选的，所述姿态转化特性空间特征与时序特征的提取中：相邻两次抽样检测的时间间隔为10分钟，母猪侧卧、胸卧/腹卧、坐卧、站立4类姿态时间分窗长度分别为1/4小时、2/4小时、3/4小时、1小时；在每个分窗中对所有特征进行提取；采用嵌入式特征选择方法筛选高方差低耦合的特征。优选的，所述预测模型分别为xgboost、randomforest、lightgbm、linearsvr、catboost。优选的，所述中心计算模块还执行一个网络模型测试与优化步骤：统计检测结果，分析损失较大的数据属性和模型特征，调整图像数量和模型超参数。本发明的有益效果本发明将对视频流数据的硬实时处理转化为固定时间间隔对视频帧的处理，一方面，多路视频多线程定时截帧并上传的任务可以由养殖场本地的普通服务器完成，降低了数据传输的风险和计算中心的压力；另一方面，通过调节截帧上传频率，优化预测算法，可实现用批处理的方式代替流处理，达到低延迟，满足实时性需求。本发明对模型预测有效结果实时传输给养殖场饲养人员，以便其做好母猪分娩的应急措施。本发明从图像采集模块，到最终的预测信息接收模块(移动端接收模块)实现了端到端的自动化运行与控制，能够极大地提升母猪管理效率，降低仔猪的死亡风险。具体的：(1)本发明提出了一种基于计算机视觉技术自动化检测妊娠后期母猪姿态转化特性，深入挖掘其空间分布特征与时序统计特征，预测母猪分娩时间的方法。避免了与母猪的接触，体现了福利化、精准化养殖的思想，减少母猪应激反应，且具有成本低、效率高的特点；(2)从视频数据获取，到饲养人员接受到母猪分娩时间预警信息实现全自动化解决，不需人工参与。将视频流数据在养殖厂本地等间隔分帧上传，完成实时批处理，既保证了数据传输的稳定性，又减轻了计算中心的压力；(3)通过对母猪分娩时间的准确预测，使饲养人员及时采取适当的人工干预和环境调控，可以有效的降低仔猪死亡率，提高经济收益；母猪分娩智能预警系统也是母猪健康管理过程中从自动化向智能化方向转型的有力推手；(4)视频原图像受光线干扰严重，通过对比多种图像增强去模糊的方法，验证了yuv和rgb色彩空间直方图均衡化方法的有效性，实现对低光照图像的识别，增强识别效果和准确率；(5)采用one-stage的目标检测网络yolov3识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态，代替了传统人工设计特征的机器学习方法，在识别精度和检测速度上都有良好表现；(6)采用mini-batchsgd的算法配合early-stopping的方法在多卡环境下进行模型训练，保证了模型更新速度，降低过拟合风险；(7)利用特征工程技术构造4类时间分窗条件下的：姿态变化频率特征、筑巢行为表达主要姿态比率特征、趋势特征、统计特征、时序差分特征、指数/对数特征、hilbert均值特征、hann窗特征。通过嵌入式特征选择方式筛选出高方差低耦合的特征；(8)对多个强预测基模型进行加权平均预测最终结果。对基模型的训练采用贪婪学习策略结合网格搜索方法对模型进行多次训练，取当前数据集下的最优参数组合。附图说明图1是本发明的总体结构示意图图2是本发明功能实现的技术路线流程图图3是低光照图像进行图像去模糊的效果图图4是妊娠后期母猪6类姿态检测结果图图5是特征构造与特征筛选流程图图6是妊娠后期母猪姿态转化情况识别结果图7是母猪姿态转化频率与分娩剩余时间关系图具体实施方式下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：本发明公开了一种基于妊娠后期姿态转化特性的母猪分娩时间预测系统，基于计算机视觉技术和机器学习算法，深入挖掘限位栏环境下妊娠后期母猪的姿态转化特性，将母猪姿态空间分布特性与时序统计特征相结合，利用特征工程时间分窗的方法扩充特征空间，通过嵌入式特征筛选将多个高方差、低耦合的特征融合输入集成学习模型，采用加权平均的方法预测分娩时间。结合图1，系统结构包括：图像采集模块、网络传输模块、存储模块、中心计算模块以及移动端接收模块。红外摄像机24小时不间断采集妊娠后期限位栏环境下的母猪视频，监测数据存储至视频数据存储单元，本地服务器开启多线程固定时间间隔截取图像帧上传至计算中心，以批处理的方式自动调用母猪产前姿态转化特性的分析模型，对4类时间分窗的姿态统计特征、趋势特征、时序统计特征等进行检测、融合、决策，将母猪分娩时间预测结果发送至移动端app。母猪姿态分类方法如表1：表1妊娠后期母猪6类姿态table1sixposturesofsowsinlatepregnancy结合图2，基于妊娠后期姿态转化特性的母猪分娩时间预测系统，系统的构建包括：(1)视频数据采集、(2)视频存储与分帧、(3)图像预处理、(4)数据标注、(5)姿态识别卷积神经网络设计与训练、(6)姿态转化特性空间特征与时序特征的提取、(7)特征选择、(8)分娩时间预测模型设计与训练、(9)网络模型测试与优化、(10)数据入库与发布。具体的：(1)视频数据采集：固定于产床正上方约2.2米处的红外摄像机24小时不间断采集妊娠后期母猪限位栏下行为；(2)视频存储与分帧：局域网内通过光纤和交换机的连接，将监控数据实时存储至本地视频存储单元。本地服务器对多路视频数据多线程同步等间隔截帧，通过高带宽无线通信，将图像上传至计算中心。(3)图像预处理：对无损图像进行筛选，低光照图像去模糊，对6类姿态图像实现类别和场景的均衡化，整体进行数据增强，增强后效果如图3，低光照图像经过rgb和yuv色彩空间直方图均衡化后的对比结果，实现了图像去模糊；(4)数据标注：对母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类图像各取5000张进行人工标注，训练基模型后，采用模型标注。训练集、测试集、验证集按照8:1:1的比例随机划分；(5)姿态识别卷积神经网络设计与训练：考虑到检测精度与速度的均衡化，选择yolov3为母猪姿态识别的网络架构(结合图4，采用yolov3目标检测模型在计算中心对上传的多路图像进行批处理，识别母猪侧卧、腹卧、胸卧、过渡姿态、坐卧、站立6类姿态，在gtx1080ti单张显卡配置条件下对1920像素×1080像素的单张图像处理速度仅为0.015秒)，以darknet53在imagenet数据集进行训练的模型权重为预训练权重，采用mini-batchsgd方法进行训练，配合early-stopping的策略监视模型在验证集的精度，降低模型的过拟合风险；(6)姿态转化特性空间特征与时序特征的提取：提取的特征如图5所示，所有特征的提取过程均通过python编程自动化完成，利用python编程，自动化对6姿态检测结果进行深入挖掘，提取不同时间分窗下的姿态变化相关的多类空间分布与时序统计特征(结合附图6，横坐标为时间间隔，相邻两次抽样检测的时间间隔为10分钟，4类时间分窗分别为1/4小时、2/4小时、3/4小时、1小时的姿态变化相关的特征统计的时间单位。在每个分窗中都会对上述图5中的多种特征进行提取。由图可见，待产母猪在分娩开始前的姿态转化特性与其他时间段有明显差异)；特征选择：采用嵌入式特征选择的方法，筛选重要(高方差、低耦合)的特征；嵌入式特征选择法是部分机器学习模型在输出结果的同时，输出不同特征的权值，重要的特征对应的权值比较大，无具体阈值，因模型而异。(7)分娩时间预测模型设计与训练：预测模型采用机器学习集成学习思想，对xgboost、randomforest、lightgbm、linearsvr、catboost多个强模型的预测结果进行加权平均，权重由各个基模型在测试集中的预测精度决定。采用贪婪学习策略结合网格搜索方法对模型进行多次训练，取当前数据集下的最优结果；(8)网络模型测试与优化：统计检测结果，分析损失较大的数据属性和模型特征，调整图像数量和模型超参数(分析错检图像样本，以及预测分娩时间误差超过±3小时的母猪个体和基模型，剔除异常个体，针对不同基模型调整其基础模型的深度、最小分裂样本节点等超参数)，每次优化以最新模型权重进行网络训练初始化；(9)数据入库与发布：计算中心循环监听数据缓冲池，接受到图像数据后立即调用母猪分娩时间预测模型，将预测结果存储至云服务器，同时返送给饲养人员。管理人员可通过移动端和pc端及时获知预测结果。结合图7所示，对4头妊娠后期母猪姿态转化频率与分娩剩余时间进行可视化输出，可见随着分娩时间临近(分娩剩余时间下降)，姿态转化频率在产前会有明显的高峰。步骤(3)中对低光照图像增强去模糊，选取了多色彩空间直方图均衡化(rgb、yuv、gray)、gamma变换、图像滤波(gaussian滤波、均值滤波、中值滤波)等多种图像去噪技术，在不同滤波强度下进行个体对比与组合对比。权衡去噪效果与速度，最终筛选出yuv和rgb直方图均衡化两种图像去模糊方法。步骤(5)中采用的one-stage目标检测网络模型yolov3，以输入的整张图像作为兴趣域，增加了空间信息利用率，不需要预设anchor，提高了目标检测速度的同时在检测精度上维持较高水平。检测模型损失函数为：式中s×s表示将整幅图像均分为s×s个栅格，coorderr为目标框回归损失，iouerr为预设正样本交并比阈值损失，clserr为分类损失。损失函数是模型训练提供权重更新梯度的主要指标。其中各损失分量公式如下：式中，λcoord是目标框向量回归损失权重，b为每个栅格预生成目标框个数，表示目标在第n个栅格第m个预设框中的权重为1，xn,yn,wn,hn为标定坐标，为预测坐标，λnoobj为不含目标预设框的权重，cn，分别为置信度的标定值和预测值，pn，分别为包含目标的栅格分类概率的标定值和预测值；采用mini-batchsgd算法更新网络权重，batch_size为128，learning_rate(lr)初始化为0.001，步进式学习策略，max_batches为30000，在24000次和27000次迭代时，学习率缩小10倍，以便损失函数更好地收敛；权重更新公式如下：式中，▽是梯度符号，:＝是迭代赋值的意思，j表示迭代次数，θ表示特征权重，i表示数据样本，x(i)，y(i)表示第i个输入样本和样本真实标签，hθj(x(i))表示第j次迭代时模型的输出结果；每批次迭代更新一次权重，每迭代5000次备份权重模型；卷积层间的非线性激活函数采用leakyrelu，其公式为：yi＝max(0,xi)+0.01min(0,xi)式中，xi和yi表示激活函数输入输出特征值，通过非线性非饱和激活函数，既能表示更高维的特征空间，又保留了小范围的梯度更新，避免了梯度消失现象，加快了模型收敛。步骤(8)中集成学习模型对母猪分娩时间预测的公式为：式中，q表示基模型的个数,αq表示第q个模型的权重，pq表示第q个模型的预测结果。本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属
技术领域：
：的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。当前第1页12当前第1页12