一种基于视觉行为反馈的猪舍温度控制方法及系统与流程

本发明属于畜禽养殖智能化工艺及设备、智能控制技术领域，特别涉及一种基于视觉行为反馈的猪舍温度控制方法及系统。

背景技术：

随着养猪业向集约化、规模化方向发展，传统的单纯使用人工饲养的方式已不适合大规模养猪。人们提出了一些自动化、智能化养猪工艺和设备，来降低养猪的劳动强度、提高养殖效率。

猪床是生猪养殖过程中使用的一种重要设备，猪的大部分时间都在猪床上度过。为提高养猪的福利化水平，进而提高养猪质量，人们研究、设计了具有温度调节功能的猪床。这些猪床一般使用温度传感器采集猪床内的温度，使用plc或工控机将实时监测到的温度与预设的温度相比较，通过控制开启或关闭加热和冷却设施来自动调节温度，使猪床内温度保持在猪喜欢的一个温度范围。

这种采用温度反馈的方法能够较好地实现对猪床内的温度控制。但是，将温度控制保持在一个范围内并不意味着所有的猪总是对环境感到适宜。同一个温度范围，对不同环境、不同地域、不同品种、不同阶段的猪可能并不完全适宜。例如，南方和北方的空气湿度不同，即使将猪床温度控制在相同范围内，猪的感受可能不一样。

因此，根据猪的感受，对猪床内的温度等环境参数进行调节，是一个更为合理的方法。猪对不同温度等环境参数的感受，会表现出一些不同的行为。在炎热季节猪的呼吸加快、采食行为减少、大量饮水、肢体伸张、群体散开、活动减少,低温能导致猪抗病力降低，易发生传染病、气管炎、支气管炎、胃肠炎等，低温对仔猪的影响更为严重，在低温环境下，仔猪患肺炎、腹泻、营养不良的比例大幅度。如果能够识别这些行为特征与诸如温度等环境参数的关系，就可以建立行为与环境参数的关系模型，根据猪的行为反馈，对环境参数进行调节。由于这种调节方式是基于猪的真实体感的，因此将比基于温度反馈的温度控制方法具有更好的调节效果。

为此，本发明提出一种基于视觉行为反馈的猪舍温度控制方法及系统，利用摄像装置采集猪在猪床的行为视频，将其传送给计算机，计算机利用预设的猪行为分类模型，对视频中猪的行为进行分类预测，并根据预测结果对猪床本体的顶板进行开度调节，以达到对猪床本体内的温度调节。

技术实现要素：

本发明目的是提供一种基于视觉行为反馈的猪舍温度控制方法及系统，通过采集猪在猪床本体内的行为视频，根据视频对猪的行为特征进行智能分析处理，识别预测猪的行为，根据预测结果对猪床本体的顶板进行开度调节，以达到对猪床本体内的温度调节。

为解决上述技术问题本发明提供了一种基于视觉行为反馈的猪舍温度控制系统，包括依次连接的：猪床本体模块，用于猪在休息时进行躺卧，以及对猪观察的场所；视频采集模块，用于对猪行为状态的观察，以及视频数据信息的采集；视频图像处理与识别模块，用于对视频图像进行收集储存，对图像中猪的行为进行识别分类；控制模块，由控制算法和数模转换卡构成，接收视频图像处理与识别模块的识别结果，分析识别结果并输出控制指令，并经d/a转换和信号放大，将转换放大后的控制量发送到猪床本体模块中的伺服电机，通过控制伺服电机实现对顶板的控制，使顶板打开或关闭；显示模块，由显示器组成，对接收采集到的视频以及视频图像处理与识别模块识别的结果并进行播放显示。

所述的猪床本体模块包括底板，地板的左右侧以及后侧设置有侧板，左右侧板的顶部设置有滑槽，左右侧板的上部后侧设置有传动杆，传动杆侧面套装有滚子轴承、传动齿轮，滚子轴承外圈与左右侧板固定连接，传动齿轮左侧面固定连接有翼板，传动杆中部设置有顶板，顶板前端设置有吊帘，翼板上端面与顶板固定连接；右侧板的右侧面设置有导轨板，导轨板内设置有齿条，齿条的下端设置有伺服电机，伺服电机输出端套装有主动齿轮，主动齿轮与齿条相互啮合，传动杆左端套装有传动齿轮，传动齿轮与齿条相互啮合。

所述的翼板可在滑槽内转动。

所述的齿条可以在导轨板内上下滑动。

所述的视频采集模块包括一个摄像机，摄像机采集猪床本体内猪的活动视频，并将视频信号传送给视频图像处理与识别模块。

所述的视频图像处理与识别模块由计算机硬件及软件系统构成，计算机硬件包括信号接收模块、储存硬盘，软件系统由帧提取、图像压缩、行为分析识别模块构成。

所述的行为分析识别模块由分类模型、离线更新模块构成，分类模型由卷积神经网络构成，分类模型模块能够识别出压缩图像中猪的行为类别，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。

所述的信号接收模块接收视频采集模块传送的视频，并将视频保存在储存硬盘中，显示器用来播放接受的视频以及预测结果；所述的软件系统中的帧提取模块实时提取接收到的视频的每一帧图像；图像压缩模块将帧提取模块提取的图像压缩至分类模型所要求的输入图像的大小；行为识别模块通过分类模型接收压缩的图像，经过卷积、池化、再卷积、再池化、全连接层的逐层前馈计算，输出图像的猪行为类别，并将输出的结果输送至显示模块，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。

本发明还提供了一种基于视觉行为反馈的猪舍温度控制方法，包括：

s1：在猪床本体内安装摄像头，摄像头安装在后侧板上部，使摄像头能够清晰的拍摄到猪的活动行为，通过摄像头完成对猪床内猪的活动视频信息的采集；

s2：对采集到的视频文件进行接收储存，并经过帧提取、图像压缩处理，再由行为分析识别模块对压缩过的图片进行行为分类识别并对分类模型进行离线训练更新，将分类识别结果输出至显示模块和控制模块；

s3：显示模块将分类识别结果和采集到的视频文件传送至显示器进行实时显示播放；

s4：控制模块对分类识别结果分析并输出控制指令，并经d/a转换和信号放大，将转换放大后的控制量发送到猪床本体模块中的伺服电机，通过控制伺服电机的转动来带动齿条，齿条带动传动轴转动，驱动轴带动顶板转动来控制顶板的打开角度，调节猪床本体内部空间与外部空间的连通程度，进而调节猪床本体内的温度。

所述的步骤s2包括：

s21：信号接收模块将视频信号进行接收，并储存在储存硬盘中；

s22：帧提取模块提取保存在储存硬盘的视频的帧，图像压缩模块将帧提取模块提取的图像压缩至分类模型模块所要求的输入图像的大小；

s23：图像压缩模块将压缩后的图像传递给行为分析识别模块中预设的分类模型模块；

s24：使用卷积神经网络对压缩后的图像进行卷积、池化、再卷积、再池化、将操作结果归一化、展平，送入全连接层，逐层前馈计算，在输出层得到图像的类别，实现对图像的分类，分类结果为猪对环境的体感类别，分为热、适宜、冷三个类别，并将分类识别结果输出至显示模块和控制模块。

s25：离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。

本发明的一种基于视觉行为反馈的猪舍温度控制方法及系统，采用猪床本体内设置的摄像头采集猪的活动视频，并将采集到的视频收集到储存硬盘中，帧提取模块提取保存在储存硬盘的视频的帧，图像压缩模块将帧提取模块提取的图像进行压缩，行为分析识别模块将压缩图像进行识别预测，预测出外部温度对猪只是否适宜，并将预测结果传送至显示器进行显示，控制模块将预测结果进行分析并输出控制指令，将转换放大后的控制量发送到猪床本体模块中的伺服电机，通过控制伺服电机实现对顶板的打开或关闭控制，以达到对猪床内温度的调控。

附图说明

图1为本发明的一种基于视觉行为反馈的猪舍温度控制系统组成示意图。

图2为本发明的一种基于视觉行为反馈的猪舍温度控制系统中猪床本体结构示意图。

图3为本发明的一种基于视觉行为反馈的猪舍温度控制系统中猪床本体部分结构示意图。

图4为本发明的一种基于视觉行为反馈的猪舍温度控制系统中猪床本体局部结构示意图。

图5为本发明的一种基于视觉行为反馈的猪舍温度控制方法中的视频采集模块、控制模块、显示模块、视频图像处理与识别模块之间工作流程示意图。

图6为本发明的一种基于视觉行为反馈的猪舍温度控制方法中从视频提取的一帧图像。

图7为本发明的一种基于视觉行为反馈的猪舍温度控制方法中将图6压缩后的图像。

图8为本发明的一种基于视觉行为反馈的猪舍温度控制方法中图7的0通道（r）灰度图像。

图9为本发明的一种基于视觉行为反馈的猪舍温度控制方法中图7的1通道（g）灰度图像。

图10为本发明的一种基于视觉行为反馈的猪舍温度控制方法中图7的2通道（b）灰度图像。

图11为本发明的一种基于视觉行为反馈的猪舍温度控制方法中猪行为的图像识别卷积神经网络结构示意图。

具体实施方式

实施例1，如图1、图2、图3和图4所示，一种基于视觉行为反馈的猪舍温度控制系统，包括依次连接的：猪床本体模块，用于猪在休息时进行躺卧，以及对猪观察的场所；视频采集模块，用于对猪行为状态的观察，以及视频数据信息的采集；视频图像处理与识别模块，用于对视频图像进行收集储存，对图像中猪的行为进行识别分类；控制模块11，由控制算法和数模转换卡构成，接收视频图像处理与识别模块的识别结果，分析识别结果并输出控制指令，并经d/a转换和信号放大，将转换放大后的控制量发送到猪床本体模块中的伺服电机，通过控制伺服电机实现对顶板的控制；显示模块，由显示器组成，对接收采集到的视频以及视频图像处理与识别模块识别的结果并进行播放显示；猪床本体模块包括底板14，底板14采用20mm厚密度板，底板14的左右侧以及后侧设置有侧板1，侧板1采用12mm厚密度板，左右侧板的顶部设置有滑槽，左右侧板的上部后侧设置有传动杆5，传动杆5侧面套装有滚子轴承12、传动齿轮8，滚子轴承12外圈与左右侧板1固定连接，传动齿轮8左侧面固定连接有翼板13，翼板13可在滑槽内转动，传动杆5中部设置有顶板3，顶板3采用12mm厚度中空塑料板，顶板3前端设置有吊帘2，吊帘2优选为pvc条形吊帘，猪床本体的长、宽、高尺寸可根据实际需要定制，猪可通过吊帘2进出猪床本体；翼板13上端面与顶板3固定连接；右侧板的右侧面设置有导轨板9，导轨板9内设置有齿条7，齿条7可以在导轨板9内上下滑动，齿条7的下端设置有伺服电机10，伺服电机10输出端套装有主动齿轮4，主动齿轮4与齿条7相互啮合，传动杆5左端套装有传动齿轮8，传动齿轮8与齿条7相互啮合；视频采集模块包括一个摄像机，摄像机安装在左侧板的上部，摄像机采集猪床本体内猪的活动视频，摄像机24小时连续拍摄猪床本体内猪的行为活动视频，摄像机与计算机连接并将视频信号传送给视频图像处理与识别模块；视频图像处理与识别模块由计算机硬件及软件系统构成，计算机硬件包括信号接收模块、储存硬盘，软件系统使用python、opencv、scikit-image、tensorflow等语言和api开发，由帧提取、图像压缩、行为分析识别模块构成，行为分析识别模块由分类模型、离线更新模块构成，分类模型由卷积神经网络构成，分类模型模块能够识别出压缩图像中猪的行为类别，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新；信号接收模块接收视频采集模块传送的视频，并将视频以mp4格式保存在储存硬盘中，显示器用来播放接受的视频以及预测结果；所述的软件系统中的帧提取模块实时提取接收到的视频的每一帧图像；图像压缩模块将帧提取模块提取的图像压缩至分类模型所要求的输入图像的大小；行为识别模块通过分类模型接收压缩的图像，经过卷积、池化、再卷积、再池化、全连接层的逐层前馈计算，输出图像的猪行为类别，以判断猪对环境的感知情况（例如：冷、适宜、热），并将输出的结果输送至显示模块中的显示器进行展示，离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。

实施例2，如图5—11所示一种基于视觉行为反馈的猪舍温度控制方法，包括：

s1：在猪床本体内安装摄像头，摄像头安装在后侧板的上部位置，摄像头能够清晰的拍摄到猪的活动行为，通过摄像头完成对猪的信息采集，摄像机24小时连续拍摄猪床本体内猪的行为活动视频，摄像机与计算机连接并将视频信号实时传递给计算机硬件，视频的采样率为29.3帧/秒，图像的分辨率为宽×高=544×966像素，如图6所示；

s2：对采集到的视频文件进行接收储存，并经过帧提取、图像压缩处理，再由行为分析识别模块对压缩过的图片进行行为分类识别并对分类模型进行离线训练更新，将分类识别结果输出至显示模块和控制模块，具体过程包括：

s21：信号接收模块将视频信号进行接收，并储存在储存硬盘中；

s22：帧提取模块提取保存在储存硬盘的视频的帧，提取的帧为彩色图像或灰度图像，灰度图像的处理只有一个灰色颜色通道，彩色图像的处理有3个颜色通道：红（r），绿（g），蓝（b），不同颜色的通道从不同的维度反应图像的特征，使图像信息更加丰富；图像压缩模块将帧提取模块提取的图像压缩至分类模型模块所要求的输入图像的大小，压缩后的图像如图7所示，压缩图像具有3个通道，它的r，g，b通道的灰度图分别如图8，9，10所示；

s23：图像压缩模块将压缩后的图像传递给行为分析识别模块中预设的分类模型模块，分类模型由卷积神经网络构成，结构如图11所示，该神经网络接收3通道宽×高=28×50像素的图像作为输入，具有2个卷积层(conv1，conv2)、2个池化层(pool1，pool2)，和全连接层。卷积层conv1有3通道输入6通道（6个卷积核）输出，滤波器的大小为3×3，步长为1，将输入图像卷积为6幅宽×高=28×50像素的图像结果，池化层pool1有6个输入通道6个输出通道，滤波器的大小为2×2，步长为2，将卷积层conv1输出的6幅图像池化为6幅宽×高=14×25像素的图像结果，卷积层conv2有6通道输入12通道（12个卷积核）输出，滤波器的大小为3×3，步长为1，将池化层pool1输出的图像卷积为12幅宽×高=14×25像素的图像结果，池化层pool2有12个输入通道12个输出通道，滤波器的大小为2×2，步长为2，将卷积层conv2输出的6幅图像池化为12幅宽×高=7×13像素的图像结果，将池化层pool2的输出展平为7×13×12=1092个像素，对这1092个像素归一化送入全连接层，全连接层的输入层(in)有1092个神经元，有2个隐层(h1，h2)，各50个神经元，输出层(output)具有3个神经元。所有神经元采用relu激励函数。神经网络的3个输出0，1，2分别代表猪对环境的体感类别，即热、适宜、冷三个类别；

s24：使用卷积神经网络对压缩后的图像进行卷积、池化、再卷积、再池化、将操作结果归一化、展平，送入全连接层，逐层前馈计算，在输出层得到图像的类别，实现对图像的分类，分类结果为猪对环境的体感类别，分为热、适宜、冷三个类别，并将分类识别结果输出至显示模块和控制模块。

s25：离线更新模块根据更新的已标注猪行为图像数据对分类模型进行离线训练更新。

s3：显示模块将分类识别结果和采集到的视频文件传送至显示器进行实时显示播放；

s4：控制模块接收分类识别结果，根据识别结果并输出控制指令，控制模块由控制算法和数模转换卡组成，控制算法为：

热：打开顶板，输出控制量0fffh（h表示十六进制）；

适宜：顶板保持不变，输出控制量=原控制量；

冷：关闭顶板，输出000h；

将控制量写入到数模(d/a)转换卡的模拟量输出端口，数模转换卡优选为actrlrunkpci-824数模转换芯片，并经d/a转换和信号放大，将转换放大后的控制量发送到猪床本体模块中的伺服电机，数模转换卡为12位，输出电压选择0-5v，控制量0fffh对应+5v电压，设置为对应打开猪床顶板至从完全关闭到打开极限位置的90%程度位置；控制量000h对应0v电压，设置为对应打开猪床顶板至从完全关闭到打开极限位置的5%程度位置，数模转换卡输出的电压经信号放大至24v，作为伺服电机的供电电压，伺服电机的型号是40m-r3210a5-e，工作电压为24v，功率为50w，伺服电机转动，伺服电机的转动来带动主动齿轮转动，主动齿轮带动齿条沿导轨板上下移动，齿条带动传动轴转动，传动轴带动顶板转动来控制顶板的打开角度，调节猪床本体内部空间与外部空间的连通程度，进而调节猪床本体内的温度。

本发明的一种基于视觉行为反馈的猪舍温度控制方法及系统，采用猪床本体内设置的摄像头采集猪的活动视频，并将采集到的视频收集到储存硬盘中，帧提取模块提取实时视频或保存在储存硬盘的视频的帧，图像压缩模块将帧提取模块提取的图像进行压缩，行为分析识别模块将压缩图像进行识别预测，识别结果输出至显示模块和控制模块，显示模块对识别结果以及采集视频进行播放，控制模块接收识别结果后分析并输出控制指令，将转换放大后的控制量发送到猪床本体模块中的伺服电机，通过控制伺服电机实现对顶板的控制，将顶板打开或关闭，调节猪床本体内部空间与外部空间的连通程度，进而调节猪床本体内的温度。该发明能够充分利用猪大部分时间在猪床上的大量行为信息，使用摄像机监测猪在猪床的行为信息，并通过视频图像处理与识别模块实时地对猪的行为图像进行分类，识别猪对猪床内环境温度的感知，并根据猪对猪床内温度的实际感受所表现出来的行为特征来对猪床温度进行调节，由于这种温度控制方法是基于猪的体感，因此通过该装置对猪床内温度控制使猪床内温度更加适宜猪的体感温度。

以上所述仅为本发明的优选实施例而已，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。