一种基于物联网和计算机视觉的家畜行为智能监控系统的制作方法
【专利摘要】本发明首次通过融合物联网和计算机视觉技术实现对真实养殖场景的家畜的行为进行监测分析，首次构建基于无线WiFi技术的视频监控及传感器网络软硬件系统，克服传统电缆安装成本高、耗时长、扩展困难的问题，通过融合物联网和计算机视觉技术实现对真实养殖场景的奶牛的行为进行监测分析，实现对几大类日常行为的监测分析，包括采食、饮水、反刍、排泄、运动、休息、探究等行为，同时监测异常事件的发生，对异常行为进行自动报警。
【专利说明】一种基于物联网和计算机视觉的家畜行为智能监控系统
【技术领域】
[0001]本发明涉及智慧农业【技术领域】，特别涉及一种利用物联网和计算机视觉技术对家畜行为进行监控的系统。
【背景技术】
[0002]在家畜的生长过程中，采食、饮水、反刍、排泄、探究、应激等行为贯穿整个过程，并可以反映出生长发育过程中的不同阶段和不同生理状态。这些行为又可表现为正常行为和异常行为。其中，正常行为是遗传、本能以及后天对环境适应的反映，是家畜自我维护福利和健康成长的表现；而异常行为通常是在接受不良刺激或者生活在恶劣条件下所表现出的有悖于其生物学习性的行为及事件，如病态行为、应激行为等事件是家畜福利下降的一个重要表现。因此，在饲养家畜的生产活动中及时、主动的诊断各种异常行为及事件，对于提高养殖生产效率，维护家畜的福利、提高奶牛等家畜的牛奶的营养水平都有十分重要的经济意义，这也是当前农业信息化及精准化研究的主要方向。
[0003]现阶段国内主要采用传统的人工观察方法对家畜的行为进行观察判断，由于人的时间、精力限制，养殖效率不高，且由于奶牛等家畜的养殖对环境的要求较高，工作人员无法频繁的进入养殖区域，因而很容易忽视养殖过程中的一些异常行为及事件，从而造成严重的经济损失。有些养殖场虽然安装有摄像装置，但也只是用于事后查验，未发挥预警监督的作用。随着智能视频分析与自动识别技术的发展，视频感知将成为最重要的感知技术，成为物联网信息感知层最重要的技术之一，视频物联网技术将成为最重要的物联网感知技术，而物联网也将因其智能、灵活、易于扩展和管理等优点而引起视频监控系统的重大变革。通过物联网技术及智能视频分析技术应用于家畜养殖领域，可以自动发现监控场景中的异常情况，及时发出警报并提供有用信息，从而更加有效地协助工作人员处理异常，提高家畜养殖的智能化、自动化水平。
【发明内容】
[0004]本发明首次通过融合物联网和计算机视觉技术实现对真实养殖场景的家畜的行为进行监测分析，首次构建基于无线WiFi技术的视频监控及传感器网络软硬件系统，克服传统电缆安装成本高、耗时长、扩展困难的问题，通过融合物联网和计算机视觉技术实现对真实养殖场景的奶牛的行为进行监测分析，实现对几大类日常行为的监测分析，包括采食、饮水、反刍、排泄、运动、休息、探究等行为，并在此基础上通过统计模型对上述日常行为进行统计分析，监测异常事件的发生，对异常行为进行自动报警。
[0005]本发明提供了一种家畜行为智能监控系统，包括:家畜数据采集装置、无线传输模块、远程监控中心和信息中心数据库；其中，家畜数据采集装置将采样得到的数据通过无线传输模块传送到远程监控中心，远程监控中心对采样数据进行分析处理，信息中心数据库用于存储采集到的数据。
[0006]更进一步的，所述无线传输模块为WIFI传输模块；所述家畜数据采集装置包括多台摄像机、多个传感器、多台非接触式红外测温仪和无源RFID标签；所述多台摄像机之间间隔30度角并呈圆周布置，架设于畜舍的顶部，所述每台摄像机配置有WIFI通信单元，从而使多台摄像机之间构成高速无线局域网，所述多台摄像机的WIFI通信单元分别与智能监控系统的WIFI传输模块链接，从而使每台摄像机构成一个WIFI网络节点，并向远程监控中心传输视频数据；所述多个传感器包括布置于家畜身体特定部位的运动传感器、地磁传感器、声音传感器，以及布置于畜舍的温湿度传感器，系统通过运动传感器定时采集家畜的运动数据，通过地磁传感器定时采集家畜站立或爬卧的姿态数据，通过声音传感器检测家畜咳嗽的音频信号以进行感冒症状的报警，通过温湿度传感器采集畜舍的环境数据；所述每个传感器配置有WIFI通信单元，并与智能监控系统的WIFI传输模块链接，从而使每个传感器构成一个WIFI网络节点，传感器之间构成高速无线局域网；所述多台非接触式红外测温仪被分别固定在每台摄像机上，并与摄像机共享WIFI通信，以实现在视频监控的同时检测家畜的体温；所述无源RFID标签位于项圈上并安装于家畜颈部，该无源RFID标签与家畜食槽上的RFID识别终端相对应，RFID识别终端读取标签数据后通过WIFI网络将该家畜的饮食数据信息传送到远程监控中心，提供给工作人员进行判断。
[0007]更进一步的，当非接触式红外测温仪测量到家畜身体部位体温达到或超过正常值时，非接触式红外测温仪上的报警器自动发出报警信息，远程监控中心接收报警信息并通过所述摄像机保存测温时的当前视频图片，报警信息和视频图片信息由无线WIFI网络传输到信息中心数据库，工作人员可通过视频图片上家畜的身份标识确定具体个体。
[0008]更进一步的，所述声音传感器采用项圈式声音传感器，其与无源RFID标签设置于同一项圈上。
[0009]本发明还提供了一种对家畜行为进行监控的方法，包括如下步骤:步骤一:通过所述多台摄像机、多个传感器、多台非接触式红外测温仪和无源RFID标签定时采集家畜的运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据和视频信息，并将上述采集到的数据信息通过WIFI网络传送到远程监控中心；步骤二:远程监控中心对上述采集到的运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据和视频信息进行数据融合，并建立视频信息和运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据之间的对应关系，对家畜的静态行为特征和动态行为特征进行识别；步骤三:远程监控中心根据识别出的家畜的静态行为特征和动态行为特征，来确定家畜的日常行为特征；步骤四:远程监控中心在家畜的日常行为特征的基础上，通过提取家畜的某一行为特征的频率和传感器获取的运动数据、姿态数据、体温数据、声音数据、来获得家畜的异常行为特征，并对异常行为特征进行实时的监控，及时发出报警信息，提供给工作人员参考。
[0010]更进一步的，步骤二还包括:通过对视频中家畜的外形边缘轮廓、个体外部形状、颜色进行匹配判断，识别家畜的静态行为特征；通过提取视频内容中的关键场景对象和提取运动传感器、地磁传感器采集数据中的时域特征、频域特征来识别动态行为特征。
【专利附图】
【附图说明】:
[0011]图1是系统硬件架构图；
[0012]图2监控摄像机及非接触式红外测温仪布置示意图；
[0013]图3系统传感器不意图；[0014]图4是智能监控方法流程图。
【具体实施方式】
[0015]以下具体实施例中的家畜以奶牛为例，但不限于奶牛。
[0016]智能监控系统主要包括搭建面向真实养殖场景的行为监测系统及开发软件平台。智能分析系统硬件部分如图1所示，具体如下:
[0017](I)通过架设在牛舍项部的无线高清摄像机采集实时录制的监控视频资源，获得视觉信息，通过控制高清摄像机的摆放位置，获得最佳的可视效果，每台摄像机上安装高性能无线通信单元，优选为WIFI通信单元，使每台摄像机作为一个WIFI网络节点与系统的WIFI传输模块相连，从而构成高速无线局域监控网，在牛舍中的任何地方都可以建立连接，便于快速安装使用。同时通过无线访问节点与信息中心网络无缝链接，实现视频信息的双向传播，达到无线网和有线网的互联。优选的是，若将牛场表示成360度圆，则每隔30度架设一个无线摄像头，对奶牛进行全方位监控，此时监控死角最小，目标识别效果最佳(如图2所示)；
[0018](2)将非接触红外测温仪固定在每台摄像机上，并与摄像机共享WIFI通信单元以减少成本。在视频监控的同时检测奶牛的体温，当测量到奶牛身体部位体温达到或超过正常值时，非接触红外测温仪上的报警器发出报警信息，系统则会认为奶牛在发烧或者身体某部位有炎症病变，并通过高清摄像机保存测温时的当前视频图片。报警和图片信息由无线WIFI网络传输到信息中心，工作人员可通过高清图片上奶牛的身份标识确定具体个体；实践中，通过该方式对奶牛乳腺炎检测效果良好。
[0019](3)通过在牛颈上安装RFID标签，优选为无源RFID标签，若将该无源RFID标签制作为项圈式，则使用拆卸方便且不易脱落，效果最佳。该RFID标签与奶牛食槽上的RFID识别终端相对应，从而对每头牛进行身份识别，以便跟踪每头牛的饮食情况和规律，当某头奶牛饮食过于频繁或者长期不来饮食时，可推断该牛可能发生异常情况，RFID识别终端通过无线网络将该奶牛的饮食数据信息传送到监控中心，并进行报警，提供给工作人员进行二次判断；通过采用RFID技术识别牛的饮食状况，从而判断牛的肠胃疾病。
[0020](3)通过安装于牛体或牛舍附近的各类传感器，包括运动传感器、地磁传感器、声音传感器、温湿度传感器，其布放位置可以根据家畜身体特征或养殖环境而具体确定，其中运动传感器用于监测奶牛的运动；地磁传感器用于监测奶牛站立或爬卧的姿态；声音传感器优选的米用项圈式声音传感器，其可与RFID挂在同一项圈上,声音传感器可检测奶牛咳嗽声音，进行感冒症状报警；在牛舍安装温湿度传感器采集奶牛生活环境数据，获取环境信息；此外，上述各类传感器配置有WIFI无线通信单元用于传输传感器数据或报警信息，同时也使每个传感器成为一个WIFI网络节点。各类传感器如图3所示。
[0021](4)配备无线WiFi传输模块，用来传输摄像机和传感器采集到的数据，由于WiFi具有更好的可扩展性和安全性，因而能够实现电信级的多媒体通信服务。
[0022](5)开发基于计算机视觉和微传感器信息的日常行为识别分析及异常事件的自动预警技术，在监控中心通过对各摄像机传回来的视频及各类传感器回传的个体信息进行定时的目标检测、行为识别等智能分析技术，对可能发生的异常行为或事件进行报警。监控中心可将感知到的多媒体信息自动存储到后台信息中心数据库，并可与信息中心交互操作，既减轻存储空间压力，也可保证数据的实时保存。
[0023]智能监控方法如图4所示，具体如下:
[0024](I)面向行为识别的特征提取和选择 [0025]构造牛舍的背景模型，实现对奶牛个体的检测、跟踪和识别。针对奶牛的不同行为其行为表现和特征不同，开发针对不同类型行为识别的关键特征的选择和提取方法。
[0026]基于传感器信息的幅值、方差等时域特征，采用类平均距离算法对时域特征进行分类，以两类样本距离的最大值与最小值作为划分静态和动态行为的阈值，并以此阈值将行为初步分为静态和动态两大类。
[0027]对于一些静态行为，如休息、反刍等由于其不属于运动状态，从视觉角度出发，本系统选择和提取包括奶牛个体的外形边缘轮廓、个体外部形状、颜色等图像特征进行匹配判断，用于静态行为的监测分析。
[0028]为了得到足够稳定的特征点，需要提取在较大程度投影变换、光照变化、图像模糊以及噪声存在情况下仍然稳定的特征点。因此通过计算三个尺度上的Laplacian算子的极大值方法对基准图像I。进行特征点提取后，需要对提取的关键点进一步处筛选，以使最终得到的关键点k在上述干扰存在的情况下仍然具有较高的被检测概率P (k)。
[0029]当摄像头距离目标较远时，目标上的局部区域可被视为平面，则通过对当前视角下的目标图像进行仿射变换能够模拟目标在其他视角条件下的情况，设仿射变换矩阵为A，可被分解为如下形式:
[0030]
【权利要求】
1.一种家畜行为智能监控系统，包括:家畜数据采集装置、无线传输模块、远程监控中心和信息中心数据库；其中，家畜数据采集装置将采样得到的数据通过无线传输模块传送到远程监控中心，远程监控中心对采样数据进行分析处理，信息中心数据库用于存储采集到的数据。
2.如权利要求1所述的一种家畜行为智能监控系统，其特征在于: 所述无线传输模块为WIFI传输模块； 所述家畜数据采集装置包括多台摄像机、多个传感器、多台非接触式红外测温仪和无源RFID标签； 所述多台摄像机之间间隔30度角并呈圆周布置，架设于畜舍的顶部，所述每台摄像机配置有WIFI通信单元，从而使多台摄像机之间构成高速无线局域网，所述多台摄像机的WIFI通信单元分别与智能监控系统的WIFI传输模块链接，从而使每台摄像机构成一个WIFI网络节点，并向远程监控中心传输视频数据； 所述多个传感器包括布置于家畜身体特定部位的运动传感器、地磁传感器、声音传感器，以及布置于畜舍的温湿度传感器，系统通过运动传感器定时采集家畜的运动数据，通过地磁传感器定时采集家畜站立或爬卧的姿态数据，通过声音传感器检测家畜咳嗽的音频信号以进行感冒症状的报警，通过温湿度传感器采集畜舍的环境数据；所述每个传感器配置有WIFI通信单元，并与智能监控系统的WIFI传输模块链接，从而使每个传感器构成一个WIFI网络节点，传感器之间构成高速无线局域网； 所述多台非接触式红外测温仪被分别固定在每台摄像机上，并与摄像机共享WIFI通信，以实现在视频监控的同时检测家畜的体温； 所述无源RFID标签位于项圈上并安装于家畜颈部，该无源RFID标签与家畜食槽上的RFID识别终端相对应，RFID识别终`端读取标签数据后通过WIFI网络将该家畜的饮食数据信息传送到远程监控中心，提供给工作人员进行判断。
3.如权利要求2所述的一种家畜行为智能监控系统，其特征在于: 当非接触式红外测温仪测量到家畜身体部位体温达到或超过正常值时，非接触式红外测温仪上的报警器自动发出报警信息，远程监控中心接收报警信息并通过所述摄像机保存测温时的当前视频图片，报警信息和视频图片信息由无线WIFI网络传输到信息中心数据库，工作人员可通过视频图片上家畜的身份标识确定具体个体。
4.如权利要求2所述的一种家畜行为智能监控系统，其特征在于: 所述声音传感器采用项圈式声音传感器，其与无源RFID标签设置于同一项圈上。
5.一种利用权利要求1-4任意一项所述的家畜行为智能监控系统对家畜行为进行监控的方法，包括如下步骤: 步骤一:通过所述多台摄像机、多个传感器、多台非接触式红外测温仪和无源RFID标签定时采集家畜的运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据和视频信息，并将上述采集到的数据信息通过WIFI网络传送到远程监控中心； 步骤二:远程监控中心对上述采集到的运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据和视频信息进行数据融合，并建立视频信息和运动数据、姿态数据、体温数据、声音数据、环境数据、饮食数据之间的对应关系，对家畜的静态行为特征和动态行为特征进行识别；步骤三:远程监控中心根据识别出的家畜的静态行为特征和动态行为特征，来确定家畜的日常行为特征； 步骤四:远程监控中心在家畜的日常行为特征的基础上，通过提取家畜的某一行为特征的频率和传感器获取的运动数据、姿态数据、体温数据、声音数据、来获得家畜的异常行为特征，并对异常行为特征进行实时的监控，及时发出报警信息，提供给工作人员参考。
6.如权利要求5所述的对家畜行为进行监控的方法，其特征在于，步骤二还包括:通过对视频中家畜的外形边缘轮廓、个体外部形状、颜色进行匹配判断，识别家畜的静态行为特征； 通过提取视频内容中的关键场景对象和提取运动传感器、地磁传感器采集数据中的时域特征、频域特征来识`别动态行为特征。
【文档编号】G01D21/02GK103488148SQ201310435506
【公开日】2014年1月1日 申请日期:2013年9月24日 优先权日:2013年9月24日
【发明者】高韬 申请人:华北电力大学（保定）