一种多源信息融合的生猪全链条智能监测方法及装置

1.本发明涉及农业信息技术领域，尤其涉及一种多源信息融合的生猪全链条智能监测方法及装置。


背景技术：

2.猪肉作为是中国大部分地区人民的主要食品，其生产出品的产量和质量对国民都至关重要。现有猪肉生产的产业链包括养殖、屠宰、加工、贮藏和流通主要节点，其中，每个节点都会影响出产猪肉的产量和质量。现有技术中，往往分别对出产猪肉的某个节点或者某个生产因素进行监测，监测形式和监测内容单一，不能完全对整个产业链进行全面的监测和判断。除此之外，现有技术中采用传统的数据处理方式对监测信息进行处理，数据处理过程缺乏高效性和快速性。因而，如何对生猪生产的健康情况进行高效全面的监测是亟待解决的问题。


技术实现要素：

3.有鉴于此，有必要提供一种多源信息融合的生猪全链条智能监测方法及装置，用以解决如何对生猪生产的健康情况进行高效全面的监测的问题。
4.本发明提供一种多源信息融合的生猪全链条智能监测方法，包括：
5.识别生猪耳标，确定生猪的身份信息；
6.根据所述生猪的身份信息，实时监控对应的生猪外表图像、生猪咳嗽声、生猪群体视频；
7.根据所述生猪外表图像，确定对应的体型特征值；
8.根据所述生猪咳嗽声转换成信号波形图，并对所述信号波形图进行声音特征值的提取；
9.根据所述生猪群体视频，确定对应的活动性特征值；
10.将所述体型特征、所述声音特征值和所述活动性特征输入至训练完备的神经网络模型，输出对应的健康等级；
11.根据所述健康等级，生成预警信息，并与所述身份信息关联；
12.将关联后的所述身份信息和所述预警信息进行可视化处理，以提醒相关工作人员对存在健康隐患的生猪进行处理。
13.进一步地，所述根据所述生猪外表图像，确定对应的体型特征值包括：
14.根据所述生猪外表图像进行边缘识别，确定对应的边缘轮廓，并根据所述边缘轮廓，确定生猪的体态特征，其中，所述体态特征包括生猪身长、生猪体重；
15.根据所述生猪外表图像进行目标识别，识别生猪表面的异常部位，并根据所述异常部位，确定生猪的皮表特征，其中，所述皮表特征包括异常部位面积、异常部位严重程度；
16.根据所述体态特征、所述皮表特征，确定所述体型特征值。
17.进一步地，所述根据所述生猪咳嗽声转换成信号波形图，并对所述信号波形图进
行声音特征值的提取包括：
18.将所述生猪咳嗽声转换成信号波形图；
19.对所述信号波形图进行声音特征值的提取；
20.将所述声音特征值与预设的标准声音特征值量进行对比。
21.进一步地，所述根据所述生猪群体视频，确定对应的活动性特征值包括：
22.根据所述身份信息和所述生猪群体视频，统计每只生猪的活动时长；
23.将所述活动时长和预设的活动时间标准值进行对比，确定对应的活动数值范围；
24.根据所述活动数值范围，确定生猪对应的活动性特征值。
25.进一步地，还包括：根据所述生猪群体视频进行视频分帧处理，并根据每帧视频的图像差异性，判断生猪之间是否存在打架行为，若有，则生成打架预警信息，以提醒相关的工作人员进行阻止。
26.进一步地，还包括：
27.获取生猪对应的食槽中的饲料重量；
28.将所述身份信息和所述饲料重量进行关联，将所述饲料重量与预设的标准饲料量进行对比，确定对应的饲料差值，若所述饲料差值超过第一预设值，则生成报警信息传递相关的工作人员，以及时针对对应的生猪进行检验。
29.进一步地，还包括：
30.获取生猪生产过程中每个节点形成的环境因素、加工因素、流通因素以及操作图像；
31.根据所述环境因素、所述加工因素、所述流通因素与预存的参数数据库进行对比，并根据对比结果，生成第一预警信息下发至对应节点，以提醒相关工作人员对生产过程进行调控；
32.根据所述操作图像与预存的操作规范图像库进行匹配对比，并根据对比结果，生成第二预警信息下发至对应节点，以提醒相关工作人员对操作规范进行调节。
33.进一步地，所述每个节点包括养殖节点、屠宰节点、加工节点、贮藏节点以及流通节点，其中，所述养殖节点依次包括选育子节点、饲喂子节点、环境子节点、疾病子节点以及成猪出栏子节点，所述屠宰节点依次包括生猪验收子节点、热水冲淋子节点、分切子节点、预冷子节点以及猪肉包装子节点，所述加工节点依次包括原料接收子节点、腌制子节点、斩拌子节点、蒸煮灭菌子节点以及成品包装子节点，所述贮藏节点包括入库子节点、储存子节点、出库子节点，所述流通节点包括进货交接子节点、运输子节点以及出货交接子节点。
34.进一步地，还包括：
35.获取所述养殖节点参数、所述屠宰节点参数、所述加工节点参数、所述贮藏节点参数以及所述流通节点参数；
36.对所述养殖节点参数、所述屠宰节点参数、所述加工节点参数、所述贮藏节点参数以及所述流通节点参数进行数据过滤，确定过滤后的待上传参数；
37.对每个所述待上传参数的处理时延进行升序排序，形成第一序列，且每个所述边缘节点新增的待上传参数放置在所述第一序列的末端；
38.根据每个所述边缘节点的传输时延对所述第一序列进行调节，并根据调节后的第一序列确定多个所述待上传参数的上传顺序；
39.依次对上传的多个所述待上传参数进行数据处理，并将数据处理结果可视化。
40.本发明还提供一种生猪智能生产装置，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上所述的多源信息融合的生猪全链条智能监测方法。
41.与现有技术相比，本发明的有益效果包括：首先，通过生猪耳标，确定生猪对应的身份信息，识别不同的生猪；然后，对不同的生猪，实时监控生猪对应的生猪外表图像，以识别生猪的外表健康程度，采集生猪的咳嗽声，提取其声音的特征，并对生猪群体视频进行有效的获取，以便判断生猪的活动状态；进而，根据生猪外表图像，确定对应的体型特征值，反馈生猪体表健康程度；同时，将生猪咳嗽声转化为对应的信号波形图，进行声音提取，以此反馈生猪的声音健康程度；同时，根据生猪群体视频，以此有效判断生猪的活动性；最后，根据体型特征值、声音特征值和活动性特征值，从多角度判断生猪健康程度，达到高效准确的判断效果。综上，本发明多方面采集生猪信息，保障生猪生产安全性，成本节约地排除了生猪的健康隐患，避免了人为诊断的复杂性，且实现了初步及时诊断的效果，进一步实现了生猪生产过程监控的高效性和准确性，有助于进行及时的反馈和预警，提高了生猪生产的安全性。
附图说明
42.图1为本发明提供的多源信息融合的生猪全链条智能监测方法的流程示意图；
43.图2为本发明提供的多源信息融合的生猪全链条智能监测系统的结构示意图。
具体实施方式
44.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
45.实施例1
46.本发明实施例提供了一种多源信息融合的生猪全链条智能监测方法，结合图1来看，图1为本发明提供的多源信息融合的生猪全链条智能监测方法的流程示意图，上述多源信息融合的生猪全链条智能监测方法包括步骤s1至步骤s8，其中：
47.在步骤s1中，识别生猪耳标，确定生猪的身份信息；
48.在步骤s2中，根据生猪的身份信息，实时监控对应的生猪外表图像、生猪咳嗽声、生猪群体视频；
49.在步骤s3中，根据生猪外表图像，确定对应的体型特征值；
50.在步骤s4中，根据生猪咳嗽声转换成信号波形图，并对信号波形图进行声音特征的提取；
51.在步骤s5中，根据生猪群体视频，确定对应的活动性特征值；
52.在步骤s6中，将体型特征、声音特征和活动性特征输入至训练完备的神经网络模型，输出对应的健康等级；
53.在步骤s7中，根据健康等级，生成预警信息，并与身份信息关联；
54.在步骤s8中，将关联后的身份信息和预警信息进行可视化处理，以提醒相关工作人员对存在健康隐患的生猪进行处理。
55.在本发明实施例中，首先，通过生猪耳标，确定生猪对应的身份信息，识别不同的生猪；然后，对不同的生猪，实时监控生猪对应的生猪外表图像，以识别生猪的外表健康程度，采集生猪的咳嗽声，提取其声音的特征，并对生猪群体视频进行有效的获取，以便判断生猪的活动状态；进而，根据生猪外表图像，确定对应的体型特征值，反馈生猪体表健康程度；同时，将生猪咳嗽声转化为对应的信号波形图，进行声音提取，以此反馈生猪的声音健康程度；同时，根据生猪群体视频，以此有效判断生猪的活动性；最后，根据体型特征值、声音特征值和活动性特征值，从多角度判断生猪健康程度，达到高效准确的判断效果。
56.优选地，步骤s3具体包括：根据生猪外表图像进行边缘识别，确定对应的边缘轮廓，并根据边缘轮廓，确定生猪的体态特征，其中，体态特征包括生猪身长、生猪体重；根据生猪外表图像进行目标识别，识别生猪表面的异常部位，并根据异常部位，确定生猪的皮表特征，其中，皮表特征包括异常部位面积、异常部位严重程度；根据体态特征、皮表特征，确定体型特征值。作为具体实施例，本发明实施例对生猪外表图像进行边缘识别，以达到对生猪体型特征值的监测，对生猪外表的健康程度进行判断。
57.优选地，步骤s4具体包括：将生猪咳嗽声转换成信号波形图；对信号波形图进行声音特征的提取；将声音特征与预设的标准声音特征量进行对比。作为具体实施例，本发明实施例对生猪咳嗽声进行初步地判断，通过对其声音的监测，提取对应的声音特征。
58.优选地，步骤s5具体包括：根据身份信息和生猪群体视频，统计每只生猪的活动时长；将活动时长和预设的活动时间标准值进行对比，确定对应的活动数值范围；根据活动数值范围，确定生猪对应的活动性特征值。作为具体实施例，本发明实施例通过检测生猪的活动频率，判断生猪的健康状况。
59.在本发明一个具体实施例中，生猪的应急反应动作监控，通过使用摄像机采集生猪活动的视频图像数据，使用便携麦克风采集生猪的声音信号，将视频图像数据与声音信号数据传输到边缘服务器上，边缘服务器处理分析视频图像数据与声音信号数据，得到生猪健康评估，通过实时监测生猪的应急反应动作，确保生猪健康状况以及猪肉品质，若监测到生猪健康程度处于较低的等级，则生成警报通知管理人员及时查看，是否出现疾病或者受伤等情况，防止生猪受损带来的损失。
60.需要说明的是，生猪的应急反应行为有方式很多，简述如下：采食时缓慢移动，会争抢，会排他，一般采食后会睡觉。外界声音刺激或有人来时会奔跑，静立，然后自由移动。有外来猪闯入时会群起攻击撕咬。有某些病猪会受到其它猪的围攻。正常猪排泄会去固定地点，病猪会随地大小便。
61.根据生猪应急反应行为，采用视频图像识别以及声音识别，可以监测生猪的健康状态，实现健康等级评估与预警。具体方法如下：
62.第一，视频图像识别生猪健康等级方法；
63.1)使用摄像机采集生猪活动的视频图像数据，将视频图像数据传输到边缘服务器上。
64.2)对采集到的视频图像数据进行预处理
65.根据颜色特征对视频图像进行分割，将生猪与背景分离，得到初步分割图像；通过将彩色图像由rgb转化到hsv进行颜色特征的识别分割；转换公式为：
66.r
′
＝r255
67.g
′
＝g/255
68.b
′
＝b/255
69.c
max
＝max(r，g，b)
70.c
min
＝min(r，g，b
71.δc
max
‑
c
min
[0072][0073]
v＝c
max
[0074]
使用膨胀、腐蚀和最大连通域分割等方法去除图像中的气泡与噪点；
[0075]
膨胀的公式为
[0076][0077]
该公式表示用b来对图像a进行膨胀处理，其中b是一个卷积模板或卷积核，其形状可以为正方形或圆形，通过模板b与图像a进行卷积计算，扫描图像中的每一个像素点，用模板元素与二值图像元素做“与”运算，如果都为0，那么目标像素点为0，否则为1。从而计算b覆盖区域的像素点最大值，并用该值替换参考点的像素值实现膨胀。
[0078]
腐蚀的公式为：
[0079][0080]
该公式表示图像a用卷积模板b来进行腐蚀处理，通过模板b与图像a进行卷积计算，得出b覆盖区域的像素点最小值，并用这个最小值来替代参考点的像素值；
[0081]
获取生猪图像的质心，提取生猪的移动轨迹，得到生猪移动的速度以及加速度；
[0082]
生猪移动的速度计算公式如下：
[0083][0084][0085]
其中，x和y表示生猪质心坐标，通过相邻两帧间的质心坐标的距离表示生猪移动的速度；
[0086]
生猪移动的加速度计算如下：
[0087][0088]
式中，采用了间隔为n的差值法对2n个速度数据进行差分来计算加速度。
[0089]
4)采用聚合层次聚类算法对数据样本进行分类，根据每个类的聚类中心值计算各个生猪健康评估的参数范围。
[0090]
具体过程：
[0091]
提取300个样本的移动速度和加速度数据，分别用层次聚类的方法进行聚类分析，其中算法选择、聚类计算数据选择以及生猪健康评估划分如下。
[0092]
通过比较各元素间的距离和运用不同算法计算产生的实际距离的相关系数来选择效果最好的算法，包括最短距离法、最长距离法、未加权平均距离法、质心距离法、内平方距离法五种方法，如表1所示，其中，r1为使用速度数据计算聚类信息的相关系数，r2为使用加速度计算聚类信息的相关系数。
[0093]
表1
[0094]
相关系数最短距离法最长距离法未加权平均距离法质心距离法内平方距离法r10.95560.93410.90680.90680.9057r20.96430.95450.95670.95670.8745
[0095]
由表1可得，使用速度计算和使用加速度计算的结果中，最短距离法的相关系数均为最大，因此选用最短距离法计算得到的系统聚类树作为划分依据。由系统聚类树和散点图可知将数据分为三类比较合适，因此，将生猪健康评估分为疾病、亚健康、健康三个等级，各等级中心值分别为7.7346、31.6225、50.4169。
[0096]
疾病等级对应的移动速度范围是[0，19.6786)，亚健康等级对应的移动速度范围是[19.6786，41.0197]，健康等级对应的移动速度大于41.0197。生猪健康评估划分如表2所示。
[0097]
表2
[0098]
生猪健康评估速度(pixels/s)疾病0～19.6786亚健康19.6786～41.0197健康>41.0197
[0099]
计算生猪应急反应动作的识别准确率，其公式为：
[0100][0101][0102]
其中，p
k
为第k类样本的识别准确率，a
k
为第k类样本被正确识别的个数，n
k
为第k类样本的总个数，p0为所有样本的平均识别准确率。
[0103]
第三，声音识别生猪健康等级方法如下：
[0104]
1)使用便携式声音采集器，采集生猪的声音信号数据，传输到边缘服务器上；
[0105]
2)对声音信号进行预处理，包括去噪、预加重、加窗分帧、端点检测等；
[0106]
1、谱减法去噪
[0107]
实际中采集到的信号是原信号和噪声信号的叠加，所以从输入信号的能量值中减去估计得来的噪声平均能量值，去除信号中的稳定噪声部分，最终得到纯净的语音。噪声段平均能量值d(k)为：
[0108][0109]
式中，l为第i帧信号的帧长，l
is
为对应的帧数，x
i
(k)为一帧数据第k个采样数据点的数值。
[0110]
2、预加重
[0111]
为了增强声音信号的高频分量，对音频信号进行预加重处理。预加重就是让声音信号通过一个数字滤波器，通过预加重，可以补偿猪只声音信号的高频特性。
[0112]
滤波器阶数为1，传递函数为
[0113]
h(z)＝1
‑
αz
‑1[0114]
式中，h(z)为z域中的传递函数，α为预加重系数，通常0.9＜α＜1.0
[0115]
设n时刻猪声音信号的采样值为x(n)，则经过预加重处理后的信号表达式如下：
[0116]
y(n)＝x(n)
‑
αx(n
‑
1)
[0117]
式中，y(n)为预加重后的信号序列。
[0118]
通常在原始声音信号s(n)上加窗函数w(n)即可实现声音信号的分帧，加窗后的信号s
w
(n)表示为：
[0119]
s
w
(n)＝s(n)
·
w(n)
[0120]
采用汉明窗作为窗函数，其加权系数能使旁瓣达到更小，旁瓣衰减速度慢。相对于矩形窗和海宁窗效果更好。其公式如下：
[0121][0122]
式中，l为窗口长度，表示该窗口中信号的点数。
[0123]
使用双门限检测法检测语音信号的起止点。能够降低环境噪声对端点检测的影响，更加准确地截取语音段信号；
[0124]
平均能量计算公式为：
[0125][0126]
平均过零率计算公式为
[0127][0128]
式中，l为帧长，x
i
(n)为第i帧数据第n个采样点的数值，sgn为符号函数，表示为：
[0129]
对采集到的声音信号使用快速傅里叶变换，公式如下：
[0130][0131]
式中，x(i，k)表示信号的频谱，x
i
(m)为原始声音信号，i为分帧下标。则信号的短时幅度谱可表示为|x(i，k)|，能量密度函数p(i，k)为：
[0132]
p(i，k)＝|x(i，k)|2[0133]
使用人工智能对提取的声音信号的频谱特征进行分类，将含有生猪咳嗽声、生猪正常声识别出来，对相应生猪进行标记。
[0134]
结合图像识别出的生猪健康评估的等级与生猪声音识别的结果一起，构建生猪健康的预警等级。
[0135]
表3
[0136]
健康等级声音识别结果预警等级应急活动情况
疾病生猪咳嗽声三级生猪不进食，对外界声音无反应亚健康生猪正常声二级生猪进食活动少健康生猪正常声一级生猪正常进食、活动
[0137]
对生猪健康预警等级共分为3个等级，其中，三级为最低等级，一级为最高等级。
[0138]
当生猪健康预警等级为三级，说明生猪有大概率患病，需要及时产生警报，通知兽医进行生猪疾病检测。当生猪健康预警等级为二级，说明生猪缺乏运动，生成提醒，通知管理人员查看具体原因。当生猪健康预警等级为一级，说明生猪正常进食与活动，情况良好。
[0139]
优选地，上述方法还包括：根据生猪群体视频进行视频分帧处理，并根据每帧视频的图像差异性，判断生猪之间是否存在打架行为，若有，则生成打架预警信息，以提醒相关的工作人员进行阻止。作为具体实施例，本发明实施例有效预警生猪之间的打架行为，并及时进行干预。
[0140]
优选地，上述方法还包括：获取生猪对应的食槽中的饲料重量；将身份信息和饲料重量进行关联，将饲料重量与预设的标准饲料量进行对比，确定对应的饲料差值，若饲料差值超过第一预设值，则生成报警信息传递相关的工作人员，以及时针对对应的生猪进行检验。作为具体实施例，本发明实施例通过对生猪的饲养情况进行监测，进一步全方面地判断生猪的健康状态。
[0141]
优选地，上述方法还包括：获取生猪生产过程中每个节点形成的环境因素、加工因素、流通因素以及操作图像；根据环境因素、加工因素、流通因素与预存的参数数据库进行对比，并根据对比结果，生成第一预警信息下发至对应节点，以提醒相关工作人员对生产过程进行调控；根据操作图像与预存的操作规范图像库进行匹配对比，并根据对比结果，生成第二预警信息下发至对应节点，以提醒相关工作人员对操作规范进行调节。作为具体实施例，本发明实施例对生猪生产的多个节点的参数进行监测，并及时预警进行调控。
[0142]
优选地，每个节点包括养殖节点、屠宰节点、加工节点、贮藏节点以及流通节点，其中，养殖节点依次包括选育子节点、饲喂子节点、环境子节点、疾病子节点以及成猪出栏子节点，屠宰节点依次包括生猪验收子节点、热水冲淋子节点、分切子节点、预冷子节点以及猪肉包装子节点，加工节点依次包括原料接收子节点、腌制子节点、斩拌子节点、蒸煮灭菌子节点以及成品包装子节点，贮藏节点包括入库子节点、储存子节点、出库子节点，流通节点包括进货交接子节点、运输子节点以及出货交接子节点。作为具体实施例，本发明实施例在每个节点设置对应的子节点，以达到对整个生产链的全面监测。
[0143]
优选地，上述方法还包括：获取养殖节点参数、屠宰节点参数、加工节点参数、贮藏节点参数以及流通节点参数；对养殖节点参数、屠宰节点参数、加工节点参数、贮藏节点参数以及流通节点参数进行数据过滤，确定过滤后的待上传参数；对每个待上传参数的处理时延进行升序排序，形成第一序列，且每个边缘节点新增的待上传参数放置在第一序列的末端；根据每个边缘节点的传输时延对第一序列进行调节，并根据调节后的第一序列确定多个待上传参数的上传顺序；依次对上传的多个待上传参数进行数据处理，并将数据处理结果可视化。作为具体实施例，本发明实施例通过对各个节点进行大数据处理，实现实时高效的上传数据，保证网络资源的合理分配，达到有效监测各个生产环节的目的，同时将数据处理结果可视化，便于信息的管理和操作。
[0144]
在本发明一个具体的实施例中，物联网传感器并行传输，通过目标规划的方法调
整带宽将任务传输到边缘服务器上。当任务由边缘服务器传输到云端服务器，对边缘服务器上的任务进行排序，任务按照处理时延的大小升序排列，新的任务加入放置在序列最后，计算每个任务的传输时延，计算每个任务的排队时延，将二者相加，按照两者之和的大小降序排列，将传输和排队时延之和最大的任务优先传输，当有新任务加入队列重新计算当前每个任务的传输和排队时延，再将任务进行降序排列，将传输和排队时延之和最大的任务优先传输，使得每个传输时延和排队时延大的任务能够优先传输，减少排队时延。
[0145]
其中，具体的任务传输方法流程：
[0146]
物联网传感器将任务传输到边缘服务器的方法
[0147]
(1)计算传输时延
[0148]
根据香农定理
[0149]
c＝blog2(1+s/n)
[0150]
其中，c为信道支持的最大速度或者叫信道容量，b是信道的带宽，s是平均信号功率，n是平均噪声功率；s/n即信噪比。
[0151]
传输时延可以表示为
[0152][0153]
其中，d
i
为任务i的数据量，b
i
为任务i在传输过程中所获取的通信带宽，s为平均信号功率，即第i个任务所在的移动终端将任务i发送至边缘服务器时提供的发射功率与发射所用信道的信道增益的乘积，n为信道内平均噪声功率。
[0154]
(2)采用目标规划，其模型为
[0155]
目标为：
[0156]
s.t.c1：∑b
i
≤b
[0157]
约束条件为：c2：b
op
[0158]
其中，b
op
是最优的传输信道资源分配方案，b为无线通信链路传输数据的总带宽。
[0159]
任务通过此方式传输到边缘服务器上。
[0160]
任务由边缘服务器传输到云端服务器的方法
[0161]
(1)计算每个任务的处理时延d
proc
[0162][0163]
式中，每个任务的数据量d
i
比上边缘服务器的计算能力f
ie
为每个任务的处理时延d
proc
。
[0164]
(2)将每个任务按照处理时延从小到大的顺序进行排序，形成升序队列q
[0165]
q＝(d1，d2，...，d
i
，...，d
n
)
[0166]
其中，队列首端任务优先上传，新的任务添加到队列尾端。
[0167]
定义集合before为排在任务i前面的所有任务的集合，m为集合中任务个数。
[0168]
当任务处理完成后，不需要进行排队，就按照处理时延大小的升序队列直接传输，即理想情况，上一任务传输完，下一任务恰好处理完。当任务进行排队时，按照以下方法传输。
[0169]
(3)计算每个任务的传输时延d
trans
[0170][0171]
式中，每个任务的数据量d
i
比上传输速率c为每个任务的传输时延d
trans
。
[0172]
(4)计算每一任务的排队时延d
q
[0173][0174]
式中，j属于集合before，集合为排在任务i前面的所有任务的集合，排在任务i前面的所有任务的传输时延之和即为排队时延。
[0175]
(6)将每个任务的传输时延和排队时延相加，进行降序排列，上传传输时延和排队时延之和最大的任务。
[0176]
(7)当有新任务加入队列，重新计算每个任务的排队时延，根据新的传输时延与排队时延之和进行降序排列，优先上传传输时延和排队时延之和最大的任务。
[0177]
通过计算任务的传输时延和排队时延之和，将传输时延和排队时延之和最大的优先传输，以减小任务的排队时延，使任务快速传输。
[0178]
任务通过此方法传输至云端服务器。
[0179]
优选地，上述基于物联网的生猪全链条质量信息智能检测方法还包括：将多个养殖节点参数、多个收储节点参数、多个加工节点参数以及多个流通节点参数分别与对应的预存参数指标库进行对比，并根据参数对比结果对对应节点进行预警。由此，通过有效的数据比对进行预警。
[0180]
优选地，上述基于物联网的生猪全链条质量信息智能检测方法还包括：将出产生猪的生产信息转换为对应的rfid标签。由此，通过rfid标签的设置便于消费者的直接的信息溯源。
[0181]
在本发明一个具体的实施例中，在生猪健康监测的过程中，分别设立24路摄像机，其中，24路摄像机进行生猪养殖过程全视频监测所需要的带宽与存储空间，包括摄像机向边缘节点传输视频数据的上行带宽，以及边缘节点接收视频数据的下行带宽，摄像机本地存储一个月的视频数据的存储空间，摄像机一个月清理一次视频数据，边缘节点的存储空间。
[0182]
其中，使用边缘计算的方法上传24路摄像机的视频图像，流程如下：
[0183]
第一步：在操作视频流中检测运动目标物体，对操作视频流的视频数据进行识别，判断是否存在运动目标，提取存在运动目标的提取视频片段，然后对提取到的提取视频数据进行下一步处理；
[0184]
其中，采用三帧差分法，提取存在运动目标的视频片段，具体公式描述如下：
[0185][0186]
其中g(x，y)是g1(x，y)与g2(x，y)进行逻辑相与的结果，判断连续三帧图像发生变化，则说明存在运动目标，提取存在运动目标的视频片段。由此，在进行操作行为规范的识别前，需要识别是否存在运动目标，即操作人员，存在操作人员才有进一步进行操作行为规范识别的意义，通过帧差法，提取存在运动目标的视频片段，去除冗余的视频片段，将存在
运动目标的视频片段进行下一步处理。
[0187]
第二步：利用帧过滤模型进行预处理，其中，帧过滤模型的公式如下：
[0188][0189]
其中，o
i，s
为视频流s中的第i帧的目标识别数，d
up
为ecn上传视频帧数据量，d
max
为网络单位时间内允许传输最大数据量，t
d
为任务完成时间，τ
d
为完成该任务允许的最大处理时间，t
e
为s发送到云计算中心的总时延，t
c
为直传云平台的时延。由此，在当前网络传输能力和总时延均满足条件后，ecn controller分配上传通道，开始任务调度。其中，帧过滤主要是多路视频流数据冗余问题，在使用多路摄像机采集数据时，如果对所有视频数据进行处理，处理的时间会较长，且浪费资源，对于重复的视频内容，即不同的摄像机采集的同个场景内容，通过帧过滤，选取识别目标对象最多的视频，对该视频进行识别分析，以此减少数据处理的时间，解决视频数据冗余问题；
[0190]
第三步：进行关键帧的提取，具体流程如下：
[0191]
联合直方图表示两幅大小相同的图像i
c
和i
j
间其对应位置上像素对的灰度组合出现的频率。对于同为m
×
n的图像i
i
(x，y)、、i
i
(x，y)，对应的像素值对(p,q)的联合概率表示为:
[0192][0193]
其中，
[0194]
根据上式可知，对所有可能的像素值对(p,q)求f(p，q)值，可得到图像i
i
(x，y)和i
j
(x，y)的联合直方图.联合直方图对称性定义为
[0195][0196]
其中，α是联合直方图对角线上的权值，在此为小于的正常量，而β＝(p
‑
q)
n
则表示远离对角线元素的权重,公式中n为整数,δ更直观地表示出了两帧之间的相似性，当δ越趋近于1，则表示联合直方图越对称，即说明两图像相似越大，当目标快速出现、亮度等视频内容发生较为明显变化时，帧间相似性也发生相应变化，一般相邻帧间的相似性δ∈[0，1]，为避免关键帧的遗漏，设阈值t
′
＝0.9。
[0197]
根据监控视频连续的特性，在一段连续变化的视频序列中，连续的前后视频帧存在的特征值是渐变的，即相邻帧的图像信息值变化不大。图像的熵信息体现了图像包含的信息量，而关键帧则是一段视频主要内容的代表，因此关键帧所含的信息量也相对较大.为减少数据的冗余，本文提出在间隔较近的视频序列中选取图像的信息熵值最大的一帧作为关键帧.图像信息嫡的计算公式为：
[0198][0199]
式中：n指图像的灰度级数，x
i
表示像素(x,y)的灰度值，p(x
i
)为各灰度级出现的概率。为防止提取的关键帧中由于光照变化等原因造成关键帧存在冗余，在相邻较近的候选帧中选取信息熵最大的一帧作为关键帧。间隔为20帧的非相邻帧间熵差则可明显地区分出来。由此，基于联合直方图将关键帧提取，关键候选帧序列间隔小于20时，选取信息熵最大的一帧作为关键帧.这样得到的关键帧即可有效地反映连续视频序列的主要内容，又减少了数据的冗余。
[0200]
第四步：进行任务调度，具体流程如下：
[0201]
在ecn controller分配上传通道后，ecn反馈上传视频帧的队列信息。不同网络环境下，ecn集群动态调整后上传的视频流参数各不相同，为了方便ecn controller统一调度管理，将视频帧组的数据量表示为d
e，i
。ecn平均识别目标数可以表示为：
[0202][0203]
其中，为ecn平均识别目标数，d
e，i
为视频帧组的数据量，b
c
为链路容量，o
i
为第i帧的识别目标数。由此，ecn controller对于每个上传任务的调度分配有了统一度量标准
[0204]
在t时刻，集群中有n个ecn任务等待被调度，每个任务在r轮调度后的完成时间记为t
i
，在截止期之前调度完成才能达到ecn上传任务的有效性，完成时间满足t
i
＜τ
i
，，其中τ
i
是第i个ecn上传任务的最晚完成时间。任务调度需考虑系统有限的可用资源，不能超过阈值，有
[0205][0206]
其中，r为调度的轮数，为第i帧数据量，m
t
为任务调度资源的上限阈值；
[0207]
在考虑系统资源的分配情况和ecn上传符合截止期的条件下，任务调度时间模型为：
[0208][0209][0210]
其中，t
i
为调度后的完成时间，r为调度的轮数，d
i
为第i帧数据量，m
t
为任务调度资源的上限阈值，τ
i
为第i个ecn上传任务的最晚完成时间，由此，多路摄像机采集的视频流数
据不能一起上传，需要分配好上传的资源与顺序，实现高效地传输。
[0211]
第五步：进行操作行为识别，具体流程如下：
[0212]
首先，提取视频中每帧人体关节点位置坐标：利用open
‑
pose方法对视频中每帧人体进行姿态估计，得到人体脖子、胸部、头部、右肩、左肩、右臀部、左臀部、右手肘、左手肘、右膝盖、左膝盖、右手腕、左手腕、右脚踝和左脚踝这15个关节点的位置坐标，其中第k个关节点的坐标表示为l
k
＝(x
k
，y
k
)，k从1到15；
[0213]
然后，对每个关节点的位置坐标进行归一化,用归一化之后的15个关节点位置坐标构成坐标矩阵p，其中，(x
k
，y
k
)表示第k个关节点归一化之后的坐标；
[0214]
进而，计算相邻两帧人体关节点距离变化量矩阵：根据相邻两帧的坐标矩阵p
n
和p
n
‑1，计算相邻两帧关节点位置坐标变化量矩阵,根据关节点位置坐标变化量矩阵计算关节点距离变化量矩阵d；
[0215]
进而，生成视频特征，按照视频的时间长度将视频平均分成4段，将每一段视频中相邻两帧产生的距离变化量矩阵d相加，得到各段累计距离变化量矩阵di，i从1到4，对di进行l2归一化，得到归一化之后的di'，将累计距离变化量矩阵di'串联起来作为整个视频的特征：f＝[d1'，d2'，d3'，d4']；
[0216]
然后，使用神经网络对视频进行分类：将视频数据分成训练集和测试集两部分，将训练集视频的特征输入到神经网络中进行训练，得到训练好的神经网络分类模型，把测试集视频的特征输入到训练好的神经网络分类模型中得到分类结果。
[0217]
优选地，对运动目标进行检测，当摄像机采集到运动物体的视频数据时，根据算法检测分析，判断是否存在运动目标，将存在运动目标的视频数据进行上传，而不用上传所有视频数据，仅上传存在运动目标物体的视频数据，以此减少传输的数据量和数据传输的时间，节省带宽。可在目标检测阶段，使用帧间差分法进行运动目标检测，由此，通过帧间的图像差分判断是否存在运动目标，运动目标检测提取存在运动目标的视频片段，不处理无用视频片段。
[0218]
实施例2
[0219]
本发明实施例提供一种多源信息融合的生猪全链条智能监测系统，结合图2来看，图2为本发明提供的多源信息融合的生猪全链条智能监测系统的流程示意图，上述多源信息融合的生猪全链条智能监测系统包括多个监测设备和信息溯源设备6，多个监测设备包括养殖节点监测设备1、屠宰节点监测设备2、加工节点监测设备3、贮藏节点监测设备4以及流通节点监测设备5，用于监测不同的节点参数，节点参数包括养殖节点参数、屠宰节点参数、加工节点参数、贮藏节点参数以及流通节点参数，基于物联网的生猪生产全链条信息智能检测系统具体包括：
[0220]
养殖节点监测设备1，用于监测养殖节点下的多个养殖节点参数，并传输至信息溯源设备，以反馈生猪的养殖地环境质量；
[0221]
屠宰节点监测设备2，用于监测屠宰节点下的多个屠宰节点参数，并传输至信息溯源设备，以反馈猪肉屠宰过程是否规范；
[0222]
加工节点监测设备3，用于监测加工节点下的多个加工节点参数，并传输至信息溯
源设备，以反馈猪肉加工过程是否规范；
[0223]
贮藏节点监测设备4，用于监测贮藏节点下的多个贮藏节点参数，并传输至信息溯源设备，以反馈猪肉贮藏过程是否规范；
[0224]
流通节点监测设备5，用于监测流通节点下的多个流通节点参数，并传输至信息溯源设备，以反馈猪肉流通过程是否规范；
[0225]
信息溯源设备6，包括食品安全大数据平台601和电子标签设备602，其中，食品安全大数据平台用于对养殖节点参数、屠宰节点参数、加工节点参数、贮藏节点参数以及流通节点参数进行大数据处理，形成溯源信息，并将大数据处理结果可视化；电子标签设备用于将溯源信息转换为对应的rfid标签；
[0226]
食品安全大数据平台包括云平台、边缘节点管理器以及分别与多个监测设备对应的多个边缘节点，其中：边缘节点，用于接收对应的节点参数，并对节点参数进行数据过滤，确定过滤后的待上传参数；边缘节点管理器，用于对每个待上传参数的处理时延进行升序排序，形成第一序列，且每个边缘节点新增的待上传参数放置在第一序列的末端；还用于根据每个边缘节点的传输时延对第一序列进行调节，并根据调节后的第一序列确定多个待上传参数的上传顺序；云平台，用于依次对上传的多个待上传参数进行数据处理，并将数据处理结果可视化。
[0227]
在本发明实施例中，全面地监控生猪生产链上的各个节点状态，并利用大数据平台实现对多种监测数据的快速处理，将处理结果进行可视化操作，展示给相关人员，方便对生猪生产的品控和管理；除此之外，通过信息溯源设备中的电子标签设备，将生猪的生产信息烧录至对应的rfid标签，以便消费者通过扫描rfid标签的途径，快速掌握生猪的生产信息(批号、生产商、生产地等)，以此全面地保证生猪生产信息的公开度、透明度，便于消费者的选择与监管，进一步加强了安全性；除此之外，获取多个节点参数，利用数据过滤的操作，有效地避免了数据冗余，同时，根据处理时延进行升序排序，进行有效的虚拟机资源分配，合理地规划出第一序列，最后，再根据传输时延对第一序列进行调节，确定最终各个待上传参数的上传顺序，以此保证高效快速的数据处理和数据上传，合理地分配了各个节点参数的上传顺序。
[0228]
优选地，养殖节点参数依次包括选育参数、饲喂参数、环境参数、疾病参数以及成猪出栏参数，养殖节点监测设备包括：选育监测设备，用于监测选育参数，以反馈仔猪选育过程中的养殖情况和耳标标记情况，其中，选育参数包括仔猪品种、仔猪体况、生猪耳标标记操作图像中的至少一种；饲喂监测设备，用于监测饲喂参数，以反馈饲喂生猪过程中的饲喂情况和环境情况，其中，饲喂参数包括生猪饲料质量、生猪饮水质量、生猪进食量中的至少一种；环境监测设备，用于监测环境参数，以反馈生猪生长环境的情况，其中，环境参数包括猪舍温湿度、猪舍空气质量、猪舍固体废物残留情况、猪舍污水残留情况、猪舍排泄物抗生物残留情况、生猪群体图像中的至少一种；疾病监测设备，用于监测疾病参数，以反馈生猪是否健康，其中，疾病参数包括生猪疾病情况、生猪体温、生猪体态、生猪咳嗽声、投喂操作图像中的至少一种；成猪出栏监测设备，用于监测成猪出栏参数，以反馈生猪出栏的质量，其中，成猪出栏参数包括出栏生猪体重、出栏生猪背膘厚、出栏生猪外形、出栏生猪活动性、出栏生猪检疫信息、出栏操作图像中的至少一种。作为具体实施例，本发明实施例在养殖节点合理设置多个子节点，实现全方位地监测。
[0229]
优选地，屠宰节点参数包括生猪验收参数、热水冲淋参数、分切参数、预冷参数以及猪肉包装参数，屠宰节点监测设备包括：生猪验收监测设备，用于监测生猪验收参数，以反馈验收的生猪的质量，其中，生猪验收参数包括验收生猪体重、验收生猪背膘厚、验收生猪外形、验收生猪活动性、验收操作图像中的至少一种；热水冲淋监测设备，用于监测热水冲淋参数，以反馈冲淋热水时的操作规范，其中，热水冲淋参数包括热水温度、冲淋操作图像中的至少一种；分切监测设备，用于监测分切参数，以反馈分切猪肉的操作规范，其中，分切参数包括分切车间温湿度、分切操作图像中的至少一种；预冷监测设备，用于监测预冷参数，以反馈预冷猪肉的操作规范，其中，预冷参数包括猪肉营养含量、猪肉污染物残留、预冷车间环境质量、预冷操作图像中的至少一种；猪肉包装监测设备，用于监测猪肉包装参数，以反馈包装猪肉的操作规范，其中，猪肉包装参数包括猪肉金属残留、猪肉异物残留、包装操作图像中的至少一种。作为具体实施例，本发明实施例在屠宰节点合理设置多个子节点，实现全方位地监测。
[0230]
优选地，加工节点参数依次包括原料接收参数、腌制参数、斩拌参数、蒸煮灭菌参数以及成品包装参数，加工节点监测设备包括：原料接收监测设备，用于监测原料接收参数，以反馈加工过程中接收时的原料的质量和接收时的操作规范，其中，原料接收参数包括接收猪肉质量、接收操作图像的至少一种；腌制监测设备，用于监测腌制参数，以反馈清腌制猪肉的操作规范，其中，腌制参数包括腌制车间温湿度、腌制操作图像中的至少一种；斩拌监测设备，用于监测斩拌参数，以反馈斩拌猪肉的操作规范，其中，斩拌参数包括斩拌车间温湿度、斩拌操作图像中的至少一种；蒸煮灭菌监测设备，用于监测蒸煮灭菌参数，以反馈蒸煮灭菌猪肉时的操作规范，其中，蒸煮灭菌参数包括蒸煮温度、蒸煮操作图像中的至少一种：成品包装监测设备，用于监测成品包装参数，以反馈成品猪肉的包装规范，其中，成品包装参数包括成品猪肉营养含量、成品猪肉污染物残留、包装车间环境质量、成品包装操作图像的至少一种。作为具体实施例，本发明实施例在加工节点合理设置多个子节点，实现全方位地监测。
[0231]
优选地，贮藏节点参数包括入库参数、储存参数、出库参数，贮藏节点监测设备包括：入库监测设备，用于监测入库参数，以反馈入库的操作规范，其中，贮藏参数包括贮藏猪肉质量、贮藏环境质量、入库操作图像中的至少一种；储存监测设备，用于监测储存参数，以反馈储存环境的质量，其中，储存参数包括仓库温湿度、仓库空气质量中的至少一种；出库监测设备，用于监测出库参数，以反馈出库的操作规范，其中，出库参数包括出库猪肉质量、出库操作图像中的至少一种；作为具体实施例，本发明实施例在贮藏节点合理设置多个子节点，实现全方位地监测。
[0232]
优选地，流通节点参数包括进货交接参数、运输参数以及出货交接参数，流通节点监测设备包括：进货交接监测设备，用于监测进货交接参数，以反馈进货交接的操作规范，其中，进货交接参数包括交接猪肉质量、交接操作图像的至少一种；运输过程监测设备，用于监测运输参数，以反馈运输的操作规范，其中，运输参数包括运输车辆存储空间的温湿度、运输时间、运输轨迹、运输人员信息、运输图像中的至少一种；出货交接监测设备，用于监测出货交接参数，以反馈出货交接的操作规范，其中，出货交接参数包括出货猪肉质量、出货操作图像的至少一种。作为具体实施例，本发明实施例在流通节点合理设置多个子节点，实现全方位地监测。
[0233]
实施例3
[0234]
本发明实施例提供了一种多源信息融合的生猪全链条智能监测装置，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上所述的多源信息融合的生猪全链条智能监测方法。
[0235]
本发明公开了一种多源信息融合的生猪全链条智能监测方法及装置，首先，通过生猪耳标，确定生猪对应的身份信息，识别不同的生猪；然后，对不同的生猪，实时监控生猪对应的生猪外表图像，以识别生猪的外表健康程度，采集生猪的咳嗽声，提取其声音的特征，并对生猪群体视频进行有效的获取，以便判断生猪的活动状态；进而，根据生猪外表图像，确定对应的体型特征值，反馈生猪体表健康程度；同时，将生猪咳嗽声转化为对应的信号波形图，进行声音提取，以此反馈生猪的声音健康程度；同时，根据生猪群体视频，以此有效判断生猪的活动性；最后，根据体型特征值、声音特征值和活动性特征值，从多角度判断生猪健康程度，达到高效准确的判断效果。
[0236]
本发明技术方案，多方面采集生猪信息，保障生猪生产安全性，成本节约地排除了生猪的健康隐患，避免了人为诊断的复杂性，且实现了初步及时诊断的效果，进一步实现了生猪生产过程监控的高效性和准确性，有助于进行及时的反馈和预警，提高了生猪生产的安全性。
[0237]
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。