一种水产养殖生物防盗监测方法及系统与流程

文档序号：17543278发布日期：2019-04-29 14:59阅读：313来源：国知局

本发明涉及声学、计算机视觉和信息科学领域，特别是涉及一种水产养殖生物防盗监测方法及系统。

背景技术：

水产养殖是当前水产品的主要供给模式，也是重要的农业经济来源。为了确保水产养殖产量稳定，防盗是水产养殖日常管理中的一项重要工作。水产养殖中出现鱼虾类被盗情况，严重影响了人们的养殖积极性，对养殖户造成了一定的损失。传统的养殖防盗系统包括养狗看护，建立一定的鱼塘围网或者围栏阻拦外人，起到了一定的防盗效果。但是当盗窃者通过取投毒药和破坏防盗设施等手段进行盗窃时，无法起到防范作用，无法进行实时监测。

技术实现要素：

本发明的目的是提供一种水产养殖生物防盗监测方法及系统，实现水产养殖生物防盗的实时监测。

为实现上述目的，本发明提供了如下方案：

一种水产养殖生物防盗监测方法，包括：

获取红外摄像机采集到的监控视频；

对所述监控视频的各幅图像进行人体识别，得到可疑人员图像；

对所述可疑人员图像进行人体姿态检测，确定所述可疑人员正在进行偷盗行为的第一嫌疑度；

获取声学传感器实时采集到的环境声音信号序列；

从所述环境声音信号序列中滤出水波浪声音序列；

将所述水波浪声音序列与波浪声阈值进行对比，得到存在偷盗行为的第二嫌疑度；

结合所述第一嫌疑度和所述第二嫌疑度确定是否发生盗窃，并在发生盗窃时进行预警。

可选的，所述对所述监控视频的各幅图像进行人体识别，得到可疑人员图像，具体包括：

将所述监控视频转化为多幅图像帧；

将多幅所述图像帧输入训练好的人体识别网络模型中进行人体和背景的识别，得到可疑人员图像；

所述人体识别网络模型的训练过程为：

将包含人体与背景的图像样本数据集输入训练模型进行训练，得到训练好的人体识别网络模型。

可选的，所述对所述可疑人员图像进行人体姿态检测，确定所述可疑人员正在进行偷盗行为的第一嫌疑度，具体包括：

利用卷积神经网络确定所述可疑人员图像中任意一个像素点为人体各关节点的概率以及各关节点对应的像素点相连组成肢体的概率，初步确定各肢体的位置和方向；

根据任意一个像素点为人体各关节点的概率确定各关节点的候选像素点集合；

根据肢体的位置和方向将各关节点所对应的候选像素点集合进行连接，使相连的肢体的连接处共用同一个像素点，计算连接后肢体匹配的总体权重，确定使所述总体权重最大的各关节点的位置，得到各关节点的实际位置；

根据各关节点的实际位置沿肢体的位置和方向将各关节点依次连接，得到人体姿态；

根据所述人体姿态确定所述可疑人员正在进行偷盗行为的第一嫌疑度。

可选的，所述从所述环境声音信号序列中滤出水波浪声音序列，具体包括：

获取声学传感器在未发生偷盗行为时采集的背景声音信号序列；

计算所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度；

对所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度进行对比，得到对比结果；

当所述对比结果表示所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度的差异小于预设阈值时确定环境声音信号序列中未包含水波浪声音序列；

当所述对比结果表示所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度的差异大于或等于预设阈值时，利用数字滤波器从所述环境声音信号序列中滤除所述背景声音信号序列，得到水波浪声音序列。

可选的，所述将所述水波浪声音序列与波浪声阈值进行对比，得到存在偷盗行为的第二嫌疑度，具体包括：

对所述水波浪声音序列进行时频分析，得到水波浪声音序列的功率谱密度；

判断所述水波浪声音序列的功率谱密度的能量集中值对应的频率是否落在波浪声频率阈值范围内，得到判断结果；

根据所述判断结果计算存在偷盗行为的第二嫌疑度。

一种水产养殖生物防盗监测系统，包括：

视频获取模块，用于获取红外摄像机采集到的监控视频；

人体识别模块，用于对所述监控视频的各幅图像进行人体识别，得到可疑人员图像；

姿态检测模块，用于对所述可疑人员图像进行人体姿态检测，确定所述可疑人员正在进行偷盗行为的第一嫌疑度；

声音获取模块，用于获取声学传感器实时采集到的环境声音信号序列；

滤波模块，用于从所述环境声音信号序列中滤出水波浪声音序列；

声音对比模块，用于将所述水波浪声音序列与波浪声阈值进行对比，得到存在偷盗行为的第二嫌疑度；

预警模块，用于结合所述第一嫌疑度和所述第二嫌疑度确定是否发生盗窃，并在发生盗窃时进行预警。

可选的，所述人体识别模块包括：

图像转化单元，用于将所述监控视频转化为多幅图像帧；

训练单元，用于将包含人体与背景的图像样本数据集输入训练模型进行训练，得到训练好的人体识别网络模型；

模型识别单元，用于将多幅所述图像帧输入训练好的人体识别网络模型中进行人体和背景的识别，得到可疑人员图像。

可选的，所述姿态检测模块包括：

肢体关节初步确定单元，用于利用卷积神经网络确定所述可疑人员图像中任意一个像素点为人体各关节点的概率以及各关节点对应的像素点相连组成肢体的概率，初步确定各肢体的位置和方向；

候选像素确定单元，用于根据任意一个像素点为人体各关节点的概率确定各关节点的候选像素点集合；

实际位置确定单元，用于根据肢体的位置和方向将各关节点所对应的候选像素点集合进行连接，使相连的肢体的连接处共用同一个像素点，计算连接后肢体匹配的总体权重，确定使所述总体权重最大的各关节点的位置，得到各关节点的实际位置；

关节点连接单元，用于根据各关节点的实际位置沿肢体的位置和方向将各关节点依次连接，得到人体姿态；

第一嫌疑度计算单元，用于根据所述人体姿态确定所述可疑人员正在进行偷盗行为的第一嫌疑度。

可选的，所述滤波模块包括：

背景声音获取单元，用于获取声学传感器在未发生偷盗行为时采集的背景声音信号序列；

功率谱计算单元，用于计算所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度；

对比单元，用于对所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度进行对比，得到对比结果；

未含水波浪声音确定单元，用于当所述对比结果表示所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度的差异小于预设阈值时确定环境声音信号序列中未包含水波浪声音序列；

滤波单元，用于当所述对比结果表示所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度的差异大于或等于预设阈值时，利用数字滤波器从所述环境声音信号序列中滤除所述背景声音信号序列，得到水波浪声音序列。

可选的，所述声音对比模块包括：

时频分析单元，用于对所述水波浪声音序列进行时频分析，得到水波浪声音序列的功率谱密度；

判断单元，用于判断所述水波浪声音序列的功率谱密度的能量集中值对应的频率是否落在波浪声频率阈值范围内，得到判断结果；

第二嫌疑度计算单元，用于根据所述判断结果计算存在偷盗行为的第二嫌疑度。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明所公开的一种水产养殖生物防盗监测方法及系统，采用声音监测对水波浪声音进行监测，利用视频监测识别可疑人员的姿态，从而实现防盗监测、判断和报警，实现水产养殖生物防盗的实时监测。同时这两种监测方式结合进行监测，使监测结果相对单一监测手段的准确度更高。并且，这两种监测方式都是被动监测方式，避免对水中生物进行声波和光波刺激，从而能够避免对水中生物的辐射伤害。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的水产养殖生物防盗监测方法的方法流程图；

图2为本发明实施例1的水产养殖生物防盗监测方法中卷积神经网络图；

图3为本发明实施例2中的人体检测结果图；

图4为本发明实施例2中对各个关节进行标记的示意图；

图5为本发明实施例2中关节连接结果图；

图6为无偷窃行为时环境背景噪声信号序列图；

图7为存在波浪时含水面波浪的声音信号序列图；

图8为声学监测结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种水产养殖生物防盗监测方法及系统，实现水产养殖生物防盗的实时监测。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1：

图1为本发明实施例1的水产养殖生物防盗监测方法的方法流程图。

参见图1，该水产养殖生物防盗监测方法，包括：

步骤101：获取红外摄像机采集到的监控视频；红外摄像机安装于水产养殖基地的高处。

步骤102：对所述监控视频的各幅图像进行人体识别，得到可疑人员图像；

步骤103：对所述可疑人员图像进行人体姿态检测，确定所述可疑人员正在进行偷盗行为的第一嫌疑度；

步骤104：获取声学传感器实时采集到的环境声音信号序列；声学传感器安装于水池上方。

步骤105：从所述环境声音信号序列中滤出水波浪声音序列；

步骤106：将所述水波浪声音序列与波浪声阈值进行对比，得到存在偷盗行为的第二嫌疑度；

步骤107：结合所述第一嫌疑度和所述第二嫌疑度确定是否发生盗窃，并在发生盗窃时进行预警。

其中，步骤102具体包括：

将所述监控视频转化为多幅图像帧frame(i,numberframes)，其中i表示当前帧数，numberframes代表总的视频帧数；

将多幅所述图像帧frame(i,numberframes)输入训练好的人体识别网络模型中进行人体和背景的识别，得到可疑人员图像，同时分析出对应的特征映射f；

所述人体识别网络模型的训练过程为：

将包含人体与背景的图像样本数据集输入训练模型进行训练，得到训练好的人体识别网络模型。作为一种可选的实施方式，图像样本数据集可以选用pascalvos数据集，训练模型选用yolo-v3网络模型。

其中，步骤103具体包括：

step1：利用卷积神经网络确定所述可疑人员图像中任意一个像素点为人体各关节点的概率以及各关节点对应的像素点相连组成肢体的概率，初步确定各肢体的位置和方向。

该步骤中，卷积神经网络cnn为两个。

图2为本发明实施例1的水产养殖生物防盗监测方法中卷积神经网络图。

参见图2，其中一路cnn(branch1)预测身体各关节点的二维置信度图s^t，另一路cnn(branch2)预测各关节点之间的亲和区域l^t。每个置信度图是身体相关节点出现在每个像素位置可能性的2d表示，即代表相应位置(某个像素)出现某个关节点的概率；亲和区域则表示各个关节点之间的一种关联程度，即各关节点对应的像素点相连组成肢体的概率，并记录肢体的位置和方向。

其中ρ¹和φ¹是第一阶段的预测结果，在随后的第t阶段中，来自前一阶段两个分支的预测结果以及原始输入图像inputimage的特征映射f将被输入到每个分支中并产生更精确的预测结果，最终得到输出集合：

s＝(s1,s2,…,sj),j∈{1,…,j}

l＝(l1,l2,...,lc)，c∈{1,...,c}

j表示人身上的第j个关节点，s为相应位置出现第j个关节点的概率，用置信度图表示；c表示第c个肢体，即人身体的第c个连接，例如膝关节和踝关节的连接，输出l是对关节点之间相连组成肢体的概率，用相应连接方向上的单位向量或零向量表示。

step2：根据任意一个像素点为人体各关节点的概率确定各关节点的候选像素点集合。

任意一组关节点的候选位置集合为其中nj是关节点j的候选数量，即是关节点j的第m次被检测到时的候选位置。

step3：根据肢体的位置和方向将各关节点所对应的候选像素点集合进行连接，使相连的肢体的连接处共用同一个像素点，计算连接后肢体匹配的总体权重，确定使所述总体权重最大的各关节点的位置，得到各关节点的实际位置。该步骤的实质为为所有可能的连接集合找到最优匹配，判断出关节点的最佳连接，其中j1和j2表示一个肢体的两个关节点，变量表示候选位置和是否存在连接，1为构成连接，0为不构成连接。

具体过程为：

将与单个肢体c相对应的关节对j1和j2，进行分集，得到关节点的候选位置和来自的点和的点之间的连线代表关节对之间可能的连接，对每条连线进行亲和区域积分得到权重e：

其中分别为指向同一点o的向量，p(u)表示内插于关节点之间的位置；

得到各关节点连线的权重e之后，找到一组最大匹配的连线，使得目标函数值最大，此时能够保证连线两个点分别在两个候选位置集合中，且这两个集合中的任意两条边均未连接到这两个点，同时能到使总体权重达到最大，目标函数如下；

其中，ec是肢体c匹配的总体权重，zc是对应于肢体c的所有连接集合z的子集；

对各个肢体c进行最大匹配，找到各自对应的关节点。

step4：根据各关节点的实际位置沿肢体的位置和方向将各关节点依次连接，得到人体姿态；

step5：根据所述人体姿态确定所述可疑人员正在进行偷盗行为的第一嫌疑度k1。当人体姿态为预设姿态时，则确定所述第一嫌疑度为对应的预设值。基本原则为，当人体姿态出现匍匐、异常弯腰、异常下蹲等行为时，增大第一嫌疑度的值。

其中步骤105具体包括：

获取声学传感器在未发生偷盗行为时采集的背景信号序列；所述声学传感器为水听器，水听器安装在靠近水面的位置。作为一种可选的实施方式，启动记录仪，测定k分钟内的环境背景噪声，得到无偷窃行为时的背景声音信号序列raw_noise。所述环境声音信号序列也为k分钟内的环境声音信号序列raw_sound。

计算所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度，得到得到对应信号raw_noise_psd＝psd{raw_noise}和raw_sound_psd＝psd{raw_sound}，其中psd{·}算子表示求信号功率谱密度运算。

对所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度进行对比，得到对比结果；

当所述对比结果表示所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度的差异小于预设阈值时确定环境声音信号序列中未包含水波浪声音序列，此时可以直接确定第二嫌疑度为0。

当所述对比结果表示所述环境声音信号序列的功率谱密度和所述背景声音信号序列的功率谱密度的差异大于或等于预设阈值时，利用数字滤波器从所述环境声音信号序列中滤除所述背景声音信号序列，并得到水波浪声音序列ref_sound。

其中，步骤106具体包括：

对所述水波浪声音序列进行时频分析，得到水波浪声音序列的功率谱密度ref_sound_psd＝psd{ref_sound}；时频分析使用的方法包括傅里叶变换法、小波变换法、短时傅里叶变换等。

判断所述水波浪声音序列的功率谱密度的能量集中值对应的频率是否落在波浪声频率阈值范围ref_sound_band内，得到判断结果；

根据所述判断结果计算存在偷盗行为的第二嫌疑度k2。

在步骤106之前，还包括确定波浪声频率阈值范围ref_sound_band的方法，具体包括：

利用渔网进行水面扰动，模拟偷窃行为，启动记录仪并记录从扰动开始到结束的k分钟内的模拟声学信号序列；

利用数字滤波器从模拟声学信号序列中滤除背景信号序列，得到模拟波浪声音序列；

对所述模拟波浪声音序列进行时频分析得到模拟波浪功率谱密度图，得到波浪声频率阈值范围ref_sound_band。

步骤107具体包括：

利用公式计算是否存在盗窃行为的概率值；其中k为存在盗窃行为的概率值，k1为第一嫌疑度，k2为第二嫌疑度。

当概率值k超过设定偷窃阈值k0，确定发生盗窃行为，发出实时防盗预警。

实施例2：

该实施例2以厦门市五缘湾海滩的养殖基地为具体实施方式进行说明。

视频监测：

图3为本发明实施例2中的人体检测结果图。

参见图3，获取养殖环境的监控视频，利用已经训练好的yolo-v3网络模型进行人体与环境背景的检测，该检测方式能够检测出所有的人体(即图中标注person的对象)，并能够对汽车等物体进行识别。

图4为本发明实施例2中对各个关节进行标记的示意图。

图5为本发明实施例2中关节连接结果图。

参见图4和图5，应用本发明的基于亲和区域的人体姿态估计网络，找到关节点的置信度图和关节点之间的亲和区域，连接关节点，提取人体骨架输出姿态识别结果，可以准确对各个关节进行标记并识别人体的姿态。姿态识别结果为并非正常的站立，出现异常下蹲或跌倒的行为，从而确定存在偷窃行为的概率值k1为70％。

声学监测：

在厦门市五缘湾海滩模拟水产生物养殖环境，将水听器放置在靠近水边的位置，首先启动记录仪测定10分钟内的环境背景噪声，得到无偷窃行为时的声音信号序列raw_noise。图6为无偷窃行为时环境背景噪声信号序列图。启动记录仪并记录从扰动开始到结束的10分钟内的声学信号数据序列raw_sound，图7为存在波浪时含水面波浪的声音信号序列图。分别计算声信号序列raw_noise和raw_sound的功率谱密度，得到对应信号raw_noise_psd＝psd{raw_noise}和raw_sound_psd＝psd{raw_sound}，其中psd{·}算子表示求信号功率谱密度运算，经运算发现二者功率谱存在较大区别，需进行滤波以提取水波浪信号；利用数字滤波器(具体的，滤波器用来滤除环境背景噪声)滤出水波浪信号序列ref_sound，对应的频域信号为ref_sound_psd＝psd{ref_sound}。对波浪信号序列进行短时傅里叶变换，得到功率谱密度图，找到功率值较大的信号频段，存在信号频段10-15khz的水面波浪声，对是否存在偷窃行为做出预判断，经判断存在偷窃行为的概率值k2为80％。图8为声学监测结果图。10-15khz为波浪声频率阈值范围ref_sound_band。

预警：

k2＝80％，k1＝70％，则k＝75％。预设的k0＝60％此时k>k0，表明养殖场可能存在偷盗行为，发出报警。

实施例3：