食品安全的监测方法及装置与流程
本申请涉及但不限于食品监测领域，具体而言，涉及一种食品安全的监测方法及装置。
背景技术：
在相关技术中，人体的营养状况、健康、体力和智力机能取决于我们所吃的食品是否安全优质并提供了足够的营养。而食品传播的疾病是全世界一个非常严重的问题，使人们遭受痛苦并造成经济损失。因此，获得优质食品，保障食品安全也一直是人类的努力目标。
相关技术中制定了关于食品卫生、标签和许可证、食品添加剂的使用、农药残留限度等基本质量和安全标准及要求。而在整套食品安全监管体系不够有效的情况下，消费者免不了会面临各种潜在的食品质量和安全性风险。而食品制造商、流通商和加工商，以及消费者需要共同努力，确保食品供应的质量和安全性不受到损害。
相关技术中食品安全监管的主体责任在相关部门，每年会针对所辖区域的餐饮企业、食品售卖点等依照食品安全管理体系标准进行检查，一般包括日常监管计划、节假日专项检查、以及不定期的抽查等形式。
日常的检查工作范围覆盖辖区的所有商业经营的店面、学校食堂、医院食堂等。每次检查行动需要多名工作人员携带仪器上门，检查门店的营业执照、员工资质、原材料溯源、食品加工环境卫生、食品添加剂等，并与店员访谈获取操作规范相关的信息。最后人工记录检查结果。
一次例行检查需要的多位工作人员上门，耗时耗人力。相比于监管部门辖区如此大数量的餐饮机构依靠上门的监管和抽查，无法做到对食品加工经营场所的有效覆盖率以及检查频率。
而工作人员的工作强度上升，增加上门抽查的次数和强度，也不能从根本上保证食品安全问题有大幅改善。而且面对上门检查，商家可能在一些抽查项目上提前准备，以应对检查。缺少远程监管和持续监管的工具，因此也难以掌握商家的实际运营情况。
针对相关技术中餐厅食品安全的检查方案耗费大量资源的问题，目前还没有有效的解决方案。
技术实现要素：
本申请实施例提供了一种食品安全的监测方法及装置，以至少解决相关技术中餐厅食品安全的检查方案耗费大量资源的问题。
根据本申请的另一个实施例，还提供了一种食品安全的监测方法，包括：调用部署于待检测的餐厅中的智能设备；依据所述智能设备监测所述餐厅的以下信息之一：卫生情况，食品加工情况，原材料情况；依据所述信息确定所述餐厅的食品安全质量。
根据本申请的另一个实施例，还提供了一种食品安全的监测装置，包括：调用模块，用于调用部署于待检测的餐厅中的智能设备；第一监测模块，用于依据所述智能设备监测所述餐厅的以下信息之一：卫生情况，食品加工情况，原材料情况；第二监测模块，用于依据所述信息确定所述餐厅的食品安全质量。
根据本申请的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本申请，在餐厅部署一个或多个智能设备，通过智能设备监测餐厅的卫生情况，食品加工情况和原材料情况，例如监测餐厅中地面卫生等，依据上述监测到的情况进行统计整理，判断该餐厅的食品安全质量，在确定食品安全质量不达标时，可以发出告警信息。采用上述方案，解决了相关技术中餐厅食品安全的检查方案耗费大量资源的问题，充分利用智能设备进行监测，大幅减少了人力资源的浪费。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的一种食品安全的监测方法的计算机终端的硬件结构框图；
图2是根据本申请实施例的食品安全的监测方法的流程图；
图3是根据本申请实施例的一种目标对象的确定方法的流程图；
图4是根据本申请实施例的另一种目标对象的确定方法的流程图；
图5是根据本申请实施例的一种鼠患视频监测装置的示意图；
图6是根据本申请实施例的一种各模块数据连接的示意图；
图7是根据本申请实施例的一种鼠患检测系统的原理示意图；
图8是本申请实施例的一种faster-rcnn网络模型的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请文件的方案可以运行于餐厅的厨房中，监测食品安全，以保证消费者的权益。
实施例一
本申请实施例一所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本申请实施例的一种食品安全的监测方法的计算机终端的硬件结构框图，如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输装置106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的食品安全的监测方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种食品安全的监测方法，图2是根据本申请实施例的食品安全的监测方法的流程图，如图2所示，该流程包括如下步骤：
步骤s202，调用部署于待检测的餐厅中的智能设备；
步骤s204，依据所述智能设备监测所述餐厅的以下信息之一：卫生情况，食品加工情况，原材料情况；
步骤s206，依据所述信息确定所述餐厅的食品安全质量。
上述步骤可以运行于计算机终端中，即可以将餐厅的数据采集后返回至计算机终端进行处理，或者可以在智能设备中集成处理单元，直接依据采集的信息作出判断。
通过上述步骤，在餐厅部署一个或多个智能设备，通过智能设备监测餐厅的卫生情况，食品加工情况和原材料情况，例如监测餐厅中地面卫生等，依据上述监测到的情况进行统计整理，判断该餐厅的食品安全质量，在确定食品安全质量不达标时，可以发出告警信息。采用上述方案，解决了相关技术中餐厅食品安全的检查方案耗费大量资源的问题，充分利用智能设备进行监测，大幅减少了人力资源的浪费。
可选地，依据所述智能设备监测所述餐厅的卫生情况，包括以下至少之一：依据摄像头获取所述餐厅的图像，通过图像识别技术检测所述餐厅中的老鼠活动情况；依据蟑螂屋统计所述餐厅中的蟑螂活动情况；依据部署于通风口的粘蚊板，统计所述餐厅中飞虫活动情况；依据摄像头获取所述餐厅的食品加工间的地面图像，通过图像识别技术检测室内地面清洁情况。上述的摄像头可以具备夜视功能，以进行夜间监测。老鼠活动情况可以包括老鼠活动时间长短，老鼠活动次数。
可选地，上述摄像头可以包括但不限于：带有红外照明功能的摄像头，例如，红外微光夜视摄像头。进一步，该摄像头还可以包括但不限于：移动侦测功能、存储功能、联网功能(如无线保真wifi联网)及高清晰度(如大于1080p)配置。
可选地，调用部署于待检测的餐厅中的智能设备，依据所述智能设备监测所述餐厅的食品加工情况，包括：分别调用部署于冷库、洗菜加工间环境和保温箱中的温度监控装置；获取各个温度监控装置的温度数值，在温度不符合各个空间的预设标准时，发出提示信息。食品保藏中温度相当重要，采用上述方案，实时对食品的保藏温度进行监测，保证变质食品不被出售。
可选地，调用部署于待检测的餐厅中的智能设备，依据所述智能设备监测所述餐厅的原材料情况，包括：调用部署于餐厅中的食品添加剂检测设备；依据所述食品添加剂检测设备监测食品中添加剂的含量，在添加剂含量大于预设数值时，发出告警信息。过量的添加剂对人体有害，采用上述方案，调用智能设备监测食品添加剂，避免过多人力资源的浪费。
可选地，依据所述信息监测所述餐厅的食品安全之前，将所述信息输出至云服务器，通过所述云服务器赋予工作人员查阅所述信息的权限。采用该方案，可以赋予多个监测部门工作人员查阅餐厅信息的权限，以保证在监测到问题时，工作人员及时出现在餐厅。
可选地，依据所述信息确定所述餐厅的食品安全质量，包括：依据所述信息确定所述餐厅的卫生情况、食品加工情况和/或原材料情况是否达标；在不达标时，通知工作人员对所述餐厅进行巡检。可以为上述三种情况分别设置标准，只要有一项不达标即通知工作人员，例如老鼠出没次数太过频繁，厨房地面脏水长时间未被清理等。
可选地，所述智能设备为摄像头；获取所述摄像头对所述餐厅中目标区域拍摄得到的视频文件；对所述视频文件进行抽帧采样，得到一组视频帧图像；根据所述一组视频帧图像中的像素点的像素值在所述一组视频帧图像中确定出多个目标视频帧图像，其中，每个所述目标视频帧图像用于指示在所述目标区域中存在运动的对象；对每个所述目标视频帧图像进行目标对象检测，得到每个所述目标视频帧图像的图像特征，其中，所述图像特征用于表示在所述存在运动的对象中，与所述目标对象之间的相似度大于第一阈值的对象所在的目标图像区域；根据每个所述目标视频帧图像的图像特征确定出运动特征，其中，所述运动特征用于表示所述多个目标视频帧图像中所述存在运动的对象的运动速度和运动方向；根据所述运动特征和每个所述目标视频帧图像的图像特征，确定所述多个目标视频帧图像中是否出现有所述目标对象。
下面结合本申请另一个实施例进行说明。
本申请旨在应用数字化技术，监测食品加工场所的环境、卫生及合规性，赋予食品安全监管方远程监管、持续监管以及辖区全覆盖监管的能力。
本申请提供食品安全场所环境的监测能力，自动提取现场环境指标。当指标超出阈值时，即向监管方发送告警讯息，指示监管方采取可能的行动，比如进行现场勘察核实。
本申请只针对场所的环境指标进行监测统计，而不涉及对人的行为监测。食品加工人员的操作规范需要通过操作规范的合规培训来提升。
本申请针对食品安全监管提出一种智能化系统，监测、评估目标场所的卫生清洁情况。该系统包括以下组成部分：
卫生清洁评估模块：
用来监测所在场所的老鼠、飞虫、蟑螂密度。在目标场所(优选其中的关键场所，不容许有虫害发生的生食加工区、烹饪区等)部署视频监控设备，应用图像识别技术自动识别场所内的老鼠活动情况，统计全天候老鼠的出没、时长以及轨迹。视频监控设备需具有夜视功能，能够在夜间监控餐厅的老鼠出没情况。
在目标场所有食品存放和有水源的区域，以及垃圾桶摆放区域部署智能蟑螂屋(该智能硬件具有自动计数功能，能定时回传蟑螂抓捕情况)以及在室内具有良好通风的部位部署智能粘蚊板(该智能硬件带有摄像头功能，能定时对捕获的飞虫识别种类和数量)。
在室内的食品加工操作间部署视频监控设备，应用图像识别技术判别室内的地板上有无水迹，反映室内的地面清洁情况。
汇总统计该场所内出现、捕获的虫鼠密度以及地面清洁情况，自动上传至云端，并计算该场所下，每天新捕捉到的蟑螂、飞虫总数，以及出没的老鼠次数以及时长。
当有老鼠出现时，即将包含老鼠活动的视频截取(取5秒钟时长作为样本)，并自动标示出老鼠的位置，发送推送信息给监管部门用户账户，提示进一步处理。
食品加工合规模块：
在室内部署温度监控模块，按照冷库、西菜加工间环境，以及保温箱等设备各自的温度要求，监测并回传重点设施的温度数据；
当营业期间，温度不达标时，发送提示信息给该商家用户和所辖地区的监管用户，提示进行进一步处理；
原材料管理模块：
部署食品添加剂的检测的硬件设备，集成添加剂的检测功能(包含瘦肉精、甲醛、亚硝酸盐等)与数据自动上传功能。要求餐饮企业每天在营业时间内，采集肉类、海产品、火腿等样品，完成自助检测步骤。
当添加剂超出规定值时，系统向餐厅用户和所辖区域的管理账户发送告警信息，提示进行进一步处理。
数据处理分析模块：
汇总每家食品加工场所的环境指标以及原材料指标，形成日常的餐厅环境监测数据。所辖区域的监管机构可以便捷地访问辖区内店家的环境及原材料新鲜情况，结合日常巡检和抽检，管理食品加工场所的卫生合规及操作合规。
信息数据输出方式：
整套系统采用数据输入后云端完成存储和计算，输出采用账号分级授权的模式，用户可通过app、网页端、信息推送、邮件推送的方式获得权限赋予的数据访问。
采用上述方案，本申请技术为食品安全监管人员提供了监管工作的数据依据，增加了监管的日常覆盖面，同时也节省了筛选判断监管对象的时间。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例二
在本实施例中还提供了一种食品安全的监测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
根据本申请的另一个实施例，提供了一种食品安全的监测装置，包括：
调用模块，用于调用部署于待检测的餐厅中的智能设备；
第一监测模块，用于依据所述智能设备监测所述餐厅的以下信息之一：卫生情况，食品加工情况，原材料情况；
第二监测模块，用于依据所述信息确定所述餐厅的食品安全质量。
采用上述方案，在餐厅部署一个或多个智能设备，通过智能设备监测餐厅的卫生情况，食品加工情况和原材料情况，例如监测餐厅中地面卫生等，依据上述监测到的情况进行统计整理，判断该餐厅的食品安全质量，在确定食品安全质量不达标时，可以发出告警信息。采用上述方案，解决了相关技术中餐厅食品安全的检查方案耗费大量资源的问题，充分利用智能设备进行监测，大幅减少了人力资源的浪费。
可选地，所述第一监测模块还用于依据摄像头获取所述餐厅的图像，通过图像识别技术检测所述餐厅中的老鼠活动情况；或者，还用于依据蟑螂屋统计所述餐厅中的蟑螂活动情况；或者，还用于依据部署于通风口的粘蚊板，统计所述餐厅中飞虫活动情况；或者，还用于依据摄像头获取所述餐厅的食品加工间的地面图像，通过图像识别技术检测室内地面清洁情况。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例三
本申请实施例提供了一种目标对象的确定方法。图3是根据本申请实施例的一种目标对象的确定方法的流程图。如图3所示，该方法包括以下步骤：
步骤s302，获取摄像设备对目标区域拍摄得到的视频文件。
在本申请上述步骤s302提供的技术方案中，摄像设备可以为监控摄像头，比如，该摄像设备为红外微光夜视摄像头，用于对目标区域进行拍摄，得到视频文件。其中，目标区域为被检测区域，也即，为检测是否有目标对象出现的区域，该目标对象可以为体型较大的需要进行防治的病媒生物，比如，该目标对象为老鼠。
该实施例的视频文件包括对目标区域进行拍摄得到的原始视频数据，可以包括目标区域的监控视频序列，该监控视频序列也即图像视频序列。
可选地，该实施例在视频数据采集层通过arm板获取目标区域的原始视频数据，以生成上述视频文件，从而实现了对目标区域的视频进行采集的目的。
步骤s304，对视频文件进行抽帧采样，得到一组视频帧图像。
在本申请上述步骤s304提供的技术方案中，在获取摄像设备对目标区域拍摄得到的视频文件之后，对视频文件进行预处理，可以在视频数据处理层对视频文件进行抽帧采样，得到一组视频帧图像。
在该实施例中，可以对视频文件进行等间隔的抽帧采样，从而得到视频文件的一组视频帧图像，比如，视频文件包括100个视频帧序列，在进行抽帧采样之后，得到10个视频帧序列，则将这10个视频帧序列作为上述一组视频帧图像，从而减少对目标对象进行确定的算法的运算量。
步骤s306，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标视频帧图像。
在本申请上述步骤s306提供的技术方案中，在对视频文件进行抽帧采样，得到一组视频帧图像之后，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标视频帧图像，其中，每个目标视频帧图像用于指示在对应的目标区域中存在运动的对象。
在该实施例中，对视频文件进行预处理，还包括对视频文件进行动态检测，从一组视频帧图像中确定用于指示在目标区域中存在运动的对象的目标视频帧图像，也即，在该目标视频帧图像中存在运动的对象，该目标视频帧图像可以为存在运动的对象的视频片段，其中，存在运动的对象可能是目标对象，也可能不是。该实施例可以通过动态检测算法确定目标视频帧图像，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标视频帧图像，进而执行步骤s308。
可选地，在一组视频帧图像中，除多个目标视频帧图像之外的视频帧图像未指示出在对应的目标区域中有运动的图像，可以不进行后续的检测。
步骤s308，对每个目标视频帧图像进行目标对象检测，得到每个目标视频帧图像的图像特征。
在本申请上述步骤s308提供的技术方案中，在根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标视频帧图像之后，对每个目标视频帧图像进行目标对象检测，得到每个目标视频帧图像的图像特征，其中，图像特征针对每个目标视频帧图像而言，用于表示目标视频帧图像中存在运动的对象被判定为目标对象时存在运动的对象所在的目标图像区域。
在该实施例中，对每个目标视频帧图像进行目标对象检测，也即，对目标视频帧图像中存在的运动对象进行检测，可以通过目标检测系统采用动态目标检测方法和基于神经网络的目标检测方法对目标视频帧图像中存在的运动对象进行检测，得到每个目标视频帧图像的图像特征，其中，动态目标检测方法的运算速度快、对机器配置要求较低，而基于神经网络的目标检测方法的准确性和鲁棒性更好，图像特征可以为矩形框中的视觉信息，用于表示目标图像区域，该矩形框可以为检测框，用于表示在存在运动的对象中，与所要识别的目标对象之间的相似度大于第一阈值的对象所在的目标图像区域。也就是说，上述图像特征用于指示粗筛确认出的目标对象可能出现的位置。
步骤s310，根据每个目标视频帧图像的图像特征确定出运动特征。
在本申请上述步骤s310提供的技术方案中，在对每个目标视频帧图像进行目标对象检测，得到每个目标视频帧图像的图像特征之后，根据每个目标视频帧图像的图像特征确定出运动特征，其中，运动特征用于表示多个目标视频帧图像中存在运动的对象的运动速度和运动方向。
在该实施例中，在对每个目标视频帧图像进行目标对象检测，得到每个目标视频帧图像的图像特征之后，可以将每个目标视频帧图像的图像特征输入至运动特征提取模块，该运动特征提取模块根据每个目标视频帧图像的图像特征确定出运动特征，该运动特征针对多个目标视频帧图像而言，用于表示多个目标视频帧图像中存在运动的对象的运动速度和运动方向，同时进一步过滤掉非目标对象的移动所造成的干扰图像，比如，删除掉蚊虫的移动等干扰信息。
可选地，在该实施例中，由于每个目标视频帧图像中存在运动的对象的运动是连续的，运动特征提取模块的运动特征提取算法可以先根据每个目标视频帧图像的图像特征检测多个目标视频帧图像之间的图像特征的相关性，可以将相关性大的图像特征对应的对象确定为同一对象，对每一目标视频帧图像的图像特征进行匹配，得到对象的一系列运动图片，最后可以使用3d的特征提取网络提取运动序列的特征，从而得到运动特征，比如，根据每个目标视频帧图像的检测框，计算多个目标视频帧图像之间检测框的相关性，可以将相关性大的检测框对应的对象确定为同一对象，对每个目标视频帧图像的检测框进行匹配，得到对象的一系列运动图片，最后使用3d的特征提取网络提取运动序列的特征，得到运动特征，进而确定多个目标视频帧图像中存在运动的对象的运动速度和运动方向。
可选地，该实施例也可以将多个目标视频帧图像的图像特征进行融合和且进行特征提取，从而防止单帧的目标检测器出现误判的情况，进而实现对目标图像进行精筛以准确确定出是否出现目标对象。
步骤s312，根据运动特征和每个目标视频帧图像的图像特征，确定多个目标视频帧图像中是否出现有目标对象。
在本申请上述步骤s312提供的技术方案中，在根据每个目标视频帧图像的图像特征确定出运动特征之后，可以将运动特征和每个目标视频帧图像的图像特征进行融合，输入至预先训练好的分类网络中，该分类网络为预先设计好的用于确定多个目标视频帧图像中是否出现有目标对象的分类网络模型，进而根据运动特征和每个目标视频帧图像的图像特征，确定多个目标视频帧图像中是否出现有目标对象，比如，确定多个目标视频帧图像中是否出现有老鼠。
可选地，该实施例可以将多个目标视频帧图像中有目标对象的目标视频帧的图像特征输入至前端显示界面，该前端显示界面可以进而显示出目标对象的检测框和移动轨迹。
可选地，该实施例的分类网络模型可以用于过滤非目标对象的图片序列，而保留目标对象的图片序列，从而降低虚警率，保证目标对象提示信息的准确性。
通过上述步骤s302至步骤s312，通过获取摄像设备对目标区域拍摄得到的视频文件；对视频文件进行抽帧采样，得到一组视频帧图像；根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标视频帧图像，其中，每个目标视频帧图像用于指示在目标区域中存在运动的对象；对每个目标视频帧图像进行目标对象检测，得到每个目标视频帧图像的图像特征，其中，图像特征用于表示在存在运动的对象中，与目标对象之间的相似度大于第一阈值的对象所在的目标图像区域；；根据每个目标视频帧图像的图像特征确定出运动特征，其中，运动特征用于表示多个目标视频帧图像中存在运动的对象的运动速度和运动方向；根据运动特征和每个目标视频帧图像的图像特征，确定多个目标视频帧图像中是否出现有目标对象。也就是说，对目标区域的视频文件进行抽帧采样，得到一组视频帧图像，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出用于指示在目标区域中存在运动的对象的多个目标视频帧图像，再根据每个目标视频帧图像的图像特征确定出运动特征，进而根据运动特征和每个目标视频帧图像的图像特征，达到自动确定多个目标视频帧图像中是否出现有目标对象的目的，不仅大大减少了确定目标对象的人力成本，而且提高了确定目标对象的准确率，解决了对目标对象进行确定的效率低的问题，进而达到了提高鼠患检测准确度的效果。
作为一种可选的实施方式，步骤s306，根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标视频帧图像包括：获取一组视频帧图像中的每个像素点的平均像素值；获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值；将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标视频帧图像。
在该实施例中，在根据一组视频帧图像中的像素点的像素值在一组视频帧图像中确定出多个目标视频帧图像时，可以获取一组视频帧图像中的每个像素点的像素值，根据每个像素点的像素值计算出平均像素值，再获取一组视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值。
可选地，该实施例还可以获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与背景或者每个视频帧图像的前一帧之间的差值。
在获取上述差值之后，判断差值是否满足预定条件，将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标视频帧图像，从而得到一组视频帧图像中的多个目标视频帧图像。
作为一种可选的实施方式，获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值包括：对于一组视频帧图像中的每个视频帧图像中的每个像素点执行以下操作，其中，在执行以下操作时每个视频帧图像被视为当前视频帧图像，将每个像素点视为当前像素点：d(x,y)＝|f(x,y)-b(x,y)|，其中，(x,y)为当前像素点在当前视频帧图像中的坐标，f(x,y)表示当前像素点的像素值，b(x,y)表示当前像素点的平均像素值，d(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值。
在该实施例中，在获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值时，每个视频帧图像被视为当前视频帧图像，将每个像素点视为当前像素点，可以通过(x,y)表示当前像素点在当前视频帧图像中的坐标，比如，为以当前视频帧图像左上角为原点，宽方向为x轴，高方向为y轴建立的坐标系中像素点的坐标，通过f(x,y)表示当前像素点的像素值，通过b(x,y)表示当前像素点的平均像素值，通过d(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值，按照公式d(x,y)＝|f(x,y)-b(x,y)|计算出当前像素点的像素值与对应的平均像素值之间的差值，从而通过上述方法达到获取一组视频帧图像中的每个视频帧图像中的每个像素点的像素值与对应的平均像素值之间的差值的目的。
作为一种可选的实施方式，将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标视频帧图像包括：对于一组视频帧图像中的每个视频帧图像中的每个像素点执行以下操作，其中，在执行以下操作时每个视频帧图像被视为当前视频帧图像，将每个像素点视为当前像素点：
在该实施例中，在将一组视频帧图像中差值满足预定条件的视频帧图像确定为目标视频帧图像时，每个视频帧图像被视为当前视频帧图像，将每个像素点视为当前像素点，通过m(x,y)表示当前视频帧图像，d(x,y)表示当前像素点的像素值与对应的平均像素值之间的差值，通过t表示第一预设阈值，如果当前视频帧中m(x,y)＝1的像素点的个数超过第二预设阈值，则将当前视频帧图像确定为目标视频帧图像，也即，则当前视频帧图像中存在运动的对象，为目标视频帧图像，否则，当前视频帧图像中不存在运动的对象。
该实施例的一组视频帧图像中多个目标视频帧图像组成了运动目标图像，可以经过形态学运算合并像素点可得出所有运动的对象，作为输出结果。
可选地，该实施例对目标视频帧图像中存在运动的对象的检测为基于神经网络的目标检测，可以将一组视频帧图像送入预先训练好的网络模型，得出所有存在运动的对象和其置信度，将大于某个置信度阈值的图像特征作为该网络模块的输出。使用的网络模型可以包含但不限于单次多目标检测器(singleshotmultiboxdetector，简称为ssd)、区域卷积网络(fasterregion-cnn，简称为faster-rcnn)、特征金字塔网络(featurepyramidnetwork，简称为fpn)等，此处不做任何限制。
作为一种可选的实施方式，步骤s310，根据每个目标视频帧图像的图像特征确定出运动特征包括：获取与每个目标视频帧图像的图像特征所表示的目标图像区域对应的目标矢量，得到多个目标矢量，其中，每个目标矢量用于表示对应的一个目标视频帧图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向；将多个目标矢量按照每个目标视频帧图像在视频文件中的时间顺序组成第一目标向量，其中，运动特征包括第一目标向量；或者获取与每个目标视频帧图像的图像特征所表示的目标图像区域对应的二维光流图，得到多个二维光流图，其中，每个二维光流图包括对应的一个目标视频帧图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向；将多个二维光流图按照每个目标视频帧图像在视频文件中的时间顺序组成三维第二目标向量，其中，运动特征包括三维第二目标向量。
在该实施例中，每个目标视频帧图像的图像特征可以用于表示与目标图像区域对应的目标矢量，从而得到与多个目标视频帧一一对应的多个目标矢量，其中的每个目标矢量用于表示对应的一个目标视频帧图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向，也即，可以将每个目标视频帧图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向，作为每个目标视频帧图像的图像特征。在得到多个目标矢量之后，将多个目标矢量按照每个目标视频帧图像在视频文件中的时间顺序组成第一目标向量，其中，每个目标视频帧图像在视频文件中的时间顺序可以通过时间轴表示，进而可以将多个目标矢量沿着时间轴做拼接，得到第一目标向量，该第一目标向量为一维向量，将该一维向量作为运动特征进行输出。
可选地，每个目标视频帧图像的图像特征用于表示目标图像区域，可以计算每个目标图像区域的光流(opticalfloworopticflow)，得到与该目标图像区域对应的二维光流图，进而得到与多个目标视频帧图像一一对应的多个二维光流图，其中，光流用于描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。该实施例的每个二维光流图包括对应的一个目标视频帧图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向，也即，目标视频帧图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向可以通过二维光流图来表示。在得到多个二维光流图之后，将多个二维光流图按照每个目标视频帧图像在视频文件中的时间顺序组成三维第二目标向量，其中，每个目标视频帧图像在视频文件中的时间顺序可以通过时间轴表示，可以将多个二维光流图沿着时间轴做拼接，得到第二目标向量，该第二目标向量为三维向量，将该三维向量作为运动特征进行输出。
该实施例通过用于表示对应的一个目标视频帧图像中存在运动的对象在经过目标图像区域时的运动速度和运动方向的目标矢量，或者与每个目标视频帧图像的图像特征所表示的目标图像区域对应的二维光流图来确定出运动特征，该运动特征可以为一维向量或者为三维向量，从而实现了根据每个目标视频帧图像的图像特征确定出运动特征的目的，进而根据运动特征和每个目标视频帧图像的图像特征，确定多个目标视频帧图像中是否出现有目标对象，达到自动确定多个目标视频帧图像中是否出现有目标对象的目的，提高了确定目标对象的准确率。
作为一种可选的示例，通过融合了对上述存在运动的对象的检测(目标检测)和运动特征提取的网络输出特征图，该特征图融合了包括视觉和运动特征的四维向量，其中，该四维向量可以包括但不限于时间维度、通道维度、长维度、高维度。
作为一种可选的实施方式，步骤s312，根据运动特征和每个目标视频帧图像的图像特征，确定多个目标视频帧图像中是否出现有目标对象包括：将运动特征和每个目标视频帧图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果，其中，对象识别结果用于表示多个目标视频帧图像中是否出现有目标对象。
在该实施例中，在根据运动特征和每个目标视频帧图像的图像特征，确定多个目标视频帧图像中是否出现有目标对象时，可以将运动特征和每个目标视频帧图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果，该神经网络模型也即分类网络模型，可以根据存在有运动的目标对象的图像特征样本、运动特征样本和用于指示目标对象的数据对初始神经网络模型进行训练，且用于确定视频帧图像中是否出现有目标对象的模型。对象识别结果也即分类结果、判别结果，用于表示多个目标视频帧图像中是否出现有目标对象。
作为一种可选的实施方式，将运动特征和每个目标视频帧图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果包括：将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构，得到多个第一特征向量；将多个第一特征向量与运动特征进行融合，得到第二特征向量；将第二特征向量输入到全连接层进行分类，得到第一分类结果，其中，神经网络模型包括神经网络层结构和全连接层，对象识别结果包括第一分类结果，第一分类结果用于表示多个目标视频帧图像中是否出现有目标对象；或者将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构，得到多个第一特征向量；将运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构，得到第二特征向量；将多个第一特征向量与第二特征向量进行融合，得到第三特征向量；将第三特征向量输入到全连接层进行分类，得到第二分类结果，其中，神经网络模型包括第一神经网络层结构、第二神经网络层结构和全连接层，对象识别结果包括第二分类结果，第二分类结果用于表示多个目标视频帧图像中是否出现有目标对象。
在该实施例中，神经网络模型的总体结构可以分为卷积层、正则化层、激活函数层、全连接层，其中，卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的；正则化层可以用于防止神经网络模型训练的过拟合，激活函数层可以将非线性引入网络，全连接层在整个卷积神经网络中起到分类器的作用。
在该实施例中，在将运动特征和每个目标视频帧图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果时，可以将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构，得到多个第一特征向量，将该多个第一特征向量与上述运动特征进行融合，从而得到第二特征向量，其中，运动特征为一维运动特征。
作为一种可选的融合方式，可以将多个第一特征向量与运动特征进行拼接(或称为组合)，得到第二特征向量。
在得到第二特征向量之后，将第二特征向量输入到全连接层进行分类，也即，通全连接层对第二特征向量进行分类，从而得到第一分类结果，其中，该实施例的神经网络模型包括上述神经网络层结构和上述全连接层，第一分类结果用于表示多个目标视频帧图像中是否出现有目标对象的对象识别结果，比如，为多个目标视频帧图像中是否出现有老鼠的分类结果。
可选地，上述将每个图像特征经过包括卷积层、正则化层和激活函数层的神经网络层结构，得到多个第一特征向量，将多个第一特征向量与运动特征进行融合，得到第二特征向量，将第二特征向量输入到全连接层进行分类，得到第一分类结果的方法，可以在获取与每个目标视频帧图像的图像特征所表示的目标图像区域对应的目标矢量，得到多个目标矢量，将多个目标矢量按照每个目标视频帧图像在视频文件中的时间顺序组成第一目标向量之后执行。
可选地，在将运动特征和每个目标视频帧图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果时，将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构，得到多个第一特征向量；将上述运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构，得到第二特征向量。在得到第一特征向量和得到第二特征向量之后，将多个第一特征向量与第二特征向量进行融合，得到第三特征向量。
作为一种可选的融合方式，可以将多个第一特征向量与第二特征向量进行拼接(或称为组合)，得到第三特征向量。
在得到第三特征向量之后，将第三特征向量输入到全连接层进行分类，从而得到第二分类结果，其中，该实施例的神经网络模型包括第一神经网络层结构、第二神经网络层结构和全连接层，对象识别结果包括第二分类结果，该第二分类结果用于表示多个目标视频帧图像中是否出现有目标对象，比如，为多个目标视频帧图像中是否出现有老鼠的分类结果。
可选地，上述将每个图像特征经过包括卷积层、正则化层和激活函数层的第一神经网络层结构，得到多个第一特征向量，将运动特征经过包括卷积层、正则化层、激活函数层的第二神经网络层结构，得到第二特征向量，将多个第一特征向量与第二特征向量进行融合，得到第三特征向量，将第三特征向量输入到全连接层进行分类，得到第二分类结果的方法，可以在获取与每个目标视频帧图像的图像特征所表示的目标图像区域对应的二维光流图，得到多个二维光流图，将多个二维光流图按照每个目标视频帧图像在视频文件中的时间顺序组成三维第二目标向量之后执行。
作为另一种可选的示例，将运动特征和每个目标视频帧图像的图像特征输入到预先训练好的神经网络模型中，得到对象识别结果包括：将每个图像特征依次经过多个块，得到多个第一特征向量，其中，在每个块中会对块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作；将多个第一特征向量与运动特征进行拼接，得到第二特征向量；将第二特征向量输入到全连接层，通过全连接层输出得到第一分类结果，其中，神经网络模型包括多个块和全连接层，对象识别结果包括第一分类结果，第一分类结果用于表示多个目标视频帧图像中是否出现有目标对象；或者将每个图像特征依次经过多个第一块，得到多个第一特征向量，其中，在每个第一块中会对第一块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作；将运动特征依次经过多个第二块，得到第二特征向量，其中，在每个第二块中会对第二块的输入依次执行卷积层上的卷积操作、正则化层上的正则化操作、激活函数层上的激活操作；将多个第一特征向量与第二特征向量进行拼接，得到第三特征向量；将第三特征向量输入到全连接层，通过全连接层输出得到第二分类结果，其中，神经网络模型包括多个第一块、多个第二块和全连接层，对象识别结果包括第二分类结果，第二分类结果用于表示多个目标视频帧图像中是否出现有目标对象。
在该实施例中，还可以通过块对每个图像特征进行处理。可以将每个图像特征依次经过多个块，得到多个第一特征向量，在每个块中会对块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。在得到多个第一特征向量之后，将多个第一特征向量与运动特征进行拼接，从而得到第二特征向量。在得到第二特征向量之后，将第二特征向量输入到全连接层进行分类，通过全连接层输出得到第一分类结果，其中，该实施例的神经网络模型包括多个块和全连接层，对象识别结果包括第一分类结果，该第一分类结果用于表示多个目标视频帧图像中是否出现有目标对象，比如，为多个目标视频帧图像中是否出现有老鼠的分类结果。
可选地，该实施例通过第一块对每个图像特征进行处理，将每个图像特征依次经过多个第一块，得到多个第一特征向量，在每个第一块中会对第一块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。该实施例还可以通过第二块对运动特征进行处理，将运动特征依次经过多个第二块，得到第二特征向量，在每个第二块中会对第二块的输入依次执行在卷积层上的卷积操作、在正则化层上的正则化操作以及在激活函数层上的激活操作。在得到多个第一特征向量和第二特征向量之后，将多个第一特征向量与第二特征向量进行拼接，得到第三特征向量，最后将第三特征向量输入到全连接层进行分类，通过全连接层输出得到第二分类结果，其中，该实施例的神经网络模型包括多个第一块、多个第二块和全连接层，对象识别结果包括第二分类结果，该第二分类结果用于表示多个目标视频帧图像中是否出现有目标对象，比如，为多个目标视频帧图像中是否出现有老鼠的分类结果。
作为一种可选的实施方式，对视频文件进行抽帧采样，得到一组视频帧图像包括：对视频文件中的视频序列进行等间隔的抽帧采样，得到一组视频帧图像。
在该实施例中，视频文件包括视频序列，可以在对视频文件进行抽帧采样，得到一组视频帧图像时，对视频文件中的视频序列进行等间隔的抽帧采样，得到一组视频帧图像，从而减少对目标对象进行确定的算法的运算量，进而快速多个目标视频帧中是否出现有目标对象，提高了对目标对象进行确定的效率。
作为一种可选的实施方式，获取摄像设备对目标区域拍摄得到的视频文件包括：获取的视频文件包括：获取红外微光夜视摄像头对目标区域拍摄得到的视频文件，其中，视频文件中的视频帧图像为通过红外微光夜视摄像头拍摄到的图像。
在该实施例中，摄像设备可以为摄像头，比如，为红外微光夜视摄像头，该红外微光夜视摄像头带有红外照明功能。通过红外微光夜视摄像头对目标区域进行拍摄，得到视频文件，该视频文件中的视频帧图像为通过红外微光夜视摄像头拍摄到的图像。
可选地，该实施例的摄像设备还包括但不限于：移动侦测功能、联网功能(如wifi联网)及清晰度(如大于1080p)配置。
作为一种可选的实施方式，在确定多个目标视频帧图像中是否出现有目标对象之后，该方法还包括：在确定出多个目标视频帧图像中出现有目标对象的情况下，确定目标对象在多个目标视频帧图像中的位置；将位置显示在多个目标视频帧图像中。
在该实施例中，在确定多个目标视频帧图像中是否出现有目标对象之后，在确定出多个目标视频帧图像中出现有目标对象的情况下，可以进一步确定目标对象在多个目标视频帧图像中的位置，比如，确定老鼠在多个目标视频帧图像中的位置，进而将位置显示在多个目标视频帧图像中，比如，将用于指示位置的图标、文本等信息显示在多个目标视频帧图像中。
可选地，该实施例还可以获取目标对象出现的时间、在目标区域中的活动区域等信息，将目标对象的位置、时间、在目标区域中的具体活动区域、在目标区域的活动频率、移动轨迹等信息输出至前端，该前端也即显示部件，目标对象出现的时间、活动区域等信息可以在显示界面中进行显示，从而避免了人工确定目标对象导致对目标对象进行确定的效率低下的为问题。
可选地，在确定出多个目标视频帧图像中出现有目标对象的情况下，可以发送报警信息至前端，该报警信息用于指示目标区域中出现有目标对象，以使相关防治人员采取防治措施，从而提高对目标对象进行防治的效率。
作为一种可选的实施方式，目标对象的确定方法由设置在本地的服务器执行。
该实施例的目标对象的确定方法可以由设置在本地的服务器执行，无需连接云服务器，内部即可实现上述的运算和可视化，避免了运算端在云服务器上，会有计算资源上、传输上的问题，导致整个框架效率较为低下的问题，从而提高了对目标对象进行确定的效率。
该实施例旨在应用图像识别的技术，融合图像特征和运动特征，自动检测监控视频中是否有目标对象，对目标对象做定位和跟踪，可以生成目标对象的移动轨迹和在各目标区域的活动频率，整个过程全为算法实现，无需额外的人力成本；另外，该实施例无需通过放置目标捕捉装置来确定目标区域中的目标对象，也无需花费人力进行观测，不仅大大减少了监测目标对象的人力成本，提高了对目标对象进行确定的效率，进而方便了进一步对目标对象进行防治的工作。
实施例四
下面结合优选的实施例对本申请实施例的技术方案进行举例说明。具体以目标对象为老鼠进行举例说明。
图4是根据本申请实施例的另一种目标对象的确定方法的流程图。如图4所示，该方法还包括：
步骤s402，获取红外微光夜视摄像头拍摄到的视频文件。
步骤s404，判断视频文件中是否存在运动物体。
步骤s406，如果存在运动物体，则提取存在运动物体的视频片段。
步骤s408，对存在运动物体的视频片段进行图像特征和动态特征提取。
步骤s410，根据提取到的图像特征和动态特征判断运动物体是否为老鼠。
步骤s412，如果判断结果为是，则发出提示信息。
该实施例采用获取红外微光夜视摄像头拍摄到的视频文件；判断视频文件中是否存在运动物体；如果存在运动物体，则提取存在运动物体的视频片段；对存在运动物体的视频片段进行图像特征和动态特征提取；根据提取到的图像特征和动态特征判断运动物体是否为老鼠；如果判断结果为是，则发出提示信息，从而解决了对目标对象进行确定的效率低的问题，进而达到了提高鼠患检测准确度的效果。
本申请实施例的技术方案可以作为一种融合视觉特征和轨迹特征的鼠患视频监测方法，可以应用在多种场景中用于检测拍摄到的视频中是否存在老鼠，通过红外微光夜视摄像头拍摄当前环境的视频文件，然后判断是否存在运动物体，如果存在运动物体，则通过提取运动物体的视频片段进行特征识别，进一步判断提取运动物体是否为老鼠，如果判断出是老鼠，则发出提示信息，提示信息可以是在屏幕上显示文字，也可以是发出声音提示信息，也可以是亮灯或闪烁等多种类型的提示信息。
需要说明的是，本申请实施例的技术方案中，监控摄像头采用的是红外微光夜视摄像头，另外，其判断、提取等处理过程是在本地服务器中进行的，无需将数据发送到远程服务器来处理，可以减少数据传输量，提高监测效率。
可选地，在发出提示信息之后，确定运动物体在视频文件中每帧图片中的位置；将预设标记叠加在每帧图片对应的位置处显示在前端界面上。
在发出有老鼠的提示后，确定老鼠在视频文件中每帧图片中的位置，然后将预设的标记叠加在每帧图片对应的位置处显示，预设标记可以是绿色或者红色的矩形框，把每帧图片中老鼠的位置用矩形框标记出，以方便用户可以及时查看到老鼠的位置和经常出没区域。
可选地，判断视频文件中是否存在运动物体包括：对视频文件中的视频序列进行等间隔的抽帧采样，得到采样视频帧；通过动态目标检测算法或者基于神经网络的目标检测算法判断采样视频帧图像中是否有运动物体。
在判断视频文件中是否存在运动物体时，可以对视频序列进行等间隔的抽帧采样，以减少算法的运算量，然后判断采样视频帧中是否有运动物体，判断时可以采用动态目标检测算法或者基于神经网络的目标检测算法中的任意一种，在一些情况下，也可以两者混合使用。
可选地，通过动态目标检测算法判断采样视频帧图像中是否有运动物体包括：通过dk(x，y)＝丨fk(x，y)-bk(x，y)丨计算当前帧和背景或前一帧的差值；通过
若m(x,y)为1表示有运动目标，所有x(x,y)的像素组成了运动目标图像，经过形态学运算合并像素点可得出所有运动的目标。
可选地，根据提取到的图像特征和动态特征判断运动物体是否为老鼠包括：将提取到的图像特征和动态特征输入到预先训练好的神经网络模型中，进行模型判别，得到模型输出结果；根据模型输出结果判断运动物体是否为老鼠。
可以通过预先训练好的神经网络模型对提取到的图像特征和动态特征进行模型判别，模型是预先根据大量的样本训练得到的，大量的样本包括图片和该图片中是否有老鼠的标签，在一些情况下，还可以包括该图片中的老鼠数量的标签，这样可以使模型更加精确。
本申请实施例的技术方案可以应用在厨房、餐厅等需要监测是否有鼠害的应用场景中，也可以使用于酒店业学校、实验室、医院等室内外对于环境卫生有要求的场所，对在鼠害防治工作中，应用本申请实施例的图像识别技术进行老鼠检测和跟踪，使用独立的一个装置，通过监控摄像头在本地完成鼠患的监控，无需放置鼠夹鼠笼，也无需花费人力进行观测，将监测鼠害变为高效全自动的流程工作，不仅大大减少了监测鼠害的人力成本，同时准确率高，方便对鼠害卫生的监管，并且提供了轨迹信息，方便了进一步的灭鼠工作。
本申请实施例的技术方案还提供了一种优选实施方式，下面结合该优选实施方式对本申请实施例的技术方案进行说明。
本申请实施例旨在应用图像识别的技术，融合视觉和图像序列特征，自动检测监控视频中是否有老鼠，对老鼠做定位和跟踪，并且生成老鼠的运动轨迹路线和各区域的活动频率，整个过程全为算法实现，无需额外的人力成本，并且是一个独立的装置，无需连接云服务器，内部可实现所有的运算和可视化。
图5是根据本申请实施例的一种鼠患视频监测装置的示意图。如图5所示，该装置总体分为几个部件：红外微光夜视摄像头、数据处理模块和前端显示部件，上述装置工作时原理如下：红外微光夜视摄像头负责采集图像视频序列，数据处理模块执行算法检测，即接收视频序列并且检测视频中有无老鼠，若检测到老鼠，将老鼠的位置等一系列信息输出至前端显示部件，前端显示部件显示老鼠的位置、出现时间、活动区域并且可以即时进行鼠患的报警。
数据处理模块可以分为视频采集模块、视频处理模块和存储模块。图6是根据本申请实施例的一种各模块数据连接的示意图，如图6所示，视频数据采集层通过arm板采集视频数据并通过视频预处理模块进行预处理，视频数据处理层读入以训练好的模型在嵌入式gpu处理器中根据深度学习算法进行视频处理，若深度学习网络检测到某一个片段时间有老鼠，则将该片段以及相应的检测结果存储至存储模块，存储模块将这一系列信息输出至前端，即前端显示部件。
图7是根据本申请实施例的一种鼠患检测系统的原理示意图。如图7所示，该算法包括以下几个模块：预处理、目标检测，运动特征提取和分类网络，系统的输入为原始视频序列，预处理包含两个步骤：抽帧和动态检测，先是对原始视频序列进行等间隔的抽帧采样，减少算法的运算量，然后利用目标检测算法进行目标检测，判断图像中是否有运动物体，若无运动物体，则不进行后续的检测，若有运动物体，则将有运动物体的视频片段送入后续模块。在目标检测过程中，对预处理后的视频序列的每一帧进行检测，在可能存在老鼠的位置获取图像特征(如该位置对应的检测框内的视觉信息)，并通过运动特征提取模块，将各个视频图像帧之间的信息进行融合和特征提取，防止单帧的目标检测器出现误判的情况，随后将提取的运动特征和与图像特征输入分类网络，由分类网络判别是否是老鼠，若是老鼠，则将老鼠在每一帧所在位置的矩形检测框传给前端显示界面。
需要说明的是，在本实施例中，上述目标检测过程是根据具体的机器计算资源分配了两种算法：动态目标检测算法和基于神经网络的目标检测算法，前者运算速度快、对机器配置要求低，后者准确性和鲁棒性。
目标检测：本实施例根据具体的机器计算资源分配了两种算法：动态目标检测和基于神经网络的目标检测，前者运算速度快、对机器配置要求低，后者准确性和鲁棒性。
1)动态目标检测算法包含背景差和帧差法，利用下述公式(1)，计算当前帧和背景或者前一帧的差值：
dk(x，y)＝丨fk(x，y)-bk(x，y)丨(1)
上式中，(x,y)为以图像左上角为原点，宽方向为x轴，高方向为y轴建立的坐标系中像素点的坐标，k为当前帧的索引，f代表当前帧，b代表背景或者上一帧。利用公式(2)判断是否存在运动目标：
m(x,y)为运动图像，t为阈值，若m(x,y)为1表示有运动目标，所有x(x,y)的像素组成了运动目标图像，经过形态学运算合并像素点可得出所有运动的目标，作为该模块的输出。
2)基于神经网络的目标检测算法将图片输入预先训练好的网络模型，得出所有可能的目标和其置信度，大于某个置信度阈值的检测框作为该模块的输出。使用的网络模型包含但不限于ssd、faster-rcnn、fpn等。图8是本申请实施例的一种faster-rcnn网络模型的示意图。如图8所示，其中conv是卷积层，由卷积核(是一个矩阵)在输入上进行划窗，对每个输入的划窗位置都和矩阵根据公式(3)相点乘，结果f作为该划窗位置的特征输出。
f＝∑0≤i，j≤nk(i，j)*i(i，j)(3)
rpn为区域提出网络，会提出一系列的候选框，roipooling池化层将卷积层提到的特征图在rpn输出的坐标下的区域映射成大小(w，h)固定的矩形框，送入由全连接层构成的分类器和边框回归器，边框回归输出老鼠的可能坐标位置，分类器输出是该位置老鼠的置信度。
运动特征提取：因为物体的运动是连续的，运动特征提取算法先根据每一帧得到的检测框，计算帧与帧之间检测框的相关性，相关性大的检测框认为是同一物体，对每一帧的检测框进行匹配，得到物体的一系列运动图片，最后使用3d的特征提取网络提取运动序列的特征。
分类网络：将目标检测框中的视觉信息和运动特征融合，送入设计好的分类的网络模型，用于筛除非老鼠的图片序列，降低虚警率，将结果送入前端显示界面，显示老鼠的检测框和轨迹。
在本发明实施例中，对于整体的框架，还可以但不限于通过目标检测和分类网络来达到检测识别的目的，以节省框架布局成本。
本发明实施例提出了利用图像识别算法，自动识别监控视频中的老鼠，无需放置鼠夹鼠笼，也无需花费人力进行观测，将监测鼠害变为高效全自动的流程工作，不仅大大减少了监测鼠害的人力成本，同时准确率高，方便对后厨鼠害卫生的监管，同时，还可以提供老鼠活动的轨迹，便于人员选择灭鼠工具放置位置，方便了进一步的除害工作。
在本申请实施例中，对于整体的框架，只通过目标检测和分类网络也可以达到检测目的，只是性能会下降。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例五
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
s1，调用部署于待检测的餐厅中的智能设备；
s2，依据所述智能设备监测所述餐厅的以下信息之一：卫生情况，食品加工情况，原材料情况；
s3，依据所述信息确定所述餐厅的食品安全质量。
可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输装置以及输入输出设备，其中，该传输装置和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
s1，调用部署于待检测的餐厅中的智能设备；
s2，依据所述智能设备监测所述餐厅的以下信息之一：卫生情况，食品加工情况，原材料情况；
s3，依据所述信息确定所述餐厅的食品安全质量。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！