基于人工智能的环境监控方法、装置、设备及存储介质与流程

文档序号:18524677发布日期:2019-08-24 10:07阅读:159来源:国知局
基于人工智能的环境监控方法、装置、设备及存储介质与流程
本发明涉及计算机
技术领域
,尤其涉及一种基于人工智能的环境监控方法、装置、设备及存储介质。
背景技术
:对餐饮企业的日常生产操作和食品加工间的卫生情况的监控,主要依靠管理人员上门检查的方式进行。这种传统的监控方式无法及时全面的覆盖每个餐饮企业,在餐饮企业数量巨大,而管理人员数量相对不足的情况下,靠现有的上门抽检的监控方式很难实现有效监控。技术实现要素:本发明实施例提供一种基于人工智能的环境监控方法、装置、设备及存储介质,以解决目前人工方式进行环境监控成本高、效率低,以及监控及时性和准确性不高的问题。一种基于人工智能的环境监控方法,包括:接收客户端发送的监控区域的视频图像和环境数据;使用预设的图像识别模型对所述视频图像进行安全行为识别,得到包含违规类型和违规数据的违规行为记录,并将所述违规行为记录保存到区块链中;按照预设的环境参数要求,对所述环境数据进行分析,将不满足所述环境参数要求的环境数据和该环境数据的采集时间作为异常环境数据,保存到所述区块链中,其中,所述不满足所述环境参数要求的环境数据包括参数类型和参数值,以及该环境数据所在的功能子区域的区域标识信息;从所述区块链中获取预设时间段内的所述违规行为记录和所述异常环境数据,并将获取到的所述违规行为记录作为待分析违规信息,将获取到的所述异常环境数据作为待分析异常数据;按照预设的每种所述违规类型对应的评分条件,对所述待分析违规信息中的所述违规数据进行评分,得到所述监控区域在所述预设时间段的行为安全分数;根据分数与违规等级之间预设的对应关系,获取所述行为安全分数对应的违规等级,并按照获取到的所述违规等级对应的预设预警措施进行预警;按照所述区域标识信息和所述参数类型对所述待分析异常数据进行归类,得到在每个所述功能子区域中每种所述参数类型对应的所述待分析异常数据,并根据所述待分析异常数据的采集时间,计算在每个所述功能子区域中每种所述参数类型对应的异常持续时间,若所述异常持续时间超过预设的时间阈值,则进行安全报警。一种基于人工智能的环境监控装置,包括:接收模块,用于接收客户端发送的监控区域的视频图像和环境数据;识别模块,用于使用预设的图像识别模型对所述视频图像进行安全行为识别,得到包含违规类型和违规数据的违规行为记录,并将所述违规行为记录保存到区块链中;分析模块,用于按照预设的环境参数要求,对所述环境数据进行分析,将不满足所述环境参数要求的环境数据和该环境数据的采集时间作为异常环境数据,保存到所述区块链中,其中,所述不满足所述环境参数要求的环境数据包括参数类型和参数值,以及该环境数据所在的功能子区域的区域标识信息;读取模块,用于从所述区块链中获取预设时间段内的所述违规行为记录和所述异常环境数据,并将获取到的所述违规行为记录作为待分析违规信息,将获取到的所述异常环境数据作为待分析异常数据;评分模块,用于按照预设的每种所述违规类型对应的评分条件,对所述待分析违规信息中的所述违规数据进行评分,得到所述监控区域在所述预设时间段的行为安全分数;预警模块,用于根据分数与违规等级之间预设的对应关系,获取所述行为安全分数对应的违规等级,并按照获取到的所述违规等级对应的预设预警措施进行预警;报警模块,用于按照所述区域标识信息和所述参数类型对所述待分析异常数据进行归类,得到在每个所述功能子区域中每种所述参数类型对应的所述待分析异常数据,并根据所述待分析异常数据的采集时间,计算在每个所述功能子区域中每种所述参数类型对应的异常持续时间,若所述异常持续时间超过预设的时间阈值,则进行安全报警。一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于人工智能的环境监控方法。一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于人工智能的环境监控方法。上述基于人工智能的环境监控方法、装置、设备及存储介质中,对接收到的监控区域的视频图像和环境数据分别进行处理,通过对视频图像的识别确定违规行为记录,通过对环境数据的分析确定异常环境数据,并将违规行为记录和异常环境数据保存到区块链中,然后从区块链中获取预设时间段内的违规行为记录和异常环境数据,一方面,通过对违规行为记录中的违规数据进行评分,得到监控区域在预设时间段的行为安全分数,根据分数与违规等级之间预设的对应关系,获取行为安全分数对应的违规等级,并按照该违规等级对应的预设预警措施进行预警,另一方面,根据异常环境数据的采集时间,计算在监控区域的每个功能子区域中每种环境参数对应的异常持续时间,若异常持续时间超过预设的时间阈值,则进行安全报警,实现了从监控区域的视频图像和环境数据两个维度同时对监控区域的食品安全进行自动化监控,自动识别出监控区域中的违规操作行为和异常环境信息,并及时进行报警,无需管理人员通过人工方式进行查看和检查,降低人力成本,并且自动化监控效率更高,监控及时性和准确性也得到有效提高。同时,将违规行为记录和异常环境数据保存到区块链中,能够利用区块链的去中心化,由链上的区块对违规行为记录和异常环境数据进行记账保存,使得违规行为记录和异常环境数据无法被篡改,确保数据真实性,并且不需要为数据的保存额外部署存储环境,能够有效降低维护成本。附图说明为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是本发明一实施例中基于人工智能的环境监控方法的一应用环境示意图;图2是本发明一实施例中基于人工智能的环境监控方法的一流程图;图3是本发明一实施例中基于人工智能的环境监控方法中步骤s2的一流程图;图4是本发明一实施例中基于人工智能的环境监控方法中对监控区域中的有害生物进行监测的一流程图;图5是本发明一实施例中基于人工智能的环境监控方法中步骤s5的一流程图;图6是本发明一实施例中基于人工智能的环境监控方法中根据待分析异常数据更新食品保质期的一流程图;图7是本发明一实施例中基于人工智能的环境监控装置的一示意图;图8是本发明一实施例中计算机设备的一示意图。具体实施方式本申请提供的基于人工智能的环境监控方法,可应用在如图1所示的应用环境中。该应用环境包括服务端和客户端,其中,服务端和客户端之间通过网络进行连接,该网络可以是有线网络或者无线网络。客户端具体可以包括视频采集装置和环境参数采集装置,视频采集装置用于采集监控区域内的视频图像,环境参数采集装置用于采集监控区域内的温度、湿度、油烟浓度等环境数据,客户端将获取到的视频图像和环境数据发送到服务端;服务端可以用独立的服务器或者多个服务器组成的服务器集群实现,服务端对接收到的视频图像和环境数据进行分析,并根据分析结果完成对监控区域的食品安全监控。在一实施例中,如图2所示,提供一种基于人工智能的环境监控方法,以该方法应用在图1中的服务端为例进行说明,详述如下:s1:接收客户端发送的监控区域的视频图像和环境数据。具体地,客户端可以包括视频采集装置和环境参数采集装置,其中,视频采集装置具体可以是预先安装在监控区域的预设位置的摄像头,环境采集装置具体可以是预先安装在监控区域的预设位置的传感器。视频采集装置用于拍摄监控区域内的视频图像,并将拍摄到的视频图像发送给服务端,环境参数采集装置用于采集监控区域内的环境数据,并将采集到的环境数据发送给服务端。其中,监控区域具体可以是待监控的餐饮企业的后厨。需要说明的是,客户端可以实时向服务端发送实时获取的视频图像和环境数据的,也可以以预设的发送时间周期,定期将当前发送时间周期获取到的视频图像和环境数据发送给服务端。进一步的,环境数据具体可以包括监控区域的温度、湿度、油烟浓度等环境参数。s2:使用预设的图像识别模型对视频图像进行安全行为识别,得到包含违规类型和违规数据的违规行为记录,并将违规行为记录保存到区块链中。具体地,安全行为识别的内容包括着装是否符合规范着装要求,以及动作是否符合安全操作要求,其中,规范着装要求具体可以包括佩戴口罩和佩戴帽子,安全操作要求具体可以包括食品加工过程中对厨师动作的相关要求,例如,不可徒手抓取熟食等。预设的图像识别模型通过预先对监控区域的环境图片、厨师的规范着装图片和安全操作图片进行图像特征提取,建立一套基准特征数据,将视频图像输入到图像识别模型中,通过对视频图像进行图像特征提取,并将提取到的图像特征与基准特征数据进行比对,根据比对结果确定视频图像中厨师的着装是否符合预设的规范着装要求,以及厨师的动作是否符合安全操作要求,并将不符合规范着装要求或者不符合安全操作要求的违规类型和违规数据作为违规行为记录。其中,违规类型包括着装违规类型和动作违规类型,其中,着装违规类型对应规范着装要求,动作违规类型对应安全操作要求,例如,当规范着装要求包括佩戴口罩和佩戴帽子时,对应的着装违规类型包括未佩戴口罩和未佩戴帽子,当安全操作要求包括食品加工过程中对厨师动作的若干要求时,对应的动作违规类型包括每种不允许出现的违规动作。违规数据包括不符合规范着装要求或者不符合安全操作要求的图像区域,以及该图像区域在视频图像中的拍摄时间,其中,每个图像区域中包含一个人物目标。可以理解的,一个图像区域可以对应一个或多个违规类型。例如,在视频图像的某一帧图片中存在某个厨师即没有佩戴口罩也没有佩戴帽子,则该厨师所在的图像区域对应两个违规类型,分别为未佩戴口罩和未佩戴帽子。进一步地,预设的图像识别模型可以是基于深度学习的卷积神经网络(convolutionalneuralnetworks,cnn)模型,预先使用监控区域的环境图片、厨师的规范着装图片和安全操作图片,对基本的卷积神经网络模型进行训练和学习,得到能够对监控区域中人物目标的衣着和动作进行安全行为识别的图像识别模型。预设的图像识别模型具体可以包括输入层、卷积层和全连接层,通过输入层对视频图像进行图像预处理,使用卷积层对预处理后的视频图像进行图像特征提取,并将提取出的特征数据输入全连接层,通过全连接层的分类回归分析,识别出视频图像中不符合预设的规范着装要求或者不符合安全操作要求的图像区域的违规类型。服务端对视频图像进行安全行为识别,若在该视频图像中发现存在违规行为,例如未佩戴口罩或帽子,或在食品加工过程中出现了违规动作等,则将包含违规类型和违规数据的违规行为记录保存到预先建立的区块链的有效区块中。s3:按照预设的环境参数要求,对环境数据进行分析,将不满足环境参数要求的环境数据和该环境数据的采集时间作为异常环境数据,保存到区块链中,其中,不满足所述环境参数要求的环境数据包括参数类型和参数值,以及该环境数据所在的功能子区域的区域标识信息。具体地,环境数据可以包括监控区域中各个预设的功能子区域的温度、湿度、油烟浓度等环境参数,预设的环境参数要求具体可以包括监控区域中各个功能子区域的区域参数要求。例如,监控区域的功能子区域可以包括熟食存放区、生食存放区、烹饪区、清洗区、熟食加工区和生食加工区等,每个功能子区域对环境参数的要求可以相同也可以不同,具体可以根据每个功能子区域的具体功能预先设置。由于环境参数采集装置在安装时,已经预先设置好每个功能子区域中环境参数采集装置的安装位置,在服务端预先保存有环境参数采集装置的标识信息与功能子区域之间的对应关系,以及每个功能子区域对应的环境参数要求。服务端在接收到环境参数采集装置发送的环境数据时,根据预存的对应关系,获取该环境参数采集装置的标识信息对应的功能子区域,并获取该功能子区域的环境参数要求。服务端将接收到的环境数据与对应的环境参数要求进行比较,获取不满足该环境参数要求的环境数据,该环境数据包括环境数据的参数类型和参数值,该环境数据还包括该环境数据所在的功能子区域的区域标识信息。服务端获取不满足环境参数要求的环境数据的采集时间,将不满足环境参数要求的环境数据及其采集时间作为异常环境数据,并保存到区块链的有效区块中。例如,若服务端接收到的环境数据为熟食存放区的温度和湿度,其中,温度为30摄氏度,湿度为70%,假设熟食存放区的环境参数要求为温度低于20摄氏度,湿度低于60%,则通过对环境数据与环境参数要求的比较可以得到,熟食存放区的温度和湿度均不满足该环境参数要求,因此,将“熟食存放期:温度为30摄氏度,湿度为70%,采集时间2018年11月10日18:00:00”作为异常环境数据。需要说明的是,采用区块链的方式对违规行为记录和异常环境数据进行保存,很好的利用了区块链的去中心化,由链上的区块对违规行为记录和异常环境数据进行记账保存,使得违规行为信息和异常环境数据无法被篡改,确保数据真实性,同时,不需要为数据的保存额外部署存储环境,能够有效降低维护成本。s4:从区块链中获取预设时间段内的违规行为记录和异常环境数据,并将获取到的违规行为记录作为待分析违规信息,将获取到的异常环境数据作为待分析异常数据。具体地,预设时间段可以是一小时、一天或者一周,具体可以根据实际应用的需要进行设置,此处不做限制。服务端从区块链中获取预设时间段的违规行为记录作为待分析违规信息,并获取该预设时间段的异常环境数据作为待分析异常数据。可以理解的是,服务端可能同时获取到待分析违规信息和待分析异常数据,也可能只获取到待分析违规信息或者只获取到待分析异常数据。s5:按照预设的每种违规类型对应的评分条件,对待分析违规信息中的违规数据进行评分,得到监控区域在预设时间段的行为安全分数。具体地,预设的评分条件可以是预先设置的规范着装要求和/或安全操作要求中的每种违规类型对应的扣分标准,服务端按照该评分条件,对待分析违规信息中的每种违规类型对应的违规数据进行扣分,得到每个违规行为的得分,并将待分析违规信息中全部违规行为的得分进行累积,得到待分析违规信息的总扣分,使用预设的满分分数减去该总扣分,得到监控区域在预设时间段的行为安全分数。s6:根据分数与违规等级之间预设的对应关系,获取行为安全分数对应的违规等级,并按照获取到的违规等级对应的预设预警措施进行预警。在本实施例中,服务端预先设置有分数与违规等级之间的对应关系,该对应关系具体可以是分数和违规等级之间的反比例线性关系,即分数越高则违规等级越低,分数越低则违规等级越高,或者,该对应关系也可以是不同分数段与违规等级之间的反比例对应关系,即不同分数段对应不同的违规等级,分数段中的分数越高则违规等级越低,反之,分数段中的分数越低则违规等级越高。具体地,服务端根据分数与违规等级之间的对应关系,获取步骤s6得到的行为安全分数对应的违规等级,服务端还预先设置有每个违规等级对应的预警措施,根据行为安全分数对应的违规等级,获取到该违规等级对应的预警措施,并按照该预警措施进行预警。例如,分数与违规等级之间的对应关系可以是:分数在0分至60分的范围对应的违规等级为高级,分数在61分至80分的范围对应的违规等级为中级,分数在81分至95分的范围对应的违规等级为低级,分数在96分以上的范围对应的违规等级为不违规。其中,违规等级为高级时对应的警措措施为黑色预警,黑色预警时可以直接向餐饮企业的经营者下发停业整顿通知书,违规等级为中级时对应的警措措施为红色预警,红色预警时可以将违规信息和整改期限通过书面方式告知餐饮企业的经营者进行整改,违规等级为低级时对应的警措措施为黄色预警,黄色预警时可以将违规信息通过即时消息或者书面方式提醒餐饮企业的经营者注意,不违规则无需预警。s7:按照区域标识信息和参数类型对待分析异常数据进行归类,得到在每个功能子区域中每种参数类型对应的待分析异常数据,并根据待分析异常数据的采集时间,计算在每个功能子区域中每种参数类型对应的异常持续时间,若异常持续时间超过预设的时间阈值,则进行安全报警。具体地,异常环境数据中的环境数据包括参数类型和参数值,以及功能子区域的区域标识信息,其中,参数类型包括但不限于温度、湿度、油烟浓度。例如,若异常环境数据为“功能子区域area1:温度=30摄氏度,湿度=70%”,则区域标识信息为area1,参数类型包括温度和湿度,温度对应的参数值为30,湿度对应的参数值为70%。按照区域标识信息和参数类型对待分析异常数据进行归类,将属于同一功能子区域并且具有相同参数类型的待分析异常数据归到同一个类别集合中,在每个类别集合中,按照采集时间的先后顺序对待分析异常数据进行排序,计算每两个相邻待分析异常数据之间的采集时间差,将采集时间差大于预设的间隔时间的两个相邻待分析异常数据之间作为拆分点,然后计算每两个相邻的拆分点之间的首尾两个待分析异常数据的采集时间差,作为异常持续时间。在每个功能子区域中,针对每个参数类型,该参数类型对应的异常持续时间可以有一个也可以有多个,但是,只要有一个异常持续时间超过预设的时间阈值,即进行该功能子区域的安全报警。安全报警的具体实施方式可以被预先设定,异常持续时间越长则安全报警的级别越高,反之,异常持续时间越短则安全报警的级别越低。本实施例中,对接收到的监控区域的视频图像和环境数据分别进行处理,通过对视频图像的识别确定违规行为记录,通过对环境数据的分析确定异常环境数据,并将违规行为记录和异常环境数据保存到区块链中,然后从区块链中获取预设时间段内的违规行为记录和异常环境数据,一方面,通过对违规行为记录中的违规数据进行评分,得到监控区域在预设时间段的行为安全分数,根据分数与违规等级之间预设的对应关系,获取行为安全分数对应的违规等级,并按照该违规等级对应的预设预警措施进行预警,另一方面,根据异常环境数据的采集时间,计算在监控区域的每个功能子区域中每种环境参数对应的异常持续时间,若异常持续时间超过预设的时间阈值,则进行安全报警,实现了从监控区域的视频图像和环境数据两个维度同时对监控区域的食品安全进行自动化监控,自动识别出监控区域中的违规操作行为和异常环境信息,并及时进行报警,无需管理人员通过人工方式进行查看和检查,降低人力成本,并且自动化监控效率更高,监控及时性和准确性也得到有效提高。同时,将违规行为记录和异常环境数据保存到区块链中,能够利用区块链的去中心化,由链上的区块对违规行为记录和异常环境数据进行记账保存,使得违规行为记录和异常环境数据无法被篡改,确保数据真实性,并且不需要为数据的保存额外部署存储环境,能够有效降低维护成本。在一实施例中,预设的图像识别模型包括输入层、卷积层和全连接层,如图3所示,在步骤s2中,使用预设的图像识别模型对视频图像进行安全行为识别,得到包含违规类型和违规数据的违规行为记录,具体包括步骤s21至步骤s24,详述如下:s21:在输入层中,以预先定义的背景图像为基础,从视频图像中提取包含人物目标的帧图像,并对帧图像进行预处理,得到待分析图像。具体地,将视频图像的每一帧图像与预先定义的背景图像进行比对,判断两幅图像的内容是否相同,若两幅图像的内容相同,则丢弃该帧图像,若两幅图像的内容不同,则确认该帧图像包含人物目标,并保留该帧图像。对保留下来的包含人物目标的帧图像进行预处理,得到待分析图像,该待分析图像中仅包含人物目标的可识别图像。在一具体实施例中,该预处理过程具体可以包括如下步骤:(1)对包含人物目标的帧图像进行均值滤波和归一化处理,得到归一化图像;(2)根据背景图像,采用背景差分法对归一化图像进行前后景分离,得到前景图像;(3)对前景图像进行腐蚀、膨胀和二值化处理,得到待分析图像。s22:将待分析图像输入卷积层,对待分析图像进行卷积计算,得到待分析图像中每个人物目标所在的图像区域的特征数据。具体地,卷积层可以包括多个卷积单元,每个卷积单元依次对上一个卷积单元的输出数据进行卷积计算,该卷积计算用于提取待分析图像中的人物目标的特征信息,每个卷积单元通过卷积计算提取的特征信息不同,最后一个卷积单元的输出即为待分析图像中每个人物目标所在的图像区域的特征数据。其中,卷积单元的数量可以预先进行设置,并且每个卷积单元可以按照预设的顺序排列,例如,卷积层具体可以包括48个卷积单元,排在前面的卷积单元可以对待分析图像中的人物目标进行低层次的特征信息的提取,例如,人物目标的边缘、线条和角等低层次的特征信息,排在后面的卷积单元能从低层次的特征信息中迭代计算,获取人物目标更复杂的特征信息,从而使得经过卷积层处理后得到的特征数据能够准确的体现人物目标的特征。s23:使用全连接层对每个图像区域的特征数据进行分类回归,确定存在违规行为的目标图像区域和目标图像区域中的违规类型,其中,违规行为包括人物目标不满足预设的规范着装要求或者不符合预设的安全操作要求的行为。具体地,在全连接层中包括若干个训练好的分类器,每个分类器分别对应一种违规类型,其中,违规类型具体可以包括未佩戴口罩、未佩戴帽子、各种违规动作等。在每个分类器中,使用预设的激活函数对特征数据进行回归分析,得到特征数据与该分类器对应的违规类型的匹配度,该相似度具体可以通过概率值表示,概率值越大,则说明特征数据与该分类器对应的违规类型越匹配。其中,激活函数具体可以是sigmoid、rule和softmax等,此处不做限制。将每个图像区域的特征数据输入每个分类器中,根据每个分类器输出的匹配度,判断该图像区域中的人物目标是否存在违规行为,即该任务目标的着装是否满足预设的规范着装要求,或者该人物目标的动作是否符合预设的安全操作要求,并根据判断结果确定违规类型。在一具体实施例中,通过对每个分类器设置对应的匹配度阈值,通过对分类器输出的匹配度与该分类器对应的匹配度阈值之间的比较,判断图像区域中的人物目标的着装是否满足预设的规范着装要求,或者人物目标的动作是否符合预设的安全操作要求。需要说明的是,对于未佩戴口罩或未佩戴帽子这类的违规类型,若分类器输出的匹配度超过对应的匹配度阈值,则确认人物目标的着装不满足预设的规范着装要求中佩戴口罩或者佩戴帽子的要求;而对于违规动作这一类的违规类型,若分类器输出的匹配度超过对应的匹配度阈值,则确认人物目标的动作属于违规动作,即不满足预设的安全操作要求,当分类器输出的匹配度小于对应的匹配度阈值时,确认人物目标的动作没有违规,即满足预设的安全操作要求。例如,全连接层一共有4个训练好的分类器,包括分类器1、分类器2、分类器3、分类器4,分类器1对应的违规类型为未佩戴口罩,分类器2对应的违规类型为未佩戴帽子,分类器3对应的违规类型为违规动作a,分类器4对应的违规类型为违规动作b,表1示出了通过全连接层对图像区域的特征数据进行分类回归后得到的每个分类器的回归结果,该回归结果通过概率值表示特征数据与每个违规类型之间的匹配程度。全连接层分类器1分类器2分类器3分类器4违规类型未佩戴口罩未佩戴帽子违规动作a违规动作b回归结果5%99%7%90%匹配度阈值90%90%80%75%表1根据表1的回归结果和匹配度阈值可知,图像区域的人物目标佩戴了口罩,但未佩戴帽子,即该人物目标的着装不满足预设的规范着装要求中佩戴帽子的要求,图像区域中的人物目标没有出现违规动作a,但出现了违规动作b,即人物目标的动作不符合预设的安全操作要求中不允许出现违规动作b的要求,因此,该图像区域的违规类型为未佩戴帽子和违规动作b。s24:将目标图像区域和目标图像区域的拍摄时间作为违规数据,并将该违规数据和目标图像区域的违规类型对应保存为违规行为记录。具体地,将步骤s23确定的违规类型,出现该违规类型的目标图像区域,以及该目标图像区域的拍摄时间对应保存为一条违规行为记录。本实施例中,在对视频图像进行安全行为识别的过程中,使用包括输入层、卷积层和全连接层的卷积神经网络模型,通过输入层提取包含人物目标的帧图像,并对帧图像进行预处理得到待分析图像,通过卷积层对待分析图像进行卷积计算,得到待分析图像中每个人物目标所在的图像区域的特征数据,再通过全连接层对特征数据进行分类回归,确定每个图像区域中的人物目标不满足规范着装要求或者不符合安全操作要求的违规类型,并将违规类型,出现该违规类型的图像区域,以及该图像区域的拍摄时间对应保存为一条违规行为记录。通过卷积神经网络模型能够准确识别出监控区域的违规行为,并且具有可学习能力,能够通过对特定监控区域的学习和训练达到准确的识别效果。在一实施例中,如图4所示,在步骤s24之后,还可以对监控区域中的有害生物进行监测,具体包括步骤s25至步骤s27,详述如下:s25:获取视频图像在预设时间范围内的连续的视频帧。具体地,服务端根据视频图像每一帧的拍摄时间,获取预设时间范围内的每一帧图像,得到连续的视频帧。需要说明的是,对有害生物的监测主要集中在无人的时间段,例如餐饮企业下班后的夜晚时段,因此,预设时间范围具体可以设置为晚上11点至早上8点的时间段,但并不限于此,具体可以根据实际应用的需要进行设置,此处不做限制。s26:对连续的视频帧进行针对预设的有害生物的移动侦测,判断监控区域中是否存在有害生物,并将包含有害生物的视频帧作为目标帧。具体地,移动侦测是按照预设的侦测算法,对连续的视频帧进行计算和比较,当连续的视频帧中的画面出现变化时,例如有老鼠、蟑螂等有害生物出现或移动时,连续两帧或者连续多帧之间的图像会存在差异,通过获取该差异数据,并对该差异数据进行特征分析,确定是否为有害生物。其中,预设的侦测算法具体可以是背景减除法(backgroundsubtraction)、时间差分法(backgroundsubtraction)、光流法(backgroundsubtraction)等,但并不限于此,具体可以根据实际应用的需要进行设置,此处不做限制。当通过移动侦测确定监控区域出现有害生物时,从连续的视频帧中提取包含该有害生物的视频帧,并将提取出的视频帧作为目标帧。需要说明的是,当连续多个视频帧均包含同一有害生物时,在提取目标帧时,可以将多个视频帧中的每一帧视频帧均作为目标帧,也可以从多个视频帧中选择一帧视频帧作为目标帧,目标帧的具体提取方式可以根据实际应用的需要进行设置,此处不做限制。s27:将目标帧和目标帧的拍摄时间作为违规数据,并将违规数据与存在有害生物的违规类型对应保存为违规行为记录。具体地,根据步骤s26确定的目标帧,获取该目标帧的拍摄时间,将违规类型直接设置为存在有害生物,将该违规类型、该目标帧及其拍摄时间对应保存为一条违规行为记录。本实施例中,通过对视频图像在预设时间范围内的连续帧进行移动侦测,识别监控区域存在的有害生物,实现对监控区域中的有害生物进行有效监测,进一步提高对监控区域食品安全的保障能力。在一实施例中,如图5所示,在步骤s5中,按照预设的每种违规类型对应的评分条件,对待分析违规信息中的违规数据进行评分,得到监控区域在预设时间段的行为安全分数,具体包括步骤s51至步骤s53,详述如下:s51:按照违规类型对待分析违规信息中的违规数据进行分类,并统计每种违规类型对应的累积违规次数。具体地,服务端根据待分析违规信息中的每个违规类型对待分析违规信息中的违规数据进行分类,将属于同一违规类型的违规数据归为一类,然后统计每一类中违规数据的数量,即每种违规类型对应的累积违规次数。例如,在待分析违规信息中包含三条违规行为记录,分别为记录c1,记录c2和记录c3,记录c1中的违规类型为未佩戴帽子,违规数据为未佩戴帽子的厨师a的图像区域及其拍摄时间,记录c2中的违规类型为未佩戴口罩,违规数据为未佩戴口罩的厨师a的图像区域及其拍摄时间,记录c3中的违规类型为未佩戴帽子,违规数据为未佩戴帽子的厨师b的图像区域及其拍摄时间,其中,未佩戴口罩的厨师a的图像区域和未佩戴帽子的厨师a的图像区域为同一个图像区域。那么,经过本步骤的分类和统计后得到未佩戴口罩的累积违规次数为1次,未佩戴帽子的累积违规次数为2次。s52:针对每种违规类型,根据违规次数与分数之间预设的映射关系,获取累积违规次数对应的分数,并将获取到的分数作为违规类型的单项分数。在本实施例中,违规次数与分数之间预设的映射关系具体可以是违规次数与分数之间的反比性关系,违规次数越多则分数越低,反之,违规次数越少则分数越高,违规次数为0则分数为预设的满分,分数的取值范围可以从0到100。不同违规类型的违规次数与分数之间的映射关系可以相同也可以不同,例如,对未佩戴帽子和未佩戴口罩两种违规类型来说,若未佩戴帽子的违规次数和未佩戴口罩的违规次数都为3次,其对应的分数可以不同,若3次未佩戴帽子对应的分数高于3次未佩戴口罩对应的分数,则说明未佩戴帽子的违规严重程度低于未佩戴口罩的违规严重程度,具体每种违规类型对应的违规次数与分数之间的映射关系可以根据实际应用的需要进行设置,此处不做限制。具体地,根据步骤s51得到的每种违规类型的累积违规次数,按照该违规类型预设的违规次数与分数之间的映射关系,获取该违规类型的累积违规次数对应的分数,即该违规类型的单项分数。s53:按照每种违规类型预设的权重系数,对每种违规类型的单项分数进行加权计算,得到行为安全分数。具体地,每种违规类型被预先设置相应的权重系数,该权重系数用于标识其对应的违规类型的重要程度,每种违规类型预设的权重系数可以根据实际应用的需要进行设置,此处不做限制。计算步骤s52得到的每种违规类型的单项分数与该违规类型预设的权重系数的加权平均值,该加权平均值即为行为安全分数。本实施例中,通过统计每种违规类型对应的累积违规次数,并根据违规次数与分数之间预设的映射关系,确定每种违规类型的单项分数,再按照每种违规类型的权重系数,对每种违规类型的单项分数进行加权计算,得到的行为安全分数能够准确反映每种违规类型对食品安全的影响程度,进而为后续根据行为安全分数进行预警提供准确的数据基础。在一实施例中,如图6所示,在步骤s4之后,还可以根据待分析异常数据更新食品保质期,具体包括步骤s81至步骤s83,详述如下:s81:根据待分析异常数据中的区域标识信息和参数类型,计算在每个功能子区域中每种参数类型对应的参数值在预设时间段内的平均值,得到每个功能子区域中每种参数类型的平均参数值。具体地,按照区域标识信息和参数类型对待分析异常数据进行归类,将属于同一功能子区域并且具有相同参数类型的待分析异常数据归到同一个类别集合中,在每个类别集合中,计算待分析异常数据中的参数值的平均值,得到每个功能子区域中每种参数类型的平均参数值。例如,在区域标识信息为area1的功能子区域中,若异常环境数据包括三条数据,分别为“温度=30摄氏度,湿度=70%”、“温度=33摄氏度”和“湿度=90%”,则计算后得到功能子区域area1中,参数类型为温度对应的平均参数值为(30+33)/2=31.5摄氏度,参数类型为湿度对应的平均参数值为(70%+90%)/2=80%。s82:按照每种食品类型在每个功能子区域中每种参数类型下参数值与保质期限之间的预设对应关系,获取监控区域中已登记的食品所在的功能子区域中每种参数类型的平均参数值对应的保质期限,并将获取到的保质期限中的最短期限作为该食品的有效期限。在本实施例中,监控区域存放的食品在进入监控区域前均需要进行登记,登记信息可以包括食品类型、生产日期、食品保质期和食品存放的功能子区域的区域标识信息,服务端通过食品信息记录表保存进入监控区域的每一件食品的登记信息。其中,食品保质期为食品出厂时商家提供的食品保质日期。同时,服务端还预先设置有每个功能子区域中每种食品类型在不同的环境条件下的保质期限,即每种参数类型下参数值与保质期限之间的预设对应关系,该预设对应关系体现了每个功能子区域中的食品在该功能子区域的环境条件改变的情况下其保质期限的变化情况,例如,温度越高则食品的保质期限越短。可以理解的是,不同的功能子区域的环境条件不同,其对保质期限的要求也不同,例如,食品冷藏区的食品的保质期限明显长于熟食存放区的食品的保质期限。具体地,服务端对食品信息记录表中记录的每一件食品进行遍历,根据该食品的食品类型和存放的功能子区域的区域标识信息,先获取该功能子区域中该食品类型对应的每种参数类型中参数值与保质期限之间的预设对应关系,然后根据步骤s81得到的该功能子区域中每种参数类型的平均参数值,确定该食品在每种参数类型对应的保质期限,并从每种参数类型对应的保质期限中选取最短期限作为该食品的有效期限。例如,若步骤s81得到的功能子区域area1的参数类型有两个,分别为温度和湿度,并且温度对应的平均参数值为31.5摄氏度,湿度对应的平均参数值为80%,假设对于蔬菜这一食品类型,在功能子区域area1中温度这一参数类型下参数值与保质期限之间的预设对应关系为:温度低于0摄氏度时保质期限为15天,温度高于0摄氏度并且低于10摄氏度时保质期限为5天,温度高于10摄氏度时保质期限为1天,在功能子区域area1中湿度度这一参数类型下参数值与保质期限之间的预设对应关系为:湿度低于60%时保质期限为10天,湿度高于60%时保质期限为3天,那么,当功能子区域area1中存放有蔬菜时,通过本步骤的执行可以得到两个保质期限,分别是温度对应的1天和湿度对应的3天,从两个保质期限中选取最短期限1天,即可以得到在功能子区域area1中存放的蔬菜的有效期限为1天。s83:根据食品的生产日期和有效期限,确定该食品是否超过保质期,并对超过保质期的食品进行过期报警。具体地,服务端从食品信息记录表中获取食品的生产日期,并根据步骤s82得到的该食品的有效期限,计算该食品的保质期,服务端根据计算得到的食品保质期和当前的日期,判断该食品是否已经超过保质期。例如,若食品信息记录表中记录的某食品的生产日期为2018年11月10日,食品保质期为2018年12月10日,当根据步骤s92得到该食品的有效期限为10天时,可以计算得到该食品更新后的保质期为2018年11月20日,假设当前的日期为2018年11月22日,那么该食品已超过保质期。服务端对超过保质期的食品进行过期报警,过期报警的具体方式可以是将食品过期信息通过短信、微信等即时消息通知相关负责人及时处理,还可以是将食品过期信息发送到预设的监控中心进行预警,以使监控中心的监控人员及时了解并采取相应的处理措施,过期报警还可以是其他报警方式,此处不做限制。其中,进行过期报警时的食品过期信息具体可以包括食品信息记录表中记录的该食品的登记信息,以及该食品的有效期限,更新后的保质期和超过更新后的保质期的天数等等。本实施例中,通过计算在每个功能子区域中每种参数类型对应的参数值在预设时间段内的平均值,得到每个功能子区域中每种参数类型的平均参数值,然后根据参数值与保质期限之间的预设对应关系,确定监控区域中已登记的食品的有效期限,再根据食品的生产日期和有效期限,确定该食品是否超过保质期,若超过保质期则过期报警,实现了根据存储环境的变化及时调整食品保质期,进一步提高对食品安全的监控水平。应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。在一实施例中,提供一种基于人工智能的环境监控装置,该基于人工智能的环境监控装置与上述实施例中基于人工智能的环境监控方法一一对应。如图7所示,该基于人工智能的环境监控装置包括:接收模块10、识别模块20、分析模块30、读取模块40、评分模块50、预警模块60和报警模块70。各功能模块详细说明如下:接收模块10,用于接收客户端发送的监控区域的视频图像和环境数据;识别模块20,用于使用预设的图像识别模型对视频图像进行安全行为识别,得到包含违规类型和违规数据的违规行为记录,并将违规行为记录保存到区块链中;分析模块30,用于按照预设的环境参数要求,对环境数据进行分析,将不满足环境参数要求的环境数据和该环境数据的采集时间作为异常环境数据,保存到区块链中,其中,不满足所述环境参数要求的环境数据包括参数类型和参数值,以及该环境数据所在的功能子区域的区域标识信息;读取模块40,用于从区块链中获取预设时间段内的违规行为记录和异常环境数据,并将获取到的违规行为记录作为待分析违规信息,将获取到的异常环境数据作为待分析异常数据;评分模块50,用于按照预设的每种违规类型对应的评分条件,对待分析违规信息中的违规数据进行评分,得到监控区域在预设时间段的行为安全分数;预警模块60,用于根据分数与违规等级之间预设的对应关系,获取行为安全分数对应的违规等级,并按照获取到的违规等级对应的预设预警措施进行预警;报警模块70,用于按照区域标识信息和参数类型对所述待分析异常数据进行归类,得到在每个功能子区域中每种参数类型对应的待分析异常数据,并根据待分析异常数据的采集时间,计算在每个功能子区域中每种参数类型对应的异常持续时间,若异常持续时间超过预设的时间阈值,则进行安全报警。进一步地,预设的图像识别模型包括输入层、卷积层和全连接层,识别模块20包括:提取子模块201,用于在输入层中,以预先定义的背景图像为基础,从视频图像中提取包含人物目标的帧图像,并对帧图像进行预处理,得到待分析图像;卷积子模块202,用于将待分析图像输入卷积层,对待分析图像进行卷积计算,得到待分析图像中每个人物目标所在的图像区域的特征数据;分类子模块203,用于使用全连接层对每个图像区域的特征数据进行分类回归,确定存在违规行为的目标图像区域和该目标图像区域中的违规类型,其中,违规行为包括人物目标不满足预设的规范着装要求或者不符合预设的安全操作要求的行为;第一记录子模块204,用于将目标图像区域和目标图像区域的拍摄时间作为违规数据,并将该违规数据和目标图像区域的违规类型对应保存为违规行为记录。进一步地,识别模块20还包括:获取子模块205,用于获取视频图像在预设时间范围内的连续的视频帧;侦测子模块206,用于对连续的视频帧进行针对预设的有害生物的移动侦测,判断监控区域中是否存在有害生物,并将包含有害生物的视频帧作为目标帧;第二记录子模块207,用于将目标帧和目标帧的拍摄时间作为违规数据,并将该违规数据与存在有害生物的违规类型对应保存为违规行为记录。进一步地,评分模块50包括:次数获取子模块501,用于按照违规类型对待分析违规信息中的违规数据进行分类,并统计每种违规类型对应的累积违规次数;单项计算子模块502,用于针对每种违规类型,根据违规次数与分数之间预设的映射关系,获取累积违规次数对应的分数,并将获取到的分数作为该违规类型的单项分数;加权计算子模块503,用于按照每种违规类型预设的权重系数,对每种违规类型的单项分数进行加权计算,得到行为安全分数。进一步地,基于人工智能的环境监控装置还包括:平均值计算模块81,用于根据待分析异常数据中的区域标识信息和参数类型,计算在每个功能子区域中每种参数类型对应的参数值在预设时间段内的平均值,得到每个功能子区域中每种参数类型的平均参数值;有效期确定模块82,用于按照每种食品类型在每个功能子区域中每种参数类型下参数值与保质期限之间的预设对应关系,获取监控区域中已登记的食品所在的功能子区域中每种参数类型的平均参数值对应的保质期限,并将获取到的保质期限中的最短期限作为该食品的有效期限;过期报警模块83,用于根据食品的生产日期和有效期限,确定该食品是否超过保质期,并对超过保质期的食品进行过期报警。关于基于人工智能的环境监控装置的具体限定可以参见上文中对于基于人工智能的环境监控方法的限定,在此不再赘述。上述基于人工智能的环境监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。在一实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的环境监控方法。在一实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中基于人工智能的环境监控方法的步骤,例如图2所示的步骤s1至步骤s7。或者,处理器执行计算机程序时实现上述实施例中基于人工智能的环境监控装置的各模块/单元的功能,例如图7所示模块10至模块70的功能。为避免重复,此处不再赘述。在一实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例中基于人工智能的环境监控方法,或者,该计算机程序被处理器执行时实现上述装置实施例中基于人工智能的环境监控装置中各模块/单元的功能。为避免重复,此处不再赘述。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1