一种基于视频分析的餐饮企业食品安全监管方法及系统与流程

本发明涉及视频数据分析技术领域，并且更具体地，涉及一种基于视频分析的餐饮企业食品安全监管方法及系统。

背景技术：

当前，视频监控技术已广泛应用在各行各业。以餐饮行业为例，视频监控技术，对于在监管餐饮企业食品安全的过程中，起到了至关重要的作用。

但目前传统的视频监控技术，只提供视频的捕获、保存、传输与显示画面等功能。对于餐饮企业而言，需配置较好的软、硬件设备，才能确保视频的清晰度及视频的留存与传输无误。因此，会产生较高的费用支出。对于监管方而言，就企业上传或留存的视频内容，则需要人工对其实现分析与识别，不仅会有巨大的工作量，同时容错率低，易造成餐饮企业同监管方间，产生异议，发生不必要的损失。

因此，需要一种基于视频分析的餐饮企业食品安全监管方法。

技术实现要素：

本发明提出一种基于视频分析的餐饮企业食品安全监管系统及方法，以解决如何对视频数据进行分析监控的问题。

为了解决上述问题，根据本发明的一个方面，提供了一种基于视频分析的餐饮企业食品安全监管方法，所述方法包括：

获取监控设备实时采集到的视频数据，并对监控设备实时采集到的视频数据进行预处理，以获取图像帧队列；

利用基于敏感行为规则确定的敏感行为分析模型，对图像帧队列中的图像帧数据进行图像分析，以分析所述图像帧数据中是否存在敏感行为；

确定监控设备实时采集到的视频数据所涉及的内容类别，获取与内容类别相关联的预设样本数据，利用预设样本数据对监控设备实时采集到的视频数据的图像帧队列中图像帧数据进行内容识别，以确定所述图像帧数据中是否存在敏感行为；

当确定图像帧数据中存在敏感行为时，根据预设的敏感行为和报警方式之间对应关系确定报警方式，并根据确定的报警方式发送告警信息至主控平台。

优选地，其中所述对监控设备实时采集到的视频数据进行预处理，以获取图像帧队列，包括：

通过opencv和ffmpeg技术对监控设备实时采集到的视频数据进行解码和分帧处理；

对经过解码和分帧处理后的视频图像进行值滤波去噪，以获取图像帧队列。

优选地，其中所述利用基于敏感行为规则确定的敏感行为分析模型，对图像帧队列中的图像帧数据进行图像分析，以分析图像帧数据中是否存在关注目标，包括：

利用人脸识别单元分析并处理所述图像帧数据中的人脸信息；若存在与目标数据库中的人脸图像不匹配的人脸信息，则确定该图像帧数据中存在关注目标；

利用行为识别单元分析并处理所述图像帧数据中的行为特征序列，若存在与目标数据库中相同的行为，则确定该图像帧数据中存在敏感行为；

利用事件识别单元分析并处理所述图像帧数据中的事件图像信息，若存在与目标数据库中相同的特征事件，则确定该图像帧数据中存在敏感行为。

优选地，其中所述内容类别为面部类型，所述与内容类别相关联的预设样本数据包括:佩戴规定口罩的面部样本数据和佩戴规定帽子的面部样本数据；或

所述内容类别为上臂类型，所述与内容类别相关联的预设样本数据包括:穿着规定服饰的上臂样本数据；或

所述内容类别为动作类型，所述与内容类别相关联的预设样本数据包括:违规动作样本数据；或

所述内容类别为异物类型，所述与内容类别相关联的预设样本数据包括:至少一种异常物体的样本数据。

优选地，其中所述方法还包括：

通过时间序列和连续多帧关系对识别到的敏感行为进行过滤，包括：

判断相邻两帧之间的识别到的敏感行为是否相同，若是，则进行下一步，若不是，则排除识别到的敏感行为；

判断相邻两帧之间的重叠率是否合理，若合理，则确定识别到敏感行为，若不合理，则排除识别到的敏感行为。

根据本发明的另一个方面，提供了一种基于视频分析的餐饮企业食品安全监管系统，所述系统包括：

数据获取模块，用于获取监控设备实时采集到的视频数据，并对监控设备实时采集到的视频数据进行预处理，以获取图像帧队列；

数据分析模块，用于利用基于敏感行为规则确定的敏感行为分析模型，对图像帧队列中的图像帧数据进行图像分析，以分析所述图像帧数据中是否存在敏感行为；

数据识别模块，用于确定监控设备实时采集到的视频数据所涉及的内容类别，获取与内容类别相关联的预设样本数据，利用预设样本数据对监控设备实时采集到的视频数据的图像帧队列中图像帧数据进行内容识别，以确定所述图像帧数据中是否存在敏感行为；

报警模块，用于当确定图像帧数据中存在敏感行为时，根据预设的敏感行为和报警方式之间对应关系确定报警方式，并根据确定的报警方式发送告警信息至主控平台。

优选地，其中所述数据获取模块，对监控设备实时采集到的视频数据进行预处理，以获取图像帧队列，包括：

通过opencv和ffmpeg技术对监控设备实时采集到的视频数据进行解码和分帧处理；

对经过解码和分帧处理后的视频图像进行值滤波去噪，以获取图像帧队列。

优选地，其中所述数据分析模块，利用基于敏感行为规则确定的敏感行为分析模型，对图像帧队列中的图像帧数据进行图像分析，以分析图像帧数据中是否存在关注目标，包括：

利用人脸识别单元，分析并处理所述图像帧数据中的人脸信息；若存在与目标数据库中的人脸图像不匹配的人脸信息，则确定该图像帧数据中存在关注目标；

利用行为识别单元，分析并处理所述图像帧数据中的行为特征序列，若存在与目标数据库中相同的行为，则确定该图像帧数据中存在敏感行为；

利用事件识别单元分析并处理所述图像帧数据中的事件图像信息，若存在与目标数据库中相同的特征事件，则确定该图像帧数据中存在敏感行为。

优选地，其中所述内容类别为面部类型，所述与内容类别相关联的预设样本数据包括:佩戴规定口罩的面部样本数据和佩戴规定帽子的面部样本数据；或

所述内容类别为上臂类型，所述与内容类别相关联的预设样本数据包括:穿着规定服饰的上臂样本数据；或

所述内容类别为动作类型，所述与内容类别相关联的预设样本数据包括:违规动作样本数据；或

所述内容类别为异物类型，所述与内容类别相关联的预设样本数据包括:至少一种异常物体的样本数据。

优选地，其中所述数据分析模块和/或所述数据识别模块，还用于：通过时间序列和连续多帧关系对识别到的敏感行为进行过滤，包括：

判断相邻两帧之间的识别到的敏感行为是否相同，若是，则进行下一步，若不是，则排除识别到的敏感行为；

判断相邻两帧之间的重叠率是否合理，若合理，则确定识别到敏感行为，若不合理，则排除识别到的敏感行为。

本发明提供了一种基于视频分析的餐饮企业食品安全监管方法及系统，利用计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内目标，通过在不同摄像机的场景中预设不同的非法规则，一旦目标在场景中出现了违反预定义规则的行为，系统会自动发出告警信息，监控指挥平台会自动弹出报警信息并发出警示音。本发明的方法具备实时对监控范围内的运动目标进行检测跟踪的功能，并且把行为识别等技术同视频监控相结合，形成新的能够完全替代人为监控的智能型视频监控，可加强餐饮企业与监管方之间的有效互动，减少以往大量繁琐的依靠人工实现分析与识别的工作，降低容错率，同时加快监管业务的处理率。除此以外，将原有餐饮企业的大体量视频数据，同智能分析相结合，形成视频分析技术，可大大地提高视频数据的有效利用率，同时可有效地推动餐饮企业食品安全监管业务的智能化发展。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为根据本发明实施方式的基于视频分析的餐饮企业食品安全监管方法100的流程图；

图2为根据本发明实施方式的智能监控系统的物理架构图；

图3为根据本发明实施方式的智能监控系统处理能力的示意图；以及

图4为根据本发明实施方式的基于视频分析的餐饮企业食品安全监管系统400的结构示意图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为根据本发明实施方式的基于视频分析的餐饮企业食品安全监管方法100的流程图。如图1所示，本发明实施方式提供的基于视频分析的餐饮企业食品安全监管方法，能具备实时对监控范围内的运动目标进行检测跟踪的功能，并且把行为识别等技术同视频监控相结合，形成新的能够完全替代人为监控的智能型视频监控，可加强餐饮企业与监管方之间的有效互动，减少以往大量繁琐的依靠人工实现分析与识别的工作，降低容错率，同时加快监管业务的处理率。除此以外，将原有餐饮企业的大体量视频数据，同智能分析相结合，形成视频分析技术，可大大地提高视频数据的有效利用率，同时可有效地推动餐饮企业食品安全监管业务的智能化发展。本发明实施方式提供的基于视频分析的餐饮企业食品安全监管方法100，从步骤101处开始，在步骤101获取监控设备实时采集到的视频数据，并对监控设备实时采集到的视频数据进行预处理，以获取图像帧队列。

优选地，其中所述对监控设备实时采集到的视频数据进行预处理，以获取图像帧队列，包括：

通过opencv和ffmpeg技术对监控设备实时采集到的视频数据进行解码和分帧处理；

对经过解码和分帧处理后的视频图像进行值滤波去噪，以获取图像帧队列。

在本发明的实施方式中，系统终端机用网线连接外部摄像头以获取网络视频数据，或者直接从数据存储模块获取历史视频数据。当接收到视频数据后，发送给其所连接的cpu，cpu传输指令控制视频计算模块完成视频分析计算，将计算后的数据通过主板上的网线传递给后台软件显示和存储。

在本发明的实施方式中，获取的视频数据可以实现不同厂家的视频在同一的视频界面上进行实时监控图像查看。例如，如可以在同一的界面上打开a、b和c等厂家的视频。另外，通过网络可实时查看前端相连的视频、调取录像资料、下载、剪辑、控制、抓图等操作。工作人员也可以通过电脑的浏览器就可以查看任意视频资源，可以实现浏览图像、抓拍图片、控制云台、回放录像资料、下载录像资料、剪辑录像资料等。

在本发明的实施方式中，对获取的历史的视频数据，通过opencv和ffmpeg将历史数据进行分帧处理为帧队列。其中，历史数据为监控设备记录的或者存放于局域网内其他存储设备存储的过去发生的视频数据，如avi、wmv、mpeg或mp4等格式的视频数据。在进行预处理时，先对历史数据进行视频格式识别，然后通过opencv和ffmpeg分帧压缩成一帧一帧相对独立的图片，并存于帧队列中。

对于从监控设备实时获取的视频数据，通过ffmpeg对实时数据进行解码，并分帧处理为帧队列。其中，监控设备为视频监控平台、摄像机等，通过监控设备可以实时采集视频数据。在进行预处理时，通过网络接口实时的接收视频数据，并通过ffmpeg对实时的视频数据进行实时性视频解码，分帧，压缩成一帧一帧相对独立的图片，再存于帧队列中。

另外，在将帧图像数据存储于帧队列前，还需要对经过解码和分帧处理后的视频图像进行值滤波处理，以进行去噪。

在步骤102，利用基于敏感行为规则确定的敏感行为分析模型，对图像帧队列中的图像帧数据进行图像分析，以分析所述图像帧数据中是否存在敏感行为。

优选地，其中所述利用基于敏感行为规则确定的敏感行为分析模型，对图像帧队列中的图像帧数据进行图像分析，以分析图像帧数据中是否存在关注目标，包括：

利用人脸识别单元分析并处理所述图像帧数据中的人脸信息；若存在与目标数据库中的人脸图像不匹配的人脸信息，则确定该图像帧数据中存在关注目标；

利用行为识别单元分析并处理所述图像帧数据中的行为特征序列，若存在与目标数据库中相同的行为，则确定该图像帧数据中存在敏感行为；

利用事件识别单元分析并处理所述图像帧数据中的事件图像信息，若存在与目标数据库中相同的特征事件，则确定该图像帧数据中存在敏感行为。

在步骤103，确定监控设备实时采集到的视频数据所涉及的内容类别，获取与内容类别相关联的预设样本数据，利用预设样本数据对监控设备实时采集到的视频数据的图像帧队列中图像帧数据进行内容识别，以确定所述图像帧数据中是否存在敏感行为。

优选地，其中所述内容类别为面部类型，所述与内容类别相关联的预设样本数据包括:佩戴规定口罩的面部样本数据和佩戴规定帽子的面部样本数据；或

所述内容类别为上臂类型，所述与内容类别相关联的预设样本数据包括:穿着规定服饰的上臂样本数据；或

所述内容类别为动作类型，所述与内容类别相关联的预设样本数据包括:违规动作样本数据；或

所述内容类别为异物类型，所述与内容类别相关联的预设样本数据包括:至少一种异常物体的样本数据。

优选地，其中所述方法还包括：

通过时间序列和连续多帧关系对识别到的敏感行为进行过滤，包括：

判断相邻两帧之间的识别到的敏感行为是否相同，若是，则进行下一步，若不是，则排除识别到的敏感行为；

判断相邻两帧之间的重叠率是否合理，若合理，则确定识别到敏感行为，若不合理，则排除识别到的敏感行为。

在本发明的实施方式中，根据餐饮企业监管政策要求，制定一系列视频分析规则，主要规则包含：

人员入侵规则：设定餐厅工作人员人脸信息。分析模型中心对于出现不在此人员人脸信息列表人员时，予以报警。

人员佩戴帽子规则：设定餐厅工作人员帽子规则，其中包括帽子颜色、种类、佩戴位置等要素。分析模型中对于出现未按要求佩戴帽子者，予以报警。

人员佩戴口罩规则：设定餐厅工作人员口罩规则，其中包括口罩颜色、种类、佩戴位置等要素。分析模型中对于出现未按要求佩戴口罩者，予以报警。

人员吸烟行为规则：设定餐厅工作人员吸烟行为规则。分析模型中对于出现在禁烟区域吸烟情况，予以报警。

人员玩手机行为规则：设定餐厅工作人员玩手机行为规则。分析模型中对于出现在操作间内玩手机情况，予以报警。

在进行分析时，分别利用数据分析模块的人脸识别单元、行为识别单元和事件识别单元进行分析，并判断相邻两帧之间的识别到的敏感行为是否相同，若是，则判断相邻两帧之间的重叠率是否合理，若合理，则确定识别到敏感行为，即确定该图像帧数据中是否存在敏感行为；反之，则排除识别到的敏感行为。

另一方面，通过数据识别确定敏感行为，包括：

1)未佩戴口罩或厨师帽的视频分析技术

利用摄像头抓取从业人员的面部与头部的画面，通过同智能视频分析器中已采集的各类口罩、厨师帽模型进行比对，并对捕捉到的视频画面通过智能算法(如：口罩、厨师帽佩戴的位置偏差、佩戴口罩与未佩戴口罩时的面部色差、佩戴厨师帽与未佩戴厨师帽时的头部颜色辨别等)进行判断，并实时分析。

2)赤膊的视频分析技术

利用摄像头抓取从业人员的上半身部的画面，通过同智能视频分析器中已采集的各类厨师服模型进行比对，并对捕捉到的视频画面通过智能算法(如：穿厨师服与未穿厨师服时的上半身部皮肤色差等)进行判断，并实时分析。

3)违规吸烟的视频分析技术

利用摄像头抓取从业人员行为动作的画面，通过同智能视频分析器中已训练的违规动作(抽烟行为)模型进行比对，并对捕捉到的视频画面通过智能算法(如：手部夹烟动作、胳膊像嘴部送烟动作等)进行判断，并实时分析。

4)违规使用手机的视频分析技术

利用摄像头抓取从业人员行为动作的画面，通过同智能视频分析器中已训练的违规动作(使用手机行为)模型进行比对，并对捕捉到的视频画面通过智能算法(如：手部操作手机动作、使用手机通话的动作等)进行判断，并实时分析。

5)异物入侵的视频分析技术

利用摄像头抓取后厨、就餐区域等环境的画面，通过同智能视频分析器中已存储的异物图像进行比对，并对捕捉到的视频画面通过智能算法(如：异物同异物图像匹配度等)进行判断，并实时分析。

为了保证识别的准确性，减少误判和报警的次数，通过时间序列和连续多帧关系对识别到的敏感行为进行过滤，包括：判断相邻两帧之间的识别到的敏感行为是否相同，若是，则进行下一步，若不是，则排除识别到的敏感行为；判断相邻两帧之间的重叠率是否合理，若合理，则确定识别到敏感行为，若不合理，则排除识别到的敏感行为。

在步骤104，当确定图像帧数据中存在敏感行为时，根据预设的敏感行为和报警方式之间对应关系确定报警方式，并根据确定的报警方式发送告警信息至主控平台。

在本发明的实施方式中，用户通过在不同摄像机的场景中预设不同的非法规则，一旦目标在场景中出现了违反预定义规则的行为，系统会自动发出告警信息，监控指挥平台会自动弹出报警信息并发出警示音，并触发联动相关的设备；同时，用户可以通过点击报警信息，实现报警的场景重组并采取相关预防措施。

在本发明的实施方式中，还可以通过监控设备管理模块，用于对前端的监控设备远程进行配置和设备维护。通过报警视频提取模块，用于当确定识别到敏感行为时，按照预设的时间规则提取包含所述敏感行为的视频数据，并存储，终端可通过后台管理功能页面，通过设置报警报送方式，实现视频分析结果报送。另外，本发明的系统还提供不同的前端设备远程配置功能，可通过系统控制台进行设备维护，包括添加、修改、删除等管理功能，实现远程配置功能。本发明的系统可实时监控前端设备运行情况与远程设置、控制、关机、校时等操作：对于现在的设备放在前端比较多，管理不太方便，如果高效的、方便的可以对前端设备进行设置，设备时间走长了也会有所误差，如果对设备进行定时教时等都通过平台进行统一管理，包括可以远程重启、关机等。本发明还能够将视频数据存储至本地硬盘中，方便管理人员进行历史视频查看，同时提供告警视频查看功能；能够跟进后台配置，对接入的前端视频数据进行本地存储，便于后续历史视频查看；能够根据后台配置，实现将视频分析计算发现的报警视频数据集中保存，从而对报警数据快速定位和查看。

图2为根据本发明实施方式的智能监控系统的物理架构图。如图2所示，智能视频分析终端与原有视频监控系统相连接，通过获取摄像头获取厨房的整体状态，并进行分析后发送分析结果至监管系统或学校终端。其中，通过后台配置视频计算模型规则，可以实现对人员入侵、未按规定佩戴帽子、未按规定佩戴口罩、在禁烟区域吸烟、在后厨操作区玩手机等情况进行视频智能分析和计算，通过后台配置报警规则，可以实现对视频分析结果实时报送。图3为根据本发明实施方式的智能监控系统处理能力的示意图。如图3所示，当视频分析结果指示存在人员入侵问题、着装问题、操作违规或存在有害物入侵时，均可以出发系统进行报警。其中，对于多次存在违规行为的厨房，还会直接发送告警信息至监管部门。

本发明的基于视频分析的餐饮企业食品安全监管系统，能够实现将不同品类摄像头视频数据集成，同时利用视频计算、人脸识别等技术，实现对餐饮执业者操作规范分析计算，可加强餐饮企业与监管方之间的有效互动，减少以往大量繁琐的依靠人工实现分析与识别的工作，降低容错率，同时加快监管业务的处理率。除此以外，将原有餐饮企业的大体量视频数据，同智能分析相结合，形成视频分析技术，可大大地提高视频数据的有效利用率，同时可有效地推动餐饮企业食品安全监管业务的智能化发展。

图4为根据本发明实施方式的基于视频分析的餐饮企业食品安全监管方法400的流程图。如图4所示，本发明实施方式提供的基于视频分析的餐饮企业食品安全监管系统400，包括：数据获取模块401、数据分析模块402、数据识别模块403和报警模块404。

优选地，所述数据获取模块401，用于获取监控设备实时采集到的视频数据，并对监控设备实时采集到的视频数据进行预处理，以获取图像帧队列。

优选地，其中所述数据获取模块401，对监控设备实时采集到的视频数据进行预处理，以获取图像帧队列，包括：

通过opencv和ffmpeg技术对监控设备实时采集到的视频数据进行解码和分帧处理；

对经过解码和分帧处理后的视频图像进行值滤波去噪，以获取图像帧队列。

优选地，所述数据分析模块402，用于利用基于敏感行为规则确定的敏感行为分析模型，对图像帧队列中的图像帧数据进行图像分析，以分析所述图像帧数据中是否存在敏感行为。

优选地，其中所述数据分析模块402，利用基于敏感行为规则确定的敏感行为分析模型，对图像帧队列中的图像帧数据进行图像分析，以分析图像帧数据中是否存在关注目标，包括：

利用人脸识别单元，分析并处理所述图像帧数据中的人脸信息；若存在与目标数据库中的人脸图像不匹配的人脸信息，则确定该图像帧数据中存在关注目标；

利用行为识别单元，分析并处理所述图像帧数据中的行为特征序列，若存在与目标数据库中相同的行为，则确定该图像帧数据中存在敏感行为；

利用事件识别单元分析并处理所述图像帧数据中的事件图像信息，若存在与目标数据库中相同的特征事件，则确定该图像帧数据中存在敏感行为。

优选地，其中所述数据分析模块402，还用于：通过时间序列和连续多帧关系对识别到的敏感行为进行过滤，包括：

判断相邻两帧之间的识别到的敏感行为是否相同，若是，则进行下一步，若不是，则排除识别到的敏感行为；

判断相邻两帧之间的重叠率是否合理，若合理，则确定识别到敏感行为，若不合理，则排除识别到的敏感行为。

优选地，所述数据识别模块403，用于确定监控设备实时采集到的视频数据所涉及的内容类别，获取与内容类别相关联的预设样本数据，利用预设样本数据对监控设备实时采集到的视频数据的图像帧队列中图像帧数据进行内容识别，以确定所述图像帧数据中是否存在敏感行为。

优选地，其中所述内容类别为面部类型，所述与内容类别相关联的预设样本数据包括:佩戴规定口罩的面部样本数据和佩戴规定帽子的面部样本数据；或

所述内容类别为上臂类型，所述与内容类别相关联的预设样本数据包括:穿着规定服饰的上臂样本数据；或

所述内容类别为动作类型，所述与内容类别相关联的预设样本数据包括:违规动作样本数据；或

所述内容类别为异物类型，所述与内容类别相关联的预设样本数据包括:至少一种异常物体的样本数据。

优选地，所述报警模块404，用于当确定图像帧数据中存在敏感行为时，根据预设的敏感行为和报警方式之间对应关系确定报警方式，并根据确定的报警方式发送告警信息至主控平台。

本发明的实施例的基于视频分析的餐饮企业食品安全监管系统400与本发明的另一个实施例的基于视频分析的餐饮企业食品安全监管方法100相对应，在此不再赘述。

已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。

通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。