监管方法、装置、系统、云端服务器及存储介质与流程

本公开涉及人工智能技术领域，具体地，涉及一种监管方法、装置、系统、云端服务器及存储介质。

背景技术：

随着互联网络技术的不断发展，网约车、在线直播平台等应用服务应运而生，在这些应用服务的运营过程中可能会出现暴力、争吵、涉黄、低俗等各类违法违规行为。然而，目前并没有对这些应用服务的运营过程进行监管，导致各类违法犯罪事件层出不穷。

技术实现要素：

本公开的目的是提供一种监管方法、装置、系统、云端服务器及存储介质，用于实现对网约车、家庭监控、在线直播平台等应用服务的监管和异常事件的自动取证。

为了实现上述目的，本公开第一方面提供一种监管方法，应用于云端服务器，所述方法包括：

接收监控端发送的可疑监控信息，所述可疑监控信息是所述监控端基于单特征识别模型从采集到的监控信息中识别得到的具有异常事件的监控信息，所述单特征识别模型是利用监控信息中的单一特征作为训练样本训练得到的；

将所述可疑监控信息输入多特征融合模型，得到异常事件的识别结果，所述多特征融合模型是利用监控信息中的多个特征以及该监控信息的异常事件标签作为训练样本对训练得到的。

本公开第二方面提供一种监管装置，应用于云端服务器，所述装置包括：

第一接收模块，被配置为接收监控端发送的可疑监控信息，所述可疑监控信息是所述监控端基于单特征识别模型从采集到的监控信息中识别得到的具有异常事件的监控信息，所述单特征识别模型是利用监控信息中的单一特征作为训练样本训练得到的；

识别模块，被配置为将所述可疑监控信息输入多特征融合模型，得到异常事件的识别结果，所述多特征融合模型是利用监控信息中的多个特征以及该监控信息的异常事件标签作为训练样本对训练得到的。

本公开第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。

本公开第四方面提供一种云端服务器，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。

本公开第五方面提供一种监管系统，包括监控端和本公开第四方面所述的云端服务器。

采用上述技术方案，至少可以达到如下技术效果：

通过接收监控端发送的可疑监控信息并将可疑监控信息输入多特征融合模型，得到异常事件的识别结果，可以实现对网约车、家庭监控、在线直播平台等应用服务的监管和异常事件的自动取证，降低异常事件发生的概率。其次，通过监控端对采集的监控信息进行初步识别并将识别得到的可疑监控信息发送给云端服务器，由云端服务器对可疑监控信息进行进一步识别，一方面可以减少监控端的运算量，进而减少监控端的带宽，另一方面可以提高异常事件识别结果的准确性和可靠性，降低异常事件的虚警率，进而降低人力成本。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开一示例性实施例示出的一种监管系统的框图；

图2是根据本公开一示例性实施例示出的一种监管方法的流程图；

图3是根据本公开另一示例性实施例示出的一种监管方法的流程图；

图4是根据本公开一示例性实施例示出的一种监管装置的框图；

图5是根据本公开另一示例性实施例示出的一种监管装置的框图；

图6是根据本公开一示例性实施例示出的一种云端服务器的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，本公开的说明书和权利要求书以及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必理解为描述特定的顺序或先后次序。

本公开实施例提供了一种监管系统，如图1所示，该监管系统100可以包括：位于现场的监控端110和云端服务器120。监控端110可以为融合了信息采集和信息处理的智能设备，其可以包括信息采集装置111和信息处理装置112。信息采集装置111采集监控信息后将监控信息发送给信息处理装置112进行识别，初步判断是否存在异常事件(例如暴力、强奸、争吵、涉黄、低俗等)，并将识别得到的可疑监控信息(即具有异常事件的监控信息)通过有线(例如电缆、网线)或无线(例如wifi、蓝牙)的方式发送给云端服务器120。云端服务器120根据接收到的可疑监控信息进行进一步识别，得到异常事件的识别结果(例如包括监控端110是否存在异常事件以及存在哪种异常事件)。

其中，信息采集装置111可以包括但不限于麦克风、摄像头、gps定位元件、惯性测量单元(inertialmeasurementunite，imu)等传感器等，相应地，采集到的监控信息可以包括但不限于：语音信息、图像信息、文本信息、车辆的位置信息以及车辆的运动状态信息等。

信息处理装置112内置有单特征识别模型，该单特征识别模型是利用监控信息中的单一特征作为训练样本训练得到的。相应地，信息处理装置112可以基于该单特征识别模型从采集到的监控信息中识别得到可疑监控信息。具体地，该单特征识别模型可以包括针对每一特征的特征提取网络和分类器，信息处理装置112可以利用各特征提取网络从监控信息中提取出相应的特征并利用相应的分类器对该特征进行分类，初步判断出具有异常事件的可疑监控信息。例如，对于语音信息，若根据单特征识别模型识别出其存在异常声(例如尖叫声)、异常关键词(例如“放开我”、“救命”等)以及语音信息中仅有车载声(即麦克风被遮挡)这三种情况中的至少一种，则可认为该语音信息为可疑监控信息；对于图像信息，若根据单特征识别模型识别到图像信息中存在危险物品(例如刀、枪等)、图像信息表明监控端发生剧烈运动以及图像信息为异常图像(例如非被监控对象的图像)这三种情况中的至少一种，则可认为该图像信息为可疑监控信息；对于文本信息，若根据单特征识别模型识别到文本信息中包括非法文字(例如暴力、涉黄、低俗等文字)，则可认为该文本信息为可疑文本信息。

云端服务器120内置有多特征融合模型，该多特征融合模型是利用监控信息中的多个特征以及该监控信息的异常事件标签作为训练样本对训练得到的。云端服务器120在接收到信息处理装置112发送的可疑监控信息后，可以将可疑监控信息输入预置的多特征融合模型中，得到异常事件的识别结果。具体地，该多特征融合模型可以包括针对每一特征的特征提取网络、针对所有提取出的特征的多模融合网络和分类器，云端服务器120可以利用各个特征提取网络从可疑监控信息中提取出多个特征，利用多模融合网络将多个特征进行融合，得到特征向量，并将特征向量送入分类器进行分类识别，得到异常事件的识别结果。

通过本公开实施例提供的监管系统，可以实现对网约车、家庭监控、在线直播平台等应用服务的监管和异常事件的自动取证，降低异常事件发生的概率。其次，通过监控端对采集的监控信息进行初步识别并将识别得到的可疑监控信息发送给云端服务器，由云端服务器利用多特征融合模型对可疑监控信息进行进一步识别，一方面可以减少监控端的运算量，进而减少监控端的带宽，另一方面可以提高异常事件识别结果的准确性和可靠性，进而降低异常事件的虚警率，降低人力成本。

在另一个实施例中，若识别结果表明监控端110存在异常事件，云端服务器120则可以将可疑监控信息发送给目的端200(例如，远程监控设备、目标用户随身携带的移动终端等)，以指示目的端200展示该可疑监控信息，以便目标用户根据该可疑监控信息进一步识别监控端110是否存在异常事件并向目的端200输入人工识别结果以及在确认监控端110存在异常事件时采取相应的措施(例如报警)。其中，目标用户可以包括但不限于监控人员、网络警察、应用服务的客服人员等。这样，通过监控端、云端服务器和人工三级识别机制，可以进一步提升异常事件识别结果的准确性和可靠性，降低异常事件虚警率，从而降低人工成本。此外，由于目的端仅展示经监控端筛选后的可疑监控信息，相比于目的端展示所有采集的监控信息，可以在一定程度上保证被监控对象的隐私，实现监控端带宽、被监控对象的隐私以及异常事件识别率之间的优化折中。

进一步地，云端服务器120还可以接收目的端200发送的对可疑监控信息的人工识别结果，并根据可疑监控信息和人工识别结果生成训练样本对，利用该训练样本对更新多特征融合模型，以优化和提升该多特征融合模型的性能，提升多特征融合模型根据可疑监控信息输出的识别结果的准确性和可靠性，从而减少异常事件的虚警率，达到节省人力的目的。同时，随着训练样本对数量的增多，经过不断更新和优化，可以使多特征融合模型更加完善。

进一步地，云端服务器120还可将接收到的人工识别结果发送给监控端110的信息处理装置112，由信息处理装置112根据采集到的监控信息和对应的人工识别结果生成训练样本对并利用生成的训练样本对更新单特征识别模型，以优化和提升该单特征识别模型的性能，进而提升单特征识别模型根据采集到的监控信息输出可疑监控信息的准确性和可靠性，从而减少异常事件的虚警率。同时，随着训练样本数量的增多，经过不断更新和优化，可以使单特征识别模型更加完善。

值得说明的是，本公开实施例的应用场景可以包括但不限于：本公开实施例的应用场景可以包括但不限于：网约车监管、家庭监控、在线直播平台监管等。

此外，针对不同的应用场景，监控端110采集的监控信息不同。例如，对应网约车监管，监控端110可以设置在车辆上，考虑到强奸、谋杀等异常事件大多发生在偏僻地区以及车辆大多处于停止状态，因而监控端110采集的监控信息可以包括：语音信息、图像信息、车辆的位置信息以及车辆的运动状态信息；对于在线直播平台监管，监控端110可以设置在直播客户端中，考虑到直播过程中有文字，因而监控端110采集的监控信息可以包括：语音信息、图像信息以及文本信息。

本领域技术人员可以理解，本公开实施例仅以示例性说明上述应用场景，但并不在于限制本公开实施例的应用范围。

本公开实施例还提供了一种监管方法，如图2所示，该方法可以包括以下步骤：

在步骤s21中，接收监控端发送的可疑监控信息，可疑监控信息是监控端基于单特征识别模型从采集到的监控信息中识别得到的具有异常事件的监控信息。

其中，单特征识别模型是利用监控信息中的单一特征作为训练样本训练得到的。

根据应用场景的不同，监控信息可以包括图像信息、语音信息、文本信息、位置信息以及运动状态信息中的一者或多者。示例地，以网约车监管场景为例，考虑到强奸、谋杀等异常事件大多发生在偏僻地区以及车辆大多处于停止状态，因而可以获取的监控信息除了包括图像信息和语音信息，还可以包括车辆的位置信息以及车辆的运动状态信息。以在线直播平台监管场景为例，考虑到直播过程中有文字，可以获取到的监控信息包括图像信息和语音信息，还可以包括文本信息。

值得说明的是，监控端利用单特征识别模型从采集到的监控信息中识别得到的具有异常事件的监控信息的过程与本公开上述任一个实施例所描述的监管系统中的监控端的具体实现方式类似，具体请参见上述对监控端的描述，为了减少冗余，此处不再赘述。

在步骤s22中，将可疑监控信息输入多特征融合模型，得到异常事件的识别结果。

其中，多特征融合模型是利用监控信息中的多个特征以及该监控信息的异常事件标签作为训练样本对训练得到的。

具体地，多特征融合模型可以包括针对每一特征的特征提取网络、针对所有提取出的特征的多特征进行融合的多模融合网络和分类器。在接收到可疑信息后，可以利用各个特征提取网络从可疑监控信息中提取出多个特征，利用多模融合网络将多特征进行融合，得到特征向量，并将特征向量送入分类器进行分类识别，得到异常事件的识别结果。

在本公开的实施例中，异常事件的识别结果可以包括监控端是否存在异常事件(例如暴力、强奸、争吵、涉黄、低俗等)以及存在哪种异常事件。

根据本公开上述实施例提供的监管方法，可以实现对网约车、家庭监控、在线直播平台等应用服务的监管和异常事件的自动取证，降低异常事件发生的概率。其次，通过监控端对采集的监控信息进行初步识别并将识别得到的可疑监控信息发送给云端服务器，由云端服务器利用多特征融合模型对可疑监控信息进行进一步识别，一方面可以减少监控端的运算量，进而减少监控端的带宽，另一方面可以提高异常事件识别结果的准确性和可靠性，进而降低异常事件的虚警率，降低人力成本。

在另一个实施例中，如图3所示，上述监管方法还可以包括：

在步骤s23中，若识别结果表明监控端存在异常事件，则将可疑监控信息发送给目的端，以指示目的端展示可疑监控信息。

其中，目的端可以包括但不限于远程监控设备、目标用户携带的移动终端等，目标用户可以例如包括但不限于监控人员、网络警察、应用服务的客服人员等。

若识别结果表明监控端存在异常事件，云端服务器还可以将可疑监控信息(例如可疑的语音信息、图像信息等)发送给目的端，由目标用户根据可疑监控信息进一步识别监控端是否存在异常事件，以便在确认监控端存在异常事件时采取相应的措施(例如报警)。

由此，通过监控端、云端服务器和人工三级识别机制，可以进一步提升异常事件识别结果的准确性和可靠性，降低异常事件虚警率，从而进一步减少人工成本。此外，由于目的端仅展示经监控端筛选后的可疑监控信息，相比于目的端展示所有采集的监控信息，可以在一定程度上保证被监控对象的隐私，实现监控端带宽、被监控对象的隐私以及异常事件识别率之间的优化折中。

在另一个实施例中，如图3所示，上述监管方法还可以包括：

在步骤s24中，接收目的端发送的对可疑监控信息的人工识别结果。

在步骤s25中，根据可疑监控信息和人工识别结果生成训练样本对。

在步骤s26中，利用该训练样本对更新多特征融合模型。

目标用户还可以在目的端输入对可疑监控信息的人工识别结果，由目的端将人工识别结果发送给云端服务器。云端服务器在接收到人工识别结果后，对可疑监控信息和对应的人工识别结果进行标注，得到训练样本对，并利用该训练样本对更新多特征融合模型，以优化和提升该多特征融合模型的性能，提升多特征融合模型根据可疑监控信息输出的识别结果的准确性和可靠性，从而减少异常事件的虚警率，达到节省人力的目的。同时，随着训练样本对数量的增多，经过不断更新和优化，可以使多特征融合模型更加完善。

在另一个实施例中，如图3所示，上述监管方法还可以包括：

在步骤s27中，将人工识别结果发送给监控端，人工识别结果用于监控端更新单特征识别模型。

云端服务器还可以将接收到的人工识别结果发送给监控端，由监控端根据采集到的监控信息和对应的人工识别结果生成训练样本对并利用生成的训练样本对更新单特征识别模型，以优化和提升该单特征识别模型的性能，进而提升单特征识别模型根据采集到的监控信息输出可疑监控信息的准确性和可靠性，从而减少异常事件的虚警率。同时，随着训练样本数量的增多，经过不断更新和优化，可以使单特征识别模型更加完善。

值得说明的是，对于上述方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。

本公开实施例还提供一种监管装置，该装置可应用于云端服务器，如图4所示，该监管装置400可以包括：第一接收模块401和识别模块402。

该第一接收模块401被配置为接收监控端发送的可疑监控信息，所述可疑监控信息是所述监控端基于单特征识别模型从采集到的监控信息中识别得到的具有异常事件的监控信息，所述单特征识别模型是利用监控信息中的单一特征作为训练样本训练得到的。

该识别模块402被配置为将所述可疑监控信息输入多特征融合模型，得到异常事件的识别结果，所述多特征融合模型是利用监控信息中的多个特征以及该监控信息的异常事件标签作为训练样本对训练得到的。

在另一个实施例中，如图5所示，所述装置400还包括：

第一发送模块403，被配置为在所述识别结果表明所述监控端存在异常事件时，将所述可疑监控信息发送给目的端，以指示所述目的端展示所述可疑监控信息。

在另一个实施例中，如图5所示，所述装置400还包括：

第二接收模块404，被配置为接收所述目的端发送的对所述可疑监控信息的人工识别结果；

生成模块405，被配置为根据所述可疑监控信息和所述人工识别结果生成训练样本对；

更新模块406，被配置为利用该训练样本对更新所述多特征融合模型。

在另一个实施例中，如图5所示，所述装置400还包括：

第二发送模块407，被配置为将所述人工识别结果发送给所述监控端，所述人工识别结果用于所述监控端更新所述单特征识别模型。

在另一个实施例中，所述监控信息包括图像信息、语音信息、文本信息、位置信息以及运动状态信息中的一者或多者。

本领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述功能模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

通过本公开上述实施例提供的监管装置，可以实现对网约车、家庭监控、在线直播平台等应用服务的监管和异常事件的自动取证，降低异常事件发生的概率。其次，通过监控端对采集的监控信息进行初步识别并将识别得到的可疑监控信息发送给云端服务器，由云端服务器利用多特征融合模型对可疑监控信息进行进一步识别，一方面可以减少监控端的运算量，进而减少监控端的带宽，另一方面可以提高异常事件识别结果的准确性和可靠性，进而降低异常事件的虚警率，降低人力成本。

其次，在识别结果表明监控端存在异常事件时，将可疑监控信息发送给目的端，以指示目的端展示可疑监控信息，由目标用户根据可疑监控信息进一步识别监控端是否存在异常事件，以便采取相应的措施，通过监控端、云端服务器和人工三级识别机制，可以进一步提升异常事件识别结果的准确性和可靠性，降低异常事件虚警率，从而进一步减少人工成本。此外，由于目的端仅展示经监控端筛选后的可疑监控信息，相比于目的端展示所有采集的监控信息，可以在一定程度上保证被监控对象的隐私，实现监控端带宽、被监控对象的隐私以及异常事件识别率之间的优化折中。

进一步地，利用接收到的人工识别结果和可疑监控信息更新多特征融合模型，可以优化和提升该多特征融合模型的性能，提升多特征融合模型根据可疑监控信息输出的识别结果的准确性和可靠性，从而减少异常事件的虚警率，达到节省人力的目的。同时，随着训练样本对数量的增多，经过不断更新和优化，可以使多特征融合模型更加完善。

进一步地，通过将接收到的人工识别结果发送给监控端，由监控端利用人工识别结果更新单特征识别模型，可以优化和提升该单特征识别模型的性能，进而提升单特征识别模型根据采集到的监控信息输出可疑监控信息的准确性和可靠性，从而减少异常事件的虚警率。同时，随着训练样本数量的增多，经过不断更新和优化，可以使单特征识别模型更加完善。

图6是根据一示例性实施例示出的一种云端服务器600的框图。参照图6，云端服务器600包括处理器622，其数量可以为一个或多个，以及存储器632，用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器622可以被配置为执行该计算机程序，以执行上述的监管方法。

另外，云端服务器600还可以包括电源组件626和通信组件650，该电源组件626可以被配置为执行云端服务器600的电源管理，该通信组件650可以被配置为实现云端服务器600的通信，例如，有线或无线通信。此外，该云端服务器600还可以包括输入/输出(i/o)接口658。云端服务器600可以操作基于存储在存储器632的操作系统，例如windowsservertm，macosxtm，unixtm，linuxtm等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的监管方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器632，上述程序指令可由云端服务器600的处理器622执行以完成上述的监管方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。