行为监管方法、装置、存储介质及移动终端与流程

本申请涉及通信领域，具体涉及一种行为监管方法、装置、存储介质及移动终端。

背景技术：

近年来，儿童失踪、被拐问题，对于任何家庭来说都是“生命不可承受之痛”。多年来，它在全球任何一个国家都属于发生率高、受害者多、民众普遍关注的棘手问题，因此如何防范儿童拐卖，是守护孩子安全成长极重要的一步。

相关技术中，儿童佩戴有智能腕表等设备，当家长发现儿童不见时，可通过定位智能腕表等设备的地理位置找到孩子，但如果儿童被拐，那么智能腕表等设备很可能会被丢弃，此外儿童可能在被拐较长时间后家长才察觉，即便定位到了智能腕表等设备的地理位置，儿童也可能无法寻回。

技术实现要素：

本申请实施例提供一种行为监管方法，可以实时监管儿童，避免儿童在被拐一段时间后家长才察觉，导致儿童无法寻回。

本申请实施例提供一种行为监管方法，应用于具有摄像头模组的移动终端，包括：

接收用户指令开启所述摄像头模组，并对目标区域内的目标人物进行录像；

对所述录像得到的每一帧图像进行分析，检测所述图像中是否存在预设行为；

若所述图像中存在所述预设行为，则生成第一提示信息以提示用户。

本申请实施例还提供一种行为监管装置，应用于具有摄像头模组的移动终端，包括：

录制单元，用于接收用户指令开启所述摄像头模组，并对目标区域内的目标人物进行录像；

检测单元，用于对所述录像得到的每一帧图像进行分析，检测所述图像中是否存在预设行为；

生成单元，用于若所述图像中存在所述预设行为，则生成第一提示信息以提示用户。

本申请实施例还提供一种存储介质，存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上所述的行为监管方法。

本申请实施例还提供一种移动终端，移动终端包括处理器和存储器，存储器中存储有计算机程序，处理器通过调用存储器中存储的计算机程序，用于执行如上所述的行为监管方法。

本申请实施例提供的行为监管方法，包括：接收用户指令开启所述摄像头模组，并对目标区域内的目标人物进行录像；对所述录像得到的每一帧图像进行分析，检测所述图像中是否存在预设行为；若所述图像中存在所述预设行为，则生成第一提示信息以提示用户。通过实时分析对儿童录制的图像，来检测儿童是否被拐，避免儿童在被拐一段时间后家长才察觉，导致儿童无法寻回。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的行为监管方法的第一种流程示意图。

图2为本申请实施例提供的行为监管方法的第二种流程示意图。

图3为本申请实施例提供的行为监管装置的结构示意图。

图4为本申请实施例提供的移动终端的具体结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请实施例提供的行为监管方法的第一种流程示意图。

行为监管方法，包括：

步骤101、接收用户指令开启所述摄像头模组，并对目标区域内的目标人物进行录像。

具体的，移动终端可以为手机、平板电脑、笔记本电脑、个人数字助理等具有摄像头模组的设备，在移动终端中存储有多种应用程序，比如具备娱乐功能的应用(如视频应用，行为监管应用，游戏应用，阅读软件)，又如具备服务功能的应用(如地图导航应用、餐饮应用等)。

具体的，当用户通过固定支架等固定装置固定移动终端后，开启移动终端上的摄像头模组，以通过该摄像头模组对儿童进行录像，其中录像可以为实时录像以及将录制后的录像进行存储的两种方式，基于监管的实时性，一般采取实时录像的方式来监管儿童。

步骤102、对录像得到的每一帧图像进行分析，检测图像中是否存在预设行为。

具体的，基于实时录制的方式，当对目标区域进行录制时，控制摄像头模组实时将录制到的视频帧(即图像)传送至处理器进行分析，检测录制到的视频帧中是否存在预设行为。其中，预设行为是指视频帧中存在有扭打、拉扯、拖拽、抱起等的恶意行为，检测到视频帧中存在有上述的恶意行为即确定视频帧中存在预设行为。

其中，可采用预设行为分析模型对录制到的视频帧进行分析，通过分析来检测录像得到的每一帧图像中是否存在预设行为。因此，对所述录像得到的每一帧图像进行分析，包括：

调用预训练的预设行为分析模型对所述每一帧图像进行分析；

检测每一帧所述图像中是否存在所述预设行为。

具体的，该预设行为分析模型为对深度神经网络(deepneuralnetworks，dnn)进行训练，从而得到可以提取预设行为这一特征的模型，而对dnn的训练过程为：事先准备多张图像，并对每一张图像标记标签，将多张图像输送至dnn，dnn通过对每一张图像进行卷积、池化等的处理最终得到一分析结果，再根据该分析结果去调节卷积层中的提取图像特征的卷积核，最终得到特征提取较为完善的卷积核，从而得到训练好的预设行为分析模型。因此，在步骤101之前，还包括：

获取样本图像以及所述样本图像对应的预训练结果，并构建预设行为分析模型；

利用所述样本图像以及所述样本图像对应的预训练结果，对预设行为分析模型进行训练，得到训练好的预设行为分析模型。

其中，向dnn输送样本图像时，标签结果为存在于标签结果为不存在的图像个数比值为3最佳，因此所述样本图像中分析结果为存在预设行为的图像与不存在预设行为的图像的数量比值为3。

具体的，由于dnn训练后的模型在分析图像时需要保证训练后的模型可以识别录制的视频帧(dnn训练后的模型只接受处理rgb格式的图像)，并且由摄像头模组录制的视频帧格式一般为yuv格式的，因此，在调用预设行为分析模型时，需要将视频帧格式从yuv格式转化为rgb格式，可通过调用开源库opencv的相应的应用程序接口(api)完成格式转化，此处不做赘述。当然，也存在某些摄像头模组可直接录制除rgb格式的视频帧，因此，可以在调用预设行为分析模型时检测视频帧的格式是否为rgb格式，如果不是，则对视频帧格式进行转化，将转化后的视频帧发送至预设行为分析模型中进行分析。因此，调用预训练的违规行为分析模型对所述每一帧图像进行分析，包括：

检测所述每一帧图像的图像格式是否为预设格式；

若所述每一帧图像的图像格式为非预设格式，则对所述每一帧图像进行格式转换，得到转换后图像；

调用预训练的预设行为分析模型对所述转换后图像进行分析。

步骤103、若图像中存在预设行为，则生成第一提示信息以提示用户。

具体的，当分析出录制到的视频帧中存在预设行为时，可以生成一条提示信息，此提示信息可以为用户事先编辑好的文本，并通过运营商网络将此提示信息发送至与本移动终端绑定的其他设备。或者通过触发移动终端本身具备的扬声器等播放装置进行声音播放以提示用户。

此外，为了保证儿童的安全，若录制到的视频帧中不存在预设行为，但还存在儿童自己走失的安全隐患，因此，还需检测视频帧中是否存在该儿童，避免儿童自己走失，检测方式也可通过调用开源库opencv的相应api实现，此处不做赘述，当检测到视频帧中不存在该儿童的时间过长时，可生成一提示信息提示用户。因此，还可以包括：

若检测到所述目标人物不处于所述目标区域中，则开始计时；

当计时时间超过预设时间时，生成第二提示信息以提示用户。

以提示信息为用户事先编辑为例，第一提示信息可以为“儿童存在被拐风险”，第二提示信息可以为“儿童存在走失风险”，以区分不同的安全隐患，当然，第一提示信息与第二提示信息也可以相同，只要提示用户即可，此处不做赘述。

本申请实施例提供的行为监管方法包括：接收用户指令开启所述摄像头模组，并对目标区域内的目标人物进行录像；对所述录像得到的每一帧图像进行分析，检测所述图像中是否存在预设行为；若所述图像中存在所述预设行为，则生成第一提示信息以提示用户。通过实时分析对儿童录制的图像，来检测儿童是否被拐，避免儿童在被拐一段时间后家长才察觉，导致儿童无法寻回。

在一些实施例中，如图2所示提供了一种行为监管方法，该行为监管方法包括：

步骤201、获取样本图像以及样本图像对应的预训练结果，并构建预设行为分析模型。

具体的，该预设行为分析模型为对深度神经网络(deepneuralnetworks，dnn)进行训练，从而得到可以提取预设行为这一特征的模型，而对dnn的训练过程为：事先准备多张图像，并对每一张图像标记标签，将多张图像输送至dnn，dnn通过对每一张图像进行卷积、池化等的处理最终得到一分析结果，再根据该分析结果去调节卷积层中的提取图像特征的卷积核，最终得到特征提取较为完善的卷积核，从而得到训练好的预设行为分析模型。

步骤202、利用样本图像以及样本图像对应的预训练结果，对预设行为分析模型进行训练，得到训练好的预设行为分析模型。

其中，向dnn输送样本图像时，标签结果为存在于标签结果为不存在的图像个数比值为3最佳，因此所述样本图像中分析结果为存在预设行为的图像与不存在预设行为的图像的数量比值为3。

步骤203、接收用户指令开启摄像头模组，并对目标区域内的目标任务进行录像。

具体的，移动终端可以为手机、平板电脑、笔记本电脑、个人数字助理等具有摄像头模组的设备，在移动终端中存储有多种应用程序，比如具备娱乐功能的应用(如视频应用，行为监管应用，游戏应用，阅读软件)，又如具备服务功能的应用(如地图导航应用、餐饮应用等)。

具体的，当用户通过固定支架等固定装置固定移动终端后，开启移动终端上的摄像头模组，以通过该摄像头模组对儿童进行录像，其中录像可以为实时录像以及将录制后的录像进行存储的两种方式，基于监管的实时性，一般采取实时录像的方式来监管儿童。

步骤204、检测每一帧图像的图像格式是否为预设格式。

具体的，由于dnn训练后的模型在分析图像时需要保证训练后的模型可以识别录制的视频帧(dnn训练后的模型只接受处理rgb格式的图像)，并且由摄像头模组录制的视频帧格式一般为yuv格式的，因此，在调用预设行为分析模型时，需要将视频帧格式从yuv格式转化为rgb格式，可通过调用开源库opencv的相应api完成格式转化，此处不做赘述。当然，也存在某些摄像头模组可直接录制除rgb格式的视频帧，因此，可以在调用预设行为分析模型时检测视频帧的格式是否为rgb格式，如果不是，则对视频帧格式进行转化，将转化后的视频帧发送至预设行为分析模型中进行分析。

步骤205、若每一帧图像的图像格式为非预设格式，则对每一帧图像进行格式转换，得到转换后图像。

步骤206、调用预训练的预设行为分析模型对转换后图像进行分析。

步骤207、若图像中存在所述预设行为，则生成第一提示信息以提示用户。

具体的，当分析出录制到的视频帧中存在预设行为时，可以生成一条提示信息，此提示信息可以为用户事先编辑好的文本，并通过运营商网络将此提示信息发送至与本移动终端绑定的其他设备。或者通过触发移动终端本身具备的扬声器等播放装置进行声音播放以提示用户。

步骤208、若检测到目标人物不处于所述目标区域中，则开始计时。

此外，为了保证儿童的安全，若录制到的视频帧中不存在预设行为，但还存在儿童自己走失的安全隐患，因此，还需检测视频帧中是否存在该儿童，避免儿童自己走失，检测方式也可通过调用开源库opencv的相应api实现，此处不做赘述，当检测到视频帧中不存在该儿童的时间过长时，可生成一提示信息提示用户。

步骤209、当计时时间超过预设时间时，生成第二提示信息以提示用户。

以提示信息为用户事先编辑为例，第一提示信息可以为“儿童存在被拐风险”，第二提示信息可以为“儿童存在走失风险”，以区分不同的安全隐患，当然，第一提示信息与第二提示信息也可以相同，只要提示用户即可，此处不做赘述。

本申请实施例提供的行为监管方法包括：：接收用户指令开启所述摄像头模组，并对目标区域内的目标人物进行录像；对所述录像得到的每一帧图像进行分析，检测所述图像中是否存在预设行为；若所述图像中存在所述预设行为，则生成第一提示信息以提示用户。通过实时分析对儿童录制的图像，来检测儿童是否被拐，避免儿童在被拐一段时间后家长才察觉，导致儿童无法寻回。

请参阅图3，图3为本申请实施例提供的行为监管装置的结构示意图。所述行为监管装置包括：录制单元31、检测单元32及生成单元33。

其中，录制单元31、用于接收用户指令开启所述摄像头模组，并对目标区域内的目标人物进行录像。

具体的，移动终端可以为手机、平板电脑、笔记本电脑、个人数字助理等具有摄像头模组的设备，在移动终端中存储有多种应用程序，比如具备娱乐功能的应用(如视频应用，行为监管应用，游戏应用，阅读软件)，又如具备服务功能的应用(如地图导航应用、餐饮应用等)。

具体的，当用户通过固定支架等固定装置固定移动终端后，开启移动终端上的摄像头模组，以通过该摄像头模组对儿童进行录像，其中录像可以为实时录像以及将录制后的录像进行存储的两种方式，基于监管的实时性，一般采取实时录像的方式来监管儿童。

检测单元32、用于对所述录像得到的每一帧图像进行分析，检测所述图像中是否存在预设行为。

具体的，基于实时录制的方式，当对目标区域进行录制时，控制摄像头模组实时将录制到的视频帧(即图像)传送至处理器进行分析，检测录制到的视频帧中是否存在预设行为。其中，预设行为是指视频帧中存在有扭打、拉扯、拖拽、抱起等的恶意行为，检测到视频帧中存在有上述的恶意行为即确定视频帧中存在预设行为。

生成单元33、用于若所述图像中存在所述预设行为，则生成第一提示信息以提示用户。

具体的，当分析出录制到的视频帧中存在预设行为时，可以生成一条提示信息，此提示信息可以为用户事先编辑好的文本，并通过运营商网络将此提示信息发送至与本移动终端绑定的其他设备。或者通过触发移动终端本身具备的扬声器等播放装置进行声音播放以提示用户。

在一些实施例中，检测单元32还可以包括：

调用子单元，用于调用预训练的预设行为分析模型对所述每一帧图像进行分析；

检测子单元，用于检测每一帧所述图像中是否存在所述预设行为。

基于上述方法，本发明还提供了一种存储介质，其上存储有多条指令，其中，所述指令适合由处理器加载并执行如上所述的行为监管方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取记忆体(ram，randomaccessmemory)、磁盘或光盘等。

图4示出了本发明实施例提供的终端的具体结构框图，该终端可以用于实施上述实施例中提供的行为监管方法、存储介质及终端。

如图4所示，移动终端1200可以包括rf(radiofrequency，射频)电路110、包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、传输模块170、包括有一个或者一个以上(图中仅示出一个)处理核心的处理器180以及电源190等部件。本领域技术人员可以理解，图4中示出的移动终端1200结构并不构成对移动终端1200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

rf电路110可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。rf电路110可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与第二设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。

存储器120可用于存储软件程序以及模块，如上述实施例中行为监管方法、装置、存储介质及移动终端对应的程序指令/模块，处理器180通过运行存储在存储器120内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现芯片相互识别的功能。存储器120可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者第二非易失性固态存储器。在一些实例中，存储器120可以为如上所述的存储介质。

输入单元130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面131可包括触摸检测装置和触摸控制器两个部分。

显示单元140可用于显示由用户输入的信息或提供给用户的信息以及移动终端1200的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141，进一步的，触敏表面131可覆盖显示面板141。其中，上述实施例中移动终端的显示界面可以用该显示单元140表示，即显示行为监管的显示内容可以由显示单元140进行显示。

移动终端1200还可包括至少一种传感器150，比如光传感器、运动传感器以及第二传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在移动终端1200移动到耳边时，关闭显示面板141和/或背光。至于移动终端1200还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等第二传感器，在此不再赘述。

音频电路160、扬声器161，传声器162可提供用户与移动终端1200之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经rf电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔，以提供外设耳机与移动终端1200的通信。

移动终端1200通过传输模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。

处理器180是移动终端1200的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行移动终端1200的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理核心；在一些实施例中，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。

具体的，处理器180包括有：算术逻辑运算单元(arithmeticlogicunit，alu)、应用处理器、全球定位系统(globalpositioningsystem，gps)与控制及状态总线(bus)(图中未示出)。

移动终端1200还包括给各个部件供电的电源190(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理供电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再供电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，移动终端1200还可以包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。

具体在本实施例中，移动终端1200的显示单元140是触摸屏显示器，移动终端1200还包括有存储器120，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器120中，且经配置以由一个或者一个以上处理器180执行一个或者一个以上程序包含用于进行以下操作的指令：

接收用户指令开启所述摄像头模组，并对目标区域内的目标人物进行录像；

对所述录像得到的每一帧图像进行分析，检测所述图像中是否存在预设行为；

若所述图像中存在所述预设行为，则生成第一提示信息以提示用户

在一些实施例中，在所述对所述录像得到的每一帧图像进行分析时，处理器380还可以执行以下操作的指令：

调用预训练的预设行为分析模型对所述每一帧图像进行分析；

检测每一帧所述图像中是否存在所述预设行为。

在一些实施例中，在接收用户指令开启所述摄像头模组之前，处理器380还可以执行以下操作的指令：

获取样本图像以及所述样本图像对应的预训练结果，并构建预设行为分析模型；

利用所述样本图像以及所述样本图像对应的预训练结果，对预设行为分析模型进行训练，得到训练好的预设行为分析模型。

在一些实施例中，所述样本图像中分析结果为存在预设行为的图像与不存在预设行为的图像的数量比值为3。

在一些实施例中，在所述调用预训练的违规行为分析模型对所述每一帧图像进行分析时，处理器380还可以执行以下操作的指令：

检测所述每一帧图像的图像格式是否为预设格式；

若所述每一帧图像的图像格式为非预设格式，则对所述每一帧图像进行格式转换，得到转换后图像；

调用预训练的预设行为分析模型对所述转换后图像进行分析。

在一些实施例中，处理器380还可以执行以下操作的指令：

若检测到所述目标人物不处于所述目标区域中，则开始计时；

当计时时间超过预设时间时，生成第二提示信息以提示用户。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种行为监管方法、装置、存储介质及移动终端进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。