一种车辆验证方法及装置与流程

文档序号:22737914发布日期:2020-10-31 09:18阅读:86来源:国知局
一种车辆验证方法及装置与流程

本申请涉及深度学习技术领域,具体而言,涉及一种车辆验证方法及装置。



背景技术:

目前,随着网约车的快速发展,越来越的用户选择网约车作为出行工具,使得用户对网约车的安全度愈发重视。为了提高网约车的安全度,在车辆注册时,平台需要对车辆的真实信息进行验证,即判断用户输入的车辆信息是否与真实信息一致,并基于验证的结果,执行相应的业务操作。因此,设计一种对车辆进行验证的方法愈发重要。



技术实现要素:

有鉴于此,本申请的目的在于提供一种车辆验证方法及装置,实现了车辆信息的真实性验证。

第一方面,本申请实施例提供一种车辆验证方法,该方法包括:

响应用户端发送的车辆验证请求,从预存储的验证指令集中选取目标操作指令,将所述目标操作指令发送给所述用户端;所述验证指令集中包括多个指示对车辆执行不同操作的操作指令;

接收所述用户端基于所述目标操作指令发送的原始视频数据,将所述原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令;

基于所述待验证操作指令与所述目标操作指令的匹配结果,确定与所述车辆验证请求对应的车辆合法性验证结果。

一种可选实施方式中,所述验证指令集中包括多个指示对车辆的车灯执行不同操作的操作指令。

一种可选实施方式中,所述验证指令集中包括以下操作指令中的多种:

开左闪、开右闪、开双闪、开大灯、开大灯并开左闪、开大灯并开右闪,开大灯并开双闪。

一种可选实施方式中,所述预先训练的神经网络模型包括目标检测模型和指令识别模型,所述将所述原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令,包括:

将所述原始视频数据输入至训练好的目标检测模型,获取所述原始视频数据对应的每一帧图像中的目标部件区域;所述目标部件区域为对车辆执行的所述不同操作的作用部件所在的区域;

基于获取的每一帧图像中的所述目标部件区域,生成包含所述目标部件区域的中间视频数据;

将所述中间视频数据输入所述指令识别模型,获取识别出的待验证操作指令。

一种可选实施方式中,所述目标检测模型包括第一卷积神经网络、区域推荐网络、区域映射池化层、全连接网络、回归网络和第一分类器;

所述将所述原始视频数据输入至训练好的目标检测模型,获取所述原始视频数据对应的每一帧图像中的目标部件区域,包括:

针对所述原始视频数据对应的每一帧图像,执行下述过程:

将所述图像输入至所述第一卷积神经网络进行卷积处理,获取所述图像的第一特征数据,其中,所述第一特征数据用于表征所述图像的局部特征;

将所述第一特征数据输入至所述区域推荐网络以及所述区域映射池化层,通过所述区域推荐网络对所述第一特征数据进行处理,得到所述第一特征数据对应的候选目标区域的坐标信息;将所述候选目标区域的坐标信息输入至所述区域映射池化层,通过所述区域映射池化层将所述候选目标区域的坐标信息映射在所述第一特征数据上,从所述第一特征数据上获取所述候选目标区域对应的第二特征数据,其中,所述第二特征数据用于表征所述候选目标区域的局部特征;

针对每个候选区域,将所述候选目标区域对应的所述第二特征数据输入至所述全连接网络中进行处理,获取所述第二特征数据对应的全连接特征数据,将所述全连接特征数据输入至所述回归网络以及所述第一分类器,通过所述回归网络对所述全连接特征数据进行处理,生成所述候选目标区域对应的回归数据,并基于所述回归数据更改所述候选目标区域的坐标信息;通过所述第一分类器对所述全连接特征数据进行处理,获取所述候选目标区域的类别以及概率值;

基于每个候选目标区域更改后的坐标信息以及该候选目标区域对应的类别以及概率值,得到所述图像对应的所述目标部件区域。

一种可选实施方式中,所述第一卷积神经网络包括至少一个卷积层;

所述将所述图像输入至所述第一卷积神经网络进行卷积处理,获取所述图像的第一特征数据,包括:

通过所述至少一个卷积层中的每个卷积层分别对所述图像进行卷积处理,得到所述图像数据的第一特征数据。

一种可选实施方式中,所述区域推荐网络包括第二卷积神经网络、目标区域回归网络、以及目标区域分类网络;其中,所述区域推荐网络中设置有n种检测框,其中,不同检测框的宽度与高度的比例不同,或者,不同检测框的面积不同,n为正整数;

所述通过区域推荐网络对所述第一特征数据进行处理,得到所述图像第一特征数据对应的候选目标区域的位置信息,包括:

将所述第一特征数据输入至所述第二卷积神经网络中进行卷积处理,得到所述第一特征数据对应的第一中间特征数据,其中,所述第一中间特征数据中包括多个第一中间特征向量,每个第一中间特征向量对应有n种检测框的初始坐标信息;

将所述第一中间特征数据分别输入至所述目标区域回归网络以及所述目标区域分类网络,通过所述目标区域回归网络对所述第一中间特征数据进行处理,获取所述第一中间特征数据中每个第一中间特征向量对应的n种检测框中每种检测框的第二回归数据,基于所述第二回归数据以及所述检测框的初始坐标信息,得到检测框的目标坐标信息;通过所述目标区域分类网络对所述第一中间特征数据进行处理,获取所述第一中间特征数据中每个第一中间特征向量对应的n种检测框中每个检测框的第二概率值以及第二类别,基于多个检测框的第二概率值、第二类别以及每个检测框的目标坐标信息,得到所述第一特征数据对应的候选目标区域的位置信息。

一种可选实施方式中,所述指令识别模型包括:第三卷积神经网络、第一循环神经网络、第二分类器;

所述将所述中间视频数据输入所述指令识别模型,获取识别出的待验证操作指令,包括:

将所述中间视频数据输入至所述第三卷积神经网络进行卷积处理,得到第三特征数据序列,其中,所述第三特征数据序列包括所述中间视频数据中每一帧图像对应的第三特征数据,所述第三特征数据序列中第三特征数据的排列顺序与所述中间视频数据中每一帧图像的排列顺序相同;

将所述第三特征数据序列输入至所述第一循环神经网络中,获取每个所述第三特征数据对应的第三中间特征数据,其中,所述第三中间特征数据用于表征所述中间视频数据中任一帧图像的局部特征;

将每个第三中间特征数据输入至所述第二分类器中,得到每个第三中间特征数据对应的检测结果;

基于每个第三中间特征数据对应的检测结果,得到所述中间视频数据对应的待验证操作指令。

一种可选实施方式中,所述将所述第三特征数据序列输入至所述第一循环神经网络中,获取每个所述第三特征数据对应的中间特征数据,包括:

按照第三特征数据的排列顺序,从所述第三特征数据序列选择一个第三特征数据作为当前第三特征数据;

将当前第三特征数据、以及前一第三特征数据对应的中间特征数据,输入至所述第一循环神经网络中,获取当前第三特征数据对应的中间特征数据;其中,基于前一第三特征数据以及所述第一循环神经网络,获取前一第三特征数据对应的中间特征数据;

返回按照第三特征数据的排列顺序,从所述第三特征数据序列选择一个第三特征数据作为当前第三特征数据的步骤,直至获取了第三特征数据序列中所有第三特征数据的中间特征数据。

一种可选实施方式中,所述检测结果包括第三概率值以及第三类别;

所述基于每个第三中间特征数据对应的检测结果,得到所述中间视频数据对应的待验证操作指令,包括:

按照预设的方式为每个第三中间特征数据设置权重值;

基于每个所述第三中间特征数据对应的第三概率值、第三类别以及设置的权重值,确定所述中间视频数据对应的待验证操作指令。

一种可选实施方式中,在接收所述用户端基于所述目标操作指令发送的原始视频数据之后,在将所述原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令之前,所述方法还包括:

判断所述原始视频数据的时长是否满足设置的时长条件,若满足,则将所述原始视频数据输入至预先训练的神经网络模型;

若不满足,则向所述用户端发送退回信号,使得所述用户端重新基于所述目标操作指令发送更新后的原始视频数据。

第二方面,本申请实施例提供一种车辆验证装置,所述装置包括:

响应模块,用于响应用户端发送的车辆验证请求,从预存储的验证指令集中选取目标操作指令,将所述目标操作指令发送给所述用户端;所述验证指令集中包括多个指示对车辆执行不同操作的操作指令;

识别模块,用于接收所述用户端基于所述目标操作指令发送的原始视频数据,将所述原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令;

确定模块,用于基于所述待验证操作指令与所述目标操作指令的匹配结果,确定与所述车辆验证请求对应的车辆合法性验证结果。

一种可选实施方式中,所述验证指令集中包括多个指示对车辆的车灯执行不同操作的操作指令。

一种可选实施方式中,所述验证指令集中包括以下操作指令中的多种:

开左闪、开右闪、开双闪、开大灯、开大灯并开左闪、开大灯并开右闪,开大灯并开双闪。

一种可选实施方式中,所述预先训练的神经网络模型包括目标检测模型和指令识别模型,在识别所述原始视频数据对应的待验证操作指令时,所述识别模块包括:

目标部件区域获取单元,用于将所述原始视频数据输入至训练好的目标检测模型,获取所述原始视频数据对应的每一帧图像中的目标部件区域;所述目标部件区域为对车辆执行的所述不同操作的作用部件所在的区域;

中间视频数据生成单元,用于基于获取的每一帧图像中的所述目标部件区域,生成包含所述目标部件区域的中间视频数据;

待验证操作指令获取单元,用于将所述中间视频数据输入所述指令识别模型,获取识别出的待验证操作指令。

一种可选实施方式中,所述目标检测模型包括第一卷积神经网络、区域推荐网络、区域映射池化层、全连接网络、回归网络和第一分类器;

所述目标部件区域获取单元,利用下述步骤获取所述原始视频数据对应的每一帧图像中的目标部件区域:

针对所述原始视频数据对应的每一帧图像,执行下述过程:

将所述图像输入至所述第一卷积神经网络进行卷积处理,获取所述图像的第一特征数据,其中,所述第一特征数据用于表征所述图像的局部特征;

将所述第一特征数据输入至所述区域推荐网络以及所述区域映射池化层,通过所述区域推荐网络对所述第一特征数据进行处理,得到所述第一特征数据对应的候选目标区域的坐标信息;将所述候选目标区域的坐标信息输入至所述区域映射池化层,通过所述区域映射池化层将所述候选目标区域的坐标信息映射在所述第一特征数据上,从所述第一特征数据上获取所述候选目标区域对应的第二特征数据,其中,所述第二特征数据用于表征所述候选目标区域的局部特征;

针对每个候选区域,将所述候选目标区域对应的所述第二特征数据输入至所述全连接网络中进行处理,获取所述第二特征数据对应的全连接特征数据,将所述全连接特征数据输入至所述回归网络以及所述第一分类器,通过所述回归网络对所述全连接特征数据进行处理,生成所述候选目标区域对应的回归数据,并基于所述回归数据更改所述候选目标区域的坐标信息;通过所述第一分类器对所述全连接特征数据进行处理,获取所述候选目标区域的类别以及概率值;

基于每个候选目标区域更改后的坐标信息以及该候选目标区域对应的类别以及概率值,得到所述图像对应的所述目标部件区域。

一种可选实施方式中,所述第一卷积神经网络包括至少一个卷积层;

所述目标部件区域获取单元,利用下述步骤获取所述图像的第一特征数据:

通过所述至少一个卷积层中的每个卷积层分别对所述图像进行卷积处理,得到所述图像数据的第一特征数据。

一种可选实施方式中,所述区域推荐网络包括第二卷积神经网络、目标区域回归网络、以及目标区域分类网络;其中,所述区域推荐网络中设置有n种检测框,其中,不同检测框的宽度与高度的比例不同,或者,不同检测框的面积不同,n为正整数;

所述目标部件区域获取单元,利用下述步骤获取所述图像第一特征数据对应的候选目标区域的位置信息:

将所述第一特征数据输入至所述第二卷积神经网络中进行卷积处理,得到所述第一特征数据对应的第一中间特征数据,其中,所述第一中间特征数据中包括多个第一中间特征向量,每个第一中间特征向量对应有n种检测框的初始坐标信息;

将所述第一中间特征数据分别输入至所述目标区域回归网络以及所述目标区域分类网络,通过所述目标区域回归网络对所述第一中间特征数据进行处理,获取所述第一中间特征数据中每个第一中间特征向量对应的n种检测框中每种检测框的第二回归数据,基于所述第二回归数据以及所述检测框的初始坐标信息,得到检测框的目标坐标信息;通过所述目标区域分类网络对所述第一中间特征数据进行处理,获取所述第一中间特征数据中每个第一中间特征向量对应的n种检测框中每个检测框的第二概率值以及第二类别,基于多个检测框的第二概率值、第二类别以及每个检测框的目标坐标信息,得到所述第一特征数据对应的候选目标区域的位置信息。

一种可选实施方式中,所述指令识别模型包括:第三卷积神经网络、第一循环神经网络、第二分类器;

所述待验证操作指令获取单元,利用下述步骤获取识别出的待验证操作指令:

将所述中间视频数据输入至所述第三卷积神经网络进行卷积处理,得到第三特征数据序列,其中,所述第三特征数据序列包括所述中间视频数据中每一帧图像对应的第三特征数据,所述第三特征数据序列中第三特征数据的排列顺序与所述中间视频数据中每一帧图像的排列顺序相同;

将所述第三特征数据序列输入至所述第一循环神经网络中,获取每个所述第三特征数据对应的第三中间特征数据,其中,所述第三中间特征数据用于表征所述中间视频数据中任一帧图像的局部特征;

将每个第三中间特征数据输入至所述第二分类器中,得到每个第三中间特征数据对应的检测结果;

基于每个第三中间特征数据对应的检测结果,得到所述中间视频数据对应的待验证操作指令。

一种可选实施方式中,所述待验证操作指令获取单元,利用下述步骤获取每个所述第三特征数据对应的中间特征数据:

按照第三特征数据的排列顺序,从所述第三特征数据序列选择一个第三特征数据作为当前第三特征数据;

将当前第三特征数据、以及前一第三特征数据对应的中间特征数据,输入至所述第一循环神经网络中,获取当前第三特征数据对应的中间特征数据;其中,基于前一第三特征数据以及所述第一循环神经网络,获取前一第三特征数据对应的中间特征数据;

返回按照第三特征数据的排列顺序,从所述第三特征数据序列选择一个第三特征数据作为当前第三特征数据的步骤,直至获取了第三特征数据序列中所有第三特征数据的中间特征数据。

一种可选实施方式中,所述检测结果包括第三概率值以及第三类别;

所述待验证操作指令获取单元,利用下述步骤得到所述中间视频数据对应的待验证操作指令:

按照预设的方式为每个第三中间特征数据设置权重值;

基于每个所述第三中间特征数据对应的第三概率值、第三类别以及设置的权重值,确定所述中间视频数据对应的待验证操作指令。

一种可选实施方式中,在接收所述用户端基于所述目标操作指令发送的原始视频数据之后,在将所述原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令之前,所述装置还包括:

判断模块,用于判断所述原始视频数据的时长是否满足设置的时长条件,若满足,则将所述原始视频数据输入至预先训练的神经网络模型;

若不满足,则向所述用户端发送退回信号,使得所述用户端重新基于所述目标操作指令发送更新后的原始视频数据。

第三方面,本申请实施例提供一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如第一方面任一所述的车辆验证方法的步骤。

第四方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面任一所述的车辆验证方法的步骤。

本申请实施例通过响应用户端发送的车辆验证请求,从预存储的验证指令集中选取目标操作指令,将目标操作指令发送给用户端,并接收用户端基于目标操作指令发送的原始视频数据,将原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令,通过待验证操作指令与目标操作指令的匹配结果,确定与车辆验证请求对应的车辆合法性验证结果,实现了车辆信息的真实性的验证。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种服务系统的架构示意图;

图2示出根据本申请的一些实施例的可以实现本申请思想的服务器110、服务请求方终端130、服务提供方终端140的电子设备200的示例性硬件和软件组件的示意图;

图3示出了本申请实施例提供的一种车辆验证方法的流程图;

图4示出了本申请实施例提供的车辆验证方法中,基于神经网络模型确定原始视频数据对应的待验证操作指令的具体方法的流程图;

图5示出了本申请实施例提供的车辆验证方法中,获取原始视频数据对应的每一帧图像中的目标部件区域的具体方法的流程图;

图6示出了本申请实施例提供的车辆验证方法中,确定候选目标区域的位置信息的具体方法的流程图;

图7示出了本申请实施例提供的车辆验证方法中,获取待验证操作指令的具体方法的流程图;

图8示出了本申请实施例提供的车辆验证方法中,指令识别模型的结构示意图;

图9示出了本申请实施例提供的一种车辆验证装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。

另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“验证交通工具的合法性”,给出以下实施方式。对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕验证交通工具的合法性进行描述,但是应该理解,这仅是一个示例性实施例。本申请可以应用于对任何交通工具进行验证。例如,交通工具包括可以包括出租车、私家车、顺风车、公共汽车、火车、子弹头列车、高速铁路、地铁、船只、飞机、或无人驾驶车辆等,或其任意组合。

需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。

本申请的一个方面涉及一种车辆验证方法。该方法可以通过响应用户端发送的车辆验证请求,从预存储的验证指令集中选取目标操作指令,将目标操作指令发送给用户端,并接收用户端基于目标操作指令发送的原始视频数据,将原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令,通过待验证操作指令与目标操作指令的匹配结果,可以较准确的确定与车辆验证请求对应的车辆合法性验证结果,提高了车辆验证的准确性。

值得注意的是,在本申请提出申请之前,在验证车辆信息的真实性时,需要人工对车辆信息的真实性进行审核,但是,人工对车辆信息的真实性进行审核的方法,存在审核效率较低的问题。本申请提出的车辆验证方法,基于接收到的原始视频数据中的待验证操作指令以及目标操作指令的匹配结果,确定与车辆验证请求对应的车辆合法性验证结果,提高了车辆验证的效率。

图1是本申请一些实施例的车辆验证方法应用的一种场景下的系统100框图。例如,系统100可以是用于对诸如出租车、快车、拼车、公共汽车等的车辆进行验证的在线验证平台。系统100可以包括服务器110、网络120、服务请求方终端130、服务提供方终端140和数据库150中的一种或多种,服务器110中可以包括执行指令操作的处理器。本申请实施例提供的车辆验证方法可以应用于上述系统100中的服务器110,具体可以由处理器执行相关操作指令。

图2示出根据本申请的一些实施例的可以实现本申请思想的服务器110的电子设备200的示例性硬件和软件组件的示意图。例如,处理器可以用于电子设备200上,并且用于执行本申请中的功能。

电子设备200可以是通用计算机或特殊用途的计算机,两者都可以用于实现本申请的车辆验证方法。本申请尽管仅示出了一个计算机,但是为了方便起见,可以在多个类似平台上以分布式方式实现本申请描述的功能,以均衡处理负载。

例如,电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240,例如,磁盘、rom、或ram,或其任意组合。示例性地,计算机平台还可以包括存储在rom、ram、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(input/output,i/o)接口250。

为了便于说明,在电子设备200中仅描述了一个处理器。然而,应当注意,本申请中的电子设备200还可以包括多个处理器,因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,若电子设备200的处理器执行步骤a和步骤b,则应该理解,步骤a和步骤b也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,处理器执行步骤a,第二处理器执行步骤b,或者处理器和第二处理器共同执行步骤a和b。

实施例一

图3示出本申请实施例提供的车辆验证方法的流程图,包括s301-s303。

s301:响应用户端发送的车辆验证请求,从预存储的验证指令集中选取目标操作指令,将目标操作指令发送给用户端;验证指令集中包括多个指示对车辆执行不同操作的操作指令。

在具体实施时,车辆验证方法应用于服务器中,用户端可以向服务器发送车辆验证请求,服务器在接收到用户端发送的车辆验证请求后,从预储存的验证指令集中选取一个操作指令作为目标操作指令,将该目标操作指令发送给用户端。本申请实施例中,验证指令集中包括多个指示车俩执行不同操作的操作指令,示例性的,指示车辆执行不同操作可以为指示车辆的车灯执行不同操作,或/和,指示车辆的喇叭执行不同操作,或/和,指示车辆的雨刷器执行不同的操作等。

示例性的,验证指令集中包括多个指示对车辆的车灯执行不同操作的操作指令。

示例性的,若指示车辆执行不同操作为指示车辆的车灯执行不同操作时,则验证指令集中包括以下操作指令中的多种:开左闪、开右闪、开双闪、开大灯、开大灯并开左闪、开大灯并开右闪,开大灯并开双闪。验证操作指令集中还可以包括先开左闪再开右闪、先开右闪再开双闪等。具体实施时,验证指令集中的操作指令可以根据实际情况进行设置,本申请实施例对此不进行具体限定。

s302:接收用户端基于目标操作指令发送的原始视频数据,将原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令。

具体实施时,用户端基于接收到的目标操作指令,拍摄原始视频数据,并将该原始视频数据发送至服务器,服务器将该原始视频数据输入至预先训练的神经网络模型中进行处理,输出该原始视频数据对应的待验证操作指令。

示例性的,预先训练的神经网络模型包括目标检测模型和指令识别模型,具体的,参见图4所示,本申请实施例提供了一种基于神经网络模型确定原始视频数据对应的待验证操作指令的具体方法的流程图。

示例性的,将原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令,包括:

s401,将原始视频数据输入至训练好的目标检测模型,获取原始视频数据对应的每一帧图像中的目标部件区域;目标部件区域为对车辆执行的不同操作的作用部件所在的区域。

示例性的,目标部件区域可以为车灯所在的区域、雨刷器所在区域等。具体的,目标部件区域为车辆执行不同操作的作用部件所在的区域,例如,若验证指令集包括的是指示车辆的车灯执行不同操作的操作指令,则目标部件区域为车灯所在的区域。具体的,承接s301中的示例继续说明,本申请实施例的目标部件区域为车灯所在的区域。

示例性的,目标检测模型可以为fasterr-cnn模型,通过fasterr-cnn模型获取原始视频数据对应的每一帧图像的目标检测区域。其中,目标检测模型可以为获取图像中预设目标区域的模型,本申请实施例仅为示例性说明。

s402,基于获取的每一帧图像中的目标部件区域,生成包含目标部件区域的中间视频数据。

示例性的,可以从原始视频数据中的每一帧图像中,选取目标部件区域的图像,选取的图像中携带有时间戳,将选取的目标部件区域的图像按照时间戳从小到大的顺序进行排列,生成了包含目标部件区域的中间视频数据。或者,选取的图像中携带有时间信息,将选取的目标部件区域的图像按照时间信息进行排列,生成包含目标部件区域的中间视频数据。

s403,将中间视频数据输入指令识别模型,获取识别出的待验证操作指令。

示例性的,中间视频数据为包括目标部件区域的视频数据,该中间视频数据是在原始视频数据中进行区域选择后得到的视频数据。本申请实施例中,基于中间视频数据以及指令识别模型,确定待验证操作指令,可以提高指令识别模型识别的效率,提高识别的准确度。

作为一可选实施例,目标检测模型包括第一卷积神经网络、区域推荐网络、区域映射池化层、全连接网络、回归网络和第一分类器。

参见图5所示的一种获取原始视频数据对应的每一帧图像中的目标部件区域的具体方法的流程图,具体的,将原始视频数据输入至训练好的目标检测模型,获取原始视频数据对应的每一帧图像中的目标部件区域,包括s501-s505。具体过程如下:

s501,针对原始视频数据对应的每一帧图像,执行下述过程:

本申请实施例中,针对原始视频数据中的每一帧图像进行处理,得到原始视频数据中每一帧图像的目标部件区域。其中,可以每间隔第一预设时间,则从原始视频数据中获取一帧图像,进而可以从原始视频数据中得到多张图像。其中,第一预设时间可以为0.1秒、0.2秒等,具体的第一预设时间可以根据实际情况进行设置。

s502,将图像输入至第一卷积神经网络进行卷积处理,获取图像的第一特征数据,其中,第一特征数据用于表征图像的局部特征。

本申请实施例中,第一卷积神经网络对图像进行卷积处理,获取图像的第一特征数据,即提取了该图像的局部特征。

示例性的,第一卷积神经网络包括至少一个卷积层;将图像输入至第一卷积神经网络进行卷积处理,获取图像的第一特征数据,包括:通过至少一个卷积层中的每个卷积层分别对图像进行卷积处理,得到图像数据的第一特征数据。

示例性说明,第一卷积神经网络可以轻量级mobilenet_v2网络、vgg16网络等,本申请实施例中,可以选择mobilenet_v2网络对图像进行卷积处理,获取图像的第一特征数据。

s503,将第一特征数据输入至区域推荐网络以及区域映射池化层,通过区域推荐网络对第一特征数据进行处理,得到第一特征数据对应的候选目标区域的坐标信息;将候选目标区域的坐标信息输入至区域映射池化层,通过区域映射池化层将候选目标区域的坐标信息映射在第一特征数据上,从第一特征数据上获取候选目标区域对应的第二特征数据,其中,第二特征数据用于表征候选目标区域的局部特征。

示例性的,区域推荐网络可以为区域推荐网络(regionproposalnetworks,rpn),区域映射池化层可以为roipooling。示例性的,将第一特征数据输入至rpn以及roipooling,rpn对第一特征数据进行处理,得到第一特征数据对应的候选目标区域的坐标信息;将候选目标区域的坐标信息输入至roipooling,roipooling将候选目标区域的坐标信息映射在第一特征数据上,从第一特征数据上获取候选目标区域对应的第二特征数据,即得到目标候选区域对应的局部特征。

示例性的,区域推荐网络可以包括第二卷积神经网络、目标区域回归网络、以及目标区域分类网络;其中,区域推荐网络中设置有n种检测框,其中,不同检测框的宽度与高度的比例不同,或者,不同检测框的面积不同,n为正整数。

示例性的,本申请实施例中将检测框的宽度与高度的比例设置为大于1的比例。例如,n的值可以为9,宽度与高度的比例包括2:1,3:1,4:1;检测框的面积包括128,192,256;则9种检测框包括比例为2:1、面积为128的检测框,比例为3:1、面积为128的检测框,比例为4:1、面积为128的检测框;比例为2:1、面积为192的检测框,比例为3:1、面积为192的检测框,比例为4:1、面积为192的检测框;比例为2:1、面积为256的检测框,比例为3:1、面积为256的检测框,比例为4:1、面积为256的检测框。其中,检测框的数量以及检测框对应的宽度与高度的比例、检测框的面积可以根据实际需要进行设置,本申请实施例对此不进行具体限定。

参见图6所示的一种车辆验证方法中确定候选目标区域的位置信息的具体方法的流程图,具体的,通过区域推荐网络对第一特征数据进行处理,得到图像第一特征数据对应的候选目标区域的位置信息,包括s601-s603。

具体过程如下:

s601,将第一特征数据输入至第二卷积神经网络中进行卷积处理,得到第一特征数据对应的第一中间特征数据,其中,第一中间特征数据中包括多个第一中间特征向量,每个第一中间特征向量对应有n种检测框的初始坐标信息;

s602,将第一中间特征数据分别输入至目标区域回归网络以及目标区域分类网络,通过目标区域回归网络对第一中间特征数据进行处理,获取第一中间特征数据中每个第一中间特征向量对应的n种检测框中每种检测框的第二回归数据,基于第二回归数据以及检测框的初始坐标信息,得到检测框的目标坐标信息;通过目标区域分类网络对第一中间特征数据进行处理,获取第一中间特征数据中每个第一中间特征向量对应的n种检测框中每个检测框的第二概率值以及第二类别,将第一中间特征数据对应的多个检测框的第二概率值、第二类别以及每个检测框的目标坐标信息,得到第一特征数据对应的候选目标区域的位置信息。

针对s601:示例性的,第二卷积神经网络可以包括至少一个第二卷积层,至少一个第二卷积层中的每个卷积层分别对第一特征数据进行卷积处理,得到第一特征数据对应的第一中间特征数据。第一中间特征数据中包括多个第一中间特征向量,每个第一中间特征向量对应有n种检测框的初始坐标信息,即若第一中间特征数据中包括m个第一中间特征向量,则第一中间特征数据对应的检测框的数量为m乘以n个,m为正整数。

针对s602:示例性的,目标区域回归网络可以包括至少一个第三卷积层,至少一个第三卷积层中的每个卷积层分别对第一中间特征数据进行卷积处理,得到第一中间特征数据中每个第一中间特征向量对应的n种检测框中每种检测框的第二回归数据,基于第一中间特征数据中每个检测框的第二回归数据,得到检测框的目标坐标信息,即得到m乘以n个检测框的目标坐标信息。

针对s602:示例性的,目标区域分类网络包括至少一个第四卷积层、第一重塑reshape层、第三分类器、第二重塑reshape层。通过目标区域分类网络中的至少一个第四卷积层、第一reshape层、第三分类器、第二reshape层分别对第一中间特征数据进行处理,获取第一中间特征数据中每个第一中间特征向量对应的n种检测框中每个检测框的第二概率值以及第二类别。

针对s602:示例性的,在得到多个检测框的第二概率值、第二类别以及每个检测框的目标坐标信息后,可以基于多个检测框的第二概率值、第二类别以及每个检测框的目标坐标信息,得到所述第一特征数据对应的候选目标区域的位置信息。示例性说明,基于多个检测框的第二概率值、第二类别以及每个检测框的目标坐标信息,得到所述第一特征数据对应的候选目标区域的位置信息的过程可以为:若该第二概率值为该检测框对应前景类别的概率,则从m乘以n个检测框中选择第二概率值较大的k个检测框,通过非极大值抑制(nonmaximumsuppression,nms)机制,对k个检测框进行筛选,得到h个检测框,h个检测框对应的目标坐标信息即为第一特征数据对应的候选目标区域的位置信息,其中,k、h为正整数,k与h的值可以根据实际情况进行设置。在具体实施时,若原始视频数据中不存在预设的目标部件区域时,则第一特征数据对应的候选目标区域的数量为零,筛选得到的检测框的数量为零,即h为零。

s504,针对每个候选区域,将候选目标区域对应的第二特征数据输入至全连接网络中进行处理,获取第二特征数据对应的全连接特征数据,将全连接特征数据输入至回归网络以及第一分类器,通过回归网络对全连接特征数据进行处理,生成候选目标区域对应的回归数据,并基于回归数据更改候选目标区域的坐标信息;通过第一分类器对全连接特征数据进行处理,获取候选目标区域的类别以及概率值。

示例性的,回归网络对全连接数据进行处理,得的该候选区域对应的回归数据,该回归数据为该目标区域的坐标信息的偏移量。通过得到的回归数据更改候选目标区域的坐标信息,得到候选目标区域更改后的坐标信息,即得到候选目标区域的目标坐标信息。

示例性的,第一分类器对全连接特征数据进行处理,得到候选目标区域的类别以及概率值,该类别包括前景以及背景,该概率值为候选目标区域为前景或者背景的可信度。例如,若候选区域a对应的类别为前景,概率为70%,则该候选区域为前景的可信度为70%,即该候选区域为背景的可信度为30%。

s505,基于每个候选目标区域更改后的坐标信息以及该候选目标区域对应的类别以及概率值,得到图像对应的目标部件区域。

示例性的,若候选目标区域的数量为h,则通过nms机制,对h个候选目标区域进行筛选,得到g个待测目标区域,从g个待测目标区域中选择概率值最大的待测目标区域作为该图像的目标部件区域,其中,g为小于等于h的正整数。

作为一可选实施例,指令识别模型可以包括:第三卷积神经网络、第一循环神经网络、第二分类器。

参见图7所示的一种车辆验证方法中获取待验证操作指令的具体方法的流程图,具体的,将中间视频数据输入指令识别模型,获取识别出的待验证操作指令,包括s701-s704,具体情况如下:

s701,将中间视频数据输入至第三卷积神经网络进行卷积处理,得到第三特征数据序列,其中,第三特征数据序列包括中间视频数据中每一帧图像对应的第三特征数据,第三特征数据序列中第三特征数据的排列顺序与中间视频数据中每一帧图像的排列顺序相同;

s702,将第三特征数据序列输入至第一循环神经网络中,获取每个第三特征数据对应的第三中间特征数据,其中,第三中间特征数据用于表征中间视频数据中任一帧图像的局部特征;

s703,将每个第三中间特征数据输入至第二分类器中,得到每个第三中间特征数据对应的检测结果;

s704,基于每个第三中间特征数据对应的检测结果,得到中间视频数据对应的待验证操作指令。

示例性的,参见图8所示的一种车辆验证方法中,指令识别模型的结构示意图。图8中,指令识别模型包括第三卷积神经网络81、第一循环神经网络82、第二分类器83。将中间视频数据输入至第三卷积神经网络进行卷积处理,得到第三特征数据序列,第三特征数据序列中包括x个第三特征数据,x为正整数,即第三特征数据序列中包括第三特征数据s1、第三特征数据s2、…、第三特征数据sx,将第三特征数据序列输入至第一循环神经网络中,获取每个第三特征数据对应的第三中间特征数据,即得到s1对应的第三中间特征数据y1、s2对应的第三中间特征数据y2、…、sx对应的第三中间特征数据yx,将第三中间特征数据y1、第三中间特征数据y2、…、第三中间特征数据yx分别输入至第二分类器中,得到每个第三中间特征数据对应的检测结果,即得到y1对应的检测结果、y2对应的检测结果、…、yx对应的检测结果,将y1对应的检测结果、y2对应的检测结果、…、yx对应的检测结果进行加权求和,得到中间视频数据对应的概率以及类别,进而根据中间视频数据对应的概率以及类别确定待验证操作指令。

针对s701,示例性的,将中间视频数据输入至第三卷积神经网络进行卷积处理,则每间隔第二预设时间,从中间视频数据中获取一帧图像,并将获取的图像输入至第三卷积神经网络获取该图像的第三特征数据,获取的多个第三特征数据构成了第三特征数据序列。其中,第二预设时间可以与第一预设时间相同,也可以不同,第二预设时间可以根据实际情况进行设置。

针对s702,示例性的,第一循环神经网络可以为长短期记忆(longshort-termmemory,lstm)网络。将第三特征数据序列输入至lstm网络中,获取每个第三特征数据对应的第三中间特征数据。

针对s703,示例性的,检测结果包括第三概率值与第三类别。将每个第三中间特征数据输入至第二分类器中,得到每个第三中间特征数据对应的第三概率值以及第三类别。

针对s704,示例性的,基于每个第三中间特征数据对应的检测结果,得到中间视频数据对应的待验证操作指令,包括:

按照预设的方式为每个第三中间特征数据设置权重值;

基于每个第三中间特征数据对应的第三概率值、第三类别以及设置的权重值,确定中间视频数据对应的待验证操作指令。

示例性的,首先,将每个第三中间特征数据对应的第三概率值与该第三中间特征数据对应的权重值求积,然后,基于相同的类别,将每个第三中间特征数据求积后得到的值相加,即得到该中间视频数据对应的第三类别以及该中间视频数据对应该第三类别的概率值,将该中间视频数据的最大概率值对应的类别确定为中间视频数据对应的待验证操作指令。第三类别与验证指令集中包括的多种操作指令相对应,例如,若验证指令集中包括开左闪、开右闪、开双闪、开大灯,则第三类别包括:开左闪、开右闪、开双闪、开大灯,则第三中间特征数据对应的第三概率值包括开左闪的概率,开右闪的概率,开双闪的概率,开大灯的概率。以类别开左闪为例进行说明,将每个第三中间特征数据对应的开左闪的概率与该第三中间特征数据的权重值求积,将每个第三中间特征数据求积后得到的值相加,即得到该中间视频数据对应的开左闪的概率值,进而可得到该中间视频数据对应的开右闪的概率值、开双闪的概率值、开大灯的概率值,将开左闪的概率值、开右闪的概率值、开双闪的概率值、开大灯的概率值中的最大概率值对应的类别确定为中间视频数据对应的待验证操作指令,例如,若开大灯的概率值最大,则该中间视频数据对应的待验证操作指令为开大灯。

示例性的,若中间视频数据中每一帧图像携带有时间戳,则该图像对应的第三特征数据也携带有时间戳。由于在第三特征数据序列中,第三特征数据的时间戳越大,则该第三特征数据的重要度越高,进而可以为重要度高的第三特征数据对应的第三中间特征数据设置较大的权重。

示例性的,预设的方式可以为将第三中间特征数据按照时间戳划分为不同的等级,基于不同的等级,设置不同的权重。或者,预设的方式可以为将第三中间特征数据按照时间戳的值从小到大排序,按照第三中间特征数据的排列顺序,通过权重值依次递增的方式为每个第三中间特征数据设置权重值。例如,若中间视频数据对应的图像的数量为30张,将30张图像按照时间戳的值从小到大排序,则将排序后的30张图像对应的第三中间特征数据序列划分为5个等级,将第1张图像对应的第三中间特征数据至第10张图像对应的第三中间特征数据中的10个第三中间特征数据划分为第1等级,将第11张图像对应的第三中间特征数据至第15张图像对应的第三中间特征数据中的5个第三中间特征数据划分为第2等级,第16张图像对应的第三中间特征数据至第20张图像对应的第三中间特征数据中的5个第三中间特征数据划分为第3等级,第21张图像对应的第三中间特征数据至第25张图像对应的第三中间特征数据中的5个第三中间特征数据划分为第4等级,第26张图像对应的第三中间特征数据至第30张图像对应的第三中间特征数据中的5个第三中间特征数据划分为第5等级,将第1等级中的第三中间特征数据对应的权重值设置为0,将第2等级中的第三中间特征数据对应的权重值设置为0.01,将第3等级中的第三中间特征数据对应的权重值设置为0.04,将第4等级中的第三中间特征数据对应的权重值设置为0.05,将第5等级中的第三中间特征数据对应的权重值设置为0.1。或者,按照权重值依次递增的方式,为30张图像对应的第三中间特征数据设置权重值。

作为一可选实施例,将第三特征数据序列输入至第一循环神经网络中,获取每个第三特征数据对应的中间特征数据,包括:

按照第三特征数据的排列顺序,从第三特征数据序列选择一个第三特征数据作为当前第三特征数据;

将当前第三特征数据、以及前一第三特征数据对应的中间特征数据,输入至第一循环神经网络中,获取当前第三特征数据对应的中间特征数据;其中,基于前一第三特征数据以及第一循环神经网络,获取前一第三特征数据对应的中间特征数据;

返回按照第三特征数据的排列顺序,从第三特征数据序列选择一个第三特征数据作为当前第三特征数据的步骤,直至获取了第三特征数据序列中所有第三特征数据的中间特征数据。

示例性的,若第三特征数据序列中包括5个第三特征数据,即第三特征数据一、第三特征数据二、第三特征数据三、第三特征数据四、第三特征数据五,将第三特征数据一输入至第一循环神经网络,得到第三特征数据一对应的中间特征数据一;将第三特征数据二以及中间特征数据一输入至第一循环神经网络中,得到第三特征数据二对应的中间特征数据二,直至得到第三特征数据序列中每一第三特征数据对应的中间特征数据为止,即得到中间特征数据三、中间特征数据四、以及中间特征数据五为止。

s303:基于待验证操作指令与目标操作指令的匹配结果,确定与车辆验证请求对应的车辆合法性验证结果。

示例性的,若待验证操作指令与目标操作指令的匹配结果为相同,则确定与车辆验证请求对应的车辆合法性验证结果为验证成功;若待验证操作指令与目标操作指令的匹配结果为不相同,则确定与车辆验证请求对应的车辆合法性验证结果为验证失败。

作为一可选实施例,在接收用户端基于目标操作指令发送的原始视频数据之后,在将原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令之前,该方法还包括:

判断原始视频数据的时长是否满足设置的时长条件,若满足,则将原始视频数据输入至预先训练的神经网络模型;若不满足,则向用户端发送退回信号,使得用户端重新基于目标操作指令发送更新后的原始视频数据。

示例性的,判断原始视频数据的时长是否满足设置的时长条件包括:判断原始视频数据的时长是否等于设置的时长,若等于,则满足设置的时长条件。或者,判断原始视频数据的时长是否大于等于设置的时长,若是,则满足设置的时长条件,并将原始视频数据的图像进行筛选,按照时间戳从大到小选择图像,直至选择的图像构成的原始视频数据的时长等于设置的时长为止。

本申请实施例通过响应用户端发送的车辆验证请求,从预存储的验证指令集中选取目标操作指令,将目标操作指令发送给用户端,并接收用户端基于目标操作指令发送的原始视频数据,将原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令,通过待验证操作指令与目标操作指令的匹配结果,确定与车辆验证请求对应的车辆合法性验证结果,实现了对车辆信息的真实性验证,且通过神经网络模型对车辆的真实性进行验证,可以提高车辆验证的效率。

基于同一发明构思,本申请实施例中还提供了与车辆验证方法对应的车辆验证装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述车辆验证方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

实施例二

参照图9所示,为本申请实施例二提供的一种车辆验证装置的结构示意图,装置包括:响应模块91、识别模块92、确定模块93;其中,

响应模块91,用于响应用户端发送的车辆验证请求,从预存储的验证指令集中选取目标操作指令,将目标操作指令发送给用户端;验证指令集中包括多个指示对车辆执行不同操作的操作指令;

识别模块92,用于接收用户端基于目标操作指令发送的原始视频数据,将原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令;

确定模块93,用于基于待验证操作指令与目标操作指令的匹配结果,确定与车辆验证请求对应的车辆合法性验证结果。

一种可选实施方式中,验证指令集中包括多个指示对车辆的车灯执行不同操作的操作指令。

一种可选实施方式中,验证指令集中包括以下操作指令中的多种:

开左闪、开右闪、开双闪、开大灯、开大灯并开左闪、开大灯并开右闪,开大灯并开双闪。

一种可选实施方式中,预先训练的神经网络模型包括目标检测模型和指令识别模型,在识别原始视频数据对应的待验证操作指令时,识别模块包括:

目标部件区域获取单元,用于将原始视频数据输入至训练好的目标检测模型,获取原始视频数据对应的每一帧图像中的目标部件区域;目标部件区域为对车辆执行的不同操作的作用部件所在的区域;

中间视频数据生成单元,用于基于获取的每一帧图像中的目标部件区域,生成包含目标部件区域的中间视频数据;

待验证操作指令获取单元,用于将中间视频数据输入指令识别模型,获取识别出的待验证操作指令。

一种可选实施方式中,目标检测模型包括第一卷积神经网络、区域推荐网络、区域映射池化层、全连接网络、回归网络和第一分类器;

目标部件区域获取单元,利用下述步骤获取原始视频数据对应的每一帧图像中的目标部件区域:

针对原始视频数据对应的每一帧图像,执行下述过程:

将图像输入至第一卷积神经网络进行卷积处理,获取图像的第一特征数据,其中,第一特征数据用于表征图像的局部特征;

将第一特征数据输入至区域推荐网络以及区域映射池化层,通过区域推荐网络对第一特征数据进行处理,得到第一特征数据对应的候选目标区域的坐标信息;将候选目标区域的坐标信息输入至区域映射池化层,通过区域映射池化层将候选目标区域的坐标信息映射在第一特征数据上,从第一特征数据上获取候选目标区域对应的第二特征数据,其中,第二特征数据用于表征候选目标区域的局部特征;

针对每个候选区域,将候选目标区域对应的第二特征数据输入至全连接网络中进行处理,获取第二特征数据对应的全连接特征数据,将全连接特征数据输入至回归网络以及第一分类器,通过回归网络对全连接特征数据进行处理,生成候选目标区域对应的回归数据,并基于回归数据更改候选目标区域的坐标信息;通过第一分类器对全连接特征数据进行处理,获取候选目标区域的类别以及概率值;

基于每个候选目标区域更改后的坐标信息以及该候选目标区域对应的类别以及概率值,得到图像对应的目标部件区域。

一种可选实施方式中,第一卷积神经网络包括至少一个卷积层;

目标部件区域获取单元,利用下述步骤获取图像的第一特征数据:

通过至少一个卷积层中的每个卷积层分别对图像进行卷积处理,得到图像数据的第一特征数据。

一种可选实施方式中,区域推荐网络包括第二卷积神经网络、目标区域回归网络、目标区域分类网络、以及目标区域确定网络;其中,区域推荐网络中设置有n种检测框,其中,不同检测框的宽度与高度的比例不同,或者,不同检测框的面积不同,n为正整数;

目标部件区域获取单元,利用下述步骤获取图像第一特征数据对应的候选目标区域的位置信息:

将第一特征数据输入至第二卷积神经网络中进行卷积处理,得到第一特征数据对应的第一中间特征数据,其中,第一中间特征数据中包括多个第一中间特征向量,每个第一中间特征向量对应有n种检测框的初始坐标信息;

将第一中间特征数据分别输入至目标区域回归网络以及目标区域分类网络,通过目标区域回归网络对第一中间特征数据进行处理,获取第一中间特征数据中每个第一中间特征向量对应的n种检测框中每种检测框的第二回归数据,并将第二回归数据以及检测框的初始坐标信息输入至目标区域确定网络进行处理,得到检测框的目标坐标信息;通过目标区域分类网络对第一中间特征数据进行处理,获取第一中间特征数据中每个第一中间特征向量对应的n种检测框中每个检测框的第二概率值以及第二类别,将第一中间特征数据对应的多个检测框的第二概率值以及第二类别输入至目标区域确定网络进行处理,得到第一特征数据对应的候选目标区域的位置信息。

一种可选实施方式中,指令识别模型包括:第三卷积神经网络、第一循环神经网络、第二分类器;

待验证操作指令获取单元,利用下述步骤获取识别出的待验证操作指令:

将中间视频数据输入至第三卷积神经网络进行卷积处理,得到第三特征数据序列,其中,第三特征数据序列包括中间视频数据中每一帧图像对应的第三特征数据,第三特征数据序列中第三特征数据的排列顺序与中间视频数据中每一帧图像的排列顺序相同;

将第三特征数据序列输入至第一循环神经网络中,获取每个第三特征数据对应的第三中间特征数据,其中,第三中间特征数据用于表征中间视频数据中任一帧图像的局部特征;

将每个第三中间特征数据输入至第二分类器中,得到每个第三中间特征数据对应的检测结果;

基于每个第三中间特征数据对应的检测结果,得到中间视频数据对应的待验证操作指令。

一种可选实施方式中,待验证操作指令获取单元,利用下述步骤获取每个第三特征数据对应的中间特征数据:

按照第三特征数据的排列顺序,从第三特征数据序列选择一个第三特征数据作为当前第三特征数据;

将当前第三特征数据、以及前一第三特征数据对应的中间特征数据,输入至第一循环神经网络中,获取当前第三特征数据对应的中间特征数据;其中,基于前一第三特征数据以及第一循环神经网络,获取前一第三特征数据对应的中间特征数据;

返回按照第三特征数据的排列顺序,从第三特征数据序列选择一个第三特征数据作为当前第三特征数据的步骤,直至获取了第三特征数据序列中所有第三特征数据的中间特征数据。

一种可选实施方式中,检测结果包括第三概率值以及第三类别;

待验证操作指令获取单元,利用下述步骤得到中间视频数据对应的待验证操作指令:

按照预设的方式为每个第三中间特征数据设置权重值;

基于每个第三中间特征数据对应的第三概率值、第三类别以及设置的权重值,确定中间视频数据对应的待验证操作指令。

一种可选实施方式中,在接收用户端基于目标操作指令发送的原始视频数据之后,在将原始视频数据输入预先训练的神经网络模型进行处理,输出识别出的待验证操作指令之前,装置还包括:

判断模块,用于判断原始视频数据的时长是否满足设置的时长条件,若满足,则将原始视频数据输入至预先训练的神经网络模型;

若不满足,则向用户端发送退回信号,使得用户端重新基于目标操作指令发送更新后的原始视频数据。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

如图2所示,本申请实施例还提供一种电子设备,包括:处理器220、存储介质240和通信总线230,所述存储介质存储有所述处理器220可执行的机器可读指令,当电子设备运行时,所述处理器220与所述存储介质之间通过通信总线230通信,所述处理器220执行所述机器可读指令,以执行时执行如本申请实施例提供的车辆验证方法的步骤。

本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如本申请实施例提供的车辆验证方法的步骤。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1