标签数据获取方法、存储器、终端、车辆以及车联网系统与流程

本发明涉及深度学习技术领域，特别是涉及一种标签数据获取方法、存储器、终端、车辆以及车联网系统。

背景技术：

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。监督学习的数据需要标签数据进行。

对深度学习系统而言，有标签的数据非常难得，基本只能靠人工手动或者半自动来获得标签数据，因此有标签的数据非常昂贵。鉴于此，如何得到大量带有标签的数据是本领域技术人员亟待解决的技术问题。

技术实现要素：

本发明的目的是提供一种标签数据获取方法、存储器、终端、车辆以及车联网系统，能够为深度学习系统提供大量带有标签的数据。

为解决上述技术问题，本发明提供一种标签数据获取方法，应用于车辆端，包括：

获取当前车辆采集到的视频帧图像；

获取当前车辆周边预设区域内其他车辆的车辆信息；

根据所述车辆信息与所述视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据，生成带有标签数据的图像集。

可选地，所述根据所述车辆信息与所述视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据包括：

对所述视频帧图像中的图像信息进行解析，获取所述周边车辆在第一预设时刻对应的第一速度信息；

根据所述车辆信息，确定所述周边车辆在所述第一预设时刻对应的第二速度信息；

利用所述第一速度信息以及所述第二速度信息，确定与所述视频帧图像中各周边车辆相匹配的标签数据。

可选地，所述根据所述车辆信息，确定所述周边车辆在所述第一预设时刻对应的第二速度信息包括：

当所述车辆信息中的时序数据没有所述第一预设时刻时，采用插值运算计算出在所述第一预设时刻下所述周边车辆对应的第二速度信息。

可选地，所述根据所述车辆信息与所述视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据还包括：

利用速度信息、所述视频帧图像和所述车辆信息中的车辆颜色信息，确定与所述视频帧图像中的各周边车辆匹配的标签数据。

可选地，所述根据所述车辆信息与所述视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据包括：

当利用速度信息、颜色信息无法进行匹配时，利用车型信息和/或车牌号信息确定与所述视频帧图像中的各周边车辆匹配的标签数据。

可选地，所述生成带有标签数据的图像集包括：

生成带有标签数据的不同时刻的视频帧图像的集合；

或者对带有标签数据的不同时刻的视频帧图像进行进一步处理，将所述视频帧图像中的车辆单独抠出来，分别制成图片后形成的图像集合。

可选地，在所述生成带有标签数据的图像集之后还包括：

将带有标签数据的图像集发送至云端服务器。

本发明还提供了一种存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种所述的标签数据获取方法的步骤。

本发明还提供了一种车载终端，包括：存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理执行时实现上述任一种所述的标签数据获取方法。

本发明还提供了一种车辆，包括车辆本体和所述车载终端，所述车载终端安装于所述车辆本体上。

本发明还提供了一种车联网系统，包括云端服务器以及至少两个上述任一种所述的车辆。

本发明所提供的标签数据获取方法，应用于车辆端，获取当前车辆采集到的视频帧图像；获取当前车辆周边预设区域内其他周边车辆的车辆信息；根据车辆信息与视频帧图像，确定与视频帧图像中的各周边车辆匹配的标签数据，生成带有标签数据的图像集。本申请可以大量获得实时加标签的图像数据，为深度学习系统提供了大量可信的训练数据，扩展了可用的数据集，对提高深度学习系统的准确性有很大帮助。另外，本申请在车辆端进行标签数据标记，由于车辆端接收数据量较小，因此形成标签数据的速度更快，不仅能够实时处理数据，还降低了云端由于时间差处理数据的难度。此外，本申请还提供了具有上述技术优点的存储器、终端、车辆以及车联网系统。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的标签数据获取方法的一种具体实施方式的流程图；

图2为本发明所提供的标签数据获取方法的一种具体实施方式的流程图；

图3为本发明所提供的标签数据获取方法的一种具体实施方式的示意图；

图4为本实施例中根据车辆信息与视频帧图像对标签和图像进行匹配的一种具体实施方式流程图；

图5为本实施例中根据车辆信息与视频帧图像对标签和图像进行匹配的另一种具体实施方式流程图；

图6为本发明实施例提供的标签数据获取装置的结构框图；

图7为本申请实施例所提供的车载终端的结构框图；

图8为本申请实施例所提供的车联网系统的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的标签数据获取方法的一种具体实施方式的流程图如图1所示，其应用于车辆端。该方法具体包括：

步骤s101：获取当前车辆采集到的视频帧图像；

步骤s102：获取当前车辆周边预设区域内其他车辆的车辆信息；

作为一种具体实施方式，可以对步骤s101采集到视频帧图像进行进一步处理，从中解析出周边车辆的车辆信息，在这种情况下，步骤s102在步骤s101之后。作为另一种具体实施方式，可以通过周边车辆进行广播来被动获取到周边车辆的车辆信息，在这种情况下，步骤s101与步骤s102之间没有先后限制。

其中，车辆基本信息包括下述信息中的任意一种或任意组合：车辆的颜色信息、发送时间信息、车型信息、车牌号信息、位置信息、速度信息。当然，还可以包括其他信息，在此不做限定。车辆的位置信息可以由高精度地图，或者激光雷达技术进行获取。其具体表现形式可以为车辆的实时时间与位置的对应序列数据。其他信息例如车辆车型信息、车牌号信息、速度信息、颜色信息，可以通过设置在车辆上或自带的传感器进行获取。视频帧图像可以由摄像头进行获取，可以是车载上固定安装的摄像头，也可以是手机端的摄像头，这均不影响本发明的实现。

步骤s103：根据所述车辆信息与所述视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据，生成带有标签数据的图像集。

车辆将获取得到的车辆信息与视频帧图像进行匹配，确定出视频帧图像中各个车辆对应哪个周边车辆，即与哪个标签数据相匹配。在确定出与周边车辆相匹配的标签数据之后，在视频帧图像的图片中添加对应的标签数据，生成带有标签数据的图像集。例如，在车a处理后的图片上，具体可以将车b和车c框出，并在旁显示出对应的标签数据。

下面以通过广播获取周边车辆的车辆信息为例，对本申请所提供的标签数据获取方法进行进一步详细阐述，本申请实施例中各个车辆可以自动建立周边预设区域内的局部网络，当其他车辆进入到当前车辆的周边预设区域时，可以自动加入到该局部网络中。当前车辆可以将自身信息进行打包，并对进入到其局部网络中的其他车辆进行广播，位于局部网络中的其他车辆可以自动接收到广播信息。而在车辆离开该周边预设区域时，则自动退出该局部网络，也就接收不到当前车辆的广播信息。

作为一种具体实施方式，局部网络可以通过局域网或lte-v的方式进行建立，当然其他能够实现局部区域通信的方式均可，并不限于这两种。

汽车通过广播的形式进行信息分享，以信息广播方式为例，汽车可以将表征本车相关信息的标签数据广播出去。作为一种具体实施方式，标签数据可以包括当前车速、位置、车型号、车牌号、颜色等相关特征信息。附近的其它车辆通过局部网络接收到这些广播信息。这些接收到的广播信号就是真实可信的加了标签的信息。

参照图2本发明所提供的方法流程图，该方法具体包括：

步骤s201：接收当前车辆周边预设区域内其他周边车辆所发送的广播信息，所述广播信息包含表征所述周边车辆相关信息的车辆信息；

车辆将自身的信息作为标签数据，并将自身的标签数据都广播出去，如图3本发明所提供的方法示意图所示，车a、车b、车c、车d均进行广播，让其对应局部网络范围内的所有车辆都可以接受到车辆的广播信息。标签数据可以具体包括强相关信息和其它相关信息，强相关信息包括汽车颜色、速度、当前时间，其它相关信息则包括车型、车牌号等。强相关信息用于快速确定是什么类，如车。其它相关信息用于确定细分类，如车型、大小等。

当前车辆接收周边其他车辆发送的广播信息，即可获取到其他车辆的标签数据。

步骤s202：获取当前车辆采集到的视频帧图像；

采用预设的摄像装置对当前车辆预设视野范围内的景物进行采集，获取采集到的视频帧图像。作为一种具体实施方式，可以在车辆前方设置摄像头，或者采用终端摄像头进行图像采集，又或者采用装载在车辆上的雷达系统进行图像采集，这均不影响本发明的实现。

步骤s203：根据所述广播信息与所述视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据，生成带有标签数据的图像集；

在获取到广播信息以及视频帧图像之后，由于广播信息中包含了各个周边车辆的相关信息，根据该相关信息可以确定出在视频帧图像中出现的各车辆对应哪个周边车辆，即与哪个标签数据相匹配。在确定出与周边车辆相匹配的标签数据之后，在视频帧图像的图片中添加对应的标签数据，生成带有标签数据的图像集。如图3所示，以车a为例，在车a周边预设区域内，接收到车b、车c、车d发送的广播信息。结合车a获取到的图像，可以确定出车b对应的标签数据为哪个，车c对应的标签数据为哪个。在车a处理后的图像上，具体可以将车b、车c框出，并在旁显示出对应的标签数据。

步骤s204：将带有标签数据的图像集发送至云端服务器。

通过匹配，为相应的图像中匹配到的图像添加标签信息，这样就建立了这一时刻的标签数据。将打好标签后的图像集上传至云端服务器，生成大量可用的标签数据。本申请实施例中，带有标签数据的图像集为不同时刻的视频帧图像的集合，其中，每张视频帧图像中各周边车辆标识有标签数据。带有标签数据的图像集还可以为仅标识有标签数据的单一车辆的图像集合，单一车辆的图片是对各个视频帧图像进行二次加工处理，将各个车辆从视频帧图像中抠出来所单独制成的图片。

本发明所提供的标签数据获取方法，通过接收当前车辆周边预设区域内其他周边车辆所发送的广播信息，广播信息中包含了表征周边车辆相关信息的车辆信息；获取当前车辆采集到的视频帧图像；根据广播信息与视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据，生成带有标签数据的图像集。本申请可以大量获得实时加标签的图像数据，为深度学习系统提供了大量可信的训练数据，扩展了可用的数据集，对提高深度学习系统的准确性有很大帮助。另外，本申请在车辆端进行标签数据标记，由于车辆端接收数据量较小，因此形成标签数据的速度更快，不仅能够实时处理数据，还降低了云端由于时间差处理数据的难度。

本申请中根据车辆信息与视频帧图像对标签和视频进行匹配的过程可以有多种实施方式。下面对该过程的具体实施进行进一步详细阐述。其中一种方法为，采用车辆信息以及视频帧图像中车速信息进行匹配，如图4本实施例中根据车辆信息与视频帧图像对标签和图像进行匹配的一种具体实施方式流程图所示，该具体过程可以包括：

步骤s301：对所述视频帧图像中的图像信息进行解析，获取所述周边车辆在第一预设时刻对应的第一速度信息；

车辆获取第一预设时刻的前一时刻和后一时刻的视频帧图像，根据该周边车辆前后的位置变化情况，计算得到第一预设时刻对应的第一速度信息。

步骤s302：根据所述车辆信息，确定所述周边车辆在所述第一预设时刻对应的第二速度信息；

本实施例中，车辆信息应至少包括当前时刻以及速度信息。当所述车辆信息中的时序数据没有第一预设时刻时，采用插值运算计算出在所述第一预设时刻下所述周边车辆对应的第二速度信息。因为车辆信息中含速度信息，因此若图像与车辆信息的时序数据不一致，则用时间序列的车辆信息进行插值运算推算第一预设时刻的速度信息，以取得与视频帧图像同时间的数据。

插值运算时优先以同一辆车的车辆信息插值其时间缺失的车辆信息，可以具体通过相关信息确认是否是同一辆车。

步骤s303：利用所述第一速度信息以及所述第二速度信息，确定与所述视频帧图像中各周边车辆相匹配的标签数据。

在得到第一速度信息以及第二速度信息之后，可以判断第一速度信息与第二速度信息的差值是否在预设阈值范围之内，如果是，则将具有第二速度的实际车辆的车辆信息，确定为视频帧图像上具有第一速度的车辆的标签数据。

此外，本实施例中还可以利用周边车辆的颜色信息，确定与所述视频帧图像中的各周边车辆匹配的标签数据。作为一种优选实施方式，可以利用车端视频帧图像计算得到的第一预设时刻图像中运动物体分别的运动速度及该第一预设时刻图像解析的各物体的颜色信息，对照标签数据中的速度以及颜色信息，进行图像与标签的匹配。

进一步地，当利用速度信息、颜色信息无法进行匹配时，可以利用车型信息和/或车牌号信息与所述视频帧图像中的各周边车辆匹配的标签数据。因为强相关信息包括汽车颜色、速度、当前时间，其它相关信息则包括车型、车牌号等，因此用强相关信息判断最迅速。优选地，可以优先用强相关信息匹配，失败则继续用其它相关信息匹配。

另外一种方法为采用车辆信息以及视频帧图像中位置信息进行匹配，参照图5本实施例中根据车辆信息与视频帧图像对标签和图像进行匹配的另一种具体实施方式流程图，该方法包括：

步骤s401：对所述视频帧图像中的图像信息进行解析，获取所述周边车辆在第二预设时刻对应的第一位置信息；

根据视频帧图像中的图像信息，直接获取到周边车辆在第二预设时刻对应的位置信息，作为第一位置信息。

步骤s402：根据所述车辆信息，确定所述周边车辆在所述第二预设时刻对应的第二位置信息；

本实施例中车辆信息至少应包括当前时刻以及位置信息。当所述车辆信息中的时序数据没有所述第二预设时刻时，采用插值运算计算出在所述第二预设时刻下周边车辆对应的第二位置信息。因为车辆信息中含位置信息，因此若图像与车辆信息的时序数据不一致，则用时间序列的车辆信息进行插值运算推算第二预设时刻的位置信息，以取得与视频帧图像同时间的数据。

插值运算时优先以同一辆车的车辆信息插值其时间缺失的车辆信息，可以具体通过相关信息确认是否是同一辆车。

步骤s403：利用所述第一位置信息以及所述第二位置信息，确定所述视频帧图像中周边车辆相匹配的标签数据。

同样地，本实施例中还可以利用周边车辆的颜色信息，确定与所述视频帧图像中的各周边车辆匹配的标签数据。作为一种优选实施方式，可以利用车端图像集计算得到的第二预设时刻图像中运动物体分别的位置信息及该第二预设时刻图像解析的各物体的颜色信息，对照标签数据中的位置以及颜色信息，进行图像与标签的匹配。

进一步地，当利用位置信息、颜色信息无法进行匹配时，可以利用车型信息和/或车牌号信息确定与所述视频帧图像中的各周边车辆匹配的标签数据。

下面对本发明实施例提供的标签数据获取装置进行介绍，下文描述的标签数据获取装置与上文描述的标签数据获取方法可相互对应参照。

图6为本发明实施例提供的标签数据获取装置的结构框图，参照图6标签数据获取装置可以包括：

图像获取模块100，用于获取当前车辆采集到的视频帧图像；

数据接收模块200，用于获取当前车辆周边预设区域内其他周边车辆的车辆信息；

匹配模块300，用于根据所述车辆信息与所述视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据，生成带有标签数据的图像集。

本实施例的标签数据获取装置用于实现前述的标签数据获取方法，因此标签数据获取装置中的具体实施方式可见前文中的标签数据获取方法的实施例部分，例如，图像获取模块100，数据接收模块200，匹配模块300，分别用于实现上述标签数据获取方法中步骤s101，s102，s103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

此外，本申请还提供了一种存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种所述的车辆标签数据获取方法的步骤。

本发明所提供的存储器，可以大量获得实时加标签的图像数据，为深度学习系统提供了大量可信的训练数据，扩展了可用的数据集，对提高深度学习系统的准确性有很大帮助。另外，本申请在车辆端进行标签数据标记，由于车辆端接收数据量较小，因此形成标签数据的速度更快，不仅能够实时处理数据，还降低了云端由于时间差处理数据的难度。

此外，本申请还提供了一种车载终端，如图7本申请所提供的车载终端的结构框图所示，该车载终端1包括存储器11以及处理器12；所述存储器存储有计算机程序，所述计算机程序被所述处理执行时实现上述任一种所述的标签数据获取方法。

此外，本申请还提供了一种车辆，包括车辆本体和前述公开的车载终端，所述车载终端安装于所述车辆本体上。

此外，本申请还提供了一种车联网系统，如图8本申请所提供的车联网系统的结构框图所示，该系统包括至少两个上述车辆1以及云端服务器2。车辆1根据接收到的车辆信息与采集到的视频帧图像，确定与所述视频帧图像中的各周边车辆匹配的标签数据，生成带有标签数据的图像集；并将所述带有标签数据的图像集发送至云端服务器2。

其中，各个车辆之间可以具体通过局域网或lte-v的方式进行通信。当其他车辆进入到当前车辆的周边预设区域时，自动加入到局部网络中，接收当前车辆发送的广播信息，或将自身的信息广播出去。

各个车辆接收到其他车辆的广播信息之后，将该信息作为标签数据，并结合自身图像采集器获取到的视频帧信息，自动生成带有标签数据的图像集，并将该带有标签数据的图像集发送至云端服务器。

云端服务器接收到各个车辆发送的图像集之后，可以进行汇总、存储，以便为深度学习系统提供可信的训练数据。

综上，本申请可以大量获得实时加标签的图像数据，为深度学习系统提供了大量可信的训练数据，扩展了可用的数据集，对提高深度学习系统的准确性有很大帮助。另外，本申请在车辆端进行标签数据标记，由于车辆端接收数据量较小，因此形成标签数据的速度更快，不仅能够实时处理数据，还降低了云端由于时间差处理数据的难度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的标签数据获取方法、存储器、终端、车辆以及车联网系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。