一种车辆避障方法、装置、电子设备及存储介质与流程

本申请涉及车辆技术领域，尤其涉及一种车辆避障方法、装置、电子设备及存储介质。

背景技术：

近年来，自动驾驶行业蓬勃发展，而机器视觉为自动驾驶车辆提供了环境感知功能，起到了重要作用。环境感知一般包括对环境中规则的目标的识别检测，包括车辆检测、行人检测等等。在识别检测的基础上进行被检测目标的位置估计与运动估计，用以进行碰撞预警、自动刹车等避障功能。

现有技术中仅仅通过对容易识别的目标对象进行识别分类后，对该目标对象进行与车辆之间的距离确定，进而通过该距离决定是否需要对目标对象进行避障反应，然而，现实中，对车辆进行预警的过程中，仅仅考虑目标对象对车辆的影响是远远不够，且得到的结果也是不准确的。

技术实现要素：

本申请实施例提供了一种车辆避障方法、装置、电子设备及存储介质，用于得到更准确的运动信息，从而提高得到的避障指示的有效性，以及提高自车的安全性。

一方面，本申请实施例提供了一种车辆避障方法，该方法包括：

获取连续的多帧图像；

基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；

基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；

根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；

基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；

基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；

基于危险像素的运动信息指示车辆进行避障反应。

另一方面提供了一种车辆避障装置，该装置包括：

图像获取模块，用于获取连续的多帧图像；

第一确定模块，用于基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；

第二确定模块，用于基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；

修正模块，用于根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；

更新模块，用于基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；

第三确定模块，用于基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；

指示模块，用于基于危险像素的运动信息指示车辆进行避障反应。

另一方面提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的车辆避障方法。

另一方面提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的车辆避障方法。

本申请实施例提供的车辆避障方法、装置、电子设备及存储介质，具有如下技术效果：

获取连续的多帧图像；基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；基于危险像素的运动信息指示车辆进行避障反应。本申请结合目标对象和像素的运动信息可以得到更有效的避障指示，也可以提供自车的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种车辆避障方法的流程示意图；

图3是本申请实施例提供的一种目标对象的运动信息和车辆当前的位姿信息确定方法的流程示意图；

图4是本申请实施例提供的一种运动信息确定模型的结构示意图；

图5是本申请实施例提供的一种确定每个像素更新后的运动信息的流程示意图；

图6是本申请实施例提供的一种运动信息确定模型的结构示意图；

图7是本申请实施例提供的一种确定每个像素更新后的运动信息的流程示意图；

图8是本申请实施例提供的一种车辆避障装置的结构示意图；

图9是本申请实施例提供的一种车辆避障方法的服务器的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，该示意图包括车辆101和服务器102，其中，该车辆101可以是无人驾驶车辆，即自动驾驶车辆，还可以是半自动驾驶车辆。

一种可选的实施方式中，服务器102可以是一个大型的公共的服务器平台或者服务器集群，该服务器平台或者服务器集群可以为所有的自动驾驶车辆提供避障服务，该种实施方式中，车辆可以通过设置在车辆上的相机获取连续的多帧图像，随后将多帧图像传输给服务器平台或者服务器集群，利用其从多帧图像上得到当前图像对应的像素集中每个像素更新后的运动信息，进而从像素集中确定出危险像素，最后根据危险像素的运动信息向车辆发出避障指示，来指导车辆进行避障反应。该种方式中，在车辆上可以仅仅设置基础配置的服务器，复杂的运算可以用公共的服务器平台或者服务器集群承担，因此，可以在提供高服务器的同时降低车价，是的车辆在市场中更有竞争。

另一种可选的实施方式中，该服务器102可以是设置在车辆101中的车载服务器，每一个车载服务器可以单独为所在的车辆提供避障服务。具体的，该车载服务器可以通过设置在车辆上的摄像头获取连续的多帧图像，使得车载服务器可以利用该连续的多帧图像得到当前图像对应的像素集中每个像素更新后的运动信息，进而从像素集中确定出危险像素，最后根据危险像素的运动信息向车辆的避障装置发出避障指示，来指导避障装置根据避障指示进行车辆的避障反应。其中，车载服务器与该车载服务器可以是有线连接的，该车载服务器与避障装置还可以是有线连接的。该种方式中，由于复杂的运算是由车辆上的车载服务器承担的，因此，车辆需要配置符合条件的硬件和软件设备。虽然，车价相对于第一种情况来说有所增加，但是由于不需要和公共的服务器平台进行交互，减少了交互时间，使得车辆可以更快的得到结果，且服务器和车辆一对一，避免了传输出错的可能性，仅为更使得服务质量有所提升。

另一种可选的实施方式中，该服务器102可以包括设置在车辆101中的车载服务器和大型的公共的服务器平台(服务器集群)。在此种实施方式中，车载服务器通过设置在车辆上的摄像头获取连续的多帧图像后，可以给服务器平台传输该多帧图像。服务器平台可以基于该多帧图像得到当前图像对应的像素集中每个像素更新后的运动信息，随后将每个像素更新后的运动信息发送至车载服务器，车载服务器从像素集中确定出危险像素，最后根据危险像素的运动信息向车辆的避障装置发出避障指示，来指导避障装置根据避障指示进行车辆的避障反应。其中，车载服务器与该车载服务器可以是有线连接的，该车载服务器与避障装置还可以是有线连接的。

以下介绍本申请一种车辆避障方法的具体实施例，图2是本申请实施例提供的一种车辆避障方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：

s201：获取连续的多帧图像。

本申请实施例中，可选的，只要车辆启动行驶，设置在车辆上的摄像头可以对车辆前方进行不间断的摄像，并实时地将摄像得到的视频传输至服务器，以使得服务器可以根据预先的设置从视频中确定出待处理的连续的多帧图像。可选的，该多帧图像中必须包括最近时间点对应的图像，该最近时间点对应的图像可以被称为当前图像。

可选的，只要车辆启动行驶，设置在车辆上的相机可以对车辆前方进行不间断的拍照，并实时地将拍照得到的连续的多帧图像传输至服务器，以使得服务器得到待处理的连续的多帧图像。可选的，该多帧图像中必须包括最近时间点对应的图像，该最近时间点对应的图像可以被称为当前图像。

举个例子，连续的多帧图像包括p9，p8，p7，p6，p5，p4，p3，p2，p1和p0，每0.1秒可以获取1帧，本申请可以将p0当做多帧图像中的当前图像，而由于其他图像的拍摄时间在当前图像之前，可以被称为历史图像。由于相机或者摄像头是将视频或者图像实时传输至服务器的，因此，整个系统可以将传输时间忽略。

s203：基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息。

图像中可以包括目标对象和非目标对象。本申请实施例中，目标对象可以被定义为图像中那些容易被识别检测进而可以分类出来的。具体的的方式中，目标对象可以通过深度学习网络进行建模检测，比如，车辆，行人等。

而非目标对象对象也就是图像中比较难被识别检测进而分类的。这是因为非目标对象由于种类繁多，形态多样复杂，无法直接由深度学习网络进行建模检测，比如，停车杆(完好的，断裂的)，道路的凹陷，深沟，临时堆放的垃圾等等。

图3是本申请实施例提供的一种目标对象的运动信息和车辆当前的位姿信息确定方法的流程示意图，具体包括：

s2031：服务器通过多帧图像中的单帧图像进行目标对象的检测，得到目标对象，通过多帧图像对目标对象进行关联追踪，得到目标对象的运动信息。

服务器可以基于连续的多帧图像确定出图像中目标对象的运动信息可以表示为服务器可以通过多帧图像中的单帧图像进行目标对象的检测，得到目标对象，比如某个行人或者某辆车。此外，服务器还可以通过多帧图像对目标对象进行关联追踪，得到目标对象的运动信息。

具体的，服务器进行目标对象的检测，得到目标对象后，可以得到单帧图像中该目标对象在图像中的位置信息，并通过映射得到该目标对象在现实世界中的位置信息。随后，服务器可以将多帧图像对应的多个现实世界中的位置信息进行关联追踪，确定该目标对象与车辆的距离，并确定目标对象与车辆的相对速度，进而确定目标对象与车辆的碰撞时间。由此，本申请实施例中，目标对象的运动信息可以包括目标对象与车辆的距离，目标对象与车辆的相对速度和目标对象与车辆的碰撞时间。

s2033：服务器从图像中得到一些关键特征点以及得到该关键特征点的运动信息。

服务器可以对连续的多帧图像进行删选，从图像中得到一些关键特征点以及得到该关键特征点的运动信息。其中，每一帧图像得到的关键特征点是同样的，举个例子，服务器在p9，p8，p7，p6，p5，p4，p3，p2，p1和p0得到的关键特征点都是如下的五个特征点：行人甲帽子上的某个点，道路上黄色箭头中箭尖的那个点，道路上一个水洼的某个点，前方车辆上左后车灯的某个点和红绿灯牌上的某个点。可选的，关键特征点可以是特征像素点。服务器可以是基于orb、sift等特征描述子生成的原理得到关键特征点，还可以基于深度学习训练所得的模型提取出关键特征点。

其中，关键特征点的运动信息可以包括关键特征点与车辆的距离，关键特征点与车辆的相对速度和关键特征点与车辆的碰撞时间。

s2035：服务器对关键特征点的运动信息进行处理，得到车辆当前的位姿信息。

具体的，由于上文中提及，特征关键点在每一帧图像中都有出现，因此，服务器对每一帧出现的关键特征点的运动信息进行关联追踪，得到关键特征点的空间位置变化，进而确定车辆当前的位姿信息。也就是将关键特征点作为参照物，通过参照物的变化反推出车辆的位置和姿态信息的变化，进而确定车辆当前的位姿信息。

另一种可选的实施方式中，服务器可以通过目标对象的运动信息从关键特征点的运动信息中删选出静态关键特征点的运动信息，进而通过对该静态关键特征点的运动信息进行处理，得到车辆当前的位姿信息。

如上文中的例子，目标对象可以是行人和/或车辆，行人和车辆大概率是动态的。关键特征点可以是行人甲帽子上的某个点，道路上黄色箭头中箭尖的那个点，道路上一个水洼的某个点，前方车辆上左后车灯的某个点和红绿灯牌上的某个点。当服务器要选择车辆的参照物时，动态关键特征点在反推出车辆的位置和姿态信息的变化会由于自身的运动造成反推的结果产生误差，因此，最好是选择静态关键特征点，进而得到静态关键特征点的运动信息。因此，服务器可以基于目标对象的运动信息从关键特征点的运动信息中删选出静态关键特征点的运动信息，比如，服务器选择的静态关键特征点可以是道路上黄色箭头中箭尖的那个点，道路上一个水洼的某个点和红绿灯牌上的某个点。

本申请实施例中通过关键特征点的运动信息确定车辆当前的位姿信息的原因是：车辆的行驶行为(比如拐弯和急刹车)和道路信息(比如道路坑洼，上坡或者下坡)都可以对车辆的位姿信息造成影响，然而，如果直接通过行驶行为和道路信息是不可以直接得到车辆当前的位置信息的，但是服务器能通过关键特征点的运动信息来确定车辆当前的位姿信息。

s205：基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息。

每个图像都是有m*n个像素组成的，服务器可以确定出当前图像中包含的所有像素中每个像素的运动信息，其中每个像素的运动信息包括每个像素与车辆的距离，每个像素与车辆的相对速度和每个像素与车辆的碰撞时间。

上文中的目标对象的运动信息是以一个整体去考虑目标对象的，而像素的运动信息不仅可以包括目标对象的像素的运动信息，还包括非目标对象的运动信息，以及其他对象的运动信息(其他对象是除目标对象和非目标对象之外的对象)，服务器以更颗粒的思维来处理图像，可以覆盖所有的影响因素，考虑更全面细致。

s207：根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息。

服务器可以根据像素中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息。

本申请综合考虑每个像素的运动信息可能对当前的位姿信息产生影响，进而对其进行修正，以使得到的修正后的位置信息更精确，为后期的处理提供更好的铺垫。

s209：基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息。

服务器可以基于更精确的的修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息。

如此，通过不断更新后变的更精确的要素对要修正的要素进行修正，层层递进，最终使得最后的结果更精确。即使得每个像素更新后的运动信息更精确。

下面基于机器学习对上述步骤s203-s209进行阐述。机器学习(machinelearning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

图4是申请实施例提供的一种运动信息确定模型的结构示意图，该结构包含6个子模型：像素运动信息确定子模型、特征点提取子模型、目标运动信息确定子模型、位姿确定子模型、位姿修正子模型和像素运动信息修正子模型。

其中，像素运动信息确定子模型的输出端与位姿修正子模型的输入端连接，位姿确定子模型的输出端与位姿修正子模型的输入端连接，特征点提取子模型的输出端与位姿确定子模型的输入端连接，位姿修正子模型的输出端与像素运动信息修正子模型的输入端连接，目标运动信息确定子模型的输出端与像素运动信息修正子模型的输入端连接。也就是说，位姿修正子模型的输入端的输入数据是由像素运动信息确定子模型的输出端的输出数据和位姿确定子模型的输出端的输出数据决定的；像素运动信息修正子模型的输入端的输入数据是由位姿修正子模型的输出端的输出数据和目标运动信息确定子模型的输出端的输出数据决定的。

基于上述图4的模型结构示意图，图5提供了一种确定每个像素更新后的运动信息的流程示意图，包括：

s501：将连续的多帧图像输入已经训练好的运动信息确定模型。

s502：利用运动信息确定模型中的目标运动信息确定子模型进行目标提取处理，得到目标对象的运动信息。

s503：利用运动信息确定模型中的特征点提取子模型进行特征点提取处理，得到关键特征点以及关键特征点的运动信息。

服务器可以通过语义分割骨架网络提取特征。

s504：利用运动信息确定模型中的位姿确定子模型对关键特征点的运动信息进行处理，得到车辆当前的位姿信息。

s505：利用运动信息确定模型中的像素运动信息确定子模型对当前图像进行处理，得到像素集中每个像素的运动信息。

s506：利用运动信息确定模型中的位姿修正子模型和像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息。

将像素集中每个像素的运动信息和当前的位姿信息输入该位姿修正子模型，得到修正后的位姿信息。

s507：利用运动信息确定模型中的像素运动信息更新子模型、修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息。

将修正后的位姿信息、目标对象的运动信息和每个像素的运动信息输入像素运动信息更新子模型，得到每个像素更新后的运动信息。

s508：输出所述每个像素更新后的运动信息。

图6是申请实施例提供的一种运动信息确定模型的结构示意图，该结构包含6个子模型：像素运动信息确定子模型、特征点提取子模型、目标运动信息确定子模型、位姿确定子模型、位姿修正子模型和像素运动信息修正子模型。

其中，像素运动信息确定子模型的输出端与位姿修正子模型的输入端连接，位姿确定子模型的输出端与位姿修正子模型的输入端连接，特征点提取子模型的输出端与位姿确定子模型的输入端连接，位姿修正子模型的输出端与像素运动信息修正子模型的输入端连接，目标运动信息确定子模型的输出端与像素运动信息修正子模型的输入端连接，目标运动信息确定子模型的输出端与位姿确定子模型的输入端连接。也就是说，位姿修正子模型的输入端的输入数据是由像素运动信息确定子模型的输出端的输出数据和位姿确定子模型的输出端的输出数据决定的；像素运动信息修正子模型的输入端的输入数据是由位姿修正子模型的输出端的输出数据和目标运动信息确定子模型的输出端的输出数据决定的；位姿确定子模型的输入端的输入数据是由特征点提取子模型的输出端的输出数据和目标运动信息确定子模型的输出端的输出数据确定的。

基于上述图6的模型结构示意图，图7提供了一种确定每个像素更新后的运动信息的流程示意图，包括：

s701：将连续的多帧图像输入已经训练好的运动信息确定模型；

s702：利用运动信息确定模型中的目标运动信息确定子模型进行目标提取处理，得到目标对象的运动信息；

s703：利用运动信息确定模型中的特征点提取子模型进行特征点提取处理，得到关键特征点以及关键特征点的运动信息；

s704：通过目标对象的运动信息从关键特征点的运动信息中删选出静态关键特征点的运动信息；

s705：利用运动信息确定模型中的位姿确定子模型对静态关键特征点的运动信息进行处理，得到车辆当前的位姿信息；

s706：利用运动信息确定模型中的像素运动信息确定子模型对当前图像进行处理，得到像素集中每个像素的运动信息；

s707：利用运动信息确定模型中的位姿修正子模型和像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；

s708：利用运动信息确定模型中的像素运动信息更新子模型、修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；

s709：输出所述每个像素更新后的运动信息。

一种可选的实施方式中，上述的运动信息确定模型是基于深度学习模型得到的，训练该运动信息确定模型可以通过无监督的方法、有监督的方法或者半监督的方法训练得到的。可选的，可以通过像素运动信息确定模型设置损失函数，基于图像序列优化损失函数来训练模型。

s211：基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素。

该车辆的驾驶空间信息是由车辆的运动趋势确定的，其中，运动趋势可以包括高度、宽度、线速度和角速度。每个像素的空间信息包括每个像素的空间信息包括所述每个像素在空间中的位置，该空间中的位置是像素基于自动驾驶车辆为坐标系的原点确定的。

一种可选的实施方式中，上述的每个像素的运动信息和每个像素更新后的运动信息中还包括空间信息，也就是说，每个像素最终得到的空间信息可以是直接由上文的运动信息确定模型输出的。

服务器可以根据基于获取的车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素。举个例子，如果某个像素位于车辆的正前方，且该像素在现实空间中的高度小于车辆的高度，就可以被认定为危险像素。

s213：基于危险像素的运动信息指示车辆进行避障反应。

该危险像素的运动信息包括危险像素与车辆的碰撞时间，危险像素与车辆的距离和危险像素与车辆的相对速度。

一种可选的基于所述危险像素的运动信息指示车辆进行避障反应的实施方式中，若危险像素与车辆的碰撞时间小于预警时间阈值，指示车辆进行避障反应；避障反应包括停止行车，减速行车、偏移行车或者换道行车。

相较于现有技术中仅仅通过对容易识别的目标对象进行识别分类后，对该目标对象进行与车辆之间的距离确定，进而通过该距离决定是否需要对目标对象进行避障反应，本申请没有局限于考虑目标对象，还考虑到除目标对象之外的其他的对象还能对车辆自身的位姿状态产生影响，从而影响到车辆与危险像素(包括目标对象或者非目标对象包含的)之间的碰撞时间。综上，本申请综合自动驾驶车辆上路可能遇见的所有因素，最终得到的避障指示将更精确，也将提供更好的避障服务，同时也可以提高自车的安全性。。

本申请实施例还提供了一种车辆避障装置，图8是本申请实施例提供的一种车辆避障装置的结构示意图，如图8所示，该装置包括：

图像获取模块801，用于获取连续的多帧图像；

第一确定模块802，用于基于连续的多帧图像确定出图像中目标对象的运动信息，以及提取车辆当前的位姿信息；

第二确定模块803，用于基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；

修正模块804，用于根据像素集中每个像素的运动信息对当前的位姿信息进行修正，得到修正后的位姿信息；

更新模块805，用于基于修正后的位姿信息和目标对象的运动信息对像素集中每个像素的运动信息进行更新，得到每个像素更新后的运动信息；

第三确定模块806，用于基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；

指示模块807，用于基于危险像素的运动信息指示车辆进行避障反应。

在一种可选的实施方式中，

指示模块807，用于若所述危险像素与所述车辆的碰撞时间小于预警时间阈值，指示所述车辆进行避障反应；所述避障反应包括停止行车，减速行车、偏移行车或者换道行车。

在一种可选的实施方式中，

第一确定模块802，用于将所述连续的多帧图像输入已经训练好的运动信息确定模型；

利用所述运动信息确定模型中的目标运动信息确定子模型进行目标提取处理，得到所述目标对象的运动信息；

利用所述运动信息确定模型中的特征点提取子模型进行特征点提取处理，得到关键特征点以及所述关键特征点的运动信息；

利用所述运动信息确定模型中的位姿确定子模型对所述关键特征点的运动信息进行处理，得到所述车辆当前的位姿信息。

在一种可选的实施方式中，

第一确定模块802，用于通过所述目标对象的运动信息从所述关键特征点的运动信息中删选出静态关键特征点的运动信息；

利用所述运动信息确定模型中的位姿确定子模型对所述静态关键特征点的运动信息进行处理，得到所述车辆当前的位姿信息。

在一种可选的实施方式中，

第二确定模块803，用于利用所述运动信息确定模型中的像素运动信息确定子模型对所述当前图像进行处理，得到所述像素集中每个像素的运动信息。

在一种可选的实施方式中，

修正模块804，用于利用所述运动信息确定模型中的位姿修正子模型和所述像素集中每个像素的运动信息对所述当前的位姿信息进行修正，得到所述修正后的位姿信息。

在一种可选的实施方式中，

更新模块805，用于利用所述运动信息确定模型中的像素运动信息更新子模型、所述修正后的位姿信息和所述目标对象的运动信息对所述像素集中每个像素的运动信息进行更新，得到所述每个像素更新后的运动信息。

本申请实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图9是本申请实施例提供的一种车辆避障方法的服务器的硬件结构框图。如图9所示，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)910(处理器910可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在服务器900上执行存储介质920中的一系列指令操作。服务器900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如windowsserver^tm，macosx^tm，unix^tm,linux，freebsd等等。

输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

本申请的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种车辆避障方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述车辆避障方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的车辆避障方法、设备或存储介质的实施例可见，本申请中获取连续的多帧图像；基于连续的多帧图像确定出图像中目标对象的运动信息，提取车辆当前的位姿信息；基于连续的多帧图像中的当前图像确定出当前图像对应的像素集中每个像素的运动信息；根据像素集中每个像素的运动信息对当前的位姿信息进行修正；基于修正后的位姿信息和目标对象的运动信息对每个像素的运动信息进行更新，得到每个像素更新后的运动信息；基于车辆的驾驶空间信息和每个像素的空间信息从像素集中确定出危险像素；基于危险像素的运动信息指示车辆进行避障反应。本申请结合目标对象和像素的运动信息可以得到更有效的避障指示，也可以提高自车的安全性。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。