创建物理场景模型的方法和装置、辅助驾驶的方法和装置与流程

本发明涉及图像处理的领域，更具体地，本发明涉及一种用于创建物理场景模型的方法和装置、以及一种辅助驾驶的方法和装置。

背景技术：

在图像处理领域中，创建物理场景的模型有着重要的意义。以道路环境为例，道路环境模型是高级驾驶辅助系统(advanceddriverassistantsystem，adas)的重要部分。在建立了道路环境模型之后，adas中诸如车道偏离预警、自主巡航控制和紧急制动等的很多应用都会变得更加准确，而且更加简单可行。

在一种现有的道路环境模型中，针对道路环境中的某个对象建模单一的模型，如车道线模型、道路边缘模型等，所包含的对象单一，并不能体现真实物理场景中的各种对象以及所述各种对象之间的关系。

技术实现要素：

有鉴于上述情况，本发明提供了一种用于创建物理场景模型的方法和装置，其能够将包含多种对象的物理场景虚拟化，从而能够准确反映所述物理场景中多种对象以及所述多种对象之间的关系。

此外，本发明还提供了一种用于辅助驾驶的方法和装置，其不仅能够将包含多种对象的物理场景虚拟化，并准确反映所述物理场景中多种对象以及所述多种对象之间的关系，还能够基于虚拟化的模型提供各种有助于驾驶的信息和操作，从而使得驾驶过程更加安全可靠，自动化程度更高。

根据本发明一实施例，提供了一种用于创建包括多种对象的物理场景的模型的方法，包括：获取所述物理场景的图像；从所述图像中提取所述多种对象的每一种对象的特征；判断是否存在场景模型；当判断不存在场景模型时，基于所提取的每一种对象的特征进行场景模型的初始化处理，以获得初始化场景模型；以及输出所述初始化场景模型。

根据本发明另一实施例，提供了一种用于创建包括多种对象的物理场景的模型的装置，包括：获取单元，获取所述物理场景的图像；提取单元，从所述图像中提取所述多种对象的每一种对象的特征；判断单元，判断是否存在场景模型；初始化单元，当判断不存在场景模型时，基于所提取的每一种对象的特征进行场景模型的初始化处理，以获得初始化场景模型；以及第一输出单元，输出所述初始化场景模型。

根据本发明另一实施例，提供了一种用于创建包括多种对象的物理场景的模型的装置，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：获取所述物理场景的图像；从所述图像中提取所述多种对象的每一种对象的特征；判断是否存在场景模型；当判断不存在场景模型时，基于所提取的每一种对象的特征进行场景模型的初始化处理，以获得初始化场景模型；以及输出所述初始化场景模型。

根据本发明另一实施例，提供了一种用于创建包括多种对象的物理场景的模型的计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：获取所述物理场景的图像；从所述图像中提取所述多种对象的每一种对象的特征；判断是否存在场景模型；当判断不存在场景模型时，基于所提取的每一种对象的特征进行场景模型的初始化处理，以获得初始化场景模型；以及输出所述初始化场景模型。

根据本发明另一实施例，提供了一种用于辅助驾驶的方法，包括：获取车辆的驾驶信息；获取包括多种道路组件的道路环境的模型；基于所述驾驶信息和所述道路环境的模型，生成用于辅助驾驶的操作信息；以及输出所述操作信息；其中，所述道路环境的模型通过以下步骤创建：获取所述道路环境的图像；从所述图像中提取所述多种道路组件的每一种道路组件的特征；判断是否存在道路环境的模型；当判断不存在道路环境的模型时，基于所提取的每一种道路组件的特征进行道路环境的模型的初始化处理，以获得初始化场景模型作为所述道路环境的模型。

根据本发明另一实施例，提供了一种用于辅助驾驶的装置，包括：第一获取单元，获取车辆的驾驶信息；第二获取单元，获取包括多种道路组件的道路环境的模型；生成单元，基于所述驾驶信息和所述道路环境的模型，生成用于辅助驾驶的操作信息；以及输出单元，输出所述操作信息；所述装置还包括：第三获取单元，获取所述道路环境的图像；提取单元，从所述图像中提取所述多种道路组件的每一种道路组件的特征；判断单元，判断是否存在道路环境的模型；初始化单元，当判断不存在道路环境的模型时，基于所提取的每一种道路组件的特征进行道路环境的模型的初始化处理，以获得初始化场景模型作为所述道路环境的模型。

根据本发明另一实施例，提供了一种用于辅助驾驶的装置，包括：处理器；存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：获取车辆的驾驶信息；获取包括多种道路组件的道路环境的模型；基于所述驾驶信息和所述道路环境的模型，生成用于辅助驾驶的操作信息；以及输出所述操作信息；其中，所述道路环境的模型通过在所述计算机程序指令被所述处理器运行时执行的以下步骤创建：获取所述道路环境的图像；从所述图像中提取所述多种道路组件的每一种道路组件的特征；判断是否存在道路环境的模型；当判断不存在道路环境的模型时，基于所提取的每一种道路组件的特征进行道路环境的模型的初始化处理，以获得初始化场景模型作为所述道路环境的模型。

根据本发明另一实施例，提供了一种用于辅助驾驶的计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以下步骤：获取车辆的驾驶信息；获取包括多种道路组件的道路环境的模型；基于所述驾驶信息和所述道路环境的模型，生成用于辅助驾驶的操作信息；以及输出所述操作信息；其中，所述道路环境的模型通过在所述计算机程序指令被所述处理器运行时执行的以下步骤创建：获取所述道路环境的图像；从所述图像中提取所述多种道路组件的每一种道路组件的特征；判断是否存在道路环境的模型；当判断不存在道路环境的模型时，基于所提取的每一种道路组件的特征进行道路环境的模型的初始化处理，以获得初始化场景模型作为所述道路环境的模型。

在本发明实施例的方法、装置和计算机程序产品中，获取包括多种对象的物理场景的图像、提取每一种对象的特征，并在不存在场景模型时基于所提取的每一种对象的特征获得初始化场景模型，从而，能够将包含多种对象的物理场景虚拟化，从而能够准确反映所述物理场景中多种对象以及所述多种对象之间的关系。

此外，在本发明实施例的方法、装置和计算机程序产品中，通过获取车辆的驾驶信息和包括多种道路组件的道路环境的模型，生成并输出用于辅助驾驶的操作信息，从而，不仅能够将包含多种对象的物理场景虚拟化，并通过虚拟化的模型准确反映所述物理场景中多种对象以及所述多种对象之间的关系，还能够基于所述虚拟化的模型提供各种有助于驾驶的信息和操作，从而使得驾驶过程更加安全可靠，自动化程度更高。

附图说明

图1是图示根据本发明一实施例的用于创建包括多种对象的物理场景的模型的方法的主要步骤的流程图；

图2是图示根据本发明另一实施例的用于创建包括多种对象的物理场景的模型的方法的主要步骤的流程图；

图3是图示根据本发明一实施例的用于辅助驾驶的方法的主要步骤的流程图；

图4是图示根据本发明一实施例的用于创建包括多种对象的物理场景的模型的装置的主要配置的框图；

图5是图示根据本发明另一实施例的用于创建包括多种对象的物理场景的模型的装置的主要配置的框图；以及

图6是图示根据本发明实施例的用于辅助驾驶的装置的主要配置的框图。

具体实施方式

以下将参考附图详细描述本发明实施例。

首先，参照图1描述根据本发明实施例的用于创建物理场景的模型的方法。

图1是图示根据本发明一实施例的用于创建包括多种对象的物理场景的模型的方法的主要步骤的流程图。所述方法可以应用于具有处理能力的任何电子设备，诸如计算机、控制台(例如汽车中的控制中心)、服务器等等。所述物理场景可以为真实世界中的各种场景，诸如室内场景、室外场景等等。所述物理场景中包括不同类型的多种对象。例如，在所述物理场景为道路环境的情况下，所述多种对象例如可包括车道、路肩石、栅栏、十字路口、交通标志、交通灯、树、建筑物以及电线杆等中的至少两种对象。当然，本领域技术人员能够理解，以上所述的物理场景及其中包含的对象仅为示例，本发明实施例的用于创建物理场景的模型的方法不限于此。

如图1所示，首先，在步骤s110，所述方法获取所述物理场景的图像。

具体地，所述方法可以通过摄像机实时采集所述物理场景而获得所述图像。替代地，所述方法也可以从各种存储装置获取预先采集的所述图像。在第一示例中，所述图像可以为灰度图。在第二示例中，所述图像可以为视差图。当然，本领域技术人员能够理解，以上所述的所述图像的类型仅为示例，本发明实施例的用于创建物理场景的模型的方法不限于此。取决于图像采集方法和处理方法不同，可以获取其他各种类型的图像。

接下来，在步骤s120，从所述图像中提取所述多种对象的每一种对象的特征。

具体地，所述特征是能够反映该种对象的特点的图像特征，例如，灰度特征、视差特征等等。当然，本领域技术人员能够理解，以上所述的所述图像的特征仅为示例，本发明实施例的用于创建物理场景的模型的方法不限于此。依赖于所采集的图像的格式不同和所使用的图像处理方法不同，可以相应提取对象的其他各种图像特征。

此外，本发明实施例的用于创建物理场景的模型的方法可以使用本领域已知的各种特征提取方法来提取每种对象的特征。作为一示例，可以通过使用边缘特征提取方法来提取所述特征。各种特征提取方法的具体处理为本领域技术人员所知，在此不再详述。

另一方面，在步骤s130，判断是否存在场景模型。

具体地，作为第一示例，所述方法例如可以读取本地存储装置，以判断是否存在场景模型。作为第二示例，所述方法例如可以通过网络访问相关地址，即，读取远程存储装置，以判断是否存在场景模型。

需要指出的是，虽然在如图1所示的流程图中将步骤s130示出为在步骤s110和s120之后，然而，实际上，可以以任何顺序执行步骤s130、以及步骤s110和步骤s120的处理。例如，步骤s130可以与步骤s110和步骤s120颠倒地、或者并行地执行。

当判断存在所述场景模型时，所述方法结束。

另一方面，当判断不存在场景模型时，所述方法进行到步骤s140。

在步骤s140，基于所提取的每一种对象的特征进行场景模型的初始化处理，以获得初始化场景模型。

具体地，首先，所述方法可以基于所提取的每一种对象的特征，分别对每一种对象的对象模型进行初始化处理，以获得每一种对象的初始化对象模型。

更具体地，可以对于每一种对象，以预定次数选择所提取的特征中的至少一些特征。所述预定次数可以由本领域技术人员根据设计需要适当地确定，在此不作具体限定。所述至少一些特征可以是基于随机采样一致性(ransac，randomsampleconsensus)方法而选择的，也可以是由本领域技术人员限定的。替代地，也可选择全部所提取的特征。

然后，可以基于每次所选择的所述至少一些特征分别计算所述对象模型的参数，以获得与所述预定次数相同数目的多个对象模型候选。稍后还将结合具体示例详细描述所述参数的计算处理。

接下来，可以基于所提取的特征计算每个对象模型候选的支撑点数和代价中的至少一个。所述支撑点数表示所提取的特征与对象模型候选之间的匹配度，所述代价表示所提取的特征与所述对象模型候选之间的偏离度。本领域技术人员可以采用各种已知算法计算所述支撑点数和代价。示例性地，例如，可统计与所述对象模型匹配的特征的个数作为所述支撑点数。此外，示例性地，可累加所有与模型匹配的特征到模型的距离之和而获得所述代价，其中距离可以定义为特征点到模型中曲线的最小距离。

最后，可以基于所述匹配度和所述代价中的所述至少一个，从所述多个对象模型候选中确定对象模型，作为所述初始化对象模型。

在通过如上所述的处理获得了每一种对象的初始化对象模型之后，可以基于预先设定的对象模型之间的关系，对所述多种对象的初始化对象模型进行验证。

更具体地，所述对象模型之间的关系可以包括位置关系和内容关系之中的至少一个，其可以由本领域技术人员根据所述物理场景和所述对象的不同而适当地设置，在此不作具体限定。

由此，作为第一示例，可以基于预先设定的对象模型之间的位置关系，对所述多种对象的所述初始化对象模型进行位置关系验证。换言之，判断如上所述获得的多个初始化对象模型之间是否满足所述位置关系。

作为第二示例，可以基于预先设定的对象模型之间的内容关系，对所述多种对象的所述初始化对象模型进行内容关系验证。换言之，判断如上所述获得的多个初始化对象模型之间是否满足所述内容关系。

作为第三示例，可以将上述第一示例和第二示例进行组合，即，对所述多种对象的所述初始化对象模型进行位置关系验证和内容关系验证这两者。

当验证不成功时，可以从所述多个对象模型候选中重新确定对象模型作为所述初始化对象模型，并重复如上所述的验证处理。当验证成功时，最终获得所述初始化场景模型，其包括如上所述经验证而获得的每一种对象的初始化对象模型。

以上描述了通过分别获得场景中包含的每一种对象的初始化对象模型、并验证各个初始化对象模型是否满足预定的对象模型之间的关系而获得整体场景的初始化场景模型的一种实施方式。当然，以上所述的仅为示例。本领域技术人员能够在此教导之上通过其他实施方式来获得初始化场景模型。例如，在第二实施方式中，替代分别获得场景中每一种对象的初始化对象模型，可以基于所提取的每一种对象的特征、以及预先设定的场景约束条件，直接获得整体场景的初始化场景模型；等等。

在通过如上所述的步骤s140获得所述初始化场景模型之后，所述方法进行到步骤s150，并输出所述初始化场景模型。

在第一示例中，所述初始化场景模型可以输出到所述电子设备自身所包含的或者本地或远程连接的存储装置以保存在其中。在第二示例中，所述初始化场景模型可以输出到所述电子设备的处理器，以由所述处理器基于所述初始化场景模型进行相应的处理，等等。

以上，参照图1描述了本发明实施例的用于创建包括多种对象的物理场景的模型的方法。

通过本发明实施例的用于创建包括多种对象的物理场景的模型的方法，能够将包含多种对象的物理场景虚拟化，从而能够准确反映所述物理场景中多种对象以及所述多种对象之间的关系。

而且，本发明实施例的方法所获得的场景模型不是将各个对象的对象模型进行简单组合，而是在考虑对象模型之间的关系的基础之上进行的对象模型的适当集合，从而使得所创建的场景模型更加符合物理场景的条件，而不会出现对象模型之间相互矛盾的情况。

在以上所述的本发明实施例的方法中，当在步骤s130中判断存在场景模型时，所述方法结束。替代地，当判断存在场景模型时，也可以基于所提取的对象的特征进行场景模型的更新。下面，将参照图2描述在此情况下的处理。

图2是图示根据本发明另一实施例的用于创建包括多种对象的物理场景的模型的方法的主要步骤的流程图。

图2所示的步骤s210-s250的处理分别与图1所示的步骤s110-s150的处理类似，在此不再重复。

与图1不同的是，当在步骤s230中判断存在场景模型时，所述方法进行到步骤s260。在步骤s260，判断所提取的每一种对象的特征与所述场景模型是否匹配。具体地，所述方法可将所述特征输入所述场景模型，并判断所述特征是否满足所述场景模型。

更具体地，作为一示例，可以计算所述特征到所述场景模型的最小距离。例如，当特征为点特征时，计算点到场景模型中所有线的距离的最小值，又例如，当特征为线段特征时，计算线段到场景模型中与线段斜率最接近的线的距离。

然后，判断所述最小距离是否小于预先设定的阈值。当判断所述最小距离小于所述阈值时，确定所述特征满足所述场景模型。反之，当判断所述最小距离大于等于所述阈值时，确定所述特征不满足所述场景模型。

当然，以上所述的判断对象特征与场景模型是否匹配的方法仅为示例。本领域技术人员可以在此基础之上设计其他各种方式来进行所述判断。

接下来，当判断所提取的每一种对象的特征与所述场景模型匹配时，所述方法进行到步骤s270。在步骤s270，更新所述场景模型。

具体地，首先，可以基于所提取的每一种对象的特征，更新所述场景模型中包括的每一种对象的对象模型。更具体地，可以通过诸如梯度下降法、牛顿-高斯法等的各种方式来更新所述对象模型。

然后，可以基于所更新的每一种对象的对象模型和对象模型之间的关系，更新所述场景模型。例如，可通过参照图1所述的方式，验证所更新的各个对象的对象模型是否满足所述对象模型之间的关系。当验证失败时，所述场景模型更新失败。此时，例如可通过重新更新对象模型而再次进行更新处理。另一方面，当验证成功时，所述场景模型更新成功。

接下来，在步骤s280，输出所更新的场景模型。

由此，在参照图2所示的本发明此实施例的方法中，不仅能够在没有场景模型的情况下创建场景模型，还能够在已经存在场景模型的情况下更新场景模型，从而即便在物理场景发生较小改变的情况下也能够使得场景模型与物理场景及时保持一致，提高匹配度和精度。

此外，如图2所示，当在步骤s260判断所提取的至少一种对象的特征与所述场景模型不匹配时，可以通过与参照图1所述的步骤s140和s150类似的步骤s240和s250的处理，基于所提取的每一种对象的特征重新进行场景模型的初始化处理，以获得初始化场景模型，并输出所述初始化场景模型。

由此，在本发明此实施例的方法中，当已经存在场景模型时，不仅能够在对象特征与场景模型匹配的情况下更新场景模型，还能够在对象特征与场景模型不匹配的情况下重新初始化场景模型，从而即便在物理场景发生较大改变的情况下也能够使得场景模型与物理场景及时保持一致，提高匹配度和精度。

以上，参照图1和图2描述了本发明实施例的用于创建包括多种对象的物理场景的模型的方法。如上所述，本发明实施例的方法可以应用于对真实世界中的各种场景进行虚拟化。下面，将以物理场景为道路环境、所述对象为道路组件的情况为例描述本发明实施例的方法的应用示例。

首先，可通过安装在所述道路环境中的诸如车辆、电线杆等处的图像采集设备(如摄像头)获取所述道路环境的图像。

接下来，可以从所述图像中提取所述多种道路组件的每一种道路组件的特征。所述道路组件可以为道路中的静态物体，例如诸如车道、路肩石、栅栏、十字路口、交通标志、交通灯、树、建筑物、电线杆等中的至少两种或更多。

然后，判断是否存在道路环境的模型。当判断不存在道路环境的模型时，基于所提取的每一种道路组件的特征进行道路环境的模型的初始化处理，以获得初始化场景模型作为所述道路环境的模型。

具体地，首先，分别对每一种道路组件的道路组件模型进行初始化，以获得道路组件的初始化模型。

例如，道路模型roadmodel可通过如下表达式(1)表示：

其中，vanishline1是道路模型中消失线的位置，roadheight1是道路模型中的路面高度，lanenum是车道的数量，roadparas是道路模型的参数，lanewidth是每条车道的宽度，curbheight是路肩石的高度，并且guardrailheight是栅栏的高度。

具体地，道路模型有很多种类型，如直线模型，抛物线模型，样条线模型，双曲线模型，蛇形模型和3d模型等等。以直线模型为例，道路模型可通过如下表达式(2)表示：

其中，leftwhiteline是用于表示道路范围的左边界的线，即，最左侧的白线，otherwhitelines是用于表示道路范围内的车道的其他的白线，curbs是路肩石，并且guardrails是栅栏；

ar和br为道路模型的曲线参数，即上述表达式(1)中的roadparas；

vl1是表达式(1)中vanishline1的缩写；

law是表达式(1)中lanewidth的缩写；

ch是表达式(1)中curbheight的缩写；

gh是表达式(1)中guardrailheight的缩写；

xr和yr分别表示leftwhiteline、otherwhitelines、curbs和guardrails各自的横坐标和纵坐标，下标i表示第i条线，其范围为0至lanenum。

在通过如上所述的表达式(2)计算得出各个参数之后，获得了初始化的道路模型。

又例如，斑马线模型zebramodel可通过以下表达式(3)表示，

其中，vanishline2是斑马线模型中消失线的位置，roadheight2是斑马线模型中路面的高度，linenum是斑马线模型中线的数量，linewidth是每一条线的宽度，linegapwidth是斑马线间隔的宽度，zebraparas是斑马线模型的参数。

具体地，通常，斑马线模型可通过线性模型表示。例如，可通过以下表达式(4)表示斑马线模型：

其中，az和bz为模型的曲线参数，即上述表达式(3)中的zebraparas；

vl2是表达式(3)中vanishline2的缩写；

liw是表达式(3)中linewidth的缩写；

lgw是表达式(3)中linegapwidth的缩写；

xz和yz分别表示leftzebra和otherzebra各自的横坐标和纵坐标，下标i表示第i条线，其范围为0至linenum。

在通过如上所述的表达式(4)计算得出各个参数之后，获得了初始化的道路模型。

本领域技术人员能够理解，以上所述的道路模型和斑马线模型的表达式仅为示例。取决于物理场景中道路的不同和斑马线的不同，可以采用其他各种适当的表达式来表示所述道路模型和所述斑马线模型。

此外，本领域技术人员在上述道路模型和斑马线模型的教导之上，能够类似地表示所述道路环境模型中其他各种道路组件的模型，并求解其模型参数。例如，电线杆模型polemodel可以通过如下所示的表达式(5)表示：

polemodel(roadheight3,nearpoledistance,polewidth,polegapdistance)(5)

其中，roadheight3是电线杆模型中路面的高度，nearpoledistance是距诸如相机的图像采集设备最接近的电线杆的距离，polewidth是电线杆的宽度，polegapdistance是电线杆间的距离。

其他各种道路组件的初始化模型及其模型参数的表示与上述类似，在此不再详述。

在如上所述得到了各个道路组件的模型之后，可以基于预先设定的对象模型之间的位置关系或内容关系中的至少一个，对对象模型进行验证。

以道路模型与斑马线模型之间的关系为例，其位置关系可通过如下表达式(6)-(8)表示：

vanishingline1＝vanishingline2(6)

roadheight1＝roadheight2(7)

上述表达式(6)表示的含义为，道路模型中消失线的位置与斑马线模型中消失线的位置相同。上述表达式(7)表示的含义为，道路模型中路面的高度与斑马线模型中路面的高度相同。上述表达式(8)的含义为，斑马线的位置位于最左侧道路线与最右侧道路线之间。

此外，道路模型与斑马线模型之间的内容关系的一个例子例如可描述为，当道路类型为高速时，将没有斑马线。

又例如，对于道路模型与电线杆模型，其位置关系可通过如下表达式(9)表示：

roadheight1＝roadheight3(9)

上述表达式(9)表示的含义为，道路模型中路面的高度与电线杆模型中路面的高度相同。

此外，道路模型与电线杆模型的内容关系的一个例子可描述为，当道路类型为城市时，将没有电线杆。

在通过如上所述的方式对各个道路组件模型之间的位置关系和内容关系进行验证并验证成功之后，获得了最终的道路环境模型，其可通过如下表达式(10)表示：

其中，如上所述，roadtype表示道路类型，例如可为高速道路或城市道路。vanishline表示消失线的位置，roadheight表示路面的高度，relation表示对象模型间的关系。

此外，roadmodel表示道路模型，zebramodel表示斑马线模型，buildingmodel表示建筑物模型，treemodel表示树模型，signmodel表示交通标志模型，polemodel表示电线杆模型。

需要指出的是，上面表达式(10)中所包含的道路组件模型仅为示例。根据具体道路环境不同，道路环境的模型可包含更多或更少的道路组件模型。

以上，以物理场景为道路环境、所述对象为道路组件的情况为例描述了本发明实施例的方法的应用示例。当然，本发明实施例的方法不限于此，而是可以用于创建其他各种物理场景的模型。

下面，将参照图3描述本发明实施例的用于辅助驾驶的方法。本发明实施例的用于辅助驾驶的方法例如可以应用于车辆自身的控制中心，也可以应用于其他外部电子设备，诸如车内放置的计算机、远程服务器等等。在所述方法应用于其他外部电子设备的情况下，所述电子设备能够与车辆的控制中心进行通信。

图3是示出本发明实施例的用于辅助驾驶的方法的主要步骤的流程图。

首先，在步骤s310，获取车辆的驾驶信息。具体地，所述驾驶信息可包括车速信息、方向盘信息、油门信息、刹车信息、指示灯信息中的至少一个或其任意组合。

另一方面，在步骤s320，获取包括多种道路组件的道路环境的模型。具体地，所述道路环境的模型通过参照图1和图2中的任一所述的方式创建。更具体地，首先，可通过安装在车辆上的图像采集设备(诸如相机)获取所述道路环境的图像。然后，从所述图像中提取所述多种道路组件的每一种道路组件的特征。接下来，判断是否存在道路环境的模型。当判断不存在道路环境的模型时，基于所提取的每一种道路组件的特征进行道路环境的模型的初始化处理，以获得初始化场景模型作为所述道路环境的模型。

需要指出的是，虽然在如图3所示的流程图中将步骤s320示出为在步骤s310之后，然而，实际上，可以以任何顺序执行步骤s310和步骤s320的处理。例如，步骤s310可以与步骤s320颠倒地、或者并行地执行。

接下来，在步骤s330，基于所述驾驶信息和所述道路环境的模型，生成用于辅助驾驶的操作信息。

具体地，可以基于所述驾驶信息和所述道路环境的模型，生成速度预警信息、方向预警信息、障碍物预警信息、紧急制动信息中的至少一个或其任意组合。

更具体地，以方向预警信息为例，可以基于所述道路环境的模型确定前方道路曲线。此外，可以基于所述假设信息中的诸如方向盘信息等的信息，确定车辆当前行驶方向。由此，可以将车辆当前行驶方向与前方道路曲线进行比较，并判断车辆是否偏离所行驶的车道。当判断偏离时，生成车道偏离预警信息，作为所述方向预警信息的示例。

接下来，在步骤s340，输出所述操作信息。

具体地，在第一示例中，所述车辆包含显示器，并且可将所述操作信息输出至所述显示器，以通过所述显示器显示所述操作信息。

在第二示例中，所述车辆包含扬声器，并且可将所述操作信息输出至所述扬声器，以通过所述扬声器输出所述操作信息。

在第三示例中，所述车辆包含控制器，并且可将所述操作信息输出至所述控制器，所述控制器基于所述操作信息控制所述车辆所包含的驾驶组件，例如进行自主巡航控制或紧急制动等等。

当然，以上所述仅为示例，本领域技术人员可以将上述示例适当地组合或根据以其他方式输出所述操作信息。

以上，参照图3描述了本发明实施例的用于辅助驾驶的方法。通过本发明实施例的用于辅助驾驶的方法，能够基于道路环境的模型进行准确的提示或控制，有利于改进驾驶安全性，并提高驾驶过程的自动化。

下面，将参照图4描述根据本发明一实施例的用于创建包括多种对象的物理场景的模型的装置。

图4是图示根据本发明一实施例的用于创建包括多种对象的物理场景的模型的装置的主要配置的框图。

如图4所示，本发明实施例的用于创建包括多种对象的物理场景的模型的装置400主要包括获取单元410、提取单元420、判断单元430、初始化单元440和第一输出单元450。

所述获取单元410获取所述物理场景的图像。

所述提取单元420从所述图像中提取所述多种对象的每一种对象的特征。

所述判断单元430判断是否存在场景模型。

所述初始化单元440当判断不存在场景模型时，基于所提取的每一种对象的特征进行场景模型的初始化处理，以获得初始化场景模型。

所述第一输出单元450输出所述初始化场景模型。

在一实施例中，所述装置400还包括：匹配单元、更新单元和第二输出单元。所述匹配单元当判断存在场景模型时，判断所提取的每一种对象的特征与所述场景模型是否匹配。所述更新单元当判断所提取的每一种对象的特征与所述场景模型匹配时，更新所述场景模型。所述第二输出单元输出所更新的场景模型。

在另一实施例中，所述装置400还包括：重新初始化单元和第三输出单元。所述重新初始化单元当判断所提取的至少一种对象的特征与所述场景模型不匹配时，基于所提取的每一种对象的特征重新进行场景模型的初始化处理，以获得初始化场景模型。所述第三输出单元输出所述初始化场景模型。

在另一实施例中，所述初始化单元440包括：子初始化单元，基于所提取的每一种对象的特征，分别对每一种对象的对象模型进行初始化处理，以获得每一种对象的初始化对象模型；验证单元，基于预先设定的对象模型之间的关系，对所述多种对象的初始化对象模型进行验证；以及获得单元，当验证成功时，获得包括每一种对象的初始化对象模型的所述初始化场景模型。

在另一实施例中，所述子初始化单元包括：选择单元，对于每一种对象，以预定次数选择所提取的特征中的至少一些特征；第一计算单元，基于每次所选择的所述至少一些特征分别计算所述对象模型的参数，以获得与所述预定次数相同数目的多个对象模型候选；第二计算单元，基于所提取的特征计算每个对象模型候选的支撑点数和代价中的至少一个，所述支撑点数表示所提取的特征与对象模型候选之间的匹配度，所述代价表示所提取的特征与所述对象模型候选之间的偏离度；以及对象模型确定单元，基于所述匹配度和所述代价中的所述至少一个，从所述多个对象模型候选中确定对象模型，作为所述初始化对象模型。

在另一实施例中，所述验证单元包括以下中的至少一个：第一验证单元，基于预先设定的对象模型之间的位置关系，对所述多种对象的所述初始化对象模型进行位置关系验证；以及第二验证单元，基于预先设定的对象模型之间的内容关系，对所述多种对象的所述初始化对象模型进行内容关系验证。

在另一实施例中，所述更新单元包括：第一更新单元，基于所提取的每一种对象的特征，更新所述场景模型中包括的每一种对象的对象模型；以及第二更新单元，基于所更新的每一种对象的对象模型和对象模型之间的关系，更新所述场景模型。

下面，参照图5描述本发明另一实施例的用于创建包括多种对象的物理场景的模型的装置。

图5是图示根据本发明另一实施例的用于创建包括多种对象的物理场景的模型的装置的主要配置的框图。

如图5所示，本发明实施例的用于创建包括多种对象的物理场景的模型的装置500主要包括处理器510和存储器520，这些组件通过总线系统530和/或其它形式的连接机构(未示出)互连。应当注意，图5所示的装置500的组件和结构只是示例性的，而非限制性的，根据需要，装置500也可以具有其他组件和结构。例如，所述装置500还可具有诸如相机的图像采集组件，用于采集场景的图像。

处理器510可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制装置500中的其它组件以执行期望的功能。

存储器520可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器510可以运行所述程序指令，以实现本发明实施例的用于创建物理场景的模型的方法的功能以及/或者其它期望的功能。

下面，参照图6描述本发明实施例的用于辅助驾驶的装置。

图6是图示根据本发明实施例的用于辅助驾驶的装置的主要配置的框图。如图6所示，本发明实施例的用于辅助驾驶的装置600主要包括第一获取单元610、第二获取单元620、生成单元630、输出单元640、第三获取单元650、提取单元660、判断单元670和初始化单元680。

所述第一获取单元610获取车辆的驾驶信息。

所述第二获取单元620获取包括多种道路组件的道路环境的模型。

所述生成单元630基于所述驾驶信息和所述道路环境的模型，生成用于辅助驾驶的操作信息。

所述输出单元640输出所述操作信息。

所述第三获取单元650获取所述道路环境的图像。

所述提取单元660从所述图像中提取所述多种道路组件的每一种道路组件的特征。

所述判断单元670判断是否存在道路环境的模型。

所述初始化单元680当判断不存在道路环境的模型时，基于所提取的每一种道路组件的特征进行道路环境的模型的初始化处理，以获得初始化场景模型作为所述道路环境的模型。

在一实施例中，所述驾驶信息包括车速信息、方向盘信息、油门信息、刹车信息、指示灯信息中的至少一个。

在另一实施例中，所述生成单元630配置为：基于所述驾驶信息和所述道路环境的模型，生成速度预警信息、方向预警信息、障碍物预警信息、紧急制动信息中的至少一个。

在另一实施例中，所述输出单元640配置为执行以下中的至少之一：将所述操作信息输出至所述车辆所包含的显示器，以通过所述显示器显示所述操作信息；将所述操作信息输出至所述车辆所包含的扬声器，以通过所述扬声器输出所述操作信息；将所述操作信息输出至所述车辆所包含的控制器，所述控制器基于所述操作信息控制所述车辆所包含的驾驶组件。

在本发明另一实施例中，本发明实施例的用于辅助驾驶的装置可通过与图5所示类似的结构实现。即，所述装置主要包括处理器和存储器，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。所述存储器可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现本发明实施例的用于辅助驾驶的方法的功能以及/或者其它期望的功能。

此外，本发明实施例还提供了一种用于创建包括多种对象的物理场景的模型的计算机程序产品，其包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以上参照图1至图2的任一所述的方法的任何实施例。

此外，本发明实施例还提供了一种用于辅助驾驶的计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行以上参照图3所述的方法的任何实施例。

以上，参照图1到图6描述了根据本发明实施例的用于创建包括多种对象的物理场景的模型的方法、装置和计算机程序产品、以及根据本发明实施例的用于辅助驾驶的的方法、装置和计算机程序产品。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，需要说明的是，在本说明书中，类似“第一…单元”、“第二...单元”的表述仅为了在描述时方便区分，而并不意味着其必须实现为物理分离的两个或多个单元。事实上，根据需要，所述单元可以整体实现为一个单元，也可以实现为多个单元。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

在本发明实施例中，单元/模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成单元/模块并且实现该单元/模块的规定目的。

在单元/模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的单元/模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(vlsi)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。