识别立体物的方法、装置、车辆和存储介质与流程
本公开涉及智能驾驶技术领域，特别涉及一种识别立体物的方法、装置、车辆和存储介质。
背景技术：
adas(advanceddriverassistantsystems，高级驾驶辅助系统)可以利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境，收集数据，并辨识、追踪不同运动状态的物体。再结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。
相关技术中提出一种车道偏移系统，该系统包括用于采集车周图像的单目摄像头，并根据一定算法从车周图像中提取车道线特征相关的特征信息，从而判断车辆行驶时是否偏离车道线。然而在一些成像复杂的场景中，无法从单目摄像头采集到的图像中区分车道上的待识别物是路面标记还是立体物。例如，在路边栏杆与车道线的颜色相近时，无法通过图像区分待识别物是栏杆还是车道线。
技术实现要素：
有鉴于此，本公开旨在提出一种识别立体物的方法、装置、车辆和存储介质，以解决通过单目摄像头无法判断待识别物是否为立体物的问题。
为达到上述目的，本公开的技术方案是这样实现的：
本公开示例性实施例的第一方面，提出一种识别立体物的方法，所述方法应用于车辆，所述方法包括：
在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；
根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；
若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。
进一步的，所述多张图像的数量为n，n为大于3的整数，所述根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面的成像变化规律，包括：
依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di；
根据所述多张图像各自对应的si和di，使用二次回归类型拟合一条用于表征成像面积s随待识别物与所述车辆之间的距离d变化规律的二次曲线。
进一步的，所述多张图像的数量为n，n为大于3的整数，根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，包括：
依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di；
根据所述多张图像各自对应的ωi和di，使用二次回归类型拟合一条用于表征成像立体角ω随待识别物与所述车辆之间的距离d变化规律的二次曲线。
进一步的，所述确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di，包括：
在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离dix；
根据dconstant以及dix确定所述待识别物与所述车辆之间的距离di。
进一步的，所述若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物，包括：
确定所述拟合出的二次曲线的剩余标准差；
若所述剩余标准差在预设的取值范围内，则确定所述待识别物为立体物。
进一步的，所述方法还包括：若所述剩余标准差在预设的取值范围外，则确定所述待识别物为路面标记。
本公开示例性实施例的第二方面，提出一种识别立体物的装置，所述装置应用于车辆，所述装置包括：
采集模块，用于在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；
规律确定模块，用于根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；
结果确定模块，用于在所述成像变化规律与二次曲线相匹配时，确定所述待识别物为立体物。
进一步的，所述多张图像的数量为n，n为大于3的整数，所述规律确定模块，用于依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di；
根据所述多张图像各自对应的si和di，使用二次回归类型拟合一条用于表征成像面积s随待识别物与所述车辆之间的距离d变化规律的二次曲线。
进一步的，所述多张图像的数量为n，n为大于3的整数，所述规律确定模块，用于依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di；
根据所述多张图像各自对应的ωi和di，使用二次回归类型拟合一条用于表征成像立体角ω随待识别物与所述车辆之间的距离d变化规律的二次曲线。
进一步的，所述规律确定模块，用于：在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离dix；
根据dconstant以及dix确定所述待识别物与所述车辆之间的距离di。
进一步的，所述结果确定模块，包括：
剩余标准差确定子模块，用于确定所述拟合出的二次曲线的剩余标准差；
识别子模块，用于在所述剩余标准差在预设的取值范围内时，确定所述待识别物为立体物。
进一步的，所述识别子模块还用于：在所述剩余标准差在预设的取值范围外时，确定所述待识别物为路面标记。
本公开示例性实施例的第三方面，提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述识别立体物的方法的步骤。
本公开示例性实施例的第四方面，提出一种识别立体物的装置，包括：
所述的计算机可读存储介质；以及一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
本公开示例性实施例的第五方面，提出一种车辆，所述车辆包括上述第二方面任一可选实施例或上述第四方面所述的识别立体物的装置。
在车辆行驶过程中，通过车辆上的单目摄像头对待识别物进行拍摄，并根据得到的多张图像确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。这样，解决了通过单目摄像头无法判断待识别物是否为立体物的问题，提升了adas对车道上待识别物的识别精度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开一示例性实施例示出的一种识别立体物的方法。
图2是本公开一示例性实施例示出的一种实施场景示意图。
图3是本公开一示例性实施例示出的另一种实施场景示意图。
图4是本公开一示例性实施例示出的另一种实施场景示意图。
图5是本公开一示例性实施例示出的一种仿真结果图。
图6是本公开一示例性实施例示出的另一种仿真结果图。
图7是本公开一示例性实施例示出的一种识别立体物的装置。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
图1是本公开一示例性实施例示出的一种识别立体物的方法。所述方法可以应用于如图2所示的车辆。所述方法包括：
s11，在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像。
参考如图2所示的实施场景示意图。以平行于道路面指向车辆前方的轴向为x轴，以垂直于道路面指向车辆上方的轴向为z轴，以平行于道路面指向车辆驾驶位置右侧的轴向为y轴，建立三坐标系。在车辆朝x轴正向行驶过程中，通过车辆上的单目摄像头对行驶在道路的上的待识别物进行拍摄。采集到的影像可以参考如图2中虚线框所示的场景。虚线为车道线，实线为道路边缘线，画面中部圈出的条状图像即为待识别物在单目摄像头成像面上的成像。
s12，根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变。
例如，若车辆朝向待识别物前行，则车辆与待识别物越来越接近，待识别物在该单目摄像头成像面上的成像也越来越大，即，该待识别物的成像占成像画面比重越来越大。反之，若车辆远离待识别物背向而驰，则待识别物在该单目摄像头成像面上的成像越来越小。
s13，若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。
本公开所述的识别立体物的方法，在车辆行驶过程中，通过车辆上的单目摄像头对待识别物进行拍摄，并根据得到的多张图像确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。这样，解决了通过单目摄像头无法判断待识别物是否为立体物的问题，提升了adas对车道上待识别物的识别精度。
在一种可选的实施方式中，所述根据所述多张图像(数量为n，n为大于3的整数)，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，包括：
依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di；
根据所述多张图像各自对应的si和di，使用二次回归类型拟合一条用于表征成像面积s随待识别物与所述车辆之间的距离d变化规律的二次曲线。
在另一种可选的实施方式中，所述根据所述多张图像(数量为n，n为大于3的整数)，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，包括：
依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di；
根据所述多张图像各自对应的ωi和di，使用二次回归类型拟合一条用于表征成像立体角ω随待识别物与所述车辆之间的距离d变化规律的二次曲线。
所述若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物，包括：确定所述拟合出的二次曲线的剩余标准差；若所述剩余标准差在预设的取值范围内，则确定所述待识别物为立体物。反之，若所述剩余标准差在预设的取值范围外，确定所述待识别物为路面标记，例如：车道线或路面阴影。
可选的，所述确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di，包括：
在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离dix；
根据dconstant以及dix确定所述待识别物与所述车辆之间的距离di。
下面结合实际测量场景，以置于路面长宽高均为0.4m的立方体(cubic)和宽0.6m长5m的路面标记(marker)为例，对上述技术方案的原理进行说明。
(1)图3是本公开一示例性实施例示出的场景示意图。若待识别物体为立方体，则可以通过如下公式计算立方体可视面a1相对于单目摄像头成像面b1的成像立体角ωcubic：
以第i张图像为例，从第i张图像中提取用于表征所述立方体的第i张子图像。如图3所示，圈出的条状图像为该第i张子图像，即该立方体可视面在单目摄像头成像面上的成像，其面积为si。根据第i张子图像，建立待识别物的三维立体模型，进而得到立方体的宽度δy，低边高度zlo和高边高度zho。
对于所述确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di的步骤，在一种可选的实施方式中，可以通过建立拍摄待识别物时拍摄场景的三维立体模型，得到车辆与待识别物之间的绝对距离di_absolute。或者，还可以通过车辆上的测距传感器等测量得到车辆与待识别物之间的绝对距离di_absolute。
在另一种可选的实施方式中，可以先通过车辆在一段时间内的行驶距离推算出车辆与待识别物之间的相对距离di_relative，再推算得到车辆与待识别物之间的绝对距离di_absolute。具体计算时可以参考如下公式：
di_absolute＝constant+di_relative；其中，constant为一常数。
示例地，预设单目摄像头拍摄第1张待识别物的图像时，该相对距离di_relative为0，该常数为constant＝l。若至拍摄第7张图像时车辆已经行驶25m(可由车速与行驶时间的关系计算得出)，则设拍摄第7张待识别物的图像时该相对距离为-25m。由此，可以知道拍摄多张图像中任意一张图像时，车辆与待识别物之间的绝对距离di_absolute为l-25m。
值得说明的是，在采用由相对距离计算得到绝对距离的方案时，单个采样点的数据不能够表征车辆与待测物之间的实际距离，因此数据不可以单独使用。在具体实施过程中，需在车辆行驶过程中随着车辆前行采集多张照片，从而提取多组数据。这样，可以从多组数据中获得成像立体角随车辆与待测物之间距离的变化规律，并进一步的拟合出用于表征该变化规律的二次曲线。
例如，设置立体角为y，常数为b，相对距离为x，实际距离为z，成像面积为a，则计算立体角时应使用公式y＝a*(b+x)-2，而不是公式y＝a*z-2。正因为通过b+x不能表征车辆与待测物之间的真实距离，所以在测量时需要多组数据。但是只要多组数据能够表征成像立体角随车辆与待测物之间距离的变化规律，并不会影响拟合出的用于表征该变化规律的二次曲线。
进一步的，根据上述数据结合单目摄像头的俯仰角信息，可知由坐标原点指向立方体可视面a1上面元δs的向量
由此通过上述公式(2)可以计算出立方体可视面a1上每一面元相对于成像面b1的立体角，并通过对可视面上所有面元做积分，得到待识别物可视面a1相对于成像面b1的成像立体角ωcubic。值得说明的是，由于单目摄像头光学装置各光路的尺寸相对于整个测试场景尺寸非常小，所以由单目摄像头成像参数带来的计算误差可以忽略不计。
(2)图4是本公开一示例性实施例示出的场景示意图。该待识别物为路面标记时，通过如下公式计算路面标记可视面a2相对于单目摄像头成像面b2的成像立体角ωmarker：
以第i张图像为例，从第i张图像中提取用于表征所述路面标记的第i张子图像。如图4所示，圈出的条状图像为该第i张子图像，即该路面标记可视面在单目摄像头成像面上的成像，其面积为si。根据第i张子图像，建立路面标记的三维立体模型，进而得到路面标记的宽度δy，路面标记的近边对应场景坐标x轴上的x1o，路面标记的远边对应场景坐标x轴上的x2o。
此外，车辆与待识别物之间的相对距离di的确定方法可参考前文。
进一步的，根据上述数据结合单目摄像头的俯仰角信息，可知由坐标原点指向路面标记可视面a2上面元δs的向量
由此通过上述公式(4)可以计算出路面标记可视面a2上每一面元相对于成像面b2的立体角，并通过对可视面上所有面元做积分，得到待识别物可视面a2相对于成像面b2的成像立体角ωmarker。
根据上述分析可知，如果待识别物体是立方体，则待识别物可视面的法向量朝向车辆；如果待识别物是路面标记，则待识别物可视面的法向量垂直路面向上。随着车辆于待识别物的距离越来越近，在公式(4)中
表1立方体参数表
表2路面标记参数表
进一步的，如图6所示，分别对立方体对应的平滑曲线和路面标记对应的平滑曲线做对数处理(log)，得到立方体对应线以及路面标记对应线。再对一条标准的二次曲线(例如：y＝ax2+b)做对数处理，得到一条二次回归线。由图6可知，立方体对应线更加接近该二次回归线，而路面标记对应线与该二次回归线的差距较大。
由上可知，若待识别物为路面标记，则使用二次回归类型拟合成像立体角ω随相对距离d的变化规律时，拟合得到的二次曲线的剩余标准差较大。反之，若待识别物为立体物，则使用二次回归类型拟合成像立体角ω随相对距离d变化规律时，拟合得到的二次曲线的剩余标准差较小。因此，可以预先设置一个阈值，若拟合得到的二次曲线的剩余标准差小于该阈值，则待识别物是立方体，反之，则待识别物是路面标记。
图7是本公开一示例性实施例示出一种识别立体物的装置。所述装置700应用于车辆，所述装置700包括：
采集模块710，用于在车辆行驶过程中，通过所述车辆上的单目摄像头对待识别物进行拍摄，得到多张图像；
规律确定模块720，用于根据所述多张图像，确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，所述成像随所述待识别物与所述车辆之间的距离的改变而改变；
结果确定模块730，用于在所述成像变化规律与二次曲线相匹配时，确定所述待识别物为立体物。
在车辆行驶过程中，通过车辆上的单目摄像头对待识别物进行拍摄，并根据得到的多张图像确定所述待识别物投影在所述单目摄像头的成像面上的成像变化规律，若所述成像变化规律与二次曲线相匹配，则确定所述待识别物为立体物。这样，解决了通过单目摄像头无法判断待识别物是否为立体物的问题，提升了adas对车道上待识别物的识别精度。
进一步的，所述多张图像的数量为n，n为大于3的整数，所述规律确定模块720，用于依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物投影在所述单目摄像头的成像面上的面积si；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di；
根据所述多张图像各自对应的si和di，使用二次回归类型拟合一条用于表征成像面积s随待识别物与所述车辆之间的距离d变化规律的二次曲线。
进一步的，所述多张图像的数量为n，n为大于3的整数，所述规律确定模块720，用于依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
依次取i从1至n，对所述多张图像中的第i张图像，执行以下步骤：
从所述第i张图像中提取用于表征所述待识别物的第i张子图像；
根据所述第i张子图像，确定所述待识别物对应的立体角ωi；
确定通过所述单目摄像头得到所述第i张图像时，所述待识别物与所述车辆之间的距离di；
根据所述多张图像各自对应的ωi和di，使用二次回归类型拟合一条用于表征成像立体角ω随待识别物与所述车辆之间的距离d变化规律的二次曲线。
进一步的，所述规律确定模块720，用于：
在通过所述单目摄像头得到第1张图像之前，将所述待识别物与所述车辆之间的距离初始化为dconstant；
确定通过所述单目摄像头得到所述第i张图像时，所述车辆已行驶的距离dix；
根据dconstant以及dix确定所述待识别物与所述车辆之间的距离di。
进一步的，所述结果确定模块730，包括：
剩余标准差确定子模块，用于确定所述拟合出的二次曲线的剩余标准差；
识别子模块，用于在所述剩余标准差在预设的取值范围内时，确定所述待识别物为立体物。
进一步的，所述识别子模块还用于：
在所述剩余标准差在预设的取值范围外时，确定所述待识别物为路面标记。
本公开还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述识别立体物的方法的步骤。
本公开还提出一种识别立体物的装置，包括：
所述的计算机可读存储介质；以及
一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
本公开还提出一种车辆，所述车辆包括所述识别立体物的装置。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。例如，使用多个单目摄像头同时获取图像，或者使用双目或者多目摄像头同时获取图像，以加强图像处理结果等等。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
- 还没有人留言评论。精彩留言会获得点赞！