基于路面信息的成像环境评价方法、装置、系统和存储介质与流程

本发明涉及双目相机成像技术领域，具体涉及一种基于路面信息的成像环境评价方法、装置、系统和存储介质。

背景技术：

随着传感器技术和机器视觉技术的发展，双目相机在机器人领域、智能汽车领域得到了愈加广泛的应用。双目视觉系统是基于双目成像原理的视觉检测系统，因此其系统性能取决于成像质量。视觉传感器的成像质量受到多种因素的制约，其中成像环境是制约视觉传感器成像的重要原因之一。所谓成像环境主要是指视觉传感器在拍摄图像时，其所处环境的光照亮度。视觉传感器的工作原理就是光电转换，将入射的光信号转换为电信号再进行输出，对于同一场景进行拍摄时，不同的光照亮度对于成像质量有绝对的影响。传统上可以通过照度计等设备来衡量场景中的光照亮度，但这种方式无法实现实时在线监测，因而无法满足自动驾驶领域的使用需求。

技术实现要素：

为此，本发明实施例提供一种基于路面信息的成像环境评价方法、装置、系统和存储介质，以至少部分解决成像环境中光照亮度检测困难而造成的成像环境无法及时评价的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于路面信息的成像环境评价方法，所述方法包括：

获取视差信息矩阵和在所述视差信息矩阵中的消逝点像素坐标；

根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像；

根据所述视差投影图像得到基于路面模型的统计模型；

基于所述统计模型与设定阈值的关系得到当前成像环境评价结果。

进一步地，所述根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像，具体包括：

利用消逝点像素坐标，对所述视差信息矩阵进行矩阵分割，得到分割后的视差矩阵；

对分割后的视差矩阵求取列方向的投影，以得到所述视差投影图像。

进一步地，所述利用消逝点像素坐标，对所述视差信息矩阵进行矩阵分割，得到分割后的视差矩阵，具体包括：

设定所述消逝点像素坐标vp＝(xv,yv)，所述视差信息矩阵为m行n列的二维矩阵，且行的序号排列顺序分别为由上至下依次增大，列的序号排列顺序由左至右序号依次增大；

保存第yv行到第m行视差矩阵的所有信息，得到分割后的视差矩阵，所述分割后的视差矩阵为t行n列的二维矩阵，其中t＝m-yv。

进一步地，所述根据所述视差投影图像得到基于路面模型的统计模型，具体包括：

根据视差投影图像拟合路面模型；

在路面模型的垂线方向进行投影，以得到所述统计模型。

进一步地，所述基于所述统计模型与设定阈值的关系得到当前成像环境评价结果，具体包括：

对所述统计模型进行高斯拟合，求取统计模型的方差；

判定所述统计模型的方差小于设定阈值，则得到当前成像环境评价结果为成像环境良好；

判定所述统计模型的方差大于设定阈值，则得到当前成像环境评价结构为成像环境较差。

本发明还提供一种成像环境评价方法装置，所述装置包括：

视差矩阵获取单元，用于获取视差信息矩阵和在所述视差信息矩阵中的消逝点像素坐标；

视差投影获取单元，用于根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像；

统计模型获取单元，用于根据所述视差投影图像得到基于路面模型的统计模型；

结果评价单元，用于基于所述统计模型与设定阈值的关系得到当前成像环境评价结果。

进一步地，所述视差投影获取单元，具体用于：

利用消逝点像素坐标，对所述视差信息矩阵进行矩阵分割，得到分割后的视差矩阵；

对分割后的视差矩阵求取列方向的投影，以得到所述视差投影图像。

进一步地，所述视差投影获取单元，具体用于：

设定所述消逝点像素坐标vp＝(xv,yv)，所述视差信息矩阵为m行n列的二维矩阵，且行的序号排列顺序分别为由上至下依次增大，列的序号排列顺序由左至右序号依次增大；

保存第yv行到第m行视差矩阵的所有信息，得到分割后的视差矩阵，所述分割后的视差矩阵为t行n列的二维矩阵，其中t＝m-yv。

本发明还提供一种成像环境评价系统，所述系统包括：处理器和存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种成像环境评价系统执行如上所述的方法。

本发明所提供的基于路面信息的成像环境评价方法、装置、系统和存储介质，在工作过程中，通过获取视差信息矩阵和在所述视差信息矩阵中的消逝点

像素坐标，根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像；并根据所述视差投影图像得到基于路面模型的统计模型，最后基于所述统计模型与设定阈值的关系得到当前成像环境评价结果。其基于双目系统视差信息的统计特征，对当前成像环境进行评价，实现了成像环境的在线实时检测，提高成像环境检测的及时性和准确性，尤其适用于自动驾驶领域的使用需求，解决了成像环境中光照亮度检测困难而造成的成像环境无法及时评价的问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的成像环境评价方法一种具体实施方式的流程图；

图2为本发明所提供的成像环境评价装置一种具体实施方式的结构框图；

图3为本发明所提供的成像环境评价系统一种具体实施方式的结构框图。

附图标记说明：

100-视差矩阵获取单元200-视差投影获取单元300-统计模型获取单元

400-结果评价单元

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的成像环境评价方法基于路面信息，利用双目系统视差信息的统计特征，对当前成像环境进行较为实时、准确的评价。在一种具体实施方式中，如图1所示，所述方法包括以下步骤：

s1：获取视差信息矩阵和在所述视差信息矩阵中的消逝点像素坐标。

具体地，该视差信息矩阵为双目视觉系统当前成像环境下的视差信息disp。该视差信息来源自双目视觉系统通过双目相机所获取的左、右图像，并运用立体匹配算法得到的视差信息disp。视差信息disp的物理含义是：左目图像上每一个像素点，在右目图像上存在一个与之唯一对应的像素点，这两个像素点的坐标差值，即为视差信息disp。由于视差信息是对左图中每一个像素点的描述，因此视差信息可以看作一个与左图像的像素尺寸大小一致的矩阵，即视差信息矩阵。

上述消逝点像素坐标设定为vp；其中，消逝点来自于双目相机的装配位置，双目相机在装配时，通过调整俯仰角，来使消逝点尽量位于图像中心附近。

s2：根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像。

具体地，根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像包括：

首先，利用消逝点像素坐标，对所述视差信息矩阵进行矩阵分割，得到分割后的视差矩阵；具体包括：

设定所述消逝点像素坐标vp＝(xv,yv)，所述视差信息矩阵为m行n列的二维矩阵，且行的序号排列顺序分别为由上至下依次增大，列的序号排列顺序由左至右序号依次增大；

保存第yv行到第m行视差矩阵的所有信息，得到分割后的视差矩阵，所述分割后的视差矩阵为t行n列的二维矩阵，其中t＝m-yv。

在实际处理过程中，设定消逝点像素坐标vp＝(xv,yv)，其表示消逝点位于图像的第yv行xv列，视差信息矩阵disp与图像大小一致，都是m行n列的二维矩阵，且行、列的序号排列顺序分别为由上至下，由左至右序号依次增大。在对所述视差信息矩阵进行矩阵分割时，仅保存第yv行到第m行视差矩阵的所有信息，即得到分割后的视差矩阵disp’是一个t行n列的二维矩阵，其中t＝m-yv。

而后，对分割后的视差矩阵求取列方向的投影，以得到所述视差投影图像。即对分割后的视差矩阵disp’求取列方向的视差投影图像v-disp。得到的所述视差投影图像v-disp是一个t行s列二维矩阵，v-disp的每一行与disp’的行一一对应，s列表示在disp’中出现的所有视差值的数量。例如在v-disp的第i行第j列的数量是d，则表示disp’的第i行内，共存在d个视差值为j的元素。

s3：根据所述视差投影图像得到基于路面模型的统计模型；

具体地，首先根据视差投影图像拟合路面模型；而后在路面模型的垂线方向进行投影，以得到所述统计模型。由v-disp得到的路面模型r由直线方程d(p)＝kp+b表示，其中，p表示v-disp的第p行；d(p)表示对于满足路面模型r的路面，在图像第p行的视差值，其中，斜率k和截距b是拟合路面模型是需要求取的参数。

s4：基于所述统计模型与设定阈值的关系得到当前成像环境评价结果；具体包括：

对所述统计模型进行高斯拟合，求取统计模型的方差；

判定所述统计模型的方差小于设定阈值，则得到当前成像环境评价结果为成像环境良好；

判定所述统计模型的方差大于设定阈值，则得到当前成像环境评价结构为成像环境较差。

在实际处理过程中，首先，在路面模型r的垂线方向进行投影，求取统计模型s；对v-disp在r的垂线方向进行投影，将同一投影方向上的所有v-disp中元素相加，得到统计模型s。其物理意义是，表征路面的像素对应的视差值，在v-disp图像中的统计模型。

在模型分析过程中，大量实验表明，统计模型s是一个近似高斯分布的函数，因此对统计模型进行高斯拟合，求取统计模型的均值ave和方差std。对于较好的成像环境，即在光照充裕的环境中，双目系统将产生高质量的深度信息，其统计模型s的方差一般就会很小。而在光照较暗的成像环境中，双目系统产生的深度信息得到的统计模型s的方差就会更大一些。

这样，在大量实验中发现，在成像环境光线由充裕逐渐变暗的过程中，深度信息的统计模型s的方差也会逐渐增大。因此，可以将统计模型s的方差std作为一个特征评价指标，通过在大量实验中得到的经验阈值th进行比较，对成像环境的好坏进行合理评价。

在上述具体实施方式中，本发明所提供的基于路面信息的成像环境评价方法，在工作过程中，通过获取视差信息矩阵和在所述视差信息矩阵中的消逝点像素坐标，根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像；并根据所述视差投影图像得到基于路面模型的统计模型，最后基于所述统计模型与设定阈值的关系得到当前成像环境评价结果。其基于双目系统视差信息的统计特征，对当前成像环境进行评价，实现了成像环境的在线实时检测，提高成像环境检测的及时性和准确性，尤其适用于自动驾驶领域的使用需求，解决了成像环境中光照亮度检测困难而造成的成像环境无法及时评价的问题。

除了上述评价方法，本发明还提供一种用于实现上述评价方法的成像环境评价方法装置，如图2所示，在一种具体实施方式中，所述装置包括：

视差矩阵获取单元100，用于获取视差信息矩阵和在所述视差信息矩阵中的消逝点像素坐标；具体地，该视差信息矩阵为双目视觉系统当前成像环境下的视差信息disp。该视差信息来源自双目视觉系统通过双目相机所获取的左、右图像，并运用立体匹配算法得到的视差信息disp。视差信息disp的物理含义是：左目图像上每一个像素点，在右目图像上存在一个与之唯一对应的像素点，这两个像素点的坐标差值，即为视差信息disp。由于视差信息是对左图中每一个像素点的描述，因此视差信息可以看作一个与左图像的像素尺寸大小一致的矩阵，即视差信息矩阵。

上述消逝点像素坐标设定为vp；其中，消逝点来自于双目相机的装配位置，双目相机在装配时，通过调整俯仰角，来使消逝点尽量位于图像中心附近。

视差投影获取单元200，用于根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像；具体地，视差投影获取单元200具体用于：

首先，利用消逝点像素坐标，对所述视差信息矩阵进行矩阵分割，得到分割后的视差矩阵；具体包括：

设定所述消逝点像素坐标vp＝(xv,yv)，所述视差信息矩阵为m行n列的二维矩阵，且行的序号排列顺序分别为由上至下依次增大，列的序号排列顺序由左至右序号依次增大；

保存第yv行到第m行视差矩阵的所有信息，得到分割后的视差矩阵，所述分割后的视差矩阵为t行n列的二维矩阵，其中t＝m-yv。

在实际处理过程中，设定消逝点像素坐标vp＝(xv,yv)，其表示消逝点位于图像的第yv行xv列，视差信息矩阵disp与图像大小一致，都是m行n列的二维矩阵，且行、列的序号排列顺序分别为由上至下，由左至右序号依次增大。在对所述视差信息矩阵进行矩阵分割时，仅保存第yv行到第m行视差矩阵的所有信息，即得到分割后的视差矩阵disp’是一个t行n列的二维矩阵，其中t＝m-yv。

而后，对分割后的视差矩阵求取列方向的投影，以得到所述视差投影图像。即对分割后的视差矩阵disp’求取列方向的视差投影图像v-disp。得到的所述视差投影图像v-disp是一个t行s列二维矩阵，v-disp的每一行与disp’的行一一对应，s列表示在disp’中出现的所有视差值的数量。例如在v-disp的第i行第j列的数量是d，则表示disp’的第i行内，共存在d个视差值为j的元素。

统计模型获取单元300，用于根据所述视差投影图像得到基于路面模型的统计模型；具体地，统计模型获取单元300首先根据视差投影图像拟合路面模型；而后在路面模型的垂线方向进行投影，以得到所述统计模型。由v-disp得到的路面模型r由直线方程d(p)＝kp+b表示，其中，p表示v-disp的第p行；d(p)表示对于满足路面模型r的路面，在图像第p行的视差值，其中，斜率k和截距b是拟合路面模型是需要求取的参数。

结果评价单元400，用于基于所述统计模型与设定阈值的关系得到当前成像环境评价结果。结果评价单元400具体用于：

对所述统计模型进行高斯拟合，求取统计模型的方差；

判定所述统计模型的方差小于设定阈值，则得到当前成像环境评价结果为成像环境良好；

判定所述统计模型的方差大于设定阈值，则得到当前成像环境评价结构为成像环境较差。

在实际处理过程中，首先，在路面模型r的垂线方向进行投影，求取统计模型s；对v-disp在r的垂线方向进行投影，将同一投影方向上的所有v-disp中元素相加，得到统计模型s。其物理意义是，表征路面的像素对应的视差值，在v-disp图像中的统计模型。

在模型分析过程中，大量实验表明，统计模型s是一个近似高斯分布的函数，因此对统计模型进行高斯拟合，求取统计模型的均值ave和方差std。对于较好的成像环境，即在光照充裕的环境中，双目系统将产生高质量的深度信息，其统计模型s的方差一般就会很小。而在光照较暗的成像环境中，双目系统产生的深度信息得到的统计模型s的方差就会更大一些。

这样，在大量实验中发现，在成像环境光线由充裕逐渐变暗的过程中，深度信息的统计模型s的方差也会逐渐增大。因此，可以将统计模型s的方差std作为一个特征评价指标，通过在大量实验中得到的经验阈值th进行比较，对成像环境的好坏进行合理评价。

在上述具体实施方式中，本发明所提供的基于路面信息的成像环境评价装置，在工作过程中，通过获取视差信息矩阵和在所述视差信息矩阵中的消逝点像素坐标，根据所述消逝点像素坐标对所述视差信息矩阵进行矩阵分割和投影处理，得到视差投影图像；并根据所述视差投影图像得到基于路面模型的统计模型，最后基于所述统计模型与设定阈值的关系得到当前成像环境评价结果。其基于双目系统视差信息的统计特征，对当前成像环境进行评价，实现了成像环境的在线实时检测，提高成像环境检测的及时性和准确性，尤其适用于自动驾驶领域的使用需求，解决了成像环境中光照亮度检测困难而造成的成像环境无法及时评价的问题。

根据本发明实施例的第三方面，本发明还提供一种成像环境评价系统，如图3所示，所述系统包括：处理器201和存储器202；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如上所述的方法。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种成像环境评价系统执行如上所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecific工ntegratedcircuit，简称asic)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(read-onlymemory，简称rom)、可编程只读存储器(programmablerom，简称prom)、可擦除可编程只读存储器(erasableprom，简称eprom)、电可擦除可编程只读存储器(electricallyeprom，简称eeprom)或闪存。

易失性存储器可以是随机存取存储器(randomaccessmemory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，简称sram)、动态随机存取存储器(dynamicram，简称dram)、同步动态随机存取存储器(synchronousdram，简称sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlinkdram，简称sldram)和直接内存总线随机存取存储器(directrambusram，简称drram)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。