车载BSD摄像头的位姿变动检测方法、设备和存储介质与流程

本发明涉及摄像头检测领域，尤其涉及一种车载bsd摄像头的位姿变动检测方法、设备和存储介质。

背景技术：

车载bsd（blindspotdetection，盲区监测）摄像头（以下简称摄像头）安装在车辆后方两侧，用于在车辆行驶时对车辆后方两侧盲区进行探测。预警策略为：通过车载bsd摄像头拍摄的图像识别行人或车辆相对车身的距离，当距离减少到设定值时进行预警。

摄像头安装后一段时间，由于摄像头安装固定不紧、车辆震动、碰撞等原因导致的摄像头松动（包含摄像头相对于原始安装位置的位置偏移、角度旋转），这种松动导致车载bsd摄像头外参发生变化，进而导致对目标距离量测产生显著的误差，带来虚警和漏警，对用户使用舒适性和安全性产生不良影响。

现有的基于摄像头的bsd检测设备没有针对自身摄像头位姿产生移动、偏转的自检机制。有鉴于此，特提出本发明。

技术实现要素：

为了解决上述技术问题，本发明提供了一种车载bsd摄像头的位姿变动检测方法、设备和存储介质，提出了车载bsd摄像头的位姿自检机制。

本发明实施例提供了一种车载bsd摄像头的位姿变动检测方法，该方法包括：

在车辆行驶状态下，获取当前时段内车载bsd摄像头拍摄的多张图像；

对所述多张图像分别进行语义分割得到路面区域，并获取所述路面区域在车辆一侧的边缘的当前位置；

通过比对所述当前位置和所述路面区域在车辆一侧的边缘的历史位置，检测所述车载bsd摄像头的位姿是否发生变动；

其中，所述历史位置是根据历史时段内所述车载bsd摄像头拍摄的多张图像得到的。

本发明实施例提供了一种电子设备，所述电子设备包括：

处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行任一实施例所述的车载bsd摄像头的位姿变动检测方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行任一实施例所述的车载bsd摄像头的位姿变动检测方法的步骤。

本发明实施例具有以下技术效果：本实施例仅通过图像处理，实现了车载bsd摄像头的位姿的自检，无需依赖其它传感器。利用车辆行驶状态下的多张图像进行语义分割得到路面区域在车辆一侧的边缘的当前位置，而非在静态时进行边缘获取，提高了边缘位置获取的准确性；利用车载bsd摄像头位姿固定的情况下，路面在车辆一侧的边缘位置也固定不变的特点，通过比对边缘的当前位置和历史位置，可以巧妙地检测到车载bsd摄像头的位姿是否发生变动。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种车载bsd摄像头的位姿变动检测方法的流程图；

图2是本发明实施例提供的车载bsd摄像头拍摄图像的示意图；

图3是本发明实施例提供的另一种车载bsd摄像头的位姿变动检测方法的流程图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本发明实施例提供的车载bsd摄像头的位姿变动检测方法，主要适用于对车载bsd摄像头的位姿进行自检的情况。本发明实施例提供的车载bsd摄像头的位姿变动检测方法可以由集成在车载bsd摄像头内的电子设备执行，或者独立于该摄像头并与该摄像头通信连接的电子设备执行。

图1是本发明实施例提供的一种车载bsd摄像头的位姿变动检测方法的流程图。参见图1，该车载bsd摄像头的位姿变动检测方法具体包括：

s110、在车辆行驶状态下，获取当前时段内车载bsd摄像头拍摄的多张图像。

多张图像作为路面语义分割的数据源，本实施例选择在车辆行驶状态下获取多张图像的理由在于：车辆静止状态下，同一地点获取的图像其帧与帧之间的路面分割错误几乎一致，如果出现错误会导致显著的系统误差。本方案在车辆运动状态下获取图像，从而单帧随机分割错误的影响会被减弱，提高了路面区域在车辆一侧的边缘提取的准确性。

s120、对所述多张图像分别进行语义分割得到路面区域，并获取所述路面区域在车辆一侧的边缘的当前位置。

将多张图像依次输入至语义分割模型中，得到模型输出的属于路面类型的像素点位置。语义分割模型用于对输入图像中的各像素点进行类型划分，例如路面类型、路沿类型、行人类型、骑手类型和车道线类型等，并采用不同的颜色标识不同的类型。所有属于路面类型的像素点构成了路面区域。在所有属于路面类型的像素点中，将在车辆一侧的边缘的像素点位置作为当前位置。语义分割模型可以是深度卷积神经网络模型。

可选的，检测所述路面区域是否为结构化路面；如果是结构化路面，获取所述路面区域在车辆一侧的边缘的当前位置。结构化路面指的是形态、材质固定的路面，多为沥青路面、部分水泥路，而非普通土路或者砖路，语义分割对结构化路面分割更加准确，这保证了每张图像中语义分割出路面的准确性，满足自检要求。本实施例通过检测图像中是否有足够长度的车道线区域，来判断是否为结构化路面。车道线区域可以通过对图像进行语义分割得到。如果检测到非结构化路面，则舍弃该图像。本实施例对结构化路面的检测方法不作限定，除了检测车道线区域的长度之外，还可以结合定位和高精地图，得到当前路段类型，例如国道、高速和乡村小路，国道和高速一般为结构化路面，乡村小路一般为非结构化路面，从而根据路段类型确定是否为结构化路面。

图像中的路面区域包括左右两个边缘，分别称为在车辆一侧的边缘和在外部环境一侧的边缘。当车载bsd摄像头位于车辆左侧时，路面区域在车辆一侧的边缘为右侧边缘；当车载bsd摄像头位于车辆右侧时，路面区域在车辆一侧的边缘为左侧边缘。图2是本发明实施例提供的车载bsd摄像头拍摄图像的示意图。图像的左侧为车身，右侧为路面，路面区域在车辆一侧的边缘几乎为直线。基于此，为了提高边缘位置获取的准确性，在获取所述路面区域在车辆一侧的边缘的当前位置时，采用频次分析法和直线拟合的方法，具体包括以下三步：

第一步，统计图像中的各像素点被分割为路面区域的频次。

假设每张图像具有1280×720个像素点，同一位置的像素点在不同图像中可能会被分割为路面，则频次记为1；也可能不会被分割为路面，则频次记为0。那么，统计得到同一位置的像素点在不同图像中被分割为路面区域的总频次。当统计图像的张数达到设定值n（例如500）时，统计结束。

第二步，从被分割为路面区域的像素点中，确定频次超过设定值的目标像素点。

从总频次大于0的像素点中，确定频次超过设定值的像素点，称为目标像素点。此处的设定值可以人为根据拟合效果来设定，例如是。目标像素点为多张图像中被分割为路面区域的频次较高的像素点，更能够精确表征真实的路面区域。

第三步，对所述目标像素点中在车辆一侧的的边缘像素点进行直线拟合得到直线方程，并将所述直线方程表示的位置作为所述当前位置。

可以采用最小二乘法进行直线拟合，输出拟合出的直线方程参数包含斜率和截距值。可选的，本实施例还获取当前时刻，将当前时刻与该拟合出的直线方程建立对应关系。

本实施例使用多张图像累计下的频次值进行最终的路面和车辆自身分界线的确定，该方法比基于单张图像的语义分割来确定分界线更加准确。

s130、通过比对所述当前位置和所述路面区域在车辆一侧的边缘的历史位置，检测所述车载bsd摄像头的位姿是否发生变动。

为了方便描述和区分，多张图像的拍摄时段为当前时段，例如当天；则依据当前时段内拍摄到的多张图像得到的路面区域在车辆一侧的边缘的位置称为当前位置。同理，历史时段可以是当天的前一天，则依据历史时段内拍摄到的多张图像得到的路面区域在车辆一侧的边缘的位置称为历史位置。

通过比对当前位置和历史位置的变化情况，可以检测车载bsd摄像头的位姿是否发生变动。例如，当前位置/历史位置采用像素点的位置表示，则确定像素点位置的变化情况，如图像坐标系下，计算相同纵坐标的像素点的横坐标的差值，基于该差值的大小，检测车载bsd摄像头的位姿是否发生变动。

可选的，在用直线方程表示的位置作为所述当前位置时，计算当前时段拟合得到的直线方程和历史时段拟合得到的直线方程的斜率夹角和截距差；如果所述斜率夹角超过设定值或者所述截距差超过设定值，检测到所述车载bsd摄像头的位姿发生变动。此处的两个设定值可以标定得到。

本实施例具有以下技术效果：本实施例仅通过图像处理，实现了车载bsd摄像头的位姿的自检，无需依赖其它传感器。利用车辆行驶状态下的多张图像进行语义分割得到路面区域在车辆一侧的边缘的当前位置，而非在静态时进行边缘获取，提高了边缘位置获取的准确性；利用车载bsd摄像头位姿固定的情况下，路面在车辆一侧的边缘位置也固定不变的特点，通过比对边缘的当前位置和历史位置，可以巧妙地检测到车载bsd摄像头的位姿是否发生变动。

在上述实施例的基础上，本实施例对车辆行驶状态的判定过程进行细化。可选的，在车辆行驶状态下，获取当前时段内车载bsd摄像头拍摄的多张图像，包括：采集当前时段内车载bsd摄像头拍摄的多张原始图像；对所述多张原始图像分别进行语义分割得到车道线区域，并在每张原始图像的车道线区域中选取长度大于一阈值的目标车道线区域；根据相邻原始图像中目标车道线区域的交并比，判断所述车辆是否处于行驶状态；从所述多张原始图像中，筛选处于行驶状态的图像。

其中，多张原始图像可以是当前时段内连续拍摄得到的，此时并不关注车辆是否在行驶。将多张原始图像依次输入至语义分割模型中，得到模型输出的属于车道线类型的像素点位置。车道线和路面可以采用同一语义分割模型得到。在每张原始图像中选取区域面积最大的封闭车道线区域作为目标车道线区域。如果相邻原始图像的目标车道线区域的交并比比较大，说明目标车道线区域变化不大，车辆可能是静止状态；如果相邻原始图像的目标车道线区域的交并比比较小，说明目标车道线区域变化大，车辆一定是行驶状态，从而筛选出交并比小于设定值的图像。

在实际应用场景中，首先将所述多张原始图像中的一张原始图像作为参考帧，该参考帧中的目标车道线区域的长度需要大于一阈值（例如图像长度的1/10），又例如差异化交并比的数值，提高车辆状态判断的准确性。然后，计算所述参考帧与下一张原始图像（作为比对帧）中目标车道线区域的交并比；如果所述交并比小于设定值，判定所述车辆在当前时段内处于行驶状态；如果所述交并比大于等于设定值，判定所述车辆在当前时段内处于静止状态；将所述下一张原始图像作为新的参考帧，并返回计算所述参考帧与下一张原始图像中目标车道线区域的交并比的计算操作，直到所有原始图像处理完成。

本实施例通过车载bsd摄像头拍摄的图像，计算车道线区域的交并比实现本车辆行驶状态的判断，无需依赖其它传感器；而且，其计算和判别简单准确；传统基于灰度和颜色判断图像间位移反推车辆移动的方法，如帧间差分法、特征点匹配法等，容易受到图像亮度、背景目标晃动的影响。

图3是本发明实施例提供的另一种车载bsd摄像头的位姿变动检测方法的流程图，包括以下操作：

s310、车载bsd摄像头开启。

s320、判断位姿变动检测是否开启，如果未开启则执行s390，结束本次操作；如果已开启则继续执行s330。

s330、判断是否存在路面区域在车辆一侧的边缘的历史位置，如果是，继续执行s340；否则执行s350和s360。

可选的，预先建立数据库，并将历史时段拟合得到的直线方程以及拟合时刻存储到数据库中。

s340、判断历史时段距离当前时刻的时间间隔是否超过设定值。如果是，继续执行s350；否则执行s340。

设定值为一个检测周期，例如6小时。

s350、在车辆行驶状态下，获取当前时段内车载bsd摄像头拍摄的多张图像。

s360、对所述多张图像分别进行语义分割得到路面区域，并获取所述路面区域在车辆一侧的边缘的当前位置。

在不存在历史位置的情况下，执行完s360之后需要返回执行s330，从而本步骤中的当前位置将作为后续操作中的历史位置。

在存在历史位置的情况下，执行完s360之后需要继续执行s370。图3采用不同的线型予以区分。

s370、通过比对当前位置和路面区域在车辆一侧的边缘的历史位置，检测车载bsd摄像头的位姿是否发生变动。如果是，执行s380；如果否，执行s381。

在数据库中，搜索拟合时刻最早的直线方程，与本次拟合得到的直线方程进行斜率和截距的比对。因为摄像头的位姿变化程度具有累加性，如果确实发生位姿变化，则当前拟合得到的直线方程与最早拟合得到的直线方程会有比较大的变化，容易检测到。

s380、提醒用户对所述车载bsd摄像头的位姿进行校正和标定。继续执行s390。

如果检测到所述车载bsd摄像头的位姿发生变动，产生报警信号；如果未检测到该摄像头位姿发生变动，则不产生报警信号。

在完成位姿校正和标定后，清空数据库。

s381、存储当前位置。返回s320。

将本次拟合得到的直线方程和拟合时刻存储到数据库中。

s390、结束本次操作。

本实施例提供了在实际应用场景中位姿变动检测的整个流程，涵盖了功能开启、位姿变动的检测、位置存储、提醒、校正和标定操作。

图4为本发明实施例提供的一种电子设备的结构示意图。如图4所示，电子设备400包括一个或多个处理器401和存储器402。

处理器401可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。

存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（rom）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所说明的本发明任意实施例的车载bsd摄像头的位姿变动检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。

在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。该输入装置403可以包括例如键盘、鼠标等等。该输出装置404可以向外部输出各种信息，包括预警提示信息、制动力度等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图4中仅示出了该电子设备400中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。

除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的车载bsd摄像头的位姿变动检测方法的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本发明任意实施例所提供的车载bsd摄像头的位姿变动检测方法的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，本发明所用术语仅为了描述特定实施例，而非限制本申请范围。如本发明说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

还需说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。