车辆中双摄像装置的控制方法和装置与流程

文档序号:17601385发布日期:2019-05-07 20:22阅读:238来源:国知局
车辆中双摄像装置的控制方法和装置与流程

本发明涉及车辆控制技术领域,尤其涉及一种车辆中双摄像装置的控制方法和装置。



背景技术:

随着车辆保有量的持续增加,交通事故的发生率也随之增加。为了有效保证车辆的驾驶人员以及车辆中乘客的生命与财产安全,车辆生产厂商均致力于开发更加可靠的安全辅助系统。

现有技术中,车辆的高级驾驶辅助系统(advanceddriverassistantsystem,adas)采用视觉方式,对车辆外部的环境数据进行采集,而后对采集的数据进行对象的识别。具体地,采用可见光摄像头获取车辆外部的图像,而后对采集到的图像进行对象识别。

这种方式下,由于可见光摄像头只能在光线充足的场景下,拍摄高质量的图像,而在光线较弱的场景下,拍摄的图像画面较为模糊,且噪声较大,因此,在后续对图像进行对象识别的过程中,对象的误识别率以及漏识别率较大,直接影响车辆的行驶安全。



技术实现要素:

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此,本发明的第一个目的在于提出一种车辆中双摄像装置的控制方法,通过设置两个摄像头采集图像,以克服现有adas系统采用可见光摄像装头,在光线弱的情况下拍摄的图像画面较为模糊的问题,进一步地,根据当前车辆所处环境的光照强度,控制双摄像装置的开启,即根据车辆行驶时的实际光线情况来控制双摄像装置的开启,以实现根据光线决策双摄像头的工作模式,在光线强时开启一个摄像头,实现节能,在光线弱时,开启双摄像头,有效保证双摄像装置所拍摄图像的质量,从而在对图像中的对象进行识别时,可以提升对象识别的准确度,进而保障车辆行驶的安全性。

本发明的第二个目的在于提出一种车辆中双摄像装置的控制装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机程序产品。

本发明的第五个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的,本发明第一方面实施例提出了一种车辆中双摄像装置的控制方法,包括:

获取车辆当前所处环境的光照强度;

根据所述光照强度控制所述车辆上的双摄像装置的开启状态。

本发明实施例的车辆中双摄像装置的控制方法,通过获取车辆当前所处环境的光照强度,根据光照强度控制车辆上的双摄像装置的开启状态。本实施例中,通过设置两个摄像头采集图像,以克服现有adas系统采用可见光摄像装头,在光线弱的情况下拍摄的图像画面较为模糊的问题,进一步地,根据当前车辆所处环境的光照强度,控制双摄像装置的开启,即根据车辆行驶时的实际光线情况来控制双摄像装置的开启,以实现根据光线决策双摄像头的工作模式,在光线强时开启一个摄像头,实现节能,在光线弱时,开启双摄像头,有效保证双摄像装置所拍摄图像的质量,从而在对图像中的对象进行识别时,可以提升对象识别的准确度,进而保障车辆行驶的安全性。

为达上述目的,本发明第二方面实施例提出了一种车辆中双摄像装置的控制装置,包括:

获取模块,用于获取车辆当前所处环境的光照强度;

控制模块,用于根据所述光照强度控制所述车辆上的双摄像装置的开启状态。

本发明实施例的车辆中双摄像装置的控制装置,通过获取车辆当前所处环境的光照强度,根据光照强度控制车辆上的双摄像装置的开启状态。本实施例中,通过设置两个摄像头采集图像,以克服现有adas系统采用可见光摄像装头,在光线弱的情况下拍摄的图像画面较为模糊的问题,进一步地,根据当前车辆所处环境的光照强度,控制双摄像装置的开启,即根据车辆行驶时的实际光线情况来控制双摄像装置的开启,以实现根据光线决策双摄像头的工作模式,在光线强时开启一个摄像头,实现节能,在光线弱时,开启双摄像头,有效保证双摄像装置所拍摄图像的质量,从而在对图像中的对象进行识别时,可以提升对象识别的准确度,进而保障车辆行驶的安全性。

为达上述目的,本发明第三方面实施例提出了一种计算机设备,包括:处理器和存储器;

其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如本发明第一方面实施例所述的车辆中双摄像装置的控制方法。

为了实现上述目的,本发明第四方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行如本发明第一方面实施例所述的车辆中双摄像装置的控制方法。

为了实现上述目的,本发明第五方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如本发明第一方面实施例所述的车辆中双摄像装置的控制方法。

本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明实施例所提供的第一种车辆中双摄像装置的控制方法的流程示意图;

图2为本发明实施例所提供的第二种车辆中双摄像装置的控制方法的流程示意图;

图3为本发明实施例所提供的第三种车辆中双摄像装置的控制方法的流程示意图;

图4为本发明实施例所提供的第四种车辆中双摄像装置的控制方法的流程示意图;

图5为本发明实施例中双摄像装置的控制系统的结构示意图;

图6为本发明实施例所提供的第五种车辆中双摄像装置的控制方法的流程示意图;

图7a为本发明实施例中不同月份参考时区的日出和日落时间表示意图;

图7b为本发明实施例中不同月份中的不同时区的日出和日落时间表示意图;

图8为本发明实施例所提供的第六种车辆中双摄像装置的控制方法的流程示意图;

图9为本发明实施例所提供的第七种车辆中双摄像装置的控制方法的流程示意图;

图10为本发明实施例所提供的第八种车辆中双摄像装置的控制方法的流程示意图;

图11为本发明实施例中双摄像装置的标定模板示意图;

图12为本发明实施例所提供的一种车辆中双摄像装置的控制装置的结构示意图;

图13为本发明实施例所提供的另一种车辆中双摄像装置的控制装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的车辆中双摄像装置的控制方法和装置。在具体描述本发明实施例之前,为了便于理解,首先对常用技术词进行介绍:

yuv,是一种颜色编码方法,其中,“y”表示明亮度(luminance或luma),即灰阶值;而“u”和“v”表示色度(chrominance或chroma),作用是描述图像色彩及饱和度,用于指定像素的颜色。yuv色彩空间的特点是它的亮度信号y和色度信号u、v是分离的。如果只有y信号分量而没有u、v分量,表明图像为黑白灰度图像。

多尺度分解(multi-scaledecomposition,msd),指对输入图像进行多个尺度的缩放,生成多个分辨率的缩小图像,而后在各个尺度的缩放图像上进行分析和处理。msd可以将图像包含的高低频细节信息分离至各个尺度的缩放图像中,而后可以对图像不同频段的信息进行分析和处理。

图1为本发明实施例所提供的第一种车辆中双摄像装置的控制方法的流程示意图。

本发明实施例中,双摄像装置包括第一摄像头和第二摄像头,第一摄像头和第二摄像头可以并排安装在车辆上,且第一摄像头和第二摄像头的分辨率可以不同。需要说明的是,第一摄像头和第二摄像头所拍摄的视野范围相同,以对其拍摄的图像进行后续处理。例如,第一摄像头可以为可见光摄像头,第二摄像头可以为红外摄像头。红外摄像头的分辨率可以低于可见光摄像头的分辨率,其对场景中的细节信息描述相对不足,因此,可见光摄像头可以选择高清摄像头,这样能够保证在光线充足的情况下,可见光摄像头所拍摄图像对场景的细节信息描述比较清晰,而在光线较弱的情况下,红外摄像头所拍摄图像对场景的细节信息描述比较清晰。

如图1所示,该车辆中双摄像装置的控制方法包括以下步骤:

步骤101,获取车辆当前所处环境的光照强度。

本发明实施例中,光照强度包括白天下的第一强度和黑天下的第二强度。

本发明实施例中,车辆上可以预先装有环境光线传感器,环境光线传感器用于采集车辆所处环境的光照强度信号,通过环境光线传感器可以获取光照强度信号,而后可以根据光照强度信号,确定光照强度。或者,可以根据车辆的车灯状态,确定光照强度。或者,可以从车辆的导航信息中获取车辆的当前时间信息,而后根据当前时间信息确定光照强度,对此不作限制。

步骤102,根据光照强度控制车辆上的双摄像装置的开启状态。

可以理解的是,当光照强度为白天下的第一强度时,由于光照条件良好,光线充足,可见光摄像头中可以拍摄较为清晰、噪声较小的图像,而当光照强度为黑天模式时,由于光线较弱,可见光摄像头中所拍摄图像的质量较低,往往呈现画面模糊、噪声大,甚至与整个画面都是黑的。因此,本发明实施例中,当光照强度不同时,摄像头所拍摄图像的质量不同,此时,可以控制双摄像装置中不同摄像头的开启状态。

具体地,当光照强度为白天下的第一强度时,可以只开启双摄像装置中的一个摄像头,优选地,可以开启分辨率较高的一个摄像头,例如为可见光摄像头。而光照强度为黑天下的第二强度时,可以同时开启双摄像装置中的第一摄像头和第二摄像头,例如可以同时开启可见光摄像装头和红外摄像头,从而保证可以获取高质量的图像。

本实施例的车辆中双摄像装置的控制方法,通过获取车辆当前所处环境的光照强度,根据光照强度控制车辆上的双摄像装置的开启状态。本实施例中,通过设置两个摄像头采集图像,以克服现有adas系统采用可见光摄像装头,在光线弱的情况下拍摄的图像画面较为模糊的问题,进一步地,根据当前车辆所处环境的光照强度,控制双摄像装置的开启,即根据车辆行驶时的实际光线情况来控制双摄像装置的开启,以实现根据光线决策双摄像头的工作模式,在光线强时开启一个摄像头,实现节能,在光线弱时,开启双摄像头,有效保证双摄像装置所拍摄图像的质量,从而在对图像中的对象进行识别时,可以提升对象识别的准确度,进而保障车辆行驶的安全性。

作为本发明实施例的一种可能的实现方式,参见图2,在图1所示实施例的基础上,步骤101具体包括以下子步骤:

步骤201,获取车辆的导航信息。

本发明实施例中,可以通过车辆上adas系统中的图像处理芯片对车辆上的can控制器进行控制,而后可以采用中断方式采集车身的can报文,进而可以对采集的can报文进行解析处理,获取车辆的导航信息相关的can报文。

具体地,图像处理芯片内部可以集成多个中央处理单元(centralprocessingunit,cpu),可以将上述集成的cpu的主频按照频率大小分为低、中、高等几个等级,其中,低等级的主频可以为200mhz左右,中等级的主频可以为500~700mhz,而高等级的主频可以为1ghz以上。实际应用时,可以发现,有的图像处理芯片只集成了其中任意两种主频的cpu,例如,图像处理芯片只集成了低主频和中主频的cpu,或者,图像处理芯片只集成了中主频和高主频的cpu。一般而言,可以选择图像处理芯片上的一个主频相对较低的cpu来对can控制器进行控制,而后采用中断方式采集车身的can报文,并由该cpu对于接收到的can报文进行分发,将can报文发送至图像处理芯片上其他cpu中,以对接收到的can报文进行解析处理,获取车辆的导航信息相关的can报文。

步骤202,从导航信息中提取车辆的当前时间信息。

本发明实施例中,导航信息包括当前时间信息、位置信息等。其中,当前时间信息包括年份信息、月份信息、日份信息,以及时钟信息,位置信息包括经度信息和纬度信息。

本发明实施例中,在获取到的导航信息后,可以对导航信息相关的can报文进行解析处理,可以解析出导航信息中的当前时间信息以及位置信息。

步骤203,根据当前时间信息确定光照强度。

具体地,可以确定导航信息中位置信息所处区域的日出时间和日落时间,进而通过比较当前时间信息中的时钟信息是否处于日出时间和日落时间所形成的时间段内,来确定光照强度。具体地,当当前时间信息中的时钟信息处于日出时间和日落时间所形成的时间段内时,表明光照强度为白天下的第一强度,而当时钟信息未处于日出时间和日落时间所形成的时间段内时,表明当前光照强度为黑天下的第二强度。

举例而言,例如导航信息中位置信息所处区域为东8区,且东8区的日出时间为06:00:00,日落时间为18:00:00。当时钟信息处于06:00:00~18:00:00内时,当前光照强度为白天下的第一强度,而当时钟信息处于18:00:01~05:59:59内时,当前光照强度为黑天下的第二强度。假设从当前时间信息中提取的时钟信息为15:32:45,则可以确定当前光照强度为白天下的第一强度。

本实施例的车辆中双摄像装置的控制方法,通过获取车辆的导航信息,从导航信息中提取车辆的当前时间信息,根据当前时间信息确定光照强度。本实施例中,由于导航信息中时间信息的实时性,根据当前时间信息确定光照强度,可以保证光照强度确定的精确性。

实际使用时,可以发现,车辆的导航系统可能发生故障的情况,或者,车辆可能进入卫星信号不好的地下停车场等,此时,adas系统无法接收到导航信息。因此,本发明实施例中,还可以根据车辆的车灯状态确定光照强度,下面结合图3对上述过程进行详细说明。

图3为本发明实施例所提供的第三种车辆中双摄像装置的控制方法的流程示意图。

如图3所示,在图1所示实施例的基础上,步骤101具体包括以下子步骤:

步骤301,检测车辆的车灯状态。

本发明实施例中,车辆上的车灯可以处于开启状态,也可以处于关闭状态。一般情况下,车辆行驶在夜间需要开启车灯照明,行驶在白天车灯不需要开启,可以处于关闭状态。因此,可以通过检测车辆的车灯状态,来识别车辆当前所行驶的环境光线的强弱。本发明实施例中,车灯状态可以包括近光灯的状态和远光灯的状态。

可选地,可以对采集的can报文进行解析处理,从而获取车灯状态相关的can报文。在获取到车灯状态相关的can报文后,可以对车灯状态相关的can报文进行解析处理,从而可以解析出车灯状态中的近光灯或者远光灯的状态。

本发明实施例中,车辆上的车灯可以由驾驶人员手动触发开启,也可以由车辆上的环境光线传感器,在感知到光线变弱时,控制开启车灯。

步骤302,根据检测到的车灯状态,确定光照强度。

具体地,在车灯状态指示出车辆的近光灯或者远光灯处于关闭状态时,表明车辆所处环境中的光线充足,此时,可以确定光照强度为白天下的第一强度;而在车灯状态指示出车辆的近光灯或者远光灯处于启动状态时,表明车辆所处环境中的光线较弱,此时,可以确定光照强度为黑天下的第二强度。

本实施例的车辆中双摄像装置的控制方法,通过检测车辆的车灯状态,根据检测到的车灯状态,确定光照强度。由此,可以在adas系统无法接收到导航信息时,由车辆的车灯状态确定光照强度,从而提升了该双摄像装置的控制方法的灵活性。

作为本发明实施例的另一种可能的实现方式,还可以根据车辆上的相关传感器获取光照强度信号,从而根据光照强度信号,确定光照强度。下面结合图4对上述过程进行详细说明。

图4为本发明实施例所提供的第四种车辆中双摄像装置的控制方法的流程示意图。

如图4所示,在图1所示实施例的基础上,步骤101具体包括以下子步骤:

步骤401,从车辆上的环境光线传感器上获取光照强度信号。

本发明实施例中,车辆上的环境光线传感器可以实时采集车辆当前所处环境中的光照强度信号,在环境光线传感器采集到光照强度信号后,车辆中的控制单元可以从环境光线传感器上获取光照强度信号。

步骤402,根据光照强度信号,确定光照强度。

本发明实施例中,可以设定白天下的第一强度和黑天下的第二强度的临界值,本实施例中记为预设的阈值,当光照强度信号超出预设的阈值时,表明车辆所处环境中的光线充足,此时,可以确定光照强度为白天下的第一强度,而当光照强度信号未超出预设的阈值时,表明车辆所处环境中的光线较弱,此时,可以确定光照强度为黑天下的第二强度。

本实施例的车辆中双摄像装置的控制方法,根据车辆上的环境光线传感器上获取光照强度信号,从而根据光照强度信号,确定光照强度,易于实现,且操作简单。此外,由于环境光线传感器的灵敏度较高,因此,可以保证确定的光照强度的准确性,从而保证双摄像装置控制的精确性。

作为一种示例,参见图5,图5为本发明实施例中双摄像装置的控制系统的结构示意图。图5包括:摄像头2011、摄像头2012、图像处理芯片202,以及执行机构203,其中,图像处理芯片202包括:图像采集单元2021、图像处理和识别单元2022、系统决策单元2023和系统控制单元2024。

摄像头2011和摄像头2012均与图像处理芯片202相连,摄像头2011和摄像头2012的主要区别为:图像处理芯片202中运行的系统控制单元2024可以控制摄像头2012的开启和关闭,并且由系统控制单元2024自行判断何时开启控制摄像头2012,以及何时关闭控制摄像头2012。

图像采集单元2021也可以接受系统控制单元2024的控制,当光线强时,只开启摄像头2011,实现节能,而在光线弱时,同时开启摄像头2011和摄像头2012,有效保证双摄像装置所拍摄图像的质量。

图像处理和识别单元2022也可以接受系统控制单元2024的控制,当光线强时,只对摄像头2011拍摄的图像进行分析和处理,并识别出车辆和行人等对象,而当光线弱时,可以对摄像头2011和摄像头2012所拍摄的图像进行融合处理,而后对融合后的图像进行分析和处理,并识别出车辆和行人等对象。

在图像处理和识别单元2022识别出对象后,系统决策单元2023根据识别结果生成安全驾驶策略,然后根据安全驾驶策略对执行机构203进行控制,其中,执行机构203可以发出包括声、光等形式的报警提醒,以及诸如控制方向盘抖动或者自动刹车等操作。

为了清楚说明上一实施例,参见图6,在图2所示实施例的基础上,步骤203具体包括以下子步骤:

步骤501,根据位置信息确定车辆当前所处的第一时区。

本实施例中,可以根据位置信息中的经度信息,计算出车辆当前所处的第一时区。

可以理解的是,一共24个时区,每个时区占15°,因此,本实施例中,可以使用下述公式计算车辆当前所处的第一时区:

a/15°=b……c;(1)

其中,a表示经度信息,b表示商,c表示余数。

当余数c小于7.5时,第一时区等于商b,而当余数到大于7.5时,第一时区等于b+1。

举例而言,当经度信息为西经173°时,173°/15°=11余8,因此,第一时区为西12区。

步骤502,判断第一时区是否为预设的参考时区,若是,执行步骤503,否则,执行步骤505。

本发明实施例中,预设的参考时区为预先设置的,参考时区例如可以为东8区。

步骤503,识别当前时间信息中的月份信息,获取月份信息对应的日出时间和日落时间。

本发明实施例中,可以预先建立参考时区的不同月份信息和日出时间及日落时间的对应关系。例如,参见图7a,图7a为本发明实施例中不同月份参考时区的日出和日落时间表示意图。

在第一时区为参考时区时,可以根据当前时间信息中的月份信息,查询上述对应关系,从而获取与月份信息对应的日出时间和日落时间。

步骤504,利用日出时间和日落时间形成第一时间段。

在获取与月份信息对应的日出时间和日落时间后,可以利用日出时间和日落时间形成第一时间段。例如,获取与月份信息对应的日出时间06:00:00,日落时间为18:00:00,则形成的第一时间段为06:00:00~18:00:00。

步骤505,获取第一时区和参考时区的时差。

可以理解的是,时区每差一个区,区时相差一个小时。因此,在第一时区不为参考时区时,可以获取第一时区为参考时区的时差,从而根据时差获取第一时区对应的日出时间及日落时间。

本发明实施例中,由于东时区早于西时区,因此,可以标记西时区的时区为负数,东时区的时区为正数,进而可以将第一时区与参考时区作差,获取两者之间的时差,例如标记时差为d小时(d为有符号的数)。

例如,当第一时区为西一区,参考时区为东8区时,两者之间的时差为(-1)-8=-9小时,即d=-9,第一时区的当前时间晚于参考时区9小时。

步骤506,识别当前时间信息中的月份信息,获取月份信息对应的日出时间和日落时间。

本发明实施例中,可以根据识别当前时间信息中的月份信息,而后根据月份信息,查询预先建立的参考时区的不同月份信息和日出时间及日落时间的对应关系,获取与参考时区的该月份信息对应的日出时间和日落时间,例如,标记获取的与参考时区的该月份信息对应的日出时间为a点,日落时间为b点。

步骤507,利用时差对日出时间和日落时间进行调整。

本实施例中,在获取时差d、日出时间a和日落时间b后,可以利用时差d对日出时间a和日落时间b进行调整,获取与第一时区当前时间信息中的月份信息对应的日出时间和日落时间。

可选地,标记第一时区当前时间信息中的月份信息对应的日出时间为c点和日落时间为d点,则c=a+d,d=b+d。

仍以步骤505中的例子示例,第一时区的当前时间晚于参考时区9小时,d=-9,因此,调整后的日出时间为a-9点,日落时间为b-9点。

作为一种示例,参见图7b,图7b为本发明实施例中不同月份中的不同时区的日出和日落时间表示意图,图7b仅以8月份示例。在确定不同时区与参考时区的时差后,可以利用图7a中的参考时区的日出时间和日落时间,调整各个时区的日出时间和日落时间,从而形成各个时区(包含第一时区)的日出时间和日落时间。在确定出月份信息后,可以通过查找表格的方式,获取各个时区的日出时间和日落时间,操作简单且易于实现。

步骤508,利用调整后的日出时间和日落时间形成第一时间段。

本实施例中,利用调整后的日出时间和日落时间形成第一时间段,则第一时间段为a+d点~b+d点。

例如,当a为6,b为18时,则第一时间段为21:00:00~9:00:00。

步骤509,从当前时间信息中提取出时钟信息,判断时钟信息是否处于第一时间段内,若是,执行步骤510,否则,执行步骤511。

步骤510,确定光照强度为白天下的第一强度。

可选地,当时钟信息处于第一时间段内时,可以确定光照强度为白天下的第一强度。

步骤511,确定光照强度为黑天下的第二强度。

可选地,当时钟信息未处于第一时间段内时,可以确定光照强度为黑天下的第二强度。

本实施例的车辆中双摄像装置的控制方法,通过获取车辆的导航信息;从导航信息中提取车辆的当前时间信息;根据当前时间信息确定光照强度。本实施例中,根据当前车辆的行驶时间段,确定光照强度,从而能够根据行驶时实际光线情况来控制双摄像装置的开启,以实现根据光线决策双摄像头的工作模式,在光线强时开启一个摄像头,实现节能,在光线弱时,开启双摄像头,有效保证双摄像装置所拍摄图像的质量,从而在对图像中的对象进行识别时,可以提升对象识别的准确度,进而保障车辆行驶的安全性。

作为本发明实施例的一种可能的实现方式,参见图8,在图1-6所示实施例的基础上,该车辆中双摄像装置的控制方法还可以包括以下步骤:

步骤601,从双摄像装置中接收图像。

本发明实施例中,当控制车辆上的双摄像装置的开启状态,可以基于双摄像装置获取图像,在双摄像装置获取到图像后,adas系统中的图像处理芯片可以从双摄像装置中接收图像。

步骤602,对接收到的图像进行识别,获取图像中可能存在的对象。

可以理解的是,当同时开启双摄像装置时,表明光照强度为黑天下的第二强度,此时,由于车辆所处环境中的光线较弱,为了提升图像中对象识别的准确性,可以对双摄像装置拍摄的两幅图像进行图像融合,获取目标图像,而后从目标图像中识别每个对象。

当只开启双摄像装置中的其中一个摄像装置时,表明车辆的光照强度为白天下的第一强度,此时,由于车辆所处环境中的光线充足,因此,可以直接对该摄像装置拍摄的图像进行识别,获取图像中可能存在的对象。

本实施例的车辆中双摄像装置的控制方法,通过从双摄像装置中接收图像,对接收到的图像进行识别,获取图像中可能存在的对象。由此,可以提升对象识别的准确度,从而保障车辆行驶的安全性。

为了清楚说明上述实施例,参见图9,在图8所示实施例的基础上,步骤602具体可以包括以下步骤:

步骤701,判断接收到的图像中是否包括两幅图像,若是,执行步骤702,否则,执行步骤704。

其中,两幅图像包括第一图像和第二图像,分别对应双摄像装置中的第一摄像头和第二摄像头。

本实施例中,当接收到的图像中包括两幅图像时,表明双摄像头均处于开启状态,此时,光照强度为黑天下的第二强度,为了提升图像中对象识别的准确性,可以触发步骤702,而当接收到的图像中仅包括一幅图像时,表明光照强度为白天下的第一强度,此时,可以触发步骤704。

步骤702,对第一图像和第二图像进行图像融合,获取目标图像。

本发明实施例中,由于双摄像装置的分辨率可以不同,在对第一图像和第二图像进行图像融合前,需要调整第一图像和第二图像的分辨率,使得第一图像和第二图像的分辨率相同。

例如,可以基于两个图像中的一个图像的分辨率,调整另一个图像的分辨率,使得两个图像的分辨率相同。或者,可以根据第一图像的分辨率和第二图像的分辨率,获取一个折中的分辨率中作为目标分辨率,而后同时调整第一图像和第二图像的分辨率为目标分辨率。例如,当第一图像的分辨率为1600*1200,第二图像的分辨率为1024*768时,目标分辨率可以为1280*960,同时调整第一图像的第二图像的分辨率为1280*960。

需要说明的是,虽然双摄像装置中的第一摄像头和第二摄像头并排安装在一起,且拍摄的视野范围相同,但是由于第一摄像头和第二摄像头的位置不同,分辨率调整后两个图像还是无法完全重合到一起。因此,本实施例中,可以将分辨率相同的两个图像进行配准,而后对配准后的第一图像和第二图像进行融合,得到目标图像。具体地,可选选择一个图像作为基准图像,而后根据基准图像,对另外一个图像进行几何变换处理,将处理后的图像与该基准图像进行融合,从而使得两个图像完全重合。

步骤703,从目标图像中识别每个对象。

一般而言,摄像头的输入图像是彩色图像,且色彩空间是yuv的,为了减少图像融合过程中的运算量,在图像融合的计算过程中,只对色彩空间中的y分量进行计算,而uv分量不参与计算。

本实施例中,在对目标图像中的对象进行识别时,可以从融合后的目标图像中提取出y分量,无论目标图像是彩色图像还是黑白图像,提取y分量的过程即为图像的灰度处理过程,以此来减少运算量,提升系统的实时性能。

在从目标图像中提取出y分量后,即对目标图像进行灰度处理后,可以得到目标图像的灰度图。为了提高灰度图的对比度以及灰度色调的变化,使得灰度图更加清晰,本实施例中,可以对灰度图进行直方图均衡化处理,得到均衡后的灰度图。

本发明实施例中,由于行人、车辆等对象的识别规则不同,因此,在得到均衡后的灰度图后,可以将将均衡后灰度图分路,形成至少两路均衡后灰度图,然后可以对一路均衡后灰度图进行行人识别,获取行人对象和行人对象的识别信息,而对另一路均衡后灰度图进行车辆识别,获取车辆对象和车辆对象的识别信息。需要说明的是,上述两路识别处理过程是同时进行的,例如可以通过不同的cpu,同时对两路均衡后灰度图进行识别,以提升系统的实时性能。

其中,识别信息可以包括:坐标信息、宽度信息、高度信息、距离信息等。

作为一种可能的实现方式,对于行人对象的识别,可以利用拉普拉斯金字塔分解算法,对均衡后灰度图进行多层次的缩放处理,而后在每个层次上的缩放图像上进行方向梯度直方图(histogramoforientedgradient,本实施例记为hog)特征提取,进而可以基于hog特征进行分类识别,从对象中识别出的行人对象。对于车辆对象的识别,可以利用拉普拉斯金字塔分解算法,对均衡后灰度图进行多层次的缩放处理,而后对每个层次上的缩放图像进行哈尔(haar)特征提取,进而可以基于haar特征进行分类识别,从对象中识别出的车辆对象。

进一步地,为了提升行人对象或者车辆对象识别的准确性,在识别出目标图像中的行人对象或者车辆对象后,可以采用行人对象和车辆对象的跟踪算法,例如卡尔曼滤波算法,对行人对象和车辆对象进行跟踪,剔除误识别的行人对象和车辆对象。

步骤704,将一幅图像作为目标图像。

本发明实施例中,当判断出接收的图像中仅包括一幅图像时,可以将该幅图像直接作为目标图像,以对其进行识别,获取图像中的每个对象,即触发步骤703。

步骤705,从目标图像中提取感兴趣区域。

本发明实施例中,当判断出接收的图像中仅包括一幅图像时,可以从一幅图像中提取感兴趣区域,其中,感兴趣区域例如可以为天空区域。或者,在获取目标图像后,还可以对车辆当前所处的环境中的光照情况进行进一步确认。具体的,可以从目标图像中提取感兴趣区域。

步骤706,获取所感兴趣区域的亮度均值。

可选地,在提取出感兴趣区域后,可以确定出感兴趣区域中每个像素点的亮度值,从而可以根据感兴趣区域中每个像素点的亮度值,获取所感兴趣区域的亮度均值。

步骤707,判断亮度均值是否高于预设的阈值,若是,执行步骤709,否则,执行步骤708。

本发明实施例中,可以判断亮度均值是否高于预设的阈值,在亮度均值高于预设的阈值时,表明当前车辆所处环境的光照条件较好,此时,可以不作任何处理。而在亮度均值低于等于预设的阈值时,表明当前车辆所处环境的光照条件较差,此时,可以触发步骤708。

步骤708,形成反馈信息反馈给车辆。

可选地,在亮度均值低于等于预设的阈值时,表明当前车辆所处环境的光照条件较差,此时,可以形成反馈信息反馈给车辆,以控制车辆的近光灯或者远光灯的开启状态。

步骤709,不作任何处理。

本实施例的车辆中双摄像装置的控制方法,通过当接收到的图像中包括两幅图像时,对第一图像和第二图像进行图像融合,获取目标图像,而后从目标图像中识别每个对象,能够实现在黑天模式时,提升对象识别的准确度。通过从目标图像中提取感兴趣区域,获取所感兴趣区域的亮度均值,在亮度均值低于等于预设的阈值时,形成反馈信息反馈给车辆,可以实现对车辆当前所处的环境中的光照情况进行进一步确认。

作为本发明实施例的一种可能的实现方式,参见图10,在图9所示实施例的基础上,步骤702具体包括以下子步骤:

步骤801,调整第一图像和/或第二图像的分辨率,使两个图像的分辨率相同。

作为本发明实施例的一种可能的实现方式,可以基于两个图像中的一个图像的分辨率,调整另一个图像的分辨率,使得两个图像的分辨率相同。具体地,可以从第一图像和第二图像中选取一个作为参考图像,而后根据参考图像的分辨率调整另一个图像的分辨率。例如当参考图像为第一图像时,可以调整第二图像的分辨率,使得第二图像的分辨率与第一图像的分辨率相同,或者当参考图像为第二图像时,可以调整第一图像的分辨率,使得第一图像的分辨率与第二图像的分辨率相同。

优选地,可以从第一图像和第二图像中选取分辨率较小的一个作为参考图像,例如,当第一图像的分辨率低于第二图像的分辨率时,可以将第一图像的作为参考图像,而后可以对第二图像进行缩放处理,减小第二图像的分辨率,使得两个图像的分辨率相同。由此,可以减少系统的运算量,提升系统的实时性能。

作为本发明实施例的另一种可能的实现方式,可以根据第一图像的分辨率和第二图像的分辨率,获取一个目标分辨率;同时调整第一图像和第二图像的分辨率为目标分辨率。例如,当第一图像的分辨率为1600*1200,第二图像的分辨率为1024*768时,目标分辨率可以为1280*960,同时调整第一图像的第二图像的分辨率为1280*960。

步骤802,将分辨率相同的第一图像和第二图像进行配准。

本发明实施例中,可以从分辨率相同的两个图像中选取一个作为基准图像,而后根据基准图像,对另外一个图像进行几何变换处理,使得处理后的图像可以与基准图像较好地重合。具体地,可以根据基准图像,获取对另一个图像进行仿射变换的变换系数,而后按照变换系数对另一个图像进行仿射变换,得到配准后的第一图像和第二图像,其中,变换系数是预先对双摄像装置进行标定得到的。

本发明实施例以第一图像为基准图像示例,拍摄第一图像的摄像头为第一摄像头。因此,可以根据第一摄像头所拍摄的第一图像,对第二图像进行几何变换处理,使得处理后的第二图像可以与第一图像较好地重合。具体地,可以根据第一图像,获取对第二图像进行放射变换的变换系数,而后按照变换系数对第二图像进行仿射变换,得到配准后的第一图像和第二图像。

本实施例中,变换系数的标定过程可以如下所示:

可以按照图11所示制作标定模板(图11的标定模板只是示例,具体实现时,可以根据实际情况制作),而后用纸张打印出来。而后,将该标定模板放置在双摄像装置的正前方,调整标定模板与双摄像装置之间的距离,使得标定模板上面的4个角落的黑色矩形框均落入双摄像装置所拍摄图像的4个角落区域中。而后可以采集双摄像装置拍摄的图像,利用“角点检测”方法求解出4个角落的黑色矩形框的全部顶点坐标。

具体地,可以将第一摄像头拍摄的图像上所有的黑色矩形框的顶点坐标以及第二摄像头拍摄的图像上与之对应的黑色矩形框的顶点坐标代入到如公式(2)所示的仿射变换矩阵方程中,而后推导得到公式(3)。

其中,x和y表示第一摄像头拍摄的图像上黑色矩形框的顶点坐标,x'和y'表示第二摄像头拍摄的图像上与第一摄像头拍摄的图像上对应的黑色矩形框的顶点坐标,m1、m2、m3、m4、m5和m6为仿射变换的变换系数。

其中,k表示黑色矩形框顶点坐标的个数(图11中k的个数为28),xk和yk表示第一摄像头拍摄的图像上第k个黑色矩形框的顶点坐标,xk'和yk'表示第二摄像头拍摄的图像上与第一摄像头拍摄的图像上第k个黑色矩形框对应的顶点坐标。

最后,利用最小二乘法,可以求解得到仿射变换的变换系数m1、m2、m3、m4、m5和m6。

在得到仿射变换的变换系数后,可以按照变换系数对第二摄像头所拍摄的第二图像进行仿射变换,得到配准后的第一图像和第二图像。

步骤803,对配准后的第一图像和第二图像进行融合,得到目标图像。

在对配准后的第一图像和第二图像进行融合时,首先需计算两个图像的融合系数。例如,可以使用msd法,计算配准后的第一图像和第二图像的融合系数,而后可以根据融合系数得到目标图像。

具体地,可以对配准后的第一图像和第二图像进行多尺度分解,获取两组多尺度分解系数:

其中,i=1,2,…,n,n表示多尺度分解的层数,表示第一图像的多尺度分解系数,表示第二图像的多尺度分解系数。

在得到两组多尺度分解系数后,可以按照预设的融合规则对两组多尺度分解系数进行融合,得到融合系数:

其中,表示融合系数,θ表示预设的融入规则。

在得到融合系数后,可以根据融合系数进行多尺度反变换反向重构出目标图像,具体如下式所示:

其中,imager表示融合后的目标图像。

本实施例的车辆中双摄像装置的控制方法,通过调整第一图像和/或第二图像的分辨率,使两个图像的分辨率相同,将分辨率相同的第一图像和第二图像进行配准,对配准后的第一图像和第二图像进行融合,得到目标图像。由此,可以实现两个图像较好的重合,进而可以提升图像识别的准确性。

为了实现上述实施例,本发明还提出一种车辆中双摄像装置的控制装置。

图12为本发明实施例所提供的一种车辆中双摄像装置的控制装置的结构示意图。

如图12所示,该车辆中双摄像装置的控制装置1200包括:获取模块1201和控制模块1202。其中,

获取模块1201,用于获取车辆当前所处环境的光照强度。

作为一种可能的实现方式,获取模块1201,具体用于获取车辆的导航信息;从导航信息中提取车辆的当前时间信息;根据当前时间信息确定光照强度。

本发明实施例中,获取模块1201,具体用于在当前时间信息处于第一时间段内时,确定光照强度为白天下的第一强度;在当前时间信息未处于第一时间段内时,确定光照强度为黑天下的第二强度。

可选地,获取模块1201,还用于在从导航信息中提取当前时间信息的同时,从导航信息中提取位置信息。

本实施例中,获取模块1201,具体用于根据位置信息确定车辆当前所处的第一时区;判断第一时区是否为预设的参考时区;如果判断出第一时区为参考时区,则识别当前时间信息中的月份信息,获取月份信息对应的日出时间和日落时间;利用日出时间和日落时间形成第一时间段;从当前时间信息中提取出时钟信息,判断时钟信息是否处于第一时间段内;如果处于第一时间段内,则确定光照强度为白天下的第一强度。

可选地,获取模块1201,还用于在判断出第一时区非参考时区时,获取第一时区和参考时区的时差;识别当前时间信息中的月份信息,获取月份信息对应的日出时间和日落时间;利用时差对日出时间和日落时间进行调整;利用调整后的日出时间和日落时间形成第一时间段。

作为另一种可能的实现方式,获取模块1201,具体用于检测车辆的车灯状态;根据检测到的车灯状态,确定光照强度。

本发明实施例中,获取模块1201,具体用于在车灯状态指示出车辆的近光灯或者远光灯处于关闭状态时,确定光照强度为白天下的第一强度;在车灯状态指示出车辆的近光灯或者远光灯处于启动状态时,确定光照强度为黑天下的第二强度。

作为又一种可能的实现方式,获取模块1201,具体用于从车辆上的环境光线传感器上获取光照强度信号;根据光照强度信号,确定光照强度。

本发明实施例中,获取模块1201,具体用于在光照强度信号超出预设的阈值时,确定光照强度为白天下的第一强度;在光照强度信号未超出预设的阈值时,确定光照强度为黑天下的第二强度。

控制模块1202,用于根据光照强度控制车辆上的双摄像装置的开启状态。

进一步地,在本发明实施例的一种可能的实现方式中,参见图13,在图12所示实施例的基础上,该车辆中双摄像装置的控制装置1200还可以包括:接收模块1203和识别模块1204。其中,

接收模块1203,用于从双摄像装置中接收图像。

识别模块1204,用于对接收到的图像进行识别,获取图像中可能存在的对象。

作为一种可能的实现方式,识别模块1204,具体用于判断接收到的图像中是否包括两幅图像;其中,两幅图像包括第一图像和第二图像,分别对应双摄像装置中的第一摄像头和第二摄像头;当判断出接收到的图像中包括两幅图像时,对第一图像和第二图像进行图像融合,获取目标图像;从目标图像中识别每个对象。

可选地,识别模块1204,还用于调整第一图像和/或第二图像的分辨率,使两个图像的分辨率相同;将分辨率相同的第一图像和第二图像进行配准;对配准后的第一图像和第二图像进行融合,得到目标图像。

可选地,识别模块1204,还用于从第一图像和第二图像中选取一个作为参考图像;根据参考图像的分辨率调整另一个图像的分辨率;或者,根据第一图像的分辨率和第二图像的分辨率,获取一个目标分辨率;同时调整第一图像和第二图像的分辨率为目标分辨率。

可选地,识别模块1204,还用于从分辨率相同的第一图像和第二图像中选取一个作为基准图像;根据基准图像,获取对另一个图像进行仿射变换的变换系数;其中,变换系数是预先对双摄装置进行标定得到的;按照变换系数对另一个图像进行仿射变换,得到配准后的第一图像和第二图像。

可选地,识别模块1204,还用于分别对配准后的第一图像和第二图像进行多尺度分解,获取两组多尺度分解系数;按照预设的融合规则对两组多尺度分解系数进行融合,得到融合系数;根据融合系数进行多尺度反变换反向重构出目标图像。

可选地,识别模块1204,还用于对目标图像进行灰度处理,得到目标图像的灰度图;对灰度图进行直方图均衡化处理,得到均衡后灰度图;将均衡后灰度图分路,形成至少两路均衡后灰度图;对一路均衡后灰度图进行行人识别,获取行人对象和行人对象的识别信息;对另一路均衡后灰度图进行车辆识别,获取车辆对象和车辆对象的识别信息。

可选地,识别模块1204,还用于当判断出接收的图像中仅包括一幅图像时,则从一幅图像中提取感兴趣区域;获取所感兴趣区域的亮度均值;判断亮度均值是否高于预设的阈值;如果低于预设的阈值,则形成反馈信息反馈给车辆。

本发明实施例中,识别模块1204,还用于从目标图像中提取感兴趣区域;获取所感兴趣区域的亮度均值;判断亮度均值是否高于预设的阈值;如果低于预设的阈值,则形成反馈信息反馈给车辆。

需要说明的是,前述对车辆中双摄像装置的控制方法实施例的解释说明也适用于该实施例的车辆中双摄像装置的控制装置1200,此处不再赘述。

本实施例的车辆中双摄像装置的控制装置,通过获取车辆当前所处环境的光照强度,根据光照强度控制车辆上的双摄像装置的开启状态。本实施例中,通过设置两个摄像头采集图像,以克服现有adas系统采用可见光摄像装头,在光线弱的情况下拍摄的图像画面较为模糊的问题,进一步地,根据当前车辆所处环境的光照强度,控制双摄像装置的开启,即根据车辆行驶时的实际光线情况来控制双摄像装置的开启,以实现根据光线决策双摄像头的工作模式,在光线强时开启一个摄像头,实现节能,在光线弱时,开启双摄像头,有效保证双摄像装置所拍摄图像的质量,从而在对图像中的对象进行识别时,可以提升对象识别的准确度,进而保障车辆行驶的安全性。

为了实现上述实施例,本发明还提出一种计算机设备,包括:处理器和存储器;其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如本发明前述实施例提出的车辆中双摄像装置的控制方法。

为了实现上述实施例,本发明还提出一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行如本发明前述实施例提出的车辆中双摄像装置的控制方法。

为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如本发明前述实施例提出的车辆中双摄像装置的控制方法。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1