车辆用照相机的制作方法

文档序号:11772334阅读:248来源:国知局
车辆用照相机的制作方法与工艺

本发明涉及车辆用照相机。



背景技术:

车辆是用于将乘坐的用户朝所需的方向移动的装置。作为代表性的可举例有汽车。

另外,为了给利用车辆的用户提供便利,车辆中配备各种传感器和电子装置成为一种趋势。特别是,为了用户的驾驶便利而积极进行关于车辆驾驶辅助系统(adas:advanceddriverassistancesystem)研究。进一步,积极开展有关于自主驾驶汽车(autonomousvehicle)的开发。

车辆驾驶辅助系统可使用多种传感器,其中作为代表性的有照相机。

在现有技术的利用于车辆驾驶辅助系统的照相机中,由于其焦距恒定,无法根据车辆状态、行驶状态等适当地调节焦距。



技术实现要素:

为了解决如上所述的问题,本发明的实施例的目的在于提供一种包括能够调节焦距的照相机的车辆驾驶辅助装置。

并且,本发明的实施例的目的在于提供一种包括所述车辆驾驶辅助装置的车辆。

本发明的目的并不限定于以上提及到的目的,本领域的技术人员能够通过以下的记载明确理解未被提及到的其他目的。

为了实现所述目的,本发明的实施例提供一种车辆驾驶辅助装置,其包括:照相机,设置于车辆并用于获取影像;以及,处理器,用于处理所述影像;所述照相机包括:可变镜头,所述可变镜头包括图像传感器以及液晶(liquidcrystal),根据包含于所述液晶层中的基于被施加的电压而排列的液晶分子的排列状态,变更所述图像传感器中进入的光的路径。

为了实现所述目的,本发明的实施例提供一种车辆用照相机,其包括:图像传感器;以及,可变镜头,包括液晶层,根据包含于所述液晶层中的基于被施加的电压而排列的液晶分子的排列状态,变更所述图像传感器中进入的光的路径。

为了实现所述目的,本发明的实施例提供一种车辆用照相机,其包括:图像传感器;第一可变镜头,包括第一液晶层,根据包含于所述第一液晶层中的基于被施加的电压而排列的液晶分子的排列状态,变更所述第一图像传感器中进入的光的路径;以及,第二可变镜头,配置于所述图像传感器与所述第一可变镜头之间,包括第二液晶层,根据包含于所述第二液晶层中的基于被施加的电压而排列的液晶分子的排列状态,变更所述第二图像传感器中进入的光的路径。

为了实现所述目的,本发明的实施例提供一种车辆用照相机,其包括:第一图像传感器;第一可变镜头,包括第一液晶层,根据包含于所述第一液晶层中的基于被施加的电压而排列的液晶分子的排列状态,变更所述第一图像传感器中进入的光的路径;第二图像传感器;第二可变镜头,包括第二液晶层,根据包含于所述第二液晶层中的基于被施加的电压而排列的液晶分子的排列状态,变更所述第二图像传感器中进入的光的路径;以及,处理器,用于对通过所述第一图像传感器获取的第一影像以及通过所述第二图像传感器获取的第二影像进行处理。

其他实施例的具体事项包括于详细的说明及附图中。

本发明的实施例具有如下效果的一种或其以上。

第一、利用可变镜头能够调节车辆用照相机的焦距。

第二、能够与车辆状态、行驶状况对应地调节焦距。

第三、能够以与所应用的adas(advanceddriverassistancesystem)功能相适合的方式调节焦距。

第四、能够根据所检测出的对象信息适当地调节焦距。

第五、通过调节焦距,能够提供与状况对应的信息,从而诱导驾驶者的安全驾驶。

本发明的效果并不限定于以上提及到的效果,本领域的技术人员能够从权利要求书的记载明确理解未被提及到的其他效果。

附图说明

图1是示出本发明的实施例的车辆的外观的图。

图2是在说明本发明的实施例的车辆时作为参照的框图。

图3是本发明的实施例的车辆用照相机的立体图。

图4是本发明的实施例的车辆用照相机的分解立体图。

图5是本发明的实施例的将图3的a-b剖开的车辆用照相机的剖开侧视图。

图6是本发明的实施例的车辆用照相机的立体图。

图7是本发明的实施例的车辆用照相机的分解立体图。

图8是本发明的实施例的将图6的c-d剖开的车辆用照相机的剖开侧视图。

图9是将图5的cr1部分或图8的cr2部分剖开并放大的剖开侧视图。

图10a至图11是在说明支架以及支架内部形成的热线的多种实施例时作为参照的图。

图12是在说明本发明的实施例的可变镜头时作为参照的图。

图13是在说明本发明的实施例的第一基板时作为参照的图。

图14a至图14c是在说明本发明的实施例的在多个第一电极中分别接通相互不同的电压电平的动作时作为参照的图。

图15是在说明本发明的实施例的多个第一电极的左右方向布置时作为参照的图。

图16是在说明本发明的实施例的多个第一电极的上下方向以及左右方向布置时作为参照的图。

图17至图18是在说明本发明的实施例的包括多个可变镜头的车辆用照相机时作为参照的图。

图19是本发明的实施例的车辆驾驶辅助装置400的框图。

图20a至图21是为了说明本发明的实施例的通过可变镜头计算出与对象的距离的动作而简略地示出可变镜头的图。

图22是在说明本发明的实施例的车辆驾驶辅助装置的动作时作为参照的流程图。

图23a至图23b是在说明本发明的实施例的基于行驶速度变更可变镜头的焦距的动作时作为参照的图。

图24是在说明本发明的实施例的基于转向信息或转向灯信息变更可变镜头的焦距的动作时作为参照的图。

图25是在说明本发明的实施例的基于预设定的路径信息变更可变镜头的焦距的动作时作为参照的图。

图26是在说明本发明的实施例的车辆驾驶辅助装置的动作时作为参照的流程图。

图27是在说明本发明的实施例的基于输入信号变更可变镜头的焦距的动作时作为参照的图。

图28是在说明本发明的实施例的车辆驾驶辅助装置的动作时作为参照的流程图。

图29是在说明本发明的实施例的基于与对象的距离变更可变镜头的焦距的动作时作为参照的图。

图30是在说明本发明的实施例的基于对象的位置变更可变镜头的焦距的动作时作为参照的图。

图31是在说明本发明的实施例的在作为对象检测出交叉路的情况下变更可变镜头的焦距的动作时作为参照的图。

图32a至图32b是在本发明的实施例的车辆用照相机包括立体照相机的情况下,在说明处理器的内部框图时作为参照的图。

图33a和图33b是本发明的实施例的基于在第一及第二帧区间分别获取的立体图像,在说明图4的处理器470的动作方法时作为参照的图。

图34是在本发明的实施例的车辆用照相机包括立体照相机的情况下,在说明处理器的内部框图时作为参照的图。

图35是在说明本发明的实施例的像素混合处理以及裁剪处理动作时作为参照的图。

图36是在说明本发明的实施例的生成立体影像的动作时作为参照的图。

图37是在说明本发明的实施例的第一影像时作为参照的图。

图38是在说明本发明的实施例的第二影像时作为参照的图。

图39是在说明本发明的实施例的基于第一影像以及第二影像生成的立体影像时作为参照的图。

图40是在说明本发明的实施例的车辆驾驶辅助装置的结构中的可变镜头时作为参照的图。

附图标记

100:车辆200:车辆用照相机

300:可变镜头400:车辆驾驶辅助装置

具体实施方式

以下参照附图对本说明书所揭示的实施例进行详细的说明,在此,与附图标记无关的对相同或类似的结构元件赋予相同的参照标记,并将省去对其重复的说明。在以下说明中使用的针对结构元件的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予或混用,其自身并不带有相互区分的含义或作用。并且,在对本发明揭示的实施例进行说明的过程中,如果判断为对于相关的公知技术的具体说明会导致混淆本说明书所揭示的实施例的技术思想,则将省去对其详细的说明。并且,所附的附图仅是为了容易理解本说明书所揭示的实施例,不应由所附的附图来限定本发明所揭示的技术思想,而是应当涵盖了本发明的思想及技术范围中所包括的所有变更、均等物乃至替代物。

第一、第二等包含序数的术语可用于说明多种结构元件,但是所述结构元件并不由所述术语所限定。所述术语仅是用于将一个结构元件与其他结构元件区分的目的来使用。

如果提及到某个结构元件“连接”或“接触”于另一结构元件,其可能是直接连接于或接触于另一结构元件,但也可被理解为是他们中间存在有其他结构元件。反之,如果提及到某个结构元件“直接连接”或“直接接触”于另一结构元件,则应当被理解为是他们之间不存在有其他结构元件。

除非在上下文明确表示有另行的含义,单数的表达方式应包括复数的表达方式。

在本申请中,“包括”或“具有”等术语仅是为了指定说明书上记载的特征、数字、步骤、动作、结构元件、部件或其组合的存在,而并不意在排除一个或其以上的其他特征或数字、步骤、动作、结构元件、部件或其组合的存在或添加的可能性。

本说明书中说明的车辆可以是包括汽车、摩托车的概念。以下,对于车辆将以汽车为主进行描述。

本说明书中描述的车辆可以是将作为动力源具有引擎的内燃机车辆、作为动力源具有引擎和电动马达的混合动力车辆、作为动力源具有电动马达的电动汽车等均涵盖的概念。

在以下的说明中,车辆的左侧表示车辆的行驶方向的左侧,车辆的右侧表示车辆的行驶方向的右侧。

图1是示出本发明的实施例的车辆的外观的图。

参照图1,车辆100可包括:利用动力源进行旋转的车轮;用于调节车辆100的行进方向的转向输入装置。

根据实施例,车辆100可以是自主驾驶车辆。在自主驾驶车辆的情况下,可根据用户输入转换为自主驾驶模式或手动模式(manualmode)。在转换为手动模式的情况下,自主驾驶车辆100可通过驾驶操作装置(图2的121)接收用户行驶的驾驶者的输入。

车辆100可包括车辆驾驶辅助装置400。车辆驾驶辅助装置400是基于从多种传感器获取的信息来辅助驾驶者的装置。这样的车辆驾驶辅助装置400可称为先进驾驶辅助系统(advanceddriverassistancesystem,adas)。

在以下的说明中,作为车辆驾驶辅助装置400中使用的传感器以车辆用照相机200为中心进行说明,但是本发明并不限定于此。根据实施例,传感器除了车辆用照相机200以外,还可使用雷达(radar)、激光雷达(lidar)、超声波传感器、红外线传感器等。

并且,在以下的说明中,作为车辆驾驶辅助装置400中使用的车辆用照相机200,以单色照相机200a和立体照相机200b为中心进行说明,但是本发明并不限定于此。根据实施例,车辆用照相机200可包括:三镜头照相机、环视监控(aroundviewmonitoring,avm)照相机、360度照相机、全向(omnidirectional)照相机。

在附图中例示出,车辆驾驶辅助装置400中使用的车辆用照相机200安装于前风挡10,从而能够拍摄车辆前方,但是,车辆用照相机200可拍摄车辆前方、后方、右侧方、左侧方等任何地方。因此,车辆用照相机200可配置于车辆的外部或内部的适当的位置。

根据实施例,车辆用照相机200可拍摄车辆内部。

总长度(overalllength)表示从车辆100的前部分至后部分的长度,总宽度(width)表示车辆100的宽度,总高度(height)表示从车轮下部至车顶的长度。在以下的说明中,总长度方向l可表示作为车辆100的总长度测量的基准的方向,总宽度方向w可表示作为车辆100的总宽度测量的基准的方向,总高度方向h可表示作为车辆100的总高度测量的基准的方向。

图2是在说明本发明的实施例的车辆时作为参照的框图。

参照图2,车辆100可包括:通信部110、输入部120、检测部125、存储器130、输出部140、车辆驱动部150、控制部170、接口部180、电源部190以及车辆驾驶辅助装置400。

通信部110可包括:近距离通信模块113、位置信息模块114、光通信模块115以及v2x通信模块116。

通信部110可包括用于与其他设备执行通信的一个以上的无线射频(radiofrequency,rf)电路或元件。

近距离通信模块113用于进行近距离通信(shortrangecommunication),可利用蓝牙(bluetoothtm)、无线射频(radiofrequencyidentification,rfid)、红外线通信(infrareddataassociation;irda)、超宽带(ultrawideband,uwb)、无线个域网(zigbee)、近场通信(nearfieldcommunication,nfc)、无线高保真(wireless-fidelity,wi-fi)、无线高保真直连(wi-fidirect)、无线通用串行总线(wirelessuniversalserialbus,wirelessusb)技术中的至少一种来支持近距离通信。

这样的近距离通信模块113可利用形成近距离无线通信网(wirelessareanetworks)来执行车辆100与至少一个外部设备之间的近距离通信。例如,近距离通信模块113可以无线方式与移动终端进行数据交换。近距离通信模块113可从移动终端接收天气信息、道路的交通状况信息(例如,传输协议专家组(transportprotocolexpertgroup,tpeg))。在用户乘坐车辆100的情况下,用户的移动终端和车辆100可自动地或通过用户执行应用程序来执行彼此配对。

位置信息模块114是用于获取车辆100的位置的模块,作为其代表性的例有全球定位系统(globalpositioningsystem,gps)模块。例如,当在车辆中使用gps模块时,能够利用gps卫星传送的信号获取车辆的位置。

另外,根据实施例,位置信息模块114可以是包括于检测部125的结构元件,而不是包括于通信部110的结构元件。

光通信模块115可包括光发送部及光接收部。

光接收部可将光(light)信号转换为电信号以接收信息。光接收部可包括用于接收光的光电二极管(pd,photodiode)。光电二极管可将光转换为电信号。例如,光接收部可通过从前方车辆中包括的光源发出的光接收前方车辆的信息。

光发送部可包括至少一个用于将电信号转换为光信号的发光元件。其中,发光元件优选为发光二极管(lightemittingdiode,led)。光发送部将电信号转换为光信号并向外部发送。例如,光发送部可通过与规定频率对应的发光元件的闪烁来向外部发送光信号。根据实施例,光发送部可包括多个发光元件阵列。根据实施例,光发送部可与设置于车辆100的车灯一体化。例如,光发送部可以是前照灯、车尾灯、刹车灯、方向指示灯及示廓灯中的至少一种。例如,光通信模块115可通过光通信与其他车辆进行数据交换。

v2x通信模块116是用于与服务器或其他车辆执行无线通信的模块。v2x通信模块116包括可实现车辆之间通信v2v或车辆和基础设施(infra)之间通信v2i协议的模块。车辆100可通过v2x通信模块116与外部服务器以及其他车辆执行无线通信。

输入部120可包括:驾驶操作装置121、麦克风123及用户输入部124。

驾驶操作装置121接收用于驾驶车辆100的用户输入。驾驶操作装置121可包括:转向输入装置、档位输入装置、加速输入装置、制动输入装置。

转向输入装置从用户接收车辆100的行进方向输入。转向输入装置优选地以轮盘(wheel)形态形成,从而通过旋转可进行转向输入。根据实施例,转向输入装置可形成为触摸屏、触摸板或按键。

档位输入装置从用户接收车辆100的驻车p、前进d、空档n、倒车r的输入。档位输入装置优选地以控制杆(lever)形态形成。根据实施例,档位输入装置可形成为触摸屏、触摸板或按键。

加速输入装置从用户接收用于车辆100的加速的输入。制动输入装置从用户接收用于车辆100的减速的输入。加速输入装置及制动输入装置优选地以踏板形态形成。根据实施例,加速输入装置或制动输入装置可形成为触摸屏、触摸板或按键。

麦克风123可将外部的音响信号处理为电性数据。被处理的数据可根据车辆100上执行中的功能以多种方式加以利用。麦克风123可将用户的语音指令转换为电性数据。被转换的电性数据可传送给控制部170。

另外,根据实施例,照相机或麦克风123可以是包括于检测部125的结构元件,而不是包括于输入部120的结构元件。

用户输入部124用于从用户输入信息。当通过用户输入部124输入信息时,控制部170可与输入的信息对应地控制车辆100的动作。用户输入部124可包括触摸式输入构件或机械式输入构件。根据实施例,用户输入部124可配置在方向盘的一区域。在此情况下,驾驶者在把持方向盘的状态下,可利用手指操作用户输入部124。

检测部125检测车辆100的各种状况或车辆的外部状况。为此,检测部125可包括碰撞传感器、车轮传感器(wheelsensor)、速度传感器、斜率传感器、重量检测传感器、航向传感器(headingsensor)、横摆传感器(yawsensor)、陀螺仪传感器(gyrosensor)、定位模块(positionmodule)、车辆前进/倒车传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、照度传感器、加速踏板位置传感器、制动踏板位置传感器等。

检测部125能够获取与车辆碰撞信息、车辆方向信息、车辆位置信息(gps信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度、车辆外部照度、施加于加速踏板的压力、施加于制动踏板的压力等相关的检测信号。

另外,检测部125可还包括加速踏板传感器、压力传感器、引擎转速传感器(enginespeedsensor)、空气流量传感器(afs)、吸气温度传感器(ats)、水温传感器(wts)、节气门位置传感器(tps)、tdc传感器、曲轴转角传感器(cas)等。

另外,位置信息模块114可被分类为检测部125的下位结构元件。

检测部125可包括能够检测车辆周边的对象的对象检测部。其中,对象检测部可包括:照相机模块、雷达(radar)、激光雷达(lidar)、超声波传感器。在此情况下,检测部125可通过照相机模块、雷达(radar)、激光雷达(lidar)或超声波传感器检测位于车辆前方的前方对象或位于车辆后方的后方对象。

另外,根据实施例,对象检测部可被分类为车辆驾驶辅助装置400的结构元件。

存储器130与控制部170进行电性连接。存储器130可存储与单元相关的基本数据、用于单元的动作控制的控制数据、输入输出的数据。存储器130在硬件上可以是rom、ram、eprom、闪存盘、硬盘等多种存储装置。存储器730可存储用于控制部170的处理或控制的程序等、用于车辆100整体的动作的多种数据。

输出部140用于输出控制部170中处理的信息,可包括:显示装置141、音响输出部142及触觉输出部143。

显示装置141可显示多种图形对象。例如,显示装置141可显示车辆相关信息。其中,车辆相关信息可包含:用于对车辆的直接控制的车辆控制信息、或者用于向车辆驾驶者提供驾驶向导的车辆驾驶辅助信息。并且,车辆相关信息可包含:用于提示当前车辆的状态的车辆状态信息或与车辆的运行相关的车辆运行信息。

显示装置141可包括液晶显示器(liquidcrystaldisplay,lcd)、薄膜晶体管液晶显示器(thinfilmtransistor-liquidcrystaldisplay,tftlcd)、有机发光二极管(organiclight-emittingdiode、oled)、柔性显示器(flexibledisplay)、3d显示器(3ddisplay)、电子墨水显示器(e-inkdisplay)中的至少一种。

显示装置141可与触摸传感器构成相互层次结构或一体地形成,从而能够实现触摸屏。这样的触摸屏用作为提供车辆100与用户之间的输入接口的用户输入部124的同时,可还提供车辆100和用户的输出接口。在此情况下,显示装置141可包括用于检测针对显示装置141的触摸的触摸传感器,以能够利用触摸方式输入控制指令。当通过这样的结构实现针对显示装置141的触摸时,触摸传感器检测出所述触摸操作,控制部170据此产生与所述触摸对应的控制指令。通过触摸方式输入的内容可以是文字或数字、或是各种模式下的指示或可指定的菜单项目等。

另外,显示部141可包括仪表盘(cluster),以使驾驶者在进行驾驶的同时能够确认车辆状态信息或车辆运行信息。仪表盘可位于前围板(dashboard)上方。在此情况下,驾驶者可在视线保持于车辆前方的状态下,确认仪表盘上显示的信息。

另外,根据实施例,显示部141可由平视显示器(headupdisplay,hud)实现。在显示部141由hud实现的情况下,可通过设置于前风挡10的透明显示器输出信息。或者,显示部141可设置有投射模块,以通过投射于前风挡10的图像来输出信息。

另外,根据实施例,显示装置141可包括透明显示器。在此情况下,透明显示器可贴合于前风挡10。

透明显示器可以具有规定的透明度的方式显示规定的画面。透明显示器为了具有透明度,可包括透明tfel(thinfilmelecroluminescent)、透明oled(organiclight-emittingdiode)、透明lcd(liquidcrystaldisplay)、透射型透明显示器、透明led(lightemittingdiode)显示器中的至少一种。透明显示器的透明度可进行调节。

根据实施例,显示装置141可作用为导航装置。

音响输出部142将来自控制部170的电信号转换为音频信号进行输出。为此,音响输出部142可设置有扬声器等。音响输出部142可还输出与用户输入部124动作对应的声音。

触觉输出部143用于产生触觉性的输出。例如,触觉输出部143可通过震动方向盘、安全带、座垫的动作,能够使用户感知到输出。

车辆驱动部150可控制车辆各种装置的动作。车辆驱动部150可包括:动力源驱动部151、转向驱动部152、制动驱动部153、车灯驱动部154、空调驱动部155、车窗驱动部156、气囊驱动部157、天窗驱动部158以及悬架驱动部159。

动力源驱动部151可执行针对车辆100内的动力源的电子式控制。

例如,在以基于化石燃料的引擎(未图示)作为动力源的情况下,动力源驱动部151可执行针对引擎的电子式控制。由此,能够控制引擎的输出扭矩等。在动力源驱动部151为引擎的情况下,根据控制部170的控制,通过限制引擎输出扭矩能够限制车辆的速度。

作为另一例,在以基于电的马达(未图示)作为动力源的情况下,动力源驱动部151可执行针对马达的控制。由此,能够控制马达的转速、扭矩等。

转向驱动部152可执行针对车辆100内的转向装置(steeringapparatus)的电子式控制。由此,能够变更车辆的行进方向。

制动驱动部153可执行针对车辆100内的制动装置(brakeapparatus)(未图示)的电子式控制。例如,通过控制车轮上配置的制动器的动作,能够减小车辆100的速度。作为另一例,通过改变左轮和右轮上各配置的制动器的动作,可将车辆的行进方向调整为左侧或右侧。

车灯驱动部154可控制车辆内、外部配置的车灯的开启/关闭。并且,可控制车灯的亮度、方向等。例如,可执行针对方向灯、刹车灯等的控制。

空调驱动部155可执行针对车辆100内的空调装置(airconditioner)(未图示)的电子式控制。例如,在车辆内部的温度高的情况下,通过使空调装置进行动作,能够控制向车辆内部供给冷气。

车窗驱动部156可执行针对车辆100内的车窗装置(windowapparatus)的电子式控制。例如,能够控制车辆的侧面的左、右车窗的开放或封闭。

气囊驱动部157可执行针对车辆100内的气囊装置(airbagapparatus)的电子式控制。例如,当发生危险时,能够控制气囊被弹出。

天窗驱动部158可执行针对车辆100内的天窗装置(sunroofapparatus)(未图示)的电子式控制。例如,能够控制天窗的开放或封闭。

悬架驱动部159可执行针对车辆100内的悬架装置(suspensionapparatus)(未图示)的电子式控制。例如,在道路面曲折的情况下,通过控制悬架装置能够控制减小车辆100的震动。

另外,根据实施例,车辆驱动部150可包括底盘驱动部。其中,底盘驱动部可以是包括转向驱动部152、制动驱动部153以及悬架驱动部159的概念。

控制部170可控制车辆100内的各单元的整体上的动作。控制部170可命名为电子控制单元(electroniccontrolunit,ecu)。

控制部170在硬件上可利用专用集成电路(applicationspecificintegratedcircuits,asics)、数字信号处理器(digitalsignalprocessors,dsps)、数字信号处理设备(digitalsignalprocessingdevices,dspds)、可编程逻辑设备(programmablelogicdevices,plds)、现场可编程门阵列(fieldprogrammablegatearrays,fpgas)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers),微处理器(microprocessors)、用于执行其他功能的电性单元中的至少一种来实现。

接口部180可执行与和车辆100相连接的多种外部装置的通道作用。例如,接口部180可设置有可与移动终端相连接的端口,通过所述端口能够与移动终端进行连接。在此情况下,接口部180可与移动终端进行数据交换。

另外,接口部180可执行向连接的移动终端供给电能的通道作用。在移动终端与接口部180进行电性连接的情况下,根据控制部170的控制,接口部180将电源部190供给的电能提供给移动终端。

电源部190可基于控制部170的控制而供给各结构元件的动作所需的电源。特别是,电源部190可接收从车辆内部的电池(未图示)等供给的电源。

车辆驾驶辅助装置400可辅助基于驾驶者的车辆的行驶。车辆驾驶辅助装置400可包括车辆用照相机200。

车辆用照相机200可包括图3至图5的单照相机200a以及图6至图8的立体照相机200b。

车辆用照相机200可包括可变镜头300。以下,以车辆驾驶辅助装置400、车辆用照相机200、可变镜头300为中心进行说明。

车辆用照相机200可命名为车辆用照相机装置。

图3是本发明的实施例的车辆用照相机的立体图。图4是本发明的实施例的车辆用照相机的分解立体图。图5是本发明的实施例的将图3的a-b剖开的车辆用照相机的剖开侧视图。

参照图3至图5说明的车辆用照相机200为单照相机200a。

车辆用照相机200a可包括:镜头211、图像传感器214、可变镜头300以及处理器470。

根据实施例,车辆用照相机200a可单独地还包括处理板220、遮光板230、散热构件240、壳体250,或将其进行组合并包括于其中。

另外,壳体250可包括:第一壳体251、第二壳体252、第三壳体253。

镜头211在容纳于镜头壳体217的状态下,可被结合为通过螺母212安置于第一壳体251的一部分上形成的孔219。

图像传感器214可包括能够将光信号转换为电信号的至少一个光电转换元件。例如,图像传感器214可以是光电耦合元件(charge-coupleddevice,ccd)或互补金属氧化物半导体(complimentarymetal-oxidesemiconductor,cmos)。

图像传感器214可位于车辆的外部或车辆的内部的适当的位置,从而获取车辆外部影像或车辆内部影像。

例如,图像传感器214可在车辆的室内与前风挡10靠近地配置,从而获取车辆前方的影像。或者,图像传感器214可配置于前保险杆或散热器格栅周边。

例如,图像传感器214可在车辆的室内与后风挡靠近地配置,从而获取车辆后方的影像。或者,图像传感器214可配置于后保险杆、后备箱或后挡板(tailgate)周边。

例如,图像传感器214可在车辆的室内与侧窗中的至少一个靠近地配置,从而获取车辆侧方的影像。或者,图像传感器214可配置于侧镜、挡泥板或车门周边。

图像传感器214可配置于镜头211的后端,从而基于通过镜头211进入的光来获取图像。例如,图像传感器214可在与镜头211分开规定距离大小的状态下,以地面为基准垂直地配置。

可变镜头300可改变图像传感器214中进入的光的路径。可变镜头300通过改变图像传感器214中进入的光的路径,能够使焦距进行变化。

可变镜头300可包含液晶(liquidcrystal)。可变镜头300可根据液滴的排列状态而改变图像传感器214中进入的光的路径。例如,可变镜头300通过改变经由可变镜头300进入到图像传感器214的光的路径,能够使焦距进行变化。

参照图8以下的附图对可变镜头300进行详细的说明。

包括镜头211、可变镜头300以及图像传感器214的模块可命名为图像获取模块。图像获取模块可配置于车辆100的天花板。例如,图像获取模块可以在其间隔开规定的连接构件的方式贴合于车辆100内部天花板。通过将图像获取模块配置于车辆100内部天花板,能够在车辆100的最高位置获取车辆100的外部影像。即,具有视野变宽的优点。

处理器470可与图像传感器214以及可变镜头300进行电连接。处理器470可对通过图像传感器214获取的影像进行计算机处理。处理器470可控制图像传感器214以及可变镜头300。

处理器470可利用专用集成电路(applicationspecificintegratedcircuits,asics)、数字信号处理器(digitalsignalprocessors,dsps)、数字信号处理设备(digitalsignalprocessingdevices,dspds)、可编程逻辑设备(programmablelogicdevices,plds)、现场可编程门阵列(fieldprogrammablegatearrays,fpgas)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers),微处理器(microprocessors)、用于执行其他功能的电性单元中的至少一种来实现。

处理器470可设置于处理板220上。

处理板220可设置有处理器470以及存储器440。

处理板220可朝总长度方向倾斜地配置。例如,处理板220可以其前方面或后方面与前风挡10相面对地配置。例如,处理板220可与前风挡10平行地配置。

设置于车辆100的前风挡10一般从车辆100的发动机罩(bonnet)到车顶与地面,以具有规定的角度的方式倾斜地形成。在此情况下,通过处理板220朝总长度方向倾斜地配置,与处理板220垂直或水平地配置的情况相比,能够更小地形成车辆用照相机200a。通过较小地形成车辆用照相机200a,按所减少的体积大小,可在车辆100内进一步确保空间。

在处理板220可设置有多个元件或电子部件。此时,处理板220中包括的多个元件或部件会产生热量。

处理板220可与图像传感器214相分开地配置。通过处理板220与图像传感器214相分开地配置,可防止处理板220中产生的热量对图像传感器214的性能构成影响。

处理板220可配置于最佳的位置,从而防止处理板220中产生的热量对图像传感器214构成影响。具体而言,处理板220可配置于图像传感器214的下端。或者,处理板220可配置于图像传感器214的前端。

在处理板220可设置有一个以上的存储器440。存储器440可存储通过图像传感器214获取的影像、各种应用程序数据、用于处理器470控制的数据或处理器470中处理的数据。存储器440与处理器470相同的作为主要发热元件中的一个。在处理器470配置于处理板220中心的状态下,存储器440可配置于处理器470周边。例如,一个以上的存储器440可被配置为,以处理器470为中心围绕处理器470的形状。在此情况下,作为发热元件的处理器470以及存储器440可配置于与图像传感器214最远的位置。

处理器470可与控制部170进行电连接。处理器470可受到控制部170的控制。

遮光板230可配置于镜头211前端。遮光板230能够阻断对影像获取不必要的光进入镜头211。例如,遮光板230可阻断风挡10或车辆的前围板等中反射的光。并且,遮光板230可阻断不必要的光源中产生的光。

遮光板230可具有光圈结构。例如,遮光板230可具有下光圈结构。

另外,遮光板230的形状可根据车种而改变。例如,根据车种的不同,风挡的曲率、风挡与地面形成的角度可能会不同,因此,遮光板230可具有与安装有车辆用照相机200a的车种对应的形状。为此,遮光板230可具有装卸式结构。

散热构件240可配置于图像传感器214后端。散热构件240可与设置有图像传感器214或图像传感器214的图像传感器板相接触。散热构件240可处理图像传感器214的热量。

如上所述,图像传感器214对热敏感。散热构件240可配置于图像传感器214与第三壳体253之间。散热构件240可以与图像传感器214以及第三壳体253相接触的方式配置。在此情况下,散热构件240可通过第三壳体253释放热量。

例如,散热构件240可以是导热片(thermalpad)以及导热膏(thermalgrease)中的一个。

壳体250可包括:镜头壳体217、第一壳体251、第二壳体252以及第三壳体253。

镜头壳体217可容纳至少一个镜头211,从而保护镜头211免受外部的冲击。

第一壳体251可以包覆图像传感器214的方式形成。第一壳体251可包括孔219。镜头211在以容纳于镜头壳体的状态安置于孔219的状态下,可与图像传感器214相连接。

第一壳体251可被形成为越靠近图像传感器214其变得越厚。例如,第一壳体251可利用压铸(diecasting)方式形成。在此情况下,为了防止热量引起的图像传感器214的性能降低,第一壳体251可被形成为,靠近图像传感器214的部分比其他部分更厚。

第一壳体251可具有比第三壳体253更厚的厚度。当壳体的厚度较厚时,将缓慢地进行导热。因此,在第一壳体251的厚度比第三壳体253的厚度更厚的情况下,相比于与前风挡10邻近地配置而不易释放热量的第一壳体251,在车辆用照相机200a内部产生的热量更是通过第三壳体253向外部释放。

另外,根据实施例,镜头壳体217以及第一壳体251可形成为一体式。

第二壳体252可位于处理板220前端。第二壳体252可利用规定的结合件与第一壳体251以及第三壳体253相结合。

第二壳体252可设置有能够贴合遮光板230的贴合件。遮光板230可利用所述贴合件贴合于第二壳体252。

第一及第二壳体251、252可由合成树脂材料形成。

第三壳体253可利用规定的结合件与第一壳体251以及第二壳体252相结合。根据实施例,第一至第三壳体251、252、253可形成为一体式。

第三壳体253可以包覆处理板220的方式形成。第三壳体253可位于处理板220的后端或下端。第三壳体253可由导热性材料形成。例如,第三壳体253可由诸如铝的金属形成。通过第三壳体253由导热性材料形成,能够实现有效的散热。

在第一及第二壳体251、252由合成树脂材料形成,第三壳体253由导热性材料形成的情况下,与第一及第二壳体251、252相比,车辆用照相机内部的热量更可通过第三壳体253释放。即,在车辆用照相机200a安装于风挡的情况下,由于第一及第二壳体251、252与风挡靠近地配置,通过第一及第二壳体251、252无法释放热量。在此情况下,可通过第三壳体253有效地释放热量。

另外,在第三壳体253由铝构成的情况下,有利于保护位于内部的部件(例如,图像传感器214以及处理器470)免受电磁兼容性(electro-magneticcompatibility,emc)以及静电释放(electrostaticdischarge,esc)的影响。

第三壳体253可与处理板220相接触。在此情况下,第三壳体253通过与处理板220相接触的部分传递热量,从而能够有效地向外部释放热量。

第三壳体253可还包括散热部291。例如,散热部291可包含散热板(heatsink)、散热鳍、导热片以及导热膏中的至少一种。

散热部291可向外部释放车辆用照相机200a内部中产生的热量。例如,散热部291可位于处理板220与第三壳体253之间。散热部291可与处理板220以及第三壳体253相接触,从而向外部释放处理板220中产生的热量。

第三壳体253可还包括空气排出孔。空气排出孔可以是用于向车辆用照相机200a外部排出车辆用照相机200a内部的高温的空气的孔。在车辆用照相机200a内部可包括与空气排出孔相连接的空气流动部。空气流动部可向空气排出孔引导车辆用照相机200a内部的高温的空气。

车辆用照相机200a可还包括防湿部。防湿部可由补丁(patch)形态形成,并贴合于空气排出部。防湿部可以是由gore-tex材料形成的防湿构件。防湿部可向外部流出车辆用照相机200a内部的湿气。并且,防湿部可防止车辆用照相机200a外部的湿气进入内部。

图6是本发明的实施例的车辆用照相机的立体图。图7是本发明的实施例的车辆用照相机的分解立体图。图8是本发明的实施例的将图6的c-d剖开的车辆用照相机的剖开侧视图。

参照图6至图7说明的车辆用照相机200为立体照相机200b。

立体照相机200b可适用参照图3至图5描述的关于单照相机200a的所有的说明。即,立体照相机200b中包括的第一及第二照相机可以是参照图3至图5说明的照相机。

立体照相机200b可包括:第一镜头211a、第二镜头211b、第一图像传感器214a、第二图像传感器214b、左侧可变镜头300l、右侧可变镜头300r以及处理器470a。

根据实施例,车辆用照相机200b可单独地包括处理板220a、第一遮光板230a、第二遮光板230b、壳体250a,或将其进行组合并包括于其中。

另外,壳体可包括:第一透镜壳体217a、第二透镜壳体217b、第一壳体251a、第二壳体252a、第三壳体253a。

第一镜头211a以及第二镜头211b可适用图3至图5的关于镜头211的说明。

第一图像传感器214a以及第二图像传感器214b可适用图3至图5的关于图像传感器214的说明。

左侧可变镜头300l以及右侧可变镜头300r可适用图3至图5的关于可变镜头300的说明。

特别是,左侧可变镜头300l可包括第一液晶层,所述第一液晶层中包含的根据被施加的电压而排列的液晶分子的排列状态,能够改变第一图像传感器214a中进入的光的路径。

特别是,右侧可变镜头300r可包括第二液晶层,所述第二液晶层中包含的根据被施加的电压而排列的液晶分子的排列状态,能够改变第二图像传感器214b中进入的光的路径。

另外,包括第一镜头211a、第一图像传感器214a以及左侧可变镜头300l的模块可称为第一图像获取模块。并且,包括第二镜头211b、第二图像传感器214b以及右侧可变镜头300r的模块可称为第二图像获取模块。

处理器470a可与第一图像传感器214a、第二图像传感器214b、左侧可变镜头300l以及右侧可变镜头300r进行电连接。处理器470可对通过第一图像传感器214a以及第二图像传感器214b获取的影像进行计算机处理。此时,处理器470可基于通过第一图像传感器214a以及第二图像传感器214b获取的影像来执行视差图(disparitymap)、视差计算。

处理器470a可利用专用集成电路(applicationspecificintegratedcircuits,asics)、数字信号处理器(digitalsignalprocessors,dsps)、数字信号处理设备(digitalsignalprocessingdevices,dspds)、可编程逻辑设备(programmablelogicdevices,plds)、现场可编程门阵列(fieldprogrammablegatearrays,fpgas)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers),微处理器(microprocessors)、用于执行其他功能的电性单元中的至少一种来实现。

处理器470a可设置于处理板220a上。

处理板220a可适用图3至图5的关于处理板220的说明。

第一遮光板230a以及第二遮光板230b可适用图3至图5的关于遮光板230的说明。

第一透镜壳体217a以及第二透镜壳体217b可适用图3至图5的关于镜头壳体217的说明。

第一壳体251a可适用图3至图5的关于第一壳体251的说明。

第二壳体252a可适用图3至图5的关于第二壳体252的说明。

第三壳体253a可适用图3至图5的关于第三壳体253的说明。

图9是将图5的cr1部分或图8的cr2部分剖开并放大的剖开侧视图。

参照图9,车辆用照相机200可包括:图像传感器214以及可变镜头300。

如上所述,图像传感器214可包含ccd或cmos。

图像传感器214可配置于可变镜头300后端。

可变镜头300可配置于图像传感器214前端。

可变镜头300可包括液晶层(liquidcristallayer)。可变镜头300在处理器470的控制作用下,所述液晶层中包含的根据被施加的电压而排列的液晶分子的排列状态,能够改变图像传感器214中进入的光的路径。

例如,可变镜头300可使图像传感器214中进入的光进行折射。在此情况下,可变镜头300可改变焦距。在处理器470的控制作用下,可变镜头300能够执行多种镜头的功能。

例如,可变镜头300可包含wetting镜头、陡度折射率(gradedrefractiveindex,grin)镜头或fresnel镜头。

wetting镜头可基于镜头中进入的电能的电平差,利用极性物质的可变形成来改变进入的光的路径。

grin镜头或fresnel镜头包括液晶层,所述液晶层中包含的根据被施加的电压而排列的液晶分子的排列状态,能够改变进入的光的路径。

可变镜头300可以可滑动移动的方式形成。车辆用照相机200可包括驱动部以及驱动力传递部。

例如,驱动部可包括马达。驱动力传递部可包括至少一个齿轮。

在处理器470的控制作用下,驱动部可产生驱动力。驱动部中产生的驱动力通过驱动力传递部将旋转运动转换为直线运动,并可传递给可变镜头300。可变镜头可接收驱动力并沿着左右方向(例如,总宽度方向)进行滑动移动。

可变镜头300可以可旋转移动的方式形成。车辆用照相机200可包括驱动部以及驱动力传递部。

例如,驱动部可包括马达。驱动力传递部可包括至少一个齿轮(gear)。

在处理器470的控制作用下,驱动部可产生驱动力。驱动部中产生的驱动力可通过驱动力传递部传递给可变镜头300。可变镜头接收驱动力并可朝向前方进行旋转移动。

如上所述,通过可变镜头300以可滑动移动或可旋转移动的方式形成,在需要时可使用可变镜头300,在不需要时可滑动移动或旋转移动可变镜头300而不使用。

根据实施例,车辆用照相机200可还包括一个以上的镜头211。图9中例示出镜头211包括第一镜头211a、第二镜头211b、第三镜头311c以及第四镜头211d等四个镜头(lens),但是根据实施例,镜头的数目可以进行变化。

镜头211可配置于可变镜头300与图像传感器214之间。镜头211可使进入的光折射。通过镜头211折射的光可进入到图像传感器。

根据实施例,车辆用照相机200可还包括壳体250。壳体250可包括:镜头壳体217、第一壳体251、第二壳体252、第三壳体253。

壳体250形成车辆用照相机200的外观,并可容纳包括图像传感器214以及可变镜头300在内的车辆用照相机200的各个结构。

壳体250可包括支架1010。图9中例示出支架1010形成于镜头壳体217,但是根据实施例,支架1010也可形成于第一壳体251。

支架1010可支撑可变镜头300。支架1010可包括:用于支撑可变镜头300的上侧的上侧支架1010u;以及,用于支撑可变镜头300的下侧的下侧支架1010l。

根据实施例,车辆用照相机200可还包括热线。热线可根据处理器470的控制而向可变镜头300供热。

液晶对周边温度敏感。包含液晶的可变镜头对周边温度,特别是对低温脆弱。为了应对冬季行驶或在寒冷地区的行驶,车辆用照相机200中包括的可变镜头300需要考虑液晶的热特性。如本实施例所述,通过在车辆用照相机200包括热线,在低温行驶状况下,也能够使可变镜头正常地进行动作。

另外,热线可命名为供热部。

热线可形成于支架1010内部。热线可形成于上侧支架1010u以及下侧支架1010l中的至少一个的内部。

图10a至图10b对支架1010以及支架内部形成的热线进行说明。

图10a至图11是在说明支架以及支架内部形成的热线的多种实施例时作为参照的图。图10a至图10b可以是将图9的hs放大的侧视图。

参照图10a至图11对上侧支架1010u进行例示说明,但是,下侧支架1010l与上侧支架1010u仅在支撑可变镜头300的部分上存在区别,在功能及结构上与上侧支架1010u相同,因此可适用关于上侧支架1010u的说明。

参照图10a至图11,支架1010可包括槽1020(slot)。

槽1020可容纳可变镜头300的一部分。例如,上侧支架1010u中包括的槽1020可容纳可变镜头300的上侧一部分。下侧支架1010l中包括的槽1020可容纳可变镜头300的下侧一部分。

热线1051、1052可形成于槽1020内部。

热线1051、1052可与可变镜头300相分开地形成。在此情况下,能够防止因热线1051、1052与可变镜头300相接触而可能发生的可变镜头300被损坏的现象。热线1051、1052中产生的热量可利用辐射方式传递给可变镜头300。

根据实施例,如图10b所示,热线1053可与可变镜头300的边缘的至少一部分相接触。在此情况下,热线1053中产生的热量利用导热方式传递给可变镜头300,从而能够实现有效且直接的导热。

支架1010可包括第一固定部1031以及第二固定部1032。

第一固定部1031可支撑可变镜头300的第一面301。第一面301可以是朝向车辆的前方的面。

第一固定部1031可包括第一间隔部1031a以及第一接触部1031b。

第一间隔部1031a可从底座1025向下方或上方延伸。第一间隔部1031a可与可变镜头300相分开,而不与可变镜头300相接触。在第一间隔部1031a与可变镜头300之间可形成腔体(cavity)。

第一接触部1031b可从第一间隔部1031a向车辆100的后方延伸。第一接触部1031b可与可变镜头300的第一面301的一部分相接触。第一接触部1031b可与第二接触部1032b一同支撑可变镜头300并固定可变镜头300。

第二固定部1032可支撑可变镜头300的第二面302。第二面302可以是朝向车辆的后方的面。

第二固定部1032可包括第二间隔部1032a以及第二接触部1032b。

第二间隔部1032a可从底座1025向下方或上方延伸。第二间隔部1032a可与可变镜头300相分开,而不与可变镜头300相接触。在第二间隔部1032a与可变镜头300之间可形成有腔体。

第二接触部1032b可从第二间隔部1032a向车辆100的前方延伸。第二接触部1032b可以可变镜头300为中心与第一接触部1031b对称地形成。第二接触部1032b可与第一接触部1031b一同支撑可变镜头300并固定可变镜头300。

槽1020可形成于第一固定部1031与第二固定部1032之间。

热线可包括第一热线1051以及第二热线1052。

第一热线1051可形成于第一固定部1031的一部分。

第一热线1051可配置于第一固定部1031与可变镜头300之间。具体而言,第一热线1051可配置于第一固定部1031与可变镜头300的第一面301之间。

第一热线1051可与可变镜头300相分开地配置。具体而言,第一热线1051可与可变镜头300的第一面301相分开地配置。

第二热线1052可配置于第二固定部1032与可变镜头300之间。具体而言,第二热线1052可配置于第二固定部1032与可变镜头300的第二面302之间。

第二热线1052可与可变镜头300相分开地配置。具体而言,第二热线1052可与可变镜头300的第二面302相分开地配置。

根据实施例,如图11所示,第一固定部1031可包括第一凹凸部1061。例如,第一接触部1031b可包括第一凹凸部1061。

第一凹凸部1061可与第一面301的至少一部分相接触。具体而言,第一凹凸部1061可包括至少一个凸出部以及至少一个凹陷部。其中,至少一个的凸出部可向可变镜头300凸出并与可变镜头300的第一面301相接触。至少一个的凹陷部可向可变镜头300凹陷并与可变镜头300的第一面301相分开。

如上所述,通过包括凸出部以及凹陷部,在支撑及固定可变镜头300时,能够防止可变镜头300被损坏。即,在车辆100行驶的情况下,根据道路状态可能会对车辆用照相机200产生冲击,此时,能够减小可变镜头300中施加的冲击。

第一热线1051可形成于第一凹凸部1061上。具体而言,第一热线1051可形成于第一凹凸部1061中包括的凸出部或凹陷部上。

在第一热线1051形成于凸出部上的情况下,第一热线1051与可变镜头300的第一面301相接触,并可利用导热方式向可变镜头300进行导热。在此情况下,能够实现有效且直接的导热。

在第一热线1051形成于凹陷部上的情况下,第一热线1051与可变镜头300的第一面301相分开,并可利用辐射方式向可变镜头300进行导热。在此情况下,可能够防止变镜头300被损坏。

第二固定部1032可包括第二凹凸部1062。例如,第二接触部1032b可包括第二凹凸部1062。

第二凹凸部1062可与第二面302的至少一部分相接触。具体而言,第二凹凸部1062可包括至少一个凸出部以及至少一个凹陷部。其中,至少一个的凸出部可向可变镜头300凸出并与可变镜头300的第二面302相接触。至少一个的凹陷部可向可变镜头300凹陷并与可变镜头300的第二面302相接触。

如上所述,通过包括凸出部以及凹陷部,在支撑及固定可变镜头300时,能够防止可变镜头300被损坏。即,在车辆100行驶的情况下,根据道路状态可能会对车辆用照相机200产生冲击,此时,能够减小可变镜头300中施加的冲击。

第二热线1052可形成于第二凹凸部1062上。具体而言,第二热线1052可形成于第二凹凸部1062中包括的凸出部或凹陷部上。

在第二热线1052形成于凸出部上的情况下,第二热线1052与可变镜头300的第二面302相接触,并可利用导热方式向可变镜头300进行导热。在此情况下,能够实现有效且直接的导热。

在第二热线1052形成于凹陷部上的情况下,第二热线1052与可变镜头300的第二面302相分开,并可利用辐射方式向可变镜头300进行导热。在此情况下,能够防止可变镜头300被损坏。

图12是在说明本发明的实施例的可变透镜时作为参照的图。

参照图12,可变镜头300可包括:第一基板1210、第二基板1220、液晶层1230。

第一基板1210可包括:第一底座基板1211、多个第一电极1212、绝缘膜1213。

多个第一电极1212可形成于第一底座基板1211上。多个第一电极1212可相互具有规定间隔被分开。在处理器470的控制作用下,在多个第一电极1212可施加电压。例如,在处理器470的控制作用下,在多个第一电极1212的各个可施加相互不同的电平的电压。

另外,多个第一电极1212可以是透明电极。例如,多个第一电极1212可以是铟锡氧化物(indiumtinoxide,ito)透明电极。通过第一电极1212由透明电极形成,电极将不会遮挡视野,从而能够确保车辆用照相机200的视野。

绝缘膜1213可以覆盖多个第一电极1212的方式形成于第一底座基板1211上。

第二基板1220可以与第一基板1210相面对地配置。第二基板1220可包含第二底座基板1221以及第二电极1222。

第二电极1222可形成于第二底座基板1221上。第二电极1222可与多个第一电极1212相面对地配置。在处理器470的控制作用下,在第二电极1222可施加电压。在处理器470的控制作用下,在第二电极1222可施加一定电平的电压。

另外,第二电极1222可以是透明电极。例如,第二电极1222可以是ito(indiumtinoxide)透明电极。通过第二电极1222由透明电极形成,电极将不会遮挡视野,从而能够确保车辆用照相机200的视野。

液晶层1230可配置于第一基板1210与第二基板1220之间。液晶层可包含多个液晶分子1231。多个液晶分子1231可与所提供的电压的大小对应地从水平方向朝垂直方向以具有规定的角度的方式进行驱动。在处理器470的控制作用下,多个液晶分子1231将具有规定的角度,从而能够变更可变镜头300的焦点。

可变镜头300可还包括第一透明板以及第二透明板。第一透明板可配置于第一基板1210外侧。第二透明板可配置于第二基板1220外侧。透明板可称为玻璃(glass)。

图13是在说明本发明的实施例的第一基板时作为参照的图。

图13是从上方看去本发明的实施例的第一基板1210的图。

参照图13,第一基板(图11的1210)可包括多个第一电极(1212a至1212i)。多个第一电极(1212a至1212i)可相互以规定的间隔被分开。多个第一电极(1212a至1212i)可沿着上下方向或左右方向配置。其中,上下方向可表示总高度方向或纵方向。左右方向可表示总宽度方向或纵方向。

图13例示出多个第一电极(1212a至1212i)沿着上下方向较长地配置的情形。

如上所述,在多个第一电极(1212a至1212i)沿着上下方向较长地配置的情况下,可使左右方向的视场(fieldofview,fov)变宽。

随着多个第一电极(1212a至1212i)的数目增多,左右方向的fov可逐渐地变得更宽。

可变镜头300可还包括驱动部。驱动部可向多个第一电极(1212a至1212i)或第二电极1222施加电压。驱动部与处理器470进行电连接。驱动部可利用fpcb或电线与处理器470相连接。

根据实施例,驱动部可以有多个。例如,驱动部可包括第一驱动部1320以及第二驱动部。

第一驱动部1320可包括集成电路(ic:integratedciruit)。第一驱动部1320可接收从处理器470提供的信号,并向多个第一电极(1212a至1212i)施加电压。第一驱动部1320可向多个第一电极(1212a至1212i)施加一定电平的电压。或者,第一驱动部1320可向多个第一电极(1212a至1212i)施加相互不同电平的电压。

第二驱动部可包括集成电路。第二驱动部可接收从处理器470提供的信号,并向第二电极1222施加电压。第二驱动部可向第二电极1222施加一定电平的电压。

第一基板1210可包括热线1310。热线1310可配置于第一底座基板1211上。例如,热线1310可沿着第一底座基板1211的边缘配置。通过这样地配置热线1310,使热线1310不会遮挡视野,从而能够确保车辆用照相机200的视野。

热线可向可变镜头300进行供热。具体而言,热线可向液晶层1230进行供热。

另外,第二基板1220可包括热线。热线可配置于第二底座基板1221上。

图14a至图14c是在说明本发明的实施例的在多个第一电极中分别接通相互不同的电压电平的动作时作为参照的图。

参照图14a,处理器470可通过第一驱动部(图13的1310)控制对多个第一电极(1212a至1212i)中施加的各个电压电平1410进行控制。与多个第一电极(1212a至1212i)中施加的电压的电平对应地,液晶层1230中包含的液晶分子1231的排列状态1420可被转换。

如图14b所示,处理器470可控制第一驱动部1320,从而使多个第一电极(1212a至1212i)中施加的电压的电平保持一定(1430)。

在此情况下,液晶层1230中包含的液晶分子1231可被配置为,使从外部进入的光以不发生折射的方式进行透射(1440)。附图中例示出的液晶分子1231的配置状态仅是一种例示,根据液晶的种类而可具有其他配置状态。

在此情况下,可变镜头300的视场(fov:fieldofview)变窄,焦距变长而可作用为望远镜头。在此情况下,可变镜头300可利用于检测从车辆100处于远距离的对象并进行跟踪。

如图14c所示,处理器470可控制第一驱动部1320,从而使多个第一电极(1212a至1212i)中施加的电压的电平相互不同(1450)。具体而言,处理器470可控制第一驱动部1320,从而使多个第一电极(1212a至1212i)中配置于中心的电极1212e、1212f的电压电平比配置于外围的电极1212a、1212j的电压电平更高(1450)。

在此情况下,液晶层1230中包含的液晶分子1231可被配置为,使从外部进入的光的全部或一部分进行折射(1460)。附图中例示出的液晶分子1231的配置状态仅是一种例示,根据液晶的种类而可具有其他配置状态。

在此情况下,可变镜头300的视场变宽且焦距变短,从而能够作用为广角镜头。在此情况下,可变镜头300可利用于检测从车辆100处于近距离的对象并进行跟踪。在此情况下,处理器470可控制第一驱动部1320,从而使以配置于中心的电极1212e、1212f为基准配置于左侧及右侧的多个电极中施加的电压的电平相互对称。

根据实施例,处理器470可通过控制多个第一电极(1212a至1212i)的电压电平来改变视场或焦点距离。

根据实施例,处理器470可控制第一驱动部1320,从而使以配置于中心的电极1212e、1212f为基准配置于左侧及右侧的多个电极中施加的电压的电平相互呈非对称形态。在此情况下,可根据目标点(pointofinterest,poi)来改变可变镜头300的焦点位置。

另外,处理器470可对通过图像传感器获取的影像进行计算机处理。

图15是在说明本发明的实施例的多个第一电极的左右方向布置时作为参照的图。

参照图15,第一基板(图12的1210)可包括多个第一电极(图1212a至1212i)。其中,多个第一电极(1212a至1212i)可沿着左右方向较长地配置。

如上所述,在多个第一电极(1212a至1212i)沿着左右方向较长地配置的情况下,可使上下方向的fov(fieldofview)变宽。

随着多个第一电极(1212a至1212i)的数目增多,可使上下方向的fov逐渐变得更宽。

图16是在说明本发明的实施例的多个第一电极的上下方向以及左右方向布置时作为参照的图。

参照图16,多个第一电极可沿着上下方向以及左右方向较长地配置。

第一基板1210可包括多个第一电极1212以及多个电容器1610。其中,多个第一电极1212可沿着左右方向以及上下方向较长地配置。

在沿着上下方向较长地配置的多个电极以及沿着左右方向较长地配置的多个电极的多个交叉位置可分别配置有多个电容器1610。多个电容器1610可防止在交叉位置可能会发生的电压降,从而在处理器470的控制作用下,可向多个第一电极1212分别施加电压。

在交叉位置与电容器之间可配置有tft晶体管。tft可防止逆向电流。

图17至图18是在说明本发明的实施例的包括多个可变透镜的车辆用照相机时作为参照的图。

图17是将本发明的实施例的图3的a-b或图6的c-d剖开的车辆用照相机的剖开侧视图。

图18是将图17的cr3部分剖开并放大的剖开侧视图。

与参照图1至图17说明的车辆用照相机相比,图17至图18的车辆用照相机的区别在于包括第一可变镜头300a以及第二可变镜头300b。图17至图18的车辆用照相机200除了可变镜头300a、300b包括有多个以外,对于其他结构的说明可适用参照图1至图16说明的内容。

并且,第一可变镜头300a以及第二可变镜头300b可分别适用参照图1至图16说明的关于可变镜头300的说明。

车辆用照相机200可包括:图像传感器214、第一可变镜头300a、第二可变镜头300b以及处理器470。

第一可变镜头300a可包括第一液晶层,所述第一液晶层中包含的根据被施加的电压而排列的液晶分子的排列状态,能够改变图像传感器214中进入的光的路径。第一可变镜头300a可配置于图像传感器214以及第二可变镜头300b前端。第一可变镜头300a可改变从外部进入的光的路径。

第一可变镜头300a可包括:第一基板、第二基板、第一液晶层。

第一可变镜头300a可适用参照图12说明的关于可变镜头300的说明。

特别是,第一可变镜头300a中包括的第一基板可使多个电极相互分开地配置。

根据实施例,第一基板中包括的多个电极可沿着上下方向较长地配置。第一基板中包括的多个电极的数目可多于第三基板中包括的多个电极的数目。在多个电极沿着上下方向较长地配置的情况下,左右方向的fov将变宽。在利用车辆用照相机200获取的图像中,与上下方向的信息相比,左右方向的信息可更加有用地使用。在第三基板中包括的多个电极的数目多于第一基板中包括的多个电极的情况下,与上下方向的信息相比,可更多地获取左右方向的信息。

根据实施例,第一基板中包括的多个电极可沿着左右方向较长地配置。

第二可变镜头300b可包括第二液晶层,所述第二液晶层中包含的根据被施加的电压而排列的液晶分子的排列状态,能够改变述图像传感器214中进入的光的路径。第二可变镜头300b可配置于图像传感器214前端。第二可变镜头300b可改变经由第一可变镜头300a进入的光的路径。

第二可变镜头300b可包括:第三基板、第四基板、第二液晶层。

第二可变镜头300b可适用参照图12说明的关于可变镜头300的说明。

特别是,第二可变镜头300b中包括的第三基板可使多个电极相互分开地配置。

根据实施例,第三基板中包括的多个电极可沿着左右方向较长地配置。

根据实施例,第三基板中包括的多个电极可沿着上下方向较长地配置。第三基板中包括的多个电极的数目可多于第一基板中包括的多个电极的数目。在多个电极沿着上下方向较长地配置的情况下,左右方向的fov将变宽。在从车辆用照相机200获取的图像中,与上下方向的信息相比,左右方向的信息可更有用地使用。在第三基板中包括的多个电极的数目多于第一基板中包括的多个电极的情况下,与上下方向的信息相比,可更多地获取左右方向的信息。

图像传感器214可接收经由第一可变镜头300a以及第二可变镜头300b进入的光。

图19是本发明的实施例的车辆驾驶辅助装置400的框图。

参照图19,车辆驾驶辅助装置400可包括:车辆用照相机200、处理器470、接口部430以及存储器440。

根据实施例,车辆驾驶辅助装置400可单独地还包括通信部410、输入部420、输出部450以及供电部490,或将其进行组合并包括于其中。

根据实施例,与图19中例示的不同地,处理器470、接口部430、存储器440可以是照相机200的下位结构。在此情况下,车辆用照相机装置200可作用为车辆驾驶辅助装置400。

车辆用照相机200可安装于车辆100的一部分,并获取车辆100外部或内部影像。

例如,车辆用照相机200为了获取车辆前方的影像,可在车辆的室内与前风挡10靠近地配置。或者,车辆用照相机200可配置于前保险杆或散热器格栅周边。

例如,车辆用照相机200为了获取车辆后方的影像,可在车辆的室内与后风挡靠近地配置。或者,车辆用照相机200可配置于后保险杆、后备箱或后挡板周边。

例如,车辆用照相机200为了获取车辆侧方的影像,可在车辆的室内与侧窗中的至少一个靠近地配置。或者,车辆用照相机200可配置于侧镜、挡泥板或车门周边。

例如,车辆用照相机200为了获取车辆室内的影像,可在车辆的室内朝向室内配置于前风挡、前围板、驾驶舱模块,后风挡。

车辆用照相机200可包括:图像传感器214、可变镜头300、致动器401。

图像传感器214可与参照图1至图19所述的相同。

可变镜头300可变更图像传感器214中进入的光的路径。可变镜头300可变更图像传感器214中进入的光的路径,从而能够变更焦距。

可变镜头300可包括液晶(liquidcrystal)。可变镜头300可根据液滴的排列状态而变更图像传感器214中进入的光的路径。例如,可变镜头300可变更经由可变镜头300进入到图像传感器214的光的路径,从而能够变更焦距。

可变镜头300可受到处理器470的控制。

可变镜头300可与参照图1至图19所述的相同。

致动器401可提供用于可变镜头300或图像传感器214的移动的驱动力。致动器401可包括马达。

致动器401可提供用于可变镜头300的滑动移动或旋转移动的驱动力。致动器401中产生的驱动力可经由驱动力传递部提供给可变镜头300。

例如,可变镜头300可接收从致动器401提供的驱动力,并沿着左右方向(或总宽度方向)、前后方向(或总长度方向)、上下方向(或总高度)进行滑动移动。

例如,可变镜头300可接收从致动器401提供的驱动力,并进行旋转移动。

另外,根据实施例,致动器401可提供用于使图像传感器214进行滑动移动的驱动力。致动器401中产生的驱动力可经由驱动力传递部提供给图像传感器214。

例如,图像传感器214可接收从致动器401提供的驱动力,并沿着前后方向(或者,总长度方向)进行滑动移动。

根据实施例,车辆用照相机200可以是立体照相机(图6至图8的200b)。

在车辆用照相机200为立体照相机200b的情况下,车辆用照相机200可包括:第一照相机、第二照相机以及处理器470。

第一照相机可获取第一影像。

第一照相机可包括第一图像传感器(图6至图8的214a)以及左侧可变镜头(图6至图8的300l)。

左侧可变镜头300l可包括第一液晶层,所述第一液晶层中包含的根据被施加的电压而排列的液晶分子的排列状态,能够变更第一图像传感器214a中进入的光的路径。左侧可变镜头300l可称为第一可变镜头。

第二照相机可获取第二影像。

第二照相机可包括第二图像传感器(图6至图8的214b)以及右侧可变镜头(图6至图8的300r)。

右侧可变镜头300r可包括第二液晶层,所述第二液晶层中包含的根据被施加的电压而排列的液晶分子的排列状态,能够变更第二图像传感器214b中进入的光的路径。右侧可变镜头300r可称为第二可变镜头。

接口部430可接收各种信号、信息或数据。接口部430可向外部传送处理器470中处理或生成的信号、信息或数据。

为此,接口部430可利用有线通信或无线通信方式与车辆内部的控制部170、车辆用显示装置141、检测部125、车辆驱动部150等执行数据通信。

接口部430可接收行驶信息。其中,行驶信息可包含:速度信息、车辆的转向信息、转向灯信息、预设定的路径信息。

接口部430可从控制部170或检测部125接收传感器信息。

其中,传感器信息可包含车辆方向信息、车辆位置信息(gps信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车灯信息(例如,转向灯信息)、车辆内部温度信息、车辆内部湿度信息、关于是否下雨的信息中的至少一种。

这样的传感器信息可从航向传感器(headingsensor)、横摆传感器(yawsensor)、陀螺仪传感器(gyrosensor)、定位模块(positionmodule)、车辆前进/倒车传感器、车轮传感器(wheelsensor)、车辆速度传感器、车体倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、雨水传感器(rainsensor)等中获取。另外,定位模块可包括用于接收gps信息的gps模块。

接口部430可利用与控制部170、车辆用显示装置141或额外的导航装置的数据通信来接收导航信息。其中,导航信息可包含:所设定的目的地信息、与所述目的地设定对应的路线信息、与车辆行驶相关的地图(map)信息、车辆的当前位置信息。另外,导航信息可包含道路上的车辆的位置信息。

接口部430可向控制部170或车辆驱动部150提供信号。其中,信号可以是控制信号。

例如,接口部430可与控制动力源的动力源驱动部151进行通信。接口部430可将处理器470中生成的信号提供给动力源驱动部151。

例如,接口部430可与用于控制制动装置的制动驱动部153进行通信。接口部430可将处理器470中生成的信号提供给制动驱动部153。

例如,接口部430可与用于控制转向装置的转向驱动部152进行通信。接口部430可将处理器470中生成的信号提供给转向驱动部152。

存储器440可存储用于处理器470的处理或控制的程序等、用于车辆驾驶辅助装置400整体上的动作的多种数据。

存储器440在硬件上可以是rom、ram、eprom、闪存盘、硬盘等多种存储装置。根据实施例,存储器440可包含为处理器470的下位结构。

处理器470可与车辆驾驶辅助装置400的各单元进行电连接。

处理器470可控制车辆驾驶辅助装置400内的各单元的整体上的动作。

处理器470可对通过车辆用照相机200获取的影像进行处理。

处理器470可通过控制可变镜头中包括的驱动部(图13的1320),控制液晶层(图12的1230)中包含的液晶分子(图12的1231)的排列状态,从而能够变更可变镜头300的焦距。

处理器470可通过接口部430接收行驶信息。处理器470可基于接收的行驶信息来变更可变镜头300的焦距。

行驶信息可包含行驶速度信息。处理器470可通过接口部430从车辆的控制部(图2的170)或检测部(图2的125)接收行驶速度信息。检测部(图2的125)可包括车辆速度传感器。

处理器470可基于行驶速度信息来变更可变镜头300的焦距。

随着行驶速度逐渐变大,处理器470可使可变镜头300的焦距逐渐变长。在焦距逐渐变长的情况下,车辆用照相机200的fov逐渐变窄,从而逐渐适合于远距离拍摄。在此情况下,车辆用照相机200可利用作为望远照相机。随着行驶速度逐渐变大,相比于近距离将聚焦于远距离进行行驶,从而能够对发生的状况进行适当的应对。

随着行驶速度逐渐变小,处理器470可使可变镜头300的焦距逐渐变短。在焦距逐渐变短的情况下,车辆用照相机200的fov逐渐变宽,从而逐渐适合于近距离拍摄。在此情况下,车辆用照相机200可利用作为广角照相机。随着行驶速度逐渐变小,相比于远距离将聚焦于具有更宽的视角的近距离进行行驶,从而能够对发生的状况进行适当的应对。

处理器470可通过接口部430接收车辆的转向信息或转向灯信息。处理器470可基于接收的转向信息或转向灯信息来变更可变镜头300的焦距。

行驶信息可包含车辆的转向信息或转向灯信息。处理器470可通过接口部430从车辆的控制部(图2的170)或检测部(图2的125)接收车辆的转向信息或转向灯信息。

另外,检测部(图2的125)可包括转向传感器。当通过转向装置输入有转向时,转向传感器可生成转向信息。处理器470可通过接口部430接收所生成的转向信息。

另外,当通过转向灯输入装置接收转向灯输入时,处理器470可通过接口部430接收转向灯信息。

当作为转向信息在行驶方向的左侧或右侧接收基准值以上的转向值时,处理器470可使可变镜头的焦距变短。

行人碰撞事故在车辆100进行左转或右转时较为频繁地发生。这是因为在车辆100进行左转或右转时,驾驶者面临新的环境并在短时间内不易获取较多的信息。在这样的状况下,可使可变镜头300的焦距变短并使车辆用照相机200的fov变宽,从而将车辆用照相机200利用作为广角照相机。随着将车辆用照相机200利用作为广角照相机,能够获取位于近距离的更多的对象信息,并防止事故的发生。

处理器470可通过接口部430接收车辆的预设定的路径信息。处理器470可基于接收的路径信息来变更可变镜头300的焦距。

行驶信息可包含车辆的预设定的路径信息。处理器470可通过接口部430从车辆用显示装置141或额外的导航装置接收车辆的预设定路径信息。

车辆100可基于预设定路径信息控制行驶速度、转向、加速或减速。特别是,在车辆100为自主驾驶车辆的情况下,车辆100可基于预设定路径信息进行行驶。处理器470可基于预设定路径信息来变更可变镜头300的焦距,从而获取适合于车辆100行驶的信息,并将获取的信息提供给车辆100或驾驶者。

处理器470可通过接口部430接收v2x信息。处理器470可基于v2x信息变更可变镜头的焦距。

v2x信息可以是通过v2x通信模块116接收的车辆周边状况信息。车辆100可基于v2x信息控制行驶速度、转向、加速或减速。特别是,在车辆100为自主驾驶车辆的情况下,车辆100可基于v2x信息进行行驶。处理器470可基于v2x信息来变更可变镜头的焦距,获取适合于车辆100行驶的信息,并将获取的信息提供给车辆100或驾驶者。

处理器470可通过输入部420接收输入信号。处理器470可基于接收的输入信号来变更可变镜头300的焦距。

处理器470可根据通过输入部420接收的输入信号来执行车辆驾驶辅助系统的开启(on)/关闭(off)控制。处理器470可根据输入信号而以适合于开启(on)状态的车辆驾驶辅助系统的方式变更可变镜头300的焦距。

车辆驾驶辅助系统(adas:advanceddriverassistancesystem)可包括:自动紧急制动系统(以下,aeb:autonomousemergencybraking)、自适应巡航控制系统(以下,acc:adaptivecruisecontrol)、侧方靠近车辆警告系统(以下,cta:crosstrafficalert)、车线变更辅助系统(以下,lca:lanechangeassistant)、前方碰撞躲避系统(以下,fcw:fowardcollisionwarning)、车线偏离警告系统(以下,ldw:lanedeparturewarning)、车线保持辅助系统(以下,lka:lanekeepingassist)、速度辅助系统(以下,sas:speedassistsystem)、交通信号检测系统(tsr:trafficsignrecognition)、适应型远光灯控制系统(以下,hba:highbeamassist)、盲区监控系统(以下,bsd:blindspotdetection)、自动紧急转向系统(以下,aes:autonomousemergencysteering)、曲线速度警告系统系统(以下,csws:curvespeedwarningsystem)、智能驻车系统系统(以下,spas:smartparkingassistsystem)、交通停滞辅助系统(以下,tja:trafficjamassist)以及环视监控系统(以下,avm:aroundviewmonitor)。

例如,acc、sas、csws要求提供关于位于较远距离的对象的信息。当接收到用于acc、sas或csws功能开启(on)的输入信号时,处理器470可使可变镜头300的焦距变长。

例如,cta、aeb、fcw、tsr、hba、bsd、aes、tja要求提供关于位于较近距离的对象的信息。当接收到用于cta、aeb、fcw、tsr、hba、bsd、aes或tja功能开启(on)的输入信号时,处理器470可使可变镜头300的焦距变短。

处理器470可从通过车辆用照相机200获取的影像中检测对象。处理器470可基于检测出的对象来变更可变镜头300的焦距。

处理器470可基于与对象的距离或对象的位置来变更可变镜头300的焦距。

处理器470可变更焦距,从而以对象2925为中心拍摄影像。

处理器470可基于获取的影像来算出与对象的距离。参照图20a至图20b对与对象的距离算出动作进行说明。

处理器470可基于获取的影像来算出对象的位置。例如,处理器470可基于影像中与对象的位置对应的像素来算出车辆100和对象的相对位置。

随着与对象的距离逐渐变远,处理器470可使可变镜头300的焦距逐渐变长。

处理器470可检测对象,并对检测出的对象进行跟踪。在与对象的距离逐渐变远的情况下,为了进行对象跟踪,处理器470可使可变镜头300的焦距逐渐变长。如上所述,通过调节可变镜头300的焦距,能够保持对象跟踪。

随着与对象的距离逐渐变近,处理器470可使可变镜头300的焦距逐渐变短。

处理器470可检测对象,并对检测出的对象进行跟踪。在与对象的距离逐渐变近的情况下,为了进行对象跟踪,处理器470可使可变镜头300的焦距逐渐变短。如上所述,通过调节可变镜头300的焦距,能够保持对象跟踪。

处理器470可基于对象的位置信息来变更影像的感兴趣区域(regionofinterest,roi)。

例如,当在影像中检测出对象时,处理器470为了清晰地显示检测出的对象,可变更影像的roi。具体而言,处理器470可调节可变镜头300的焦距,从而聚焦(fucuson)于被检测的对象。

处理器470可与变化的可变镜头300的焦距对应地,通过致动器401调节可变镜头300与图像传感器214之间的距离。

例如,在可变镜头300的焦距变长的情况下,处理器470可通过致动器401控制使可变镜头300沿着前后方向(或者,总长度方向)进行移动,从而控制可变镜头300与图像传感器214之间的距离变长。

例如,在可变镜头300的焦距变短的情况下,处理器470可通过致动器401控制使可变镜头300沿着前后方向(或者,总长度方向)进行移动,从而控制可变镜头300与图像传感器214之间的距离变短。

根据实施例,处理器470可使图像传感器214进行移动,从而调节可变镜头300与图像传感器214之间的距离。

如上所述,通过调节可变镜头300与图像传感器214之间的距离,能够防止影像中生成的模糊(blur)现象。

处理器470可作为对象检测交叉路。当作为对象检测出交叉路时,处理器470可使可变镜头300的焦距变短。

在交叉路行驶中的情况下,除了行驶方向以外,还需要注意位于与行驶方向交叉的方向的对象(例如,其他车辆)。为了在交叉路检测违反信号的车辆、行人等,需要提供更宽的fov的影像。如上所述,当检测出交叉路时,使可变镜头300焦距变短而获取较宽的fov的影像,并在较宽的范围内检测对象,从而防止交叉路事故的发生。

在车辆用照相机200为立体照相机200b的情况下,车辆用照相机200可包括:第一照相机、第二照相机以及处理器470。

处理器470可控制第一液晶层中包含的液晶分子的排列状态,从而变更左侧可变镜头300l的焦距。并且,处理器470可控制第二液晶层中包含的液晶分子的排列状态,从而变更右侧可变镜头300r的焦距。

处理器470可使左侧可变镜头300l的焦距以及右侧可变镜头300r的焦距相互变得不同。

例如,处理器470可使左侧可变镜头300l的焦距变长,从而将第一照相机利用作为远距离用照相机。并且,处理器470可使右侧可变镜头300r的焦距变短,从而将第二照相机利用作为近距离用照相机。

处理器470可对通过第一照相机获取的第一影像进行处理,并对通过第二照相机获取的第二影像进行处理。此时,第一照相机和第二照相机的焦距可相互不同。

处理器470可对第一影像进行像素混合(binning)处理。处理器470可对第二影像进行裁剪(cropping)处理。

处理器470可基于被像素混合处理的第一影像和被裁剪处理的第二影像来获取立体影像。

处理器470可基于获取的立体影像来执行视差(disparity)计算。

处理器470可基于第一影像检测对象。处理器470可基于检测出的对象来变更左侧可变镜头300l或右侧可变镜头300r的焦距。例如,处理器470可变更左侧可变镜头300l以及右侧可变镜头300r的焦距,从而使其焦距保持一致并聚焦(focuson)于对象。

处理器470可基于在焦距的变更的状态下获取的第一影像以及第二影像来获取立体影像。

通信部410可通过无线(wireless)方式与位于车辆100内部或外部的其他设备进行数据交换。其中,其他设备可包括移动终端、服务器或其他车辆。

例如,通信部410可通过无线与车辆驾驶者的移动终端进行数据交换。作为无线数据通信方式可有蓝牙(bluetooth)、直通互联(wifidirect)、wifi、apix或nfc等多种数据通信方式。

例如,通信部410可从移动终端或服务器接收天气信息、道路的交通状况信息,例如,可接收传输协议专家组(transportprotocolexpertgroup,tpeg)信息。

另外,在用户乘坐车辆的情况下,用户的移动终端和车辆驾驶辅助装置100可自动地或通过用户执行应用程序来执行彼此配对(pairing)。

通信部410可从外部服务器接收信号灯变更信息。其中,外部服务器可以是位于管制交通的交通管制所的服务器。

输入部420可接收用户输入。输入部420可包括:机械室输入装置、触摸式输入装置、语音输入装置或无线输入装置。

机械式输入装置可包括:按键、操纵杆(lever)、手柄(jogwheel)、开关等。

触摸式输入装置可包括至少一个触摸传感器。触摸输入装置可由触摸屏构成。

语音输入装置可包括用于将用户的语音转换为电信号的麦克风。

无线输入装置可接收在车辆100的外部利用钥匙输入的无线(wireless)形态的用户输入。

输入部420可接收用于车辆100中包括的车门的开放(open)或关闭(close)的用户输入。

输出部450可根据处理器470控制来输出处理器470中处理的数据或信息。

输出部450可包括显示部451以及音响输出部452。

显示部451可显示处理器470中被处理的信息。显示部451可显示与车辆驾驶辅助装置400的动作相关的图像。为了进行这样的图像显示,显示部451可包括车辆内部前方面的仪表板(cluster)或hud(headupdisplay)。另外,在显示部451为hud的情况下,可包括用于向车辆100的前风挡10或组合器(combiner)投射图像的投射模块。

音响输出部452可基于处理器470中处理的音频信号向外部输出音响。为此,音响输出部452可设置有至少一个扬声器。

供电部490可基于处理器470的控制供给各结构元件的动作所需的电源。供电部490可从车辆内部的电池等供给到电源。

图20a至图21是为了说明本发明的实施例的通过可变透镜计算出与对象的距离的动作而简略地示出可变透镜的图。

处理器470可从通过车辆用照相机200获取的影像中检测对象。处理器470可根据焦距变更对影像中检测出的对象进行跟踪。处理器470可基于与可变镜头300焦距变更对应的对象的变化来算出与对象的距离。

例如,处理器470可根据可变镜头300焦距变更,基于影像中形成的对象的模糊(blur)来算出与对象的距离。

例如,处理器470可根据可变镜头300焦距变更,基于影像中对象大小的变化来算出与与对象的距离。

例如,处理器470可根据可变镜头300焦距变更而获取两个影像。处理器470可基于获取的两个影像来生成立体图像。处理器470可基于立体图像执行视差计算。处理器470可基于视差计算算出与对象的距离。

图20a例示出可变镜头300的焦距为第一状态的情况,图20b例示出可变镜头300的焦距为第二状态的情况。特别是,图20a至图20b例示出可变镜头300靠近图像传感器214的情况。

参照图20a,可变镜头300中可适用高斯镜头公式。

数学式1

其中,l为从可变镜头300至图像传感器214的距离,o为从可变镜头300至对象2010的距离,i为通过可变镜头300结成图像的距离

处理器470可基于从可变镜头300至图像传感器214的距离l以及通过可变镜头300成像的距离i,算出从可变镜头300至对象o的距离。这样的距离检测方式可称为小孔成像模型(pinholemodel)方式。

参照图20b,在处理器470的控制作用下,当可变镜头300的焦距发生变化时,在通过车辆用照相机200获取的影像中的对象的大小也会发生变化。

在此情况下,处理器470可利用对象的大小变化以及高斯镜头公式来检测与对象的距离。

处理器470基于对象大小算出通过可变镜头300成像的距离i,并得知可变镜头300与图像传感器214之间的距离l,因此能够算出可变镜头300与对象2010之间的距离o。其中,可变镜头300与对象2010之间的距离可被定义为车辆100与对象2010之间的距离。

根据实施例,处理器470可基于与可变镜头300焦点变更对应的图像上的模糊(blur)来算出与对象的距离。

在按照规定的对象2010对准可变镜头300的焦距的状态下,处理器470可变更可变镜头300的焦距。在此情况下,在通过车辆用照相机200获取的影像中,在对象2010的边缘会发生模糊(blur)。其中,模糊可具有高斯形态。

处理器470可根据与可变镜头300的焦距变更对应的模糊(blur)的程度来算出与对象的距离。具体而言,处理器470可利用高斯模糊(gaussianblur)测定来算出与对象的距离。

图21例示出利用视差算出与对象的距离的动作。

参照图21,处理器470可变更可变镜头300的焦距达到第一状态vlfl。例如,处理器470可变更可变镜头300的焦距,从而聚焦(focuson)为从车辆前方第一距离向车辆行驶方向的左侧偏置的状态。

在可变镜头300焦距为第一状态vlfl的情况下,处理器470可获取第一影像im1。

处理器470可使可变镜头300的焦距变更为达到第二状态vlfr。例如,处理器470可变更可变镜头300的焦距,从而聚焦(focuson)为从车辆前方第一距离向车辆行驶方向的右侧偏置的状态。

在可变镜头300焦距为第二状态vlfr的情况下,处理器470可获取第二影像im2。

处理器470可在非常短的时间内获取第一影像im1和第二影像im2。即,处理器470可在几乎同时获取第一影像im1和第二影像im2。

处理器470可基于第一影像im1和第二影像im2生成立体影像sim。处理器470可基于立体影像sim执行视差计算。处理器470可基于视差计算来检测出与对象的距离。

图22是在说明本发明的实施例的车辆驾驶辅助装置的动作时作为参照的流程图。

图23a至图23b是在说明本发明的实施例的基于行驶速度变更可变透镜的焦距的动作时作为参照的图。

图24是在说明本发明的实施例的基于转向信息或转向灯信息变更可变透镜的焦距的动作时作为参照的图。

图25是在说明本发明的实施例的基于预设定的路径信息变更可变透镜的焦距的动作时作为参照的图。

参照图22,处理器470可通过接口部430接收行驶信息(步骤s2210)。

行驶信息可包含:行驶速度信息、转向信息、转向灯信息、预设定的路径信息。

车辆100的检测部125可包括车辆速度传感器。车辆速度传感器可生成行驶速度信息。处理器470可通过接口部430从车辆的控制部(图2的170)或检测部(图2的125)接收行驶速度信息。

车辆100的检测部125可包括转向传感器。当通过转向装置输入有转向时,转向传感器可生成转向信息。处理器470可通过接口部430从车辆的控制部(图2的170)或检测部(图2的125)接收转向信息。

车辆100可通过输入部(图2的120)接收转向灯输入。处理器470可通过接口部430从车辆的输入部(图2的120)、控制部(图2的170)或车灯驱动部(图2的154)接收转向灯信息。

处理器470可通过接口部430从车辆用显示装置141或导航装置接收车辆的预设定路径信息。车辆的预设定路径信息可存储于车辆用显示装置141的存储器或导航装置的存储器。

处理器470可基于行驶信息变更可变镜头300的焦距(步骤s2220)。

处理器470可基于行驶速度变更可变镜头300的焦距。

例如,处理器470可与行驶速度成正比地变更可变镜头300的焦距。

例如,处理器470可与行驶速度的变化对应地变更可变镜头300的焦距。

如图23a所示,随着行驶速度逐渐变大,处理器470可使可变镜头300的焦距逐渐变长。

附图标记2310例示出,在车辆100以时速30km行驶的情况下,基于与行驶速度对应地变更的可变镜头300的焦距而通过车辆用照相机200获取的图像。

并且,附图标记2320例示出,在车辆100以时速110km行驶的情况下,基于与行驶速度对应地变更的可变镜头300的焦距而通过车辆用照相机200获取的图像。

在车辆100原先以时速30km行驶,其速度逐渐变大并以110km行驶的情况下,处理器470可与行驶速度的变化对应地使可变镜头300的焦距逐渐变长。

当焦距变长时,车辆用照相机200的视场变窄,但同时还可检测出位于远距离的对象。一般而言,在进行高速行驶的情况下,可有用地使用位于远距离的对象信息。

如图23b所示,随着行驶速度逐渐变小,处理器470可使可变镜头300的焦距逐渐变短。

附图标记2330例示出,在车辆100以时速110km行驶的情况下,基于与行驶速度对应地变更的可变镜头300的焦距而通过车辆用照相机200获取的图像。

并且,附图标记2340例示出,在车辆100以时速30km行驶的情况下,基于与行驶速度对应地变更的可变镜头300的焦距而通过车辆用照相机200获取的图像。

在车辆100原先以时速110km行驶,其速度逐渐变小并以30km行驶的情况下,处理器470可与行驶速度的变化对应地使可变镜头300的焦距逐渐变短。

当焦距变短时,车辆用照相机200不易检测出位于远距离的对象,但同时其视场变宽。一般而言,在进行低速行驶的情况下,可有用地使用在更宽的范围内检测出的对象信息。

处理器470可基于转向信息或转向灯信息来变更可变镜头300的焦距。

当作为转向信息接收到行驶方向的左侧或右侧的基准值以上的转向值时,处理器470可使可变镜头的焦距变短。

如图24所示,当车辆100进行右转或左转时,需要在较宽的视野检测对象才能预防事故。在刚以低速进行右转或左转之后,驾驶者面临与之前行驶路径不同的新的环境,因此,需要在车辆100的近距离范围内提供更多的对象信息。

附图标记2410例示出,在刚要右转之前通过车辆用照相机200获取的图像。

附图标记2420例示出,在刚右转之后,基于与转向信息或转向灯信息对应地变更的可变镜头300的焦距而通过车辆用照相机200获取的图像。

在车辆100进行右转或左转的情况下,处理器470可使可变镜头300的焦距变短。

处理器470可基于预设定的路径信息来变更可变镜头300的焦距。

在路径信息中可包含关于车辆100的高速行驶路径(例如,以高速行驶的情况)或低速行驶路径(例如,以市内行驶的情况)的信息。在路径信息中可包含车辆100的右转路径或左转路径信息。

处理器470可基于高速行驶路径、低速行驶路径、右转路径或左转路径信息来变更可变镜头300的焦距。

如图25所示,在预设定的路径信息中包含左转2505或右转路径信息,当车辆100沿着左转2505或右转路径行驶时,处理器470可使可变镜头300的焦距变短。

附图标记2510例示出,在基于路径信息的行驶中,在刚要进入左转路径2505之前通过车辆用照相机200获取的图像。

附图标记2520例示出,在基于路径信息的行驶中,在刚进入左转路径2505之后通过车辆用照相机200获取的图像。

或者,在根据预设定的路径信息,车辆100从高速道路进入低速道路的情况下,处理器470可使可变镜头300的焦距变短。

或者,在根据预设定的路径信息,车辆100从低速道路进入高速道路的情况下,处理器470可使可变镜头300的焦距变长。

或者,在根据预设定的路径信息,车辆进入曲线区间的情况下,与直线区间行驶的情况相比,处理器470可使可变镜头300的焦距变短。

如上所述,通过根据预设定的路径信息来变更可变镜头300的焦距,提供适合于驾驶者或车辆的状况的信息,从而能够防止事故。

图26是在说明本发明的实施例的车辆驾驶辅助装置的动作时作为参照的流程图。

图27是在说明本发明的实施例的基于输入信号变更可变透镜的焦距的动作时作为参照的图。

参照图26,处理器470可通过输入部420接收输入信号(步骤s2610)。

车辆驾驶辅助装置400可提供多种车辆驾驶辅助系统(adas:advanceddriverassistancesystem)的功能。adas功能中的全部或一部分可根据通过输入部420接收的用户输入而开启(on)或关闭(off)。

处理器470可基于接收的输入信号来变化可变镜头300的焦距(步骤s2620)。

如图27所示,车辆驾驶辅助装置400可设置有输入部420。车辆驾驶辅助装置400可通过输入部420接收adas功能的开启(on)/关闭(off)输入。

附图标记2710例示出,在通过输入部420接收用于acc、sas或csws功能开启(on)的输入信号时,在处理器470的控制作用下,当可变镜头300的焦距变长时通过车辆用照相机200获取的图像。

附图标记2720例示出,在通过输入部420接收用于cta、aeb、fcw、tsr、hba、bsd、aes、tja功能开启(on)的输入信号时,在处理器470的控制作用下,当可变镜头300的焦距变短时通过车辆用照相机200获取的图像。

图28是在说明本发明的实施例的车辆驾驶辅助装置的动作时作为参照的流程图。

图29是在说明本发明的实施例的基于与对象的距离变更可变透镜的焦距的动作时作为参照的图。

图30是在说明本发明的实施例的基于对象的位置变更可变透镜的焦距的动作时作为参照的图。

图31是在说明本发明的实施例的在作为对象检测出交叉路的情况下变更可变透镜的焦距的动作时作为参照的图。

参照图28,处理器470可接收车辆用照相机200拍摄的影像(步骤s2810)。其中,影像可以是利用单色照相机拍摄的影像或利用立体照相机拍摄影像。

处理器470可基于接收的影像来检测对象(步骤s2820)。处理器470可作为对象检测车线(lanedetection)、其他车辆(vehicledetection)、行人(pedestriandetection)、灯光(brightspotdetection)、交通信号(trafficsignrecognition)、道路面(roadsurfacedetection)。

例如,其他车辆可以是前行的其他车辆、后行的其他车辆、在相邻车线行驶的其他车辆、发生事故的其他车辆或acc跟踪的其他车辆。

处理器470可基于检测出的对象来变更可变镜头300的焦距(步骤s2830)。

处理器470可基于与对象的距离或对象的位置来变更可变镜头300的焦距。

处理器470可基于获取的影像来算出与检测出的对象的距离。处理器470可按照参照图20a至图21说明的方式来算出距离。当影像为利用立体照相机拍摄的影像时,处理器470可通过视差计算来算出与对象的距离。

如图29所示,随着与对象的距离逐渐变远,处理器470可使可变镜头300的焦距逐渐变长。

附图标记2910例示出,在可变镜头300的第一焦距状态下通过车辆用照相机200拍摄的影像。处理器470可从影像中检测对象2915。处理器470可算出与对象2915的距离。附图中例示出与对象2915的距离为40m。

附图标记2920例示出,在与检测出的对象2925的距离为比40m更远的100m的状态下通过车辆用照相机200拍摄的影像。在此情况下,处理器470可使可变镜头300的焦距逐渐变长。处理器470可变更焦距,从而能够以对象2925为中心拍摄影像。

由于与对象2925的距离变得更远,处理器470使焦距变得更长,由此,车辆用照相机200的视场变窄,但同时能够拍摄位于远距离的对象。

随着与对象的距离逐渐变近,处理器470可使可变镜头300的焦距逐渐变短。

处理器470可基于获取的影像算出检测出的对象的位置。例如,处理器470可基于影像中与对象的位置对应的像素来算出车辆100和对象的相对位置。

如图30所示,处理器470可控制可变镜头300,从而基于对象的位置信息来变更影像的roi(regionofinterest)。

附图标记3010例示出,在可变镜头300的第一焦距状态下通过车辆用照相机200拍摄的影像。处理器470可从影像中检测出对象3015。处理器470可算出对象3015的位置。

附图标记2920例示出在以对象3025为中心变更影像的roi的状态下通过车辆用照相机200拍摄的影像。处理器470可控制可变镜头300中施加的电压,从而变更影像的roi并使对象3025移动到影像中心。

如上所述,通过变更影像的roi,能够准确地提供车辆或驾驶者所需的信息。

如图31所示,处理器470可作为对象检测交叉路3100。

处理器470通过检测位于交叉路的信号灯3105来检测交叉路3100。处理器470可通过检测交叉路标识牌3107来检测交叉路3100。处理器470可通过车线检测来检测交叉路3100。处理器470可通过检测朝与车辆100的行驶方向交叉的方向行驶中的其他车辆来检测交叉路3100。处理器470可通过道路面检测来检测交叉路3100。

当作为对象检测出交叉路3100时,处理器470可使可变镜头300的焦距变短。

附图标记3110例示出,在检测出交叉路3105之前通过车辆用照相机200拍摄的影像。附图标记3120例示出,在检测出交叉路3105之后通过车辆用照相机200拍摄的影像。即,附图标记3120例示出,在可变镜头300的焦距变短的状态下利用车辆用照相机200拍摄的影像。

当在交叉路行驶时,除了行驶方向的对象以外,还需要检测出与行驶方向交叉的方向的对象。因此,在此情况下,利用较宽的视场的照相机拍摄的影像有利于对象检测。当进行交叉路检测时,可使可变镜头300的焦距变短,从而使视场变宽。

图32a至图32b是在本发明的实施例的车辆用照相机包括立体照相机的情况下,在说明处理器的内部框图时作为参照的图。

首先,参照图32a,图32a为处理器470的内部框图的一例,车辆驾驶辅助装置400内的处理器470可包括:影像预处理部3210、视差计算部3220、对象检测部3234、对象跟踪部3240以及应用部3250。

影像预处理部3210(imagepreprocessor)可接收来自照相机200的图像并执行预处理(preprocessing)。

具体而言,影像预处理部3210可执行针对图像的降噪(noisereduction)、纠正(rectification)、校准(calibration)、色彩增强(colorenhancement)、色彩空间转换(colorspaceconversion;csc)、内插(interpolation)、照相机增益控制(cameragaincontrol)等。由此,能够获取相比照相机200中拍摄的立体图像更加清晰的图像。

视差计算部3220(disparitycalculator)接收影像预处理部3210中进行信号处理的图像,针对接收的图像执行立体匹配(stereomatching),能够获取基于立体匹配的视差图(disparitymap)。即,能够获取关于车辆前方的立体图像的视差信息。

此时,可按立体图像的像素单位或规定块单位执行立体匹配。另外,视差图可表示用数值示出立体图像,即,左、右图像的视差(时差)信息(binocularparallaxinformation)的地图。

分割部3232(segmentationunit)可基于来自视差计算部3220的视差信息,对图像中的至少一个执行分割(segment)及群集(clustering)。

具体而言,分割部3232可基于视差信息对立体图像中的至少一个分离出背景(background)和前景(foreground)。

例如,可将视差图内的视差信息为规定值以下的区域计算为背景,并除去相应部分。由此,能够相对地分离出前景。

作为另一例,可将视差图内的视差信息为规定值以上的区域计算为前景,并提取出相应部分。由此,能够分离出前景。

如上所述,以基于立体图像提取出的视差信息为基础分离出前景和背景,从而在随后的对象检测时,能够缩短信号处理速度、信号处理量等。

接着,对象检测部3234(objectdetector)可基于来自分割部3232的图像分割而进行对象检测。

即,对象检测部3234可基于视差信息对图像中的至少一个进行对象检测。

具体而言,对象检测部3234可对图像中的至少一个进行对象检测。例如,可从基于图像分割分离出的前景中检测对象。

接着,对象确认部3236(objectverificationunit)可对分离出的对象进行分类(classify)并确认(verify)。

为此,对象确认部3236可使用基于神经网络(neuralnetwork)的识别法、支持向量机(supportvectormachine,svm)方法、基于利用haar-like特征的adaboost的方法,或是梯度向量直方图(histogramsoforientedgradients,hog)方法等。

另外,对象确认部3236可将存储器440中存储的对象和检测出的对象进行比较,从而确认出对象。

例如,对象确认部3236可确认出位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等。

对象跟踪部3240(objecttrackingunit)可执行针对确认出的对象的跟踪。例如,依次地确认获取的立体图像内的对象,对确认出的对象的移动或移动向量进行计算,并可基于计算出的移动或移动向量而跟踪相应对象的移动等。由此,能够对位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等进行跟踪。

接着,应用部3250可基于位于车辆周边的多种对象,例如其他车辆、车线、道路面、标识牌等,计算出车辆100的危险度等。并且,可计算出与前车的撞车可能性、车辆打滑与否等。

此外,应用部3250可基于计算出的危险度、撞车可能性或打滑与否等,向用户输出用于提示这样的信息的作为车辆驾驶辅助信息的消息等。或者,也可生成用于车辆100的姿势控制或行驶控制的作为车辆控制信息的控制信号。

另外,根据实施例,处理器470可仅包括影像预处理部3210、视差计算部3220、分隔部3232、对象检测部3234、对象确认部3236、对象跟踪部3240以及应用部3250中的一部分。

图32b是本发明的实施例的处理器的内部框图的另一例。

参照附图,图32b的处理器470与图32a的处理器470具有相同的内部结构单元,其区别在于信号处理顺序不同。以下,仅对其区别进行描述。

对象检测部3234可接收立体图像,并基于立体图像中的至少一个进行对象检测。与图32a不同的,可直接从立体图像中检测对象,而不是基于视差信息对被分割的图像进行对象检测。

接着,对象确认部3236(objectverificationunit)基于来自分割部3232的图像分割以及对象检测部3234中检测出的对象,对被检测及分离的对象进行分类(classify)并确认(verify)。

为此,对象确认部3236可使用基于神经网络(neuralnetwork)的识别法、支持向量机(supportvectormachine,svm)方法、基于利用haar-like特征的adaboost的方法,或是梯度向量直方图(histogramsoforientedgradients,hog)方法等。

图33a和图33b是本发明的实施例的基于在第一及第二帧区间分别获取的立体图像,在说明图4的处理器470的动作方法时作为参照的图。

首先,参照图33a,在第一帧区间期间,立体照相机200获取立体图像。

处理器470内的视差计算部3220接收影像预处理部3210中被信号处理的立体图像fr1a、fr1b,对接收的立体图像fr1a、fr1b执行立体匹配,从而获取视差图3320(disparitymap)。

视差图3320(disparitymap)对立体图像fr1a、fr1b之间的视差进行了等级化,视差等级越高,可计算为与车辆的距离越近,而视差等级越小,则计算为与车辆的距离越远。

另外,当显示这样的视差图时,可显示为视差等级越大时具有越高的亮度,视差等级越小时具有越低的亮度。

在附图中例示出,在视差图3320内,第一车线至第四车线3328a、3328b、3328c、3328d等分别具有相应的视差等级,施工区域3322、第一前方车辆3324、第二前方车辆3326分别具有相应的视差等级。

分割部3232、对象检测部3234、对象确认部3236基于视差图3320执行针对立体图像fr1a、fr1b中的至少一个的分割、对象检测及对象确认。

在附图中例示出,使用视差图3320执行针对第二立体图像fr1b的对象检测及确认。

即,在图像3330内,可执行针对第一车线至第四车线3338a、3338b、3338c、3338d、施工区域3332、第一前方车辆3334、第二前方车辆3336的对象检测及确认。

接着,参照图33b,在第二帧区间期间,立体照相机200获取立体图像。

处理器470内的视差计算部3220接收影像预处理部3210中被信号处理的立体图像fr2a、fr2b,对接收的立体图像fr2a、fr2b执行立体匹配,从而获取视差图3340(disparitymap)。

在附图中例示出,在视差图3340内,第一车线至第四车线3348a、3348b、3348c、3348d等分别具有相应的视差等级,施工区域3342、第一前方车辆3344、第二前方车辆3346分别具有相应的视差等级。

分割部3232、对象检测部3234、对象确认部3236基于视差图3340执行针对立体图像fr2a、fr2b中的至少一个的分割、对象检测及对象确认。

在附图中例示出,使用视差图3340执行针对第二立体图像fr2b的对象检测及确认。

即,在图像3350内,可执行针对第一车线至第四车线3358a、3358b、3358c、3358d、施工区域3352、第一前方车辆3354、第二前方车辆3356的对象检测及确认。

另外,对象跟踪部3240可执行针对通过比较图33a和图33b确认出的对象的跟踪。

具体而言,对象跟踪部3240可基于图33a和图33b中确认出的各对象的移动或移动向量,跟踪相应对象的移动等。由此,可执行针对位于车辆周边的车线、施工区域、第一前方车辆、第二前方车辆等的跟踪。

图34至图39在说明本发明的实施例的在设置于各个立体照相机的左侧可变镜头300l以及右侧可变镜头300r的焦距相互不同的情况下,获取立体影像并计算视差的动作时作为参照的图。

立体照相机200可包括第一照相机以及第二照相机。

第一照相机可包括左侧可变镜头300l以及第一图像传感器214a。

第二照相机可包括右侧可变镜头300r以及第二图像传感器214b。

在以下的说明中,左侧可变镜头300l的焦距长于右侧可变镜头300r的焦距,左侧可变镜头300l有利于远距离拍摄,右侧可变镜头300r有利于近距离拍摄。

图34是在本发明的实施例的车辆用照相机包括立体照相机的情况下,在说明处理器的内部框图时作为参照的图。

参照图34,处理器470可包括:影像预处理部3410、像素混合处理部3412、第一对象检测部3413、裁剪处理部3414、第二对象检测部3415、立体影像生成部3417、视差计算部3420、第三对象检测部3434、对象确认部3436、对象跟踪部3440以及应用部3450。

影像预处理部3410(imagepreprocessor)可接收来自立体照相机200的图像并执行预处理(preprocessing)。

具体而言,影像预处理部3410可执行针对图像的降噪(noisereduction)、纠正(rectification)、校准(calibration)、色彩增强(colorenhancement)、色彩空间转换(colorspaceconversion;csc)、内插(interpolation)、照相机增益控制(cameragaincontrol)等。由此,能够获取相比立体照相机200中拍摄的立体图像更加清晰的图像。

像素混合处理部3412可对从立体照相机200中的第一照相机接收的第一影像进行像素混合(binning)处理。其中,像素混合处理部3412中输入的影像可以是在影像预处理部3410被预处理的影像。像素混合处理部3412可将第一影像中的两个以上的像素单位的信息转换为一个像素单位的信息。如上所述,被像素混合处理的第一影像的分辨率可减小。

像素混合处理部3412可对由多个帧构成的第一影像中的不连续的一部分帧进行像素混合处理。

第一对象检测部3413可基于从立体照相机200中的第一照相机接收的第一影像来检测对象。其中,第一对象检测部3413中输入的影像可以是在影像预处理部3410被预处理的影像。

第一对象检测部3413可计算与检测出的对象的距离以及与对象的相对速度。第一对象检测部3413可对检测出的对象进行跟踪,并基于随着时间变化的对象的大小来计算与对象的距离。第一对象检测部3413可基于与对象的距离来计算与对象的相对速度。

裁剪处理部3414可对从立体照相机200中的第二照相机接收的第二影像进行裁剪(cropping)处理。其中,裁剪处理部3414中输入的影像可以是在影像预处理部3410被预处理的影像。裁剪处理部3414可裁剪第二影像中的不必要的区域。

裁剪处理部3414可对由多个帧构成的第二影像中的不连续的一部分帧进行裁剪处理。

第二对象检测部3415可基于从立体照相机200中的第二照相机接收的第二影像来检测对象。其中,第二对象检测部3415中输入的影像可以是在影像预处理部3410被预处理的影像。

第二对象检测部3415可计算与检测出的对象的距离以及与对象的相对速度。第二对象检测部3415对检测出的对象进行跟踪,基于随着时间变化的对象大小来计算与对象的距离。第二对象检测部3415可基于与对象的距离来计算与对象的相对速度。

立体影像生成部3417可基于被像素混合处理的第一影像以及被裁剪处理的第二影像来生成立体影像。立体影像生成部3417可对被像素混合处理的第一影像或被裁剪处理的第二影像进行纠正(rectification)处理,从而生成立体影像。例如,处理器470可对被像素混合处理的第一影像以及被裁剪处理的第二影像中的一个的大小进行调节,对准影像的大小后生成立体影像。例如,处理器470可对被像素混合处理的第一影像以及被裁剪处理的第二影像的大小都进行调节,对准影像的大小后生成立体影像。

视差计算部3420(disparitycalculator)执行针对接收的图像的立体匹配(stereomatching),能够获取基于立体匹配的视差图(disparitymap)。即,能够获取关于车辆前方的立体图像的视差信息。

此时,可按立体图像的像素单位或规定块单位执行立体匹配。另外,视差图可表示用数值示出立体图像,即,左、右图像的视差(时差)信息(binocularparallaxinformation)的地图。

第三对象检测部3434(objectdetector)可检测对象。

即,对象检测部3434可基于视差信息对图像中的至少一个进行对象检测。

具体而言,对象检测部3434可对图像中的至少一个进行对象检测。例如,可从基于图像分割分离出的前景中检测对象。

对象确认部3436(objectverificationunit)可对检测出的对象进行分类(classify)并确认(verify)。

对象确认部3436可对第一对象检测部3413、第二对象检测部3415以及第三对象检测部3434中检测出的对象进行分类并确认。

为此,对象确认部3436可使用基于神经网络(neuralnetwork)的识别法、支持向量机(supportvectormachine,svm)方法、基于利用haar-like特征的adaboost的方法,或是梯度向量直方图(histogramsoforientedgradients,hog)方法等。

另外,对象确认部3436可将存储器440中存储的对象和检测出的对象进行比较,从而确认出对象。

例如,对象确认部3436可确认出位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等。

对象跟踪部3440(objecttrackingunit)可执行针对确认出的对象的跟踪。例如,依次地确认获取的立体图像内的对象,对确认出的对象的移动或移动向量进行计算,并可基于计算出的移动或移动向量而跟踪相应对象的移动等。由此,能够对位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等进行跟踪。

接着,应用部3450可基于位于车辆周边的多种对象,例如其他车辆、车线、道路面、标识牌等,计算出车辆100的危险度等。并且,可计算出与前车的撞车可能性、车辆打滑与否等。

此外,应用部3450可基于计算出的危险度、撞车可能性或打滑与否等,向用户输出用于提示这样的信息的作为车辆驾驶辅助信息的消息等。或者,也可生成用于车辆100的姿势控制或行驶控制的作为车辆控制信息的控制信号。

另外,根据实施例,处理器470可仅包括影像预处理部3410、视差计算部3420、分割部3432、对象检测部3434、对象确认部3436、对象跟踪部3440及应用部3450中的一部分。

图35是在说明本发明的实施例的像素混合处理以及裁剪处理动作时作为参照的图。

参照图35,处理器470可从立体照相机200中的第一照相机接收第一影像。

第一影像可以是通过左侧可变镜头300l以及第一图像传感器214a获取的影像。

第一影像可包含多个帧3511、3512、3513、3514、3515、3516、...。

处理器470可对第一影像进行像素混合(binning)处理。例如,处理器470可对多个帧3511、3512、3513、3514、3515、3516、...中的不连续的一部分帧3511、3513、3515、...进行像素混合处理。

处理器470可以第二影像为基准对第一影像进行像素混合处理。

处理器470可对第一影像进行像素混合处理,从而与第二影像进行同步。例如,处理器470可对与第二影像中的被裁剪处理的帧3521、3523、3525、...对应的第一影像的帧3511、3513、3515、...进行像素混合处理。

处理器470可与第二影像的分辨率对应地对第一影像进行像素混合处理。例如,处理器470可对第一影像进行像素混合处理,从而具有与第二影像的分辨率相同的分辨率。

处理器470可基于第一影像检测对象。例如,处理器470可基于多个帧3511、3512、3513、3514、3515、3516中的未被像素混合处理的帧3512、3514、3516来检测对象。

由于未被像素混合处理的帧的影像具有更高的分辨率,其包含有更多的信息。因此,通过基于未被像素混合处理的帧的影像来检测对象,能够更加准确地检测出关于对象的信息。

处理器470可从立体照相机200中的第二照相机接收第二影像。

第二影像可以是通过右侧可变镜头300r以及第二图像传感器214b获取的影像。

第二影像可包含多个帧3521、3522、3523、3524、3525、3526、...。

处理器470可对第二影像进行裁剪(cropping)处理。例如,处理器470可对多个帧3521、3522、3523、3524、3525、3526、...中的不连续的一部分帧3521、3523、3525、...进行裁剪处理。

处理器470可以第一影像为基准对第二影像进行裁剪处理。

处理器470可对第二影像进行裁剪处理,从而与第一影像进行同步。例如,处理器470可对与第一影像中的被像素混合处理的帧3511、3513、3515、...对应的第二影像的帧3521、3523、3525、...进行裁剪处理。

处理器470可以与第一影像的内容对应地对第二影像进行裁剪处理。例如,处理器470可对第二影像进行裁剪处理,从而具有与第一影像的内容相同的内容。

处理器470可基于第二影像检测对象。例如,处理器470可基于多个帧3521、3522、3523、3524、3525、3526中的未被裁剪处理的帧3522、3524、3526来检测对象。

由于未被裁剪处理的帧的影像具有更宽的视野,其包含有更多的信息。因此,通过基于未被裁剪处理的帧的影像来检测对象,能够更加准确地检测出关于对象的信息。

图36是在说明本发明的实施例的生成立体影像的动作时作为参照的图。

参照图36,处理器470可对第一影像以及第二影像各个进行处理,从而生成立体影像。处理器470可对第一影像进行像素混合处理(3511),对第二影像进行裁剪处理(3521),从而获取立体影像3511、3521。处理器470可对被像素混合处理的第一影像或被裁剪处理的第二影像进行纠正(rectification)处理,从而生成立体影像。例如,处理器470可对被像素混合处理的第一影像以及被裁剪处理的第二影像中的一个的大小进行调节,对准影像的大小后生成立体影像。例如,处理器470可对被像素混合处理的第一影像以及被裁剪处理的第二影像的大小都进行调节,对准影像的大小后生成立体影像。

处理器470可基于立体影像3511、3521执行视差计算。

图37是在说明本发明的实施例的第一影像时作为参照的图。

参照图37,处理器170可从第一照相机195a接收第一影像。第一影像可以是利用左侧可变镜头300l以及第一图像传感器214a获取的车辆前方的远距离影像。

处理器170可通过第一影像还检测出位于远距离的对象。处理器170通过第一影像虽然无法检测出左右方向的较宽视野的对象,但可检测出位于远距离的对象。在附图中,附图标记3610以概念方式示出基于这样的第一照相机的特性而可检测出的区域。

在第一影像中,处理器170可检测对象3710。检测出的对象3710由于是基于第一照相机中包括的左侧可变镜头300l的视场而包含于第一影像内而被检测。未被检测出的对象3720由于是基于第一照相机中包括的左侧可变镜头300l的视场而未包含于第一影像内而未被检测。

图38是在说明本发明的实施例的第二影像时作为参照的图。

参照图38,处理器470可从第二照相机接收第二影像。第二影像可以是利用广角照相机获取的车辆前方的近距离影像。

处理器470可通过第二影像还检测出位于近距离的对象中的位于车辆前方左侧或右侧的对象。处理器470通过第二影像虽然无法检测出位于远距离的对象,但可检测出左右方向的较宽视野的对象。在附图中,附图标记3620以概念方式示出基于这样的第二照相机的特性而可检测出的区域。

在第二影像中,处理器470可检测对象3810。检测出的对象3810由于是基于第二照相机中包括的右侧可变镜头300r的视场而包含于第二影像内而被检测。未被检测出的对象3820由于是基于第二照相机中包括的右侧可变镜头300r的视场而未包含于第二影像内而未被检测。

图39是在说明本发明的实施例的基于第一影像以及第二影像生成的立体影像时作为参照的图。

参照图39,处理器470可对第一影像进行像素混合处理3511,并对第二影像进行裁剪处理3521,然后进行纠正处理来生成立体影像。处理器470可基于生成的立体影像来执行视差计算。

处理器470可对第一影像以及第二影像的重叠的区域中检测出的对象3910执行视差计算。附图标记3920示出在第一影像中可被检测出,但在第二影像中未被检测出的对象。附图标记3925示出在第二影像中可被检测出,但在第一影像中未被检测出的对象。处理器470对这样的对象3920、3925将无法执行视差计算。

附图标记3930示出第一影像以及第二影像中的任一影像中均未被检测出的对象。

图40是在说明本发明的实施例的车辆驾驶辅助装置的结构中的可变透镜时作为参照的图。

参照图40,车辆驾驶辅助装置400可包括照相机200、处理器470。

照相机200可包括图像传感器214以及可变镜头300。

可变镜头300可根据基于被施加的电压而形成在极性与非极性流体之间的界面的变化,变更图像传感器214中进入的光的路径。

这样的可变镜头300可称为wetting镜头。

可变镜头300可包括:透明板4011a、4011b、第一物质4012、第二物质4013、催化构件4014、绝缘构件4015、疏水性构件4016。

可变镜头300可大致呈圆筒形状。

透明板4011a、4011b可相互平行地形成,从而形成圆筒形状的可变镜头300的上部及下部。透明板4011a、4011b可在内部形成有空间。透明板4011a、4011b可由亲水性材料形成,或是用亲水性物质进行涂覆处理。

驱动部形成为环形状,并可形成可变镜头的外周面。驱动部可包括:催化构件4014、绝缘构件4015、疏水性构件4016。

催化构件4014可由铂金pt、钯pd等材料形成。催化构件4014可利用作为接地电极。

绝缘构件4015形成于催化构件4014与疏水性构件4016之间,用于对起到接地电极的功能的催化构件4014和接收电力的疏水性构件4016进行绝缘。

疏水性构件4016可以在电极的表面形成疏水性材料的涂层方式实现。当供给有电能时,疏水性构件4016在与催化构件4014之间产生的电场的作用下,疏水性构件4016的表面可转换为亲水性。

在可变镜头300的内侧空间部可设置有第一物质4012以及第二物质4013。例如,第一物质4012可以是诸如水、液晶(liquidcrystal)的极性流体。第二物质可以是非极性流体。

在向两侧疏水性构件4016供给的电能的电平差的作用下,可变镜头300的焦距可变。

前述的本发明可由在记录有程序的介质中计算机可读取的代码来实现。计算机可读取的介质包括存储有可由计算机系统读取的数据的所有种类的记录装置。计算机可读取的介质的例有硬盘驱动器(harddiskdrive,hdd)、固态盘(solidstatedisk,ssd)、硅盘驱动器(silicondiskdrive,sdd)、rom、ram、cd-rom、磁带、软盘、光数据存储装置等,并且也可以载波(例如,基于因特网的传输)的形态实现。并且,所述计算机也可包括处理器170或控制部170。因此,以上所述的详细的说明在所有方面上不应被理解为限制性的,而是应当被理解为时例示性的。本发明的范围应当由对所附的权利要求书的合理的解释而定,本发明的等价范围内的所有变更应当落入本发明的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1