电路装置、电子设备以及移动体的制作方法

文档序号:21323875发布日期:2020-06-30 20:57阅读:153来源:国知局
电路装置、电子设备以及移动体的制作方法

本发明涉及电路装置、电子设备以及移动体等。



背景技术:

公知有如下的平视显示器(hud:headupdisplay):通过在透明屏幕等上显示图像,使信息重叠在用户的视野中而进行显示。在专利文献1中公开了对输出到平视显示器的图像数据进行验证的方法。在专利文献1中,对多个输入图像数据进行合并,对该合并后的图像数据进行映射处理,将该映射处理后的图像数据输出到平视显示器,并确认输出到该平视显示器的图像数据的妥当性。

专利文献1:美国专利申请公开第2016/0307346号说明书

平视显示器例如被安装于汽车的仪表板等,但平视显示器相对于仪表板等的安装角度会产生公差。这里的安装角度是指画面以视线为轴进行旋转的方向的旋转角度、即以与平视显示器的画面交叉的轴为旋转轴的旋转角度。当平视显示器的安装角度改变时,显示图像发生倾斜,因此配合着该显示图像的倾斜而使图像旋转,从而消除显示图像的倾斜。在专利文献1中没有公开在进行这样的图像旋转时验证图像数据的方法。



技术实现要素:

本发明的一个方式涉及电路装置,包含:图像处理电路,其通过对输入的第1图像进行第1映射处理和第1旋转处理,生成平视显示器用的第2图像,并通过对所述第2图像进行作为所述第1映射处理的逆映射处理的第2映射处理和作为所述第1旋转处理的反向旋转处理的第2旋转处理,生成第3图像;以及比较电路,其进行所述第1图像与所述第3图像的比较,并输出所述比较的结果作为用于进行所述第2图像的错误检测的信息。

附图说明

图1是本实施方式的电路装置的结构例。

图2是对本实施方式的电路装置的第1动作例进行说明的图。

图3是对平视显示器的安装公差与图像旋转之间的关系进行说明的图。

图4是对第1旋转处理的详细内容进行说明的图。

图5是对本实施方式的电路装置的第2动作例进行说明的图。

图6是对本实施方式的电路装置的第3动作例进行说明的图。

图7是对本实施方式的电路装置的第4动作例进行说明的图。

图8是对映射表的插值处理进行说明的图。

图9是对在各帧中逐次比较图像的1个颜色成分的情况的处理进行说明的图。

图10是平视显示器所显示的图像的一例。

图11是从映射处理前的图像中提取的roi的图像。

图12是对从平视显示器所显示的图像中提取的roi的图像进行了逆映射处理的图像。

图13是边缘图像的例子。

图14是电子设备的结构例。

图15是移动体的例子。

标号说明

100:电路装置;110:接口;131:第1处理电路;132:第2处理电路;133:存储部;135:图像处理电路;140:接口;145:比较电路;150:错误检测电路;160:存储部;170:寄存器电路;176:错误检测结果寄存器;178:阈值寄存器;190:接口;200:处理装置;206:汽车;208:控制装置;300:电子设备;310:处理装置;320:电路装置;330:显示驱动器;340:显示面板;350:存储装置;360:操作装置;370:通信装置;400:平视显示器;dsp:显示部;f1~f3:帧;ica:图标;ima1、ima1'、ima2、ima2'、ima3:图像;mpa1:第1映射信息;mpa2:第2映射信息;rt1:第1旋转信息;rt2:第2旋转信息;s11:第1旋转处理;s12:第1映射处理;s21:第2旋转处理;s22:第2映射处理;s50:插值处理。

具体实施方式

以下,对本公开的优选的实施方式进行详细说明。另外,以下说明的本实施方式并非对权利要求书记载的内容进行不当地限定,在本实施方式中说明的结构并非全部都是必需的构成要件。

1.电路装置

图1是本实施方式的电路装置100的结构例。电路装置100是对平视显示器的图像显示进行控制的平视显示器的控制器。电路装置100是被称为ic(integratedcircuit:集成电路)的集成电路装置。电路装置100是通过半导体工艺制造的ic,是在半导体衬底上形成有电路元件的半导体芯片。

电路装置100包含接口110、存储部133、图像处理电路135、接口140、比较电路145、错误检测电路150、存储部160、寄存器电路170以及接口190。

接口110接收例如从处理装置200等发送到电路装置100的图像数据。接口110将所接收的图像数据变换为在电路装置100的内部使用的形式,并将该变换后的图像数据作为图像ima1来输出。图像ima1是第1图像。例如,接口110是openldi(openlvdsdisplayinterface:开放lvds显示接口),将通过lvds(lowvoltagedifferentialsignaling:低压差分信号)接收的串行信号变换为rgb的并行信号。处理装置200例如是soc(systemonachip:片上系统)、mcu(microcontrolunit:微控制单元)或cpu(centralprocessingunit:中央处理单元)。

图像处理电路135包含:第1处理电路131,其根据平视显示器的显示部的表面形状来映射图像;以及第2处理电路132,其进行逆映射。也将第1处理电路131称为第1扭曲引擎,将第2处理电路132称为第2扭曲引擎。

具体来说,第1处理电路131对图像ima1进行使用了第1映射信息mpa1的第1映射处理和使用了第1旋转信息rt1的第1旋转处理,并输出处理后的图像ima2。图像ima2是第2图像。另外,第1处理电路131提取图像ima1’。图像ima1’是图像ima1或从图像ima1提取出的关注区域的图像。另外,将图像ima1以及作为图像ima1的一部分的图像ima1’均称为第1图像。也将关注区域称为roi(regionofinterest:感兴趣区域)。

另外,显示部是指平视显示器的屏幕或显示器。也将屏幕称为被投影体。在显示部为屏幕时,平视显示器包含将图像ima2投影到屏幕的投影装置。投影装置例如包含液晶显示面板、驱动该液晶显示面板的显示驱动器、光源以及透镜。显示驱动器根据接收到的图像数据来使液晶显示面板显示图像,光源向液晶显示面板输出光,通过了液晶显示面板的光被透镜投影到屏幕上。屏幕是透明的物体,并且具有对所投影的光进行反射的反射面。例如,在车载的平视显示器中,屏幕是安装于仪表板的透明屏幕或汽车的挡风玻璃。在显示部为显示器时,平视显示器将图像ima2显示于显示器。显示器例如是使用了有机el面板的透明显示器。

第2处理电路132对图像ima2进行使用了第2映射信息mpa2的第2映射处理和使用了第2旋转信息rt2的第2旋转处理,并输出处理后的图像ima3。图像ima3是第3图像。在图像ima1’为图像ima1时,图像ima3是整个图像ima2被逆映射的图像。在图像ima1’为从图像ima1提取出的关注区域的图像时,图像ima3是从图像ima2提取出的关注区域的图像被逆映射的图像。另外,以下,以图像ima1’是从图像ima1提取出的关注区域的图像的情况为例来进行说明。

接口140将图像ima2输出到电路装置100的外部。电路装置100的外部是指例如对平视显示器的显示面板进行驱动的显示驱动器。例如,接口140是lvds的接口,将来自图像处理电路135的rgb的并行信号变换为lvds的串行信号。

存储部133是第1存储部。第1处理电路131使从图像ima1提取出的关注区域的图像ima1’存储于存储部133。存储部160是存储器。例如,存储器是ram或非易失性存储器等半导体存储器。另外,存储部133和存储部160可以分别由单独的存储器构成,也可以由1个存储器构成。

比较电路145进行存储于存储部133的图像ima1’与图像ima3之间的比较处理,并输出其比较结果。其比较结果用于检测图像ima2的错误。即,用于验证由第1处理电路131进行的第1映射处理和第1旋转处理是否正常。比较电路145求出表示图像ima1与图像ima3之间的相似度的指标。指标是后述的形状指标或可视性指标。或者,比较电路145也可以求出ssd(sumofsquareddifference:平方差总和)、sad(sumofabsolutedifference:绝对差总和)或ncc(normalizedcrosscorrelation:归一化互相关)等来作为指标。

错误检测电路150对指标和阈值进行比较,从而进行第2图像ima2的错误检测。阈值是表示图像ima1’和图像ima3具有何种程度的相似度才能被允许的阈值。

在通过错误检测电路150检测到错误的情况下,图像处理电路135停止向接口140输出图像ima2。或者,在通过错误检测电路150检测到错误的情况下,接口140停止图像ima2的输出。也可以是,接口140将图像ima2与错误信息一起输出,接收到该错误信息的显示驱动器进行基于错误信息的动作。或者,也可以是,接口190向处理装置200输出错误信息,接收到该错误信息的处理装置200进行基于错误信息的动作。错误信息例如是错误判定标志或指标等。基于错误信息的动作例如是平视显示器的显示停止等。

接口190进行电路装置100与处理装置200的电路间通信。例如,接口190是spi(serialperipheralinterface:串行外设接口)方式、i2c方式等的串行通信接口。来自处理装置200的设定信息或控制信息例如被写入寄存器电路170,电路装置100进行与该设定信息或控制信息对应的动作。

构成为能够从处理装置200经由接口190访问寄存器电路170。寄存器电路170包含错误检测结果寄存器176和阈值寄存器178。

错误检测结果寄存器176存储由错误检测电路150输出的错误检测结果。错误检测结果例如是表示显示图像是否被判定为错误的错误判定标志。处理装置200经由接口190从错误检测结果寄存器176读出错误检测结果,从而能够判断是否发生了错误。

从处理装置200经由接口190在阈值寄存器178中设定阈值。错误检测电路150对指标和设定于阈值寄存器178的阈值进行比较而进行错误检测。

存储部160是第2存储部。存储部160存储第1映射信息mpa1、第2映射信息mpa2、第1旋转信息rt1以及第2旋转信息rt2。具体来说,处理装置200将mpa1、mpa2、rt1以及rt2发送到接口190,存储部160存储由接口190接收的mpa1、mpa2、rt1以及rt2。图像处理电路135根据从存储部160读出的mpa1、mpa2、rt1以及rt2来进行映射处理和旋转处理。存储部160例如是存储器或寄存器。例如,存储器是ram或非易失性存储器等半导体存储器。

另外,图像处理电路135、比较电路145以及错误检测电路150是逻辑电路。图像处理电路135、比较电路145以及错误检测电路150可以作为各个电路而构成,或者也可以构成为通过自动配置布线等一体化的电路。另外,这些逻辑电路的一部分或全部也可以由dsp(digitalsignalprocessor:数字信号处理器)等处理器实现。在该情况下,记述了各电路的功能的程序或指令集被存储在存储器中,通过由处理器执行该程序或指令集,实现了各电路的功能。

在图1中,电路装置100包含错误检测电路150和错误检测结果寄存器176,但电路装置100也可以不包含错误检测电路150和错误检测结果寄存器176。在该情况下,接口190也可以将由比较电路145求出的指标输出到处理装置200,接收到该指标的处理装置200通过对指标和阈值进行比较来进行错误检测。处理装置200在检测到错误时,也可以进行平视显示器的显示停止等错误应对动作。

图2是对本实施方式的电路装置100的第1动作例进行说明的图。

在第1旋转处理s11中,第1处理电路131使用第1旋转信息rt1对第1映射信息mpa1进行旋转变换,从而生成映射信息rmpa1。第1映射信息mpa1是将源坐标和目标坐标对应起来而得的映射表。第1旋转信息rt1是对坐标系的旋转变换进行规定的信息。第1处理电路131根据第1旋转信息rt1对源坐标或目标坐标进行旋转变换。变换后的映射表是映射信息rmpa1。

在第1映射处理s12中,第1处理电路131使用映射信息rmpa1将图像ima1映射为图像ima2。也将映射处理称为扭曲处理。由于使用旋转变换后的映射信息rmpa1,所以与映射一起进行图像旋转。

第1映射处理s12通过进行将图像ima1上的位置和显示部上的位置对应起来的坐标变换,将图像ima1变换为图像ima2。该坐标变换由映射表来定义。第1处理电路131是正向扭曲引擎(forwardwrapengine)或反向扭曲引擎(inversewrapengine)。在第1处理电路131为正向扭曲引擎时,第1映射信息mpa1是正向映射表,在第1处理电路131为反向扭曲引擎时,第1映射信息mpa1是反向映射表。另外,也将反向扭曲引擎称为逆向扭曲引擎(reversewrapengine),将反向映射表称为逆向映射表。

正向扭曲是使针对扭曲引擎的输入图像的各像素向输出图像的任意位置移动的变换。正向扭曲引擎是具有正向扭曲的功能的扭曲引擎。正向映射表是将输入图像的各像素与该各像素所对应的移动目的地坐标对应起来而得的表。或者,正向映射表是将输入图像的各像素和向该各像素所对应的移动目的地坐标移动的相对移动量对应起来而得的表。反向扭曲是根据输入图像中的任意位置的像素来求出扭曲引擎的输出图像的各像素的变换。反向扭曲引擎是具有反向扭曲的功能的扭曲引擎。反向映射表是将输出图像的各像素和该各像素所对应的参照源坐标对应起来而得的表。或者,反向映射表是将输出图像的各像素和从该各像素所对应的参照源坐标起的相对移动量对应起来而得的表。

第1映射处理s12是使图像ima1发生变形以使平视显示器的显示部所显示的图像在用户看来不是变形状态的处理。在显示部具有曲面的情况下,当使不变形的图像显示于显示部时,由于是曲面,所以从用户来看图像是变形的。为了消除该变形,使图像发生变形。或者,在将图像投影到显示部时图像有时会发生变形,但同样为了消除变形而使图像发生变形。这样,由于图像ima2是未变形的图像ima1发生变形后的图像,所以图像ima2为变形的图像。

在第1旋转处理s11或第1映射处理s12存在异常的情况下,图像ima1无法被正常地变换为图像ima2。在检测到这样的错误时,即使单纯地对变形后的图像ima2和原始的图像ima1进行比较,也无法准确地进行错误检测,因此,在本实施方式中,在对图像ima2进行了逆映射之后进行图像比较。对该逆映射和图像比较进行说明。

如s13所示,第1处理电路131从图像ima1提取roi,并输出提取后的图像ima1’。例如,将平视显示器所显示的图像中的想要验证显示是否正常的区域设为roi。例如,在车载平视显示器中,roi是包含警告灯等图标的区域。

如s23所示,第2处理电路132从图像ima2提取roi,并输出提取后的图像ima2’。图像ima2中的roi是与图像ima1中的roi相应的区域。

在第2旋转处理s21中,第2处理电路132使用第2旋转信息rt2对第2映射信息mpa2进行旋转变换,从而生成映射信息rmpa2。第2映射信息mpa2是将源坐标和目标坐标对应起来而得的映射表。第2旋转信息rt2是对由第1旋转信息rt1规定的旋转变换的反向旋转变换进行规定的信息。即,由第2旋转信息rt2规定的旋转变换与由第1旋转信息rt1规定的旋转变换相比,它们的中心坐标相同,旋转角度的绝对值相同,旋转方向相反。第2处理电路132根据第2旋转信息rt2对源坐标或目标坐标进行旋转变换。变换后的映射表是映射信息rmpa2。

在第2映射处理s22中,第2处理电路132使用映射信息rmpa2将图像ima2’映射为图像ima3。图像ima3是第3图像。由于使用旋转变换后的映射信息rmpa2,所以与映射一起进行图像旋转。

第2映射处理s22通过进行将显示部上的位置和图像ima3上的位置对应起来的坐标变换,将图像ima2’变换为图像ima3。该坐标变换由映射表来定义,是第1映射处理s12中的坐标变换的逆变换。第2处理电路132是正向扭曲引擎或反向扭曲引擎。在第2处理电路132为正向扭曲引擎时,第2映射信息mpa2为反向映射表,在第2处理电路132为反向扭曲引擎时,第2映射信息mpa2为正向映射表。

第2映射处理s22是将与平视显示器的显示部相匹配地发生变形后的图像恢复为不变形的图像的处理。在由第1处理电路131和第2处理电路132进行的处理无异常的情况下,映射前的图像ima1’与映射和逆映射后的图像ima3应该是相同的图像。比较电路145求出表示图像ima1’与图像ima3的相似度的指标。在该指标所示的相似度为阈值以下的情况下,错误检测电路150判断为产生了错误。另外,即使图像ima1’与图像ima3不完全一致,在图像ima1’与图像ima3相似到不影响图像ima2的可视性的程度的情况下,错误检测电路150判断为未产生错误。允许何种程度的相似度是通过指标和要比较的阈值来设定的。

另外,在图2中,以第1处理电路131根据第1旋转信息rt1对第1映射信息mpa1进行旋转处理,并使用处理后的映射信息rmpa1对图像ima1进行映射处理的情况为例来进行说明,但旋转处理和映射处理并不限定于此。同样,由第2处理电路132进行的旋转处理和映射处理也并不限定于图2。例如,也可以是,第1处理电路131使用第1映射信息mpa1对第1图像ima1进行映射处理,并根据第1旋转信息rt1对处理后的图像进行旋转处理。也可以是,第2处理电路132根据第2旋转信息rt2对图像ima2’进行旋转处理,并使用第2映射信息mpa2对处理后的图像进行映射处理。

图3是对平视显示器的安装公差与图像旋转的关系进行说明的图。另外,在图3中,以平视显示器设置于汽车的仪表板的情况为例来进行说明,但平视显示器的设置场所并不限定于此。

图3所示的方向dz是与平视显示器的显示部dsp垂直的方向。在显示部dsp具有曲面的情况下,在显示部dsp的某个位置处,方向dz与显示部dsp垂直。例如方向dz与显示部dsp在显示部dsp的中央是垂直的。方向dx是与方向dz垂直的方向,方向dy是与方向dx和方向dz垂直的方向。方向dx相当于水平方向。即,在汽车为水平姿势时,方向dx与水平面平行。在平视显示器与汽车的仪表板垂直设置的情况下,方向dy相当于垂直方向,方向dy与水平面垂直。但是,方向dy并不限定于垂直方向,方向dy也可以相对于水平面倾斜。即,平视显示器也可以沿深度方向倾斜而设置于仪表板。

旋转rz表示以与方向dz平行的轴为旋转轴的显示部dsp的旋转。由于将平视显示器安装于仪表板时的公差,旋转rz的旋转角度会产生偏差。将公差为零时的旋转角度设为0度,将顺时针的旋转设为正,将逆时针的旋转设为负。在显示部dsp的旋转rz为正的旋转角度时,显示图像在用户看来绕顺时针旋转。第1处理电路131对图像绕负方向即逆时针进行旋转处理。由此,即使显示部dsp由于公差而倾斜,也能够显示出在用户看来不倾斜的图像。

另外,关于深度方向上的显示部dsp的倾斜角度θx,在后面叙述插值处理时进行说明。

图4是对第1旋转处理的详细内容进行说明的图。另外,在图4中,以第1处理电路131是正向扭曲引擎的情况为例来进行说明。

如图4所示,映射表是将源坐标(xsi,ysi)和目标坐标(xti,yti)对应起来的表。i是1以上且4以下的整数。另外,在图4中,在映射表中定义了4个点的坐标变换,但映射表只要定义2个以上的点的坐标变换即可。

在第1处理电路131为正向扭曲引擎的情况下,映射表是正向映射表。即,源坐标(xsi,ysi)表示图像ima1中的位置,目标坐标(xti,yti)表示图像ima2中的位置。在第1旋转处理中,第1处理电路131对映射表内的目标坐标(xti,yti)进行旋转变换。即,对表示图像ima2中的位置的坐标进行旋转变换。另外,在第1处理电路131为反向映射引擎的情况下,也在反向映射表中对表示图像ima2内的位置的坐标进行旋转变换。

旋转变换是在xy坐标中以中心坐标为中心旋转规定角度的变换。例如,处理装置200将表示规定角度的第1旋转信息rt1经由接口190写入到寄存器电路170。第1处理电路131通过从寄存器电路170读出第1旋转信息rt1来设定规定角度。该规定角度包含旋转角度的绝对值和旋转方向的信息。

第2处理电路132也同样如此,在第2旋转处理中,对映射表中的表示图像ima2内的位置的坐标进行旋转变换。

在以上的本实施方式中,图像处理电路135对所输入的图像ima1进行第1映射处理和第1旋转处理,从而生成平视显示器用的图像ima2。图像处理电路135对图像ima2’进行作为第1映射处理的逆映射处理的第2映射处理和作为第1旋转处理的反向旋转处理的第2旋转处理,从而生成图像ima3。比较电路145进行图像ima1’与图像ima3的比较,并将比较的结果作为用于进行图像ima2的错误检测的信息来输出。

根据本实施方式,即使在平视显示器所显示的图像被旋转的情况下,也能够验证该旋转处理后的图像是否适当。即,图像处理电路135对图像ima2’进行第1映射处理的逆映射处理和第1旋转处理的反向旋转处理,因此,在图像ima2正常的情况下,图像ima3应该恢复为与图像ima1’相同的图像。比较电路145通过对该图像ima3和图像ima1’进行比较,能够输出用于进行图像ima2的错误检测的信息。

另外,在本实施方式中,比较电路145在关注区域中进行图像ima1与图像ima3的比较。即,如在图2中说明的那样,第1处理电路131从图像ima1提取roi的图像ima1’。另外,第2处理电路132从图像ima2提取roi的图像ima2’,通过对该图像ima2’进行第2映射处理和第2旋转处理而输出图像ima3。即,图像ima3是roi的图像。比较电路145对roi的图像ima1’和roi的图像ima3进行比较。

根据本实施方式,能够仅对平视显示器所显示的图像中的关注区域进行错误检测。关注区域例如是显示出显示图像中的重要度高的内容的区域。由此,能够降低图像处理电路135和比较电路145的处理负荷。即,通过对关注区域的图像ima1’和图像ima3进行比较,与利用图像整体进行比较的情况相比,能够降低比较电路145的处理负荷。另外,通过第2处理电路132对关注区域的图像ima2’进行第2映射处理和第2旋转处理,与对图像整体进行处理的情况相比,能够降低第2处理电路132的处理负荷。

2.缩小处理、放大处理

在图2中,图像处理电路135未进行图像的缩小处理和放大处理,但如以下的图5~图7所说明的那样,图像处理电路135也可以进行图像的缩小处理、或者缩小处理及放大处理。另外,以下,对在图2等中已经说明的动作省略说明。

图5是对本实施方式的电路装置100的第2动作例进行说明的图。第1处理电路131如s13所示那样从图像ima1提取roi的图像,如s14所示那样将roi的图像缩小处理为1/2尺寸,并输出缩小处理后的图像ima1’。缩小处理是指减少图像的像素数的处理、即对图像进行下采样的处理。另外,缩小和roi提取的顺序也可以是相反的。即,也可以是,第1处理电路131对图像ima1进行缩小处理,从缩小处理后的图像中提取roi的图像,并输出所提取的roi的图像ima1’。

第2处理电路132如s23所示那样从图像ima2提取roi的图像,如s24所示那样将roi的图像缩小处理为1/2尺寸,并输出缩小处理后的图像ima2’。由于图像ima1’和图像ima3都是缩小了1/2的图像,所以图像ima1’和图像ima3为相同尺寸。另外,与第1处理电路131的情况同样,缩小和roi提取的顺序也可以是相反的。

图6是对本实施方式的电路装置100的第3动作例进行说明的图。在图6中,第1处理电路131仅进行s13的roi提取,不进行1/2缩小。第2处理电路132进行s23的roi提取和s24的1/2缩小处理。另外,如s26所示,第2处理电路132进行使图像ima3的图像尺寸放大2倍的放大处理,并输出放大处理后的图像ima3’。比较电路145对图像ima1’和图像ima3’进行比较。通过s24的1/2缩小处理和s26的2倍放大处理,图像ima3’与图像ima1’为相同尺寸。

图7是对本实施方式的电路装置100的第4动作例进行说明的图。在图7中,第1处理电路131进行s13的roi提取和s14的1/2缩小处理。第2处理电路132如s23所示那样从图像ima2提取roi的图像,如s25所示那样将roi的图像缩小处理为1/4尺寸,并输出缩小处理后的图像ima2’。第2处理电路132进行s26的2倍放大处理。图像ima1’是缩小1/2后的图像,图像ima3是缩小1/4和放大2倍后的图像,因此图像ima1’与图像ima3为相同尺寸。

根据以上的图5~图7的实施方式,第2处理电路132对缩小1/2或缩小1/4后的图像ima2’进行第2映射处理和第2旋转处理,因此与未进行缩小处理的情况相比,能够降低第2处理电路132的处理负荷。另外,根据图5和图7的实施方式,比较电路145对尺寸缩小1/2的图像进行比较,与对原始尺寸的图像进行比较的情况相比,能够降低比较电路145的处理负荷。

3.映射表插值处理

对根据平视显示器的显示器面的倾斜角度来插值映射表的处理进行说明。首先,使用图3对深度方向上的显示器面的倾斜角度进行说明。

如图3所示,将在显示部dsp中显示图像的面设为显示器面。显示器面与基准面所成的角度是深度方向上的显示器面的倾斜角度θx。基准面例如是水平面,但并不限定于此。当显示器面以与方向dx平行的轴为旋转轴进行旋转时,倾斜角度θx发生变化。倾斜角度θx可以是固定,也可以是可变的。例如,也可以构成为用户能够对倾斜角度θx进行调整。

图8是对映射表的插值处理进行说明的图。第1处理电路131所用的第1映射信息mpa1包含与第1倾斜角度对应的第1映射表tb1和与第2倾斜角度对应的第2映射表tb2。在图8中,将第1倾斜角度设为5度,将第2倾斜角度设为10度。

第1处理电路131进行基于第1映射表tb1和第2映射表tb2的插值处理s50,从而生成与第3倾斜角度对应的第3映射表tb3,并根据第3映射表tb3来进行第1映射处理。具体来说,处理装置200将表示第3倾斜角度的倾斜信息slp经由接口190写入寄存器电路170。第1处理电路131根据写入寄存器电路170的倾斜信息slp来进行插值处理s50。

插值处理s50是通过线性插值而由第1映射表tb1和第2映射表tb2求出第3映射表的处理。例如当以图4的映射表为例时,第1映射表tb1的目标坐标(xti,yti)和第2映射表tb2的目标坐标(xti,yti)根据倾斜角度而不同。第1处理电路131根据第1映射表tb1的目标坐标(xti,yti)和第2映射表tb2的目标坐标(xti,yti),通过线性插值来求出第3映射表的目标坐标(xti,yti)。另外,第1处理电路131也可以通过使用3个以上的映射表来进行3次样条插值等高次插值。

另外,第2处理电路132也进行同样的插值处理。即,第2映射信息mpa2包含与第1倾斜角度对应的第4映射表和与第2倾斜角度对应的第5映射表。第2处理电路132通过进行基于第4映射表和第5映射表的插值处理,生成与第3倾斜角度对应的第6映射表,并根据第6映射表来进行第2映射处理。

4.在各帧中逐次比较1个颜色成分的处理

比较电路145在1个或多个帧中进行图像比较。以下,“各帧”是指进行图像比较的帧。比较电路145可以在进行比较的各帧中对图像的全部颜色成分进行比较,也可以在各帧中逐次比较图像的1个颜色成分。

图9是对在各帧中逐次比较图像的1个颜色成分的情况的处理进行说明的图。在图9中,将图像的r成分、g成分、b成分分别设为第1颜色成分、第2颜色成分、第3色成分,但颜色成分并不限定于此。例如第1颜色成分、第2颜色成分、第3色成分也可以是y成分、cr成分、cb成分。在图9中,在每1帧中进行图像比较,在帧f4之后反复进行帧f1~f3中的处理。

在帧f1中,第1处理电路131对图像ima1的rgb成分进行第1映射处理和第1旋转处理,并输出图像ima2的rgb成分。在帧f2、f3中,上述处理也是相同的。

在帧f1中,第1处理电路131从图像ima1的r成分提取roi,并输出图像ima1’的r成分。第2处理电路132从图像ima2的r成分提取roi,并输出图像ima2’的r成分,对图像ima2’的r成分进行第2映射处理和第2旋转处理,输出图像ima3的r成分。比较电路145对图像ima1’的r成分和图像ima3的r成分进行比较。在帧f2中,第1处理电路131、第2处理电路132以及比较电路145对g成分进行与上述同样的处理。在帧f3中,第1处理电路131、第2处理电路132以及比较电路145对b成分进行与上述同样的处理。

根据图9的实施方式,在各帧中仅生成1个颜色成分的roi的图像,在该1个颜色成分中进行图像比较。由此,与在各帧中进行全部颜色成分的图像比较的情况相比,减少了由第2处理电路132进行的第2映射处理和第2旋转处理的处理负荷、以及由比较电路145进行的比较处理的处理负荷。

5.图像比较

对由比较电路145进行的图像比较进行说明。

图10是平视显示器所显示的图像img2的一例。在图10中,在仪表图像dim上重叠有图标ica。图标ica以某种透过率与仪表图像dim混合。在本实施方式中,电路装置100验证图标ica是否被适当地显示。在该情况下,如图10的虚线矩形所示,包含图标ica的区域被设定为roi。

图11是从映射处理前的图像img1提取的roi的图像img1’。在roi内包含图标ica和作为图标ica的背景图像的仪表图像dim。图12是从图像img2提取的roi的图像img2’被逆映射处理的图像img3。在图12中示出了图标ica未被正确地显示的例子。在该情况下,图像img1’和图像img3仅背景图像一致,图标ica部分是不同的。因此,作为比较结果的指标所示的相似度低。当在图像img3中图标ica也被正确地显示的情况下,相似度变高。表示相似度的指标可以取连续或阶段的值。错误检测电路150对指标和阈值进行比较,而通过调整该阈值,能够调整允许何种程度的相似度。

作为表示图像img1’与图像img3的相似度的指标,比较电路145求出形状指标或可视性指标、或者这两者。另外,如上所述,比较电路145也可以求出ssd、sad或ncc等来作为指标。另外,相似度越高指标越大或者相似度越高指标越小的情况会根据指标的计算方法而不同。阈值是针对形状指标和可视性指标而分别设定的。

首先,对形状指标的第1计算方法进行说明。比较电路145求出颜色空间中的图像img1’与图像img3的图像间距离。颜色空间例如是rgb或ycrcb。具体来说,比较电路145求出在颜色空间中图像img1’的像素和与该像素对应的图像img3的像素之间的距离的平方值。比较电路145在图像内对该平方值进行累计,将该累计值设为图像间距离。在第1计算方法中,图像间距离相当于形状指标。

接着,对形状指标的第2计算方法进行说明。如图13所示,比较电路145通过提取图像img1’的边缘来求出边缘图像eimg1’。另外,比较电路145通过提取图像img3的边缘来求出图像img3的边缘图像。以下,将图像img3的边缘图像设为eimg3。比较电路145对边缘图像eimg1’和边缘图像eimg3进行比较。具体来说,比较电路145使用索贝尔滤波器等从图像ima1’和图像img3提取边缘,并求出边缘图像eimg1’与边缘图像eimg3的相关值。在第2计算方法中,边缘图像的相关值相当于形状指标。

接着,对可视性指标的计算方法进行说明。这里,将颜色空间设为ycrcb,但颜色空间也可以是rgb等。比较电路145根据图像img1’的y通道来求出直方图。同样,比较电路145根据图像img1’的cr通道、cb通道来求出直方图,根据图像img3的y通道、cr通道、cb通道来求出直方图。

比较电路145对y通道中的图像img1’和图像img3的直方图进行互相关运算。互相关运算是指将两个直方图错开延迟(lag)而求出相关值,并且一边使延迟变化一边求出相关值的运算。如果使延迟变化而存在两个直方图的相关值变高的地方,则在该延迟中出现峰。峰有可能出现多个。同样,比较电路145对cr通道、cb通道中的图像img1’和图像img3的直方图进行互相关运算。

比较电路145调查在所有通道的互相关信号中出现峰的延迟值,并求出该延迟值中的最大的延迟值。该最大的延迟值相当于可视性指标。在图标与背景图像的颜色的对比度高的情况下,最大的延迟值增大,因此可视性指标表示图标与背景图像的颜色的对比度。可认为颜色的对比度越高,可视性越高,因此判断为可视性指标越大,相似度越高。

通过使用以上说明的形状指标或可视性指标、或者这两者,能够判断roi的图像img1’与img3的相似度。在使用了形状指标的情况下,在图像img1’与图像img3一致时,相似度最高。即,也可以将相似度另称为一致程度。例如在使图标ica旋转而显示的情况下,与图标ica不旋转的情况相比,相似度下降。另一方面,可视性指标表示颜色的对比度,因此即使在图标ica发生旋转的情况下,相似度也不怎么变化。因此,在允许图标ica发生旋转的情况等时,只要使用可视性指标即可。另外,由于形状指标和可视性指标的计算方法不同,所以能够通过使用这两者来提高错误检测的精度。

6.电子设备、移动体

图14是包含本实施方式的电路装置的电子设备的结构例。电子设备300包含处理装置310、电路装置320、存储装置350、操作装置360、通信装置370以及平视显示器400。电路装置320与图1的电路装置100对应,处理装置310与图1的处理装置200对应。平视显示器400包含显示驱动器330、显示面板340。处理装置310例如是mcu等。在图14的结构例中,电路装置320与显示控制器对应。但是,本实施方式的错误检测方法不仅能够应用于显示控制器,还能够应用于生成平视显示器用的显示图像的电路装置。

处理装置310将存储于存储装置350的图像数据或由通信装置370接收到的图像数据向电路装置320传送。电路装置320进行针对图像数据的图像处理、显示时刻控制、向显示驱动器传送的图像数据的生成及其图像数据的错误检测等。显示驱动器330根据从电路装置320传送的图像数据和电路装置320的显示时刻控制,对显示面板340进行驱动而显示图像。显示面板340例如是液晶显示面板或el显示面板等。存储装置350例如是存储器、硬盘驱动器或光盘驱动器等。操作装置360是用于供用户操作电子设备300的装置,例如是按钮、触摸面板或键盘等。通信装置370例如是进行有线通信的装置、或进行无线通信的装置。有线通信例如是lan、usb等。无线通信例如是无线lan、无线近距离通信等。

作为包含本实施方式的电路装置的电子设备,可设想车载用的电子设备、工厂设备等的显示终端、搭载于机器人的显示装置、信息处理装置等各种设备。车载用的电子设备例如是仪表面板等。信息处理装置例如是pc等。

图15是包含本实施方式的电路装置320的移动体的例子。移动体包含:本实施方式的电路装置320;以及处理装置310,其向电路装置320发送图像数据。处理装置310也可以根据来自电路装置320的平视显示器用显示图像的错误检测结果来进行错误应对处理。移动体包含平视显示器400和控制装置208。控制装置208是ecu(electroniccontrolunit:电子控制单元),在ecu中组装电路装置320和处理装置310。另外,电路装置320也可以组装于平视显示器400。本实施方式的电路装置320例如可以组装于汽车、飞机、摩托车、自行车或船舶等各种移动体。移动体例如是具有发动机或电动机等驱动机构、方向盘或舵等转向机构、各种电子设备并且在地上、空中或海上移动的设备或装置。图15概略地示出了作为移动体的具体例的汽车206。平视显示器400具有透明屏幕,该透明屏幕设置在驾驶席与挡风玻璃之间。或者,平视显示器也可以将挡风玻璃作为透明屏幕来使用,向挡风玻璃投影图像。平视显示器400例如作为汽车206的仪表面板来发挥功能。

以上说明的本实施方式的电路装置包含图像处理电路和比较电路。图像处理电路通过对所输入的第1图像进行第1映射处理和第1旋转处理,生成平视显示器用的第2图像。图像处理电路通过对第2图像进行作为第1映射处理的逆映射处理的第2映射处理和作为第1旋转处理的反向旋转处理的第2旋转处理,生成第3图像。比较电路进行第1图像与第3图像的比较,并将比较的结果作为用于进行第2图像的错误检测的信息来输出。

这样的话,即使在平视显示器所显示的图像被旋转处理的情况下,也能够验证该旋转处理后的图像是否适当。即,由于图像处理电路对第2图像进行第1映射处理的逆映射处理和第1旋转处理的反向旋转处理,所以在第2图像正常的情况下第3图像应该恢复为与第1图像相同的图像。比较电路通过对该第3图像和第1图像进行比较,能够输出用于进行第2图像的错误检测的信息。

另外,在本实施方式中,也可以是,比较电路在关注区域中进行第1图像与第3图像的比较。

这样的话,能够仅对平视显示器所显示的图像中的关注区域进行错误检测。由此,在第2映射处理和第2旋转处理中要处理的图像的像素数降低,因此图像处理电路的处理负荷降低。另外,在比较处理中要处理的图像的像素数降低,因此比较电路的处理负荷降低。

另外,在本实施方式中,也可以是,电路装置包含第1存储部。也可以是,图像处理电路提取第1图像中的关注区域的图像并存储于第1存储部。也可以是,比较电路进行存储于第1存储部的第1图像中的关注区域的图像与第3图像的比较。

第1处理电路对第1图像进行映射处理而生成第2图像,第2处理电路对第2图像进行逆映射处理而生成第3图像,因此需要运算时间。根据本实施方式,第1存储部能够在上述运算时间中暂时存储与第3图像进行比较的第1图像。

另外,在本实施方式中,也可以是,图像处理电路具有:第1处理电路,其进行第1映射处理和第1旋转处理;以及第2处理电路,其进行第2映射处理和第2旋转处理。

这样的话,在第1处理电路或第2处理电路中存在异常时检测出错误。即,在利用同一处理电路进行了映射和逆映射的情况下,在映射中产生的异常在逆映射中恢复原状,第1图像和第3图像有可能成为相似的图像。根据本实施方式,通过由独立的处理电路分别执行映射和逆映射,能够可靠地检测错误。

另外,在本实施方式中,也可以是,第2旋转处理中的图像旋转与第1旋转处理中的图像旋转的旋转中心相同,旋转角度的绝对值相同,旋转方向相反。

这样的话,由于在第1旋转处理中旋转后的图像在第2旋转处理中被反向旋转,所以恢复为原始的图像。通过对该恢复为原始的图像和第1旋转处理前的图像进行比较,能够进行错误检测。

另外,在本实施方式中,也可以是,第1旋转处理和第2旋转处理中的图像旋转将与平视显示器的显示器面交叉的轴作为旋转轴。

相对于平视显示器的安装场所,平视显示器的安装角度存在偏差。由于该安装角度的偏差,显示图像在用户看来是倾斜的。该倾斜相当于以与显示器面交叉的轴为旋转轴的旋转。在本实施方式中,通过图像处理使图像进行旋转,从而能够校正由于安装角度的偏差而产生的显示图像的倾斜。另外,通过对使用反向旋转而复原的第3图像和作为输入图像的第1图像进行比较,即使在进行了旋转校正的情况下也能够进行错误检测。

另外,在本实施方式中,也可以是,电路装置包含存储部。也可以是,存储部存储第1旋转信息和第2旋转信息,该第1旋转信息对第1旋转处理中的图像旋转进行规定,该第2旋转信息对第2旋转处理中的图像旋转进行规定。也可以是,图像处理电路根据存储于存储部的第1旋转信息来进行第1旋转处理,并根据存储于存储部的第2旋转信息来进行第2旋转处理。

在根据相同旋转信息来进行旋转处理和反向旋转处理的情况下,在旋转处理中产生的异常在反向旋转处理中恢复原状,第1图像和第3图像有可能成为相似的图像。根据本实施方式,存储部将第1旋转信息和第2旋转信息作为分别独立的旋转信息来进行存储,从而能够可靠地检测错误。

另外,在本实施方式中,也可以是,存储部存储第1映射信息和第2映射信息,该第1映射信息对第1映射处理中的映射进行规定,该第2映射信息对第2映射处理中的映射进行规定。也可以是,图像处理电路根据第1映射信息来进行第1映射处理,并根据第2映射信息来进行第2映射处理。

在根据相同映射信息进行了映射处理和逆映射处理的情况下,在映射处理中产生的异常在逆映射处理中恢复原状,第1图像和第3图像有可能成为相似的图像。根据本实施方式,存储部将第1映射信息和第2映射信息分别作为独立的映射信息来进行存储,从而能够可靠地检测错误。

另外,在本实施方式中,也可以是,第1映射信息包含第1映射表和第2映射表,该第1映射表与平视显示器的显示器面的第1倾斜角度对应,该第2映射表与显示器面的第2倾斜角度对应。也可以是,图像处理电路通过进行基于第1映射表和第2映射表的插值处理,生成与显示器面的第3倾斜角度对应的第3映射表,并根据第3映射表来进行第1映射处理。

显示图像的变形方式根据深度方向上的显示器面的倾斜角度而发生变化。在映射处理中,进行包含与该倾斜角度对应的变形的映射。根据本实施方式,基于与第1倾斜角度对应的第1映射表和与第2倾斜角度对应的第2映射表来进行插值处理,从而生成与显示器面的第3倾斜角度对应的第3映射表,因此能够应对各种倾斜角度。另外,由于通过插值处理来生成映射表,所以能够削减存储于存储部的映射表的数量。

另外,在本实施方式中,也可以是,第2映射信息包含:第4映射表,其与第1倾斜角度对应;以及第5映射表,其与第2倾斜角度对应。也可以是,图像处理电路通过进行基于第4映射表和第5映射表的插值处理,生成与第3倾斜角度对应的第6映射表,并根据第6映射表来进行第2映射处理。

这样的话,第3映射表和其逆映射所对应的第6映射表都与第3倾斜角度对应。由此,通过使用了第6映射表的逆映射,第3图像恢复为与第1图像同样的图像。

另外,在本实施方式中,也可以是,图像处理电路对第2图像进行缩小处理,并对缩小处理后的第2图像进行第2映射处理和第2旋转处理。

这样的话,由于输入到第2处理电路的第2图像为缩小图像,所以能够降低第2映射处理和第2旋转处理的处理负荷。

另外,在本实施方式中,也可以是,比较电路在第1帧中进行第1图像的第1颜色成分与第3图像的第1颜色成分的比较,在第2帧中进行第1图像的第2颜色成分与第3图像的第2颜色成分的比较。

这样的话,由于在每1帧中仅比较图像的1个颜色成分,所以与在每1帧中比较图像的全部颜色成分的情况相比,能够降低比较电路的负荷。

另外,在本实施方式中,也可以是,图像处理电路在第1帧中对第2图像的第1颜色成分进行第2映射处理和第2旋转处理,从而生成第3图像的第1颜色成分。也可以是,图像处理电路在第2帧中对第2图像的第2颜色成分进行第2映射处理和第2旋转处理,从而生成第3图像的第2颜色成分。

这样的话,由于在每1帧中仅对图像的1个颜色成分进行第2映射处理和第2旋转处理,所以与在每1帧中对图像的全部颜色成分进行第2映射处理和第2旋转处理的情况相比,能够降低第2处理电路的负荷。

另外,在本实施方式中,也可以是,比较电路根据第1图像的像素值和第3图像的像素值,或者根据第1图像的边缘图像的像素值和第3图像的边缘图像的像素值,求出表示第1图像与第3图像之间的相似度的指标来作为比较的结果。

在图像的相似度高的情况下,第1图像的像素值与第3图像的像素值相似,或者第1图像的边缘图像的像素值与第3图像的边缘图像的像素值相似。根据本实施方式,基于第1图像的像素值和第3图像的像素值,或者基于第1图像的边缘图像的像素值和第3图像的边缘图像的像素值来求出指标,由此,该指标表示第1图像与第3图像之间的相似度。

另外,在本实施方式中,也可以是,电路装置包含错误检测电路,该错误检测电路通过指标与阈值的比较来进行第2图像的错误检测。

这样的话,电路装置能够根据指标来检测第2图像的错误,进行基于该错误检测结果的错误应对处理或者将错误检测结果输出到电路装置的外部。

另外,本实施方式的电子设备包含上述任意一项所记载的电路装置。

另外,本实施方式的移动体包含上述任意一项所记载的电路装置。

另外,如上所述对本实施方式详细进行了说明,而对本领域技术人员而言,应能容易理解未实际脱离本公开的新事项和效果的多种变形。因此,这样的变形例都包括在本公开的范围内。例如,在说明书或者附图中,至少一次与更加广义或者同义的不同用语一同记载的用语在说明书或者附图的任意部分都可以置换为该不同用语。另外,本实施方式及变形例的全部组合也包含在本公开的范围内。另外,电路装置、平视显示器、电子设备以及移动体的结构和动作等也并不限定于本实施方式所说明的内容,能够实施各种变形。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1