图像处理装置以及故障诊断控制方法与流程

本申请以日本专利申请2017－174039号(申请日：2017年9月11日)为基础申请而主张优先权。本申请通过参照该基础申请而包含基础申请的全部内容。

本发明涉及图像处理装置以及故障诊断控制方法。

背景技术：

存在按照每个帧对拍摄的图像进行图像处理并且按照每个帧进行图像处理部的故障诊断的图像处理装置。该故障诊断是在从任意的帧的图像处理完成开始到下一帧的图像处理开始为止的、图像处理部进行的图像处理的空闲时间进行的。通过向图像处理部发送扫描测试图形(scantestpattern)、将图像处理部的扫描测试结果与期待值进行对照，来进行图像处理部的故障诊断。

然而，1帧的图像数据的图像处理所需要的时间根据系统总线的繁忙状况而变动。例如，在发生了非正常的中断处理等的情况下，有系统总线繁忙而图像处理的完成定时大幅迟延的情况。在图像处理的完成定时迟延的情况下，在下一帧的图像处理开始之前不能完成故障诊断，故障诊断在中途中止。如果到中途为止的扫描测试结果被丢弃，则中途之前处理的故障诊断成为无用，成为电力浪费的要因。此外，任意的帧的故障诊断处理在中途中止的情况下，为了使故障诊断处理跨越到下一帧继续进行，需要用于将中途之前的扫描测试结果及图像处理部的各寄存器的扫描数据保存并且在继续进行时对图像处理部的各寄存器再次设定扫描数据的电路，有电路规模增大的问题。

技术实现要素：

本发明提供一种能够防止因处理时间不足而引起的故障诊断中断的图像处理装置。

实施方式的图像处理装置，具备：图像处理部，将连续拍摄的图像数据按照每个帧进行图像处理；故障诊断处理部，按照每个帧进行上述图像处理部的故障诊断；以及故障诊断控制部，对在任意的帧中是否进行故障诊断进行控制。

附图说明

图1是实施方式1的图像处理装置的结构图。

图2是实施方式1的故障诊断控制部的结构图。

图3是用于对实施方式1的故障诊断控制部进行说明的流程图。

图4是用于对实施方式1的故障诊断控制部进行说明的图。

图5是用于对实施方式1的故障诊断控制部进行说明的图。

图6是用于对实施方式1的故障诊断控制部进行说明的图。

图7是变形例1的故障诊断控制部的结构图。

图8是用于对变形例1的故障诊断控制部进行说明的图。

图9是用于对实施方式2的故障诊断控制部进行说明的流程图。

图10是用于对实施方式3的故障诊断控制部进行说明的流程图。

具体实施方式

(实施方式1)

本实施方式的图像处理装置例如是将如车载相机那样连续拍摄而得的图像数据按照每个帧进行亮度修正等图像处理的装置，具备按照每个帧进行图像处理部的故障诊断的功能。按照每个帧进行图像处理部的故障诊断的目的在于，确认图像处理后的图像数据的可靠性，避免基于错误的图像信息进行驾驶辅助控制。

图像处理装置1如图1所示，具备故障诊断控制部10、图像处理部11、故障诊断处理部12、中断控制部13、系统控制部14、存储部15。图像处理部11、故障诊断处理部12、中断控制部13、系统控制部14、存储部15经由系统总线16连接。

存储部15具备ram(randomaccessmemory：随机存取存储器)、rom(readonlymemory：只读存储器)、半导体存储器等。存储部15存储图像处理部11进行了处理的图像数据、故障诊断处理部12使用的扫描测试数据及其期待值等。

图像处理部11具备dsp(digitalsignalprocessingunit：数字信号处理单元)等，例如进行与系统控制部14的参数设定对应的图像处理。图像处理部11从未图示的拍摄装置以1帧为单位取得图像数据并进行图像处理。图像处理的内容没有限定。图像处理部11例如进行以下图像处理：从rgb向yuv变换的颜色空间变换处理、进行适合于图像识别的亮度的放大或降低的亮度修正处理、边缘强调处理、将对象物的大小变更的扩大缩小处理等。图像处理部11经由系统总线16将图像处理后的图像数据存储到存储部15。

此外，图像处理部11在开始1帧的图像处理的定时，对故障诊断控制部10通知帧图像处理开始信号(图像处理开始信息)。此外，图像处理部11在完成了1帧的图像处理的定时，对故障诊断控制部10通知帧图像处理完成信号。

故障诊断处理部12具备dsp等。故障诊断处理部12通过来自故障诊断控制部10的控制，利用图像处理部11没有进行图像处理的期间，按照每个帧进行图像处理部11的故障诊断处理。具体而言，故障诊断处理部12向图像处理部11发送扫描测试数据，取得图像处理部11的扫描测试结果。由于扫描测试结果的值是已知的，所以作为期待值而事先保存在故障诊断处理部12或存储部15中。并且，故障诊断处理部12将图像处理部11的扫描测试结果与该期待值进行对照。故障诊断处理部12在扫描测试结果与该期待值一致的情况下，诊断为图像处理部11正常，在不一致的情况下，诊断为图像处理部11有故障。

故障诊断处理部12仅在从故障诊断控制部10取得了故障诊断处理请求信号的情况下进行故障诊断处理。故障诊断处理部12在从故障诊断控制部10取得了诊断处理请求信号的情况下，将响应信号返回到故障诊断控制部10。此外，故障诊断处理部12在诊断为图像处理部11有故障的情况下，将故障检出信号向中断控制部13通知。

中断控制部13根据从后述的故障诊断控制部10取得的对应的帧的图像处理的开始信号及故障诊断开始信号、和从故障诊断处理部12取得的故障检出信号，对各个要因寄存器置位(set)，通过中断信号的有效(assert)，向系统控制部14通知某些要因被置位的情况。此外，当系统控制部14经由系统总线16确认这些要因并将要因寄存器清零(clear)时，该中断信号被无效(deassert)。中断控制部13例如包含各个要因寄存器、和它们的输出的or逻辑电路而构成。

系统控制部14具备cpu(centralprocessingunit：中央处理单元)等，对图像处理装置1整体进行控制。例如，系统控制部14在通过中断控制部13确认了故障的中断要因的情况、或到下一帧的图像处理开始为止没能确认到故障诊断开始信号的情况下，控制例如车辆内的各装置，以使得不将对应的帧的图像数据使用于识别处理等。此外，系统控制部14也可以控制车辆内的各装置，以使得进行表示图像处理部11的故障发生或故障诊断没有正常进行之意的显示。此外，系统控制部14也可以具有基于装置内的各种传感器信息解析故障原因的功能。并且，系统控制部14也可以在故障发生时使未图示的显示部还一起显示温度异常、电池异常等故障原因，直到故障解除为止。

故障诊断控制部10控制在任意的帧的图像处理后是否进行故障诊断。具体而言，故障诊断控制部10判断在任意的帧的图像处理后进行的故障诊断处理是否能够在下一帧的图像处理开始之前完成，在判断为不能完成故障诊断处理的情况下，控制故障诊断处理部12以使得在该帧的图像处理后不进行故障诊断处理。详细而言，在从任意的帧的图像处理开始时起至经过预先设定的时间为止没有从图像处理部11接收到该帧的图像处理完成信息的情况下，故障诊断控制部10控制故障诊断处理部12以使得在该帧的图像处理后不进行故障诊断处理。

图2表示故障诊断控制部10的结构例。如图2所示，故障诊断控制部10包括定时生成部10a、置位/复位型的触发器10b、and电路10c、置位/复位型的触发器10d。定时生成部10a能够由移位寄存器、计数器或者定时器元件等构成。

接着，参照图3至图5，对故障诊断控制部10的动作进行说明。图3是用于说明实施方式1的故障诊断控制部的流程图。图4是进行故障诊断处理的情况下的时序图。图5是不进行故障诊断处理的情况下的时序图。图3所示的故障诊断控制处理是对故障诊断执行控制过程和帧图像处理完成状态控制过程并行处理的情况下的例子。

在故障诊断执行控制过程中，当图像处理装置1的初始设定完成(步骤s10)时，图像数据以时间t的周期从未图示的拍摄装置被依次输入到图像处理部11。例如，在拍摄装置的拍摄速度为30帧/s的情况下，图像处理部11每大约33ms取得1帧的图像数据。图像处理部11在开始1帧的图像处理的定时，将帧图像处理开始信号向故障诊断控制部10通知。故障诊断控制部10在确认到帧图像处理开始信号的接收(步骤s11：是)时，使图2所示的定时生成部10a的计数器启动(步骤s12)。

与上述处理并行地，在帧图像处理完成状态控制过程中，进行初始设定(步骤s20)、帧图像处理开始信号的取得监视(步骤s21)。步骤s11和步骤s21是共通的处理。当取得帧图像处理开始信号(步骤s21：是)时，故障诊断控制部10将触发器10b的q输出(完成状态)如图4所示那样设为低电平(步骤s22)。

在故障诊断执行控制过程中，图2所示的定时生成部10a在接收到帧图像处理开始信号时，使定时生成部10a的计数器启动(步骤s12)，进行计数直到成为规定时间t1(步骤s13)，进行计数器的停止和初始化并且制作故障诊断执行定时信号(步骤s14)。规定时间t1预先设定为，从帧图像处理开始周期的时间中减去故障诊断处理所需的时间以上的值而得到的时间。具体而言，规定时间t1如图4所示那样确定，以使得成为从帧图像处理开始周期的时间t中、减去故障诊断处理部12返回响应信号为止所需的响应时间t2和故障诊断处置所需的时间t3而得到的值以下的值。

与上述处理并行地，在帧图像处理完成状态控制过程中，图像处理部11在完成1帧的图像处理时，向故障诊断控制部10通知帧图像处理完成信号。故障诊断控制部10在接收到帧图像处理完成信号(步骤s23：是)时，将触发器10b的q输出(完成状态)如图4所示那样设为高电平(步骤s24)。图像处理部11在经由系统总线16将图像处理后的全部图像数据在存储部15中存储完成后，输出帧图像处理完成信号。因而，在由于某种要因而系统总线16繁忙的情况下，帧图像处理完成信号被输出的定时延迟。触发器10b的q输出为低电平的期间是图像处理部11的1帧的图像处理期间。

接着，作为故障诊断执行控制过程，故障诊断控制部10判断在定时生成部10a生成了故障诊断执行定时信号时是否接收了帧图像处理完成信号(步骤s15)。在定时生成部10a生成故障诊断执行定时信号之前接收了帧图像处理完成信号的情况下(步骤s15：是)，如图4所示，在图2所示的定时生成部10a输出的故障诊断执行定时信号成为高电平之前，触发器10b的q输出(完成状态)成为高电平。因而，在and电路10c的输出中，输出与故障诊断执行定时信号相同的波形的信号。以该信号作为触发，从触发器10d输出故障诊断处理请求信号。

接收到该故障诊断处理请求信号的故障诊断处理部12，将响应信号向故障诊断控制部10返回。触发器10d根据响应信号而被复位。故障诊断处理请求信号(触发器10d的q输出)为高电平的期间是故障诊断处理部12的响应时间t2。

接收到故障诊断处理请求信号的故障诊断处理部12使图像处理部11的故障诊断处理开始(步骤s16)。具体而言，故障诊断处理部12向图像处理部11发送扫描测试数据。图像处理部11被接收到的扫描测试数据扫描测试，其扫描测试结果由故障诊断处理部12接收。并且，故障诊断处理部12将该扫描测试结果与期待值进行对照。故障诊断处理部12在该扫描测试结果与期待值一致的情况下，判断为图像处理部11无故障。此外，故障诊断处理部12在该扫描测试结果与期待值不一致的情况下，判断为图像处理部11有故障，将故障检出信号向中断控制部13通知。

另一方面，在定时生成部10a生成故障诊断执行定时信号之后接收到帧图像处理完成信号的情况下(步骤s15：否)，如图5所示，在定时生成部10a输出的故障诊断执行定时信号成为高电平的时刻，触发器10b的q输出仍为低电平。因而，and电路10c的q输出的信号也保持低电平。由于没有基于and电路10c的q输出的信号的触发，所以从触发器10d不输出故障诊断处理请求信号。因而，故障诊断处理部12不进行故障诊断处理(步骤s15：否)。

故障诊断控制部10的故障诊断执行控制过程中，在步骤s15为否或者步骤s16的处理结束时，对于下一帧重复从步骤s11至步骤s15为否或步骤s16为止的处理。此外，故障诊断控制部10的帧图像处理完成状态控制过程中，在步骤s23为否或者步骤s24的处理结束时，对于下一帧重复从步骤s21至步骤s23为否或步骤s24为止的处理。

如以上说明的那样，故障诊断控制部10如图6所示那样对故障诊断处理部12进行控制，以使得：在从图像处理部11接收关于任意帧的帧图像处理开始信号时起经过规定时间t1为止，从图像处理部11接收到帧图像处理完成信号的情况下，在对应的帧的图像处理后进行故障诊断，此外，在从图像处理部11接收关于任意帧的帧图像处理开始信号时起经过规定时间t1为止，没有从图像处理部11接收到帧图像处理完成信号的情况下，在对应的帧的图像处理后不进行故障诊断。由此，能够防止因处理时间不足而引起的故障诊断中断。此外，由于不会出现处理中途的故障诊断结果被丢弃的情况，所以不进行无用的处理，从而能够有利于耗电的节约。

此外，由于能够通过图2所示那样的小规模的电路结构来构成能避免故障诊断的中途放弃的故障诊断控制部10，所以能够实现装置的小型化和省电化。

(变形例1)

在上述的说明中，作为故障诊断控制部10的结构，以图2所示的电路为例进行了说明。但是，故障诊断控制部10的结构不需要限定于此。例如，通过图7所示的电路结构也能够实现相同的功能。图8是用于对变形例1的故障诊断控制部10的动作进行说明的图。如图8所示，触发器10b的q输出在帧图像处理开始信号成为高电平的定时成为低电平。此外，触发器10b的q输出在帧图像处理完成信号成为高电平的定时成为高电平。

如果在从定时生成部10a输出故障诊断执行定时信号的定时、触发器10b的q输出为高电平，则触发器10f的q输出将高电平输出。此外，如果在从定时生成部10a输出故障诊断执行定时信号的定时、触发器10b的q输出为低电平，则触发器10f的q输出将低电平输出。即，在图像处理部11的图像处理比规定时间大幅延迟的情况下，由于故障诊断执行定时信号被输出的定时下的触发器10b的q输出为低电平，所以触发器10f的q输出也成为低电平。在触发器10f的q输出为低电平不变的情况下，由于触发器10d不被置位，所以故障诊断处理请求信号不被输出，不执行故障诊断处理。另外，为了按照每个帧进行上述的处理，触发器10f被帧图像处理开始信号复位。

(变形例2)

在实施方式1以及变形例1的说明中，说明了用逻辑电路实现故障诊断控制部10的情况，但还能够通过软处理来实现故障诊断控制部10。例如，还能够通过用软件监视图6所示的图像处理部11输出的帧图像处理完成信号和定时生成部10a输出的故障诊断执行定时信号的接收顺序来实现。具体而言，设置对图像处理状况进行监视的监视标志。该监视标志通过帧图像处理开始信号而被置位为1，通过帧图像处理完成信号而被复位为0。并且，在接收到故障诊断执行定时信号的定时读取该监视标志，如果监视标志为0则进行故障诊断处理、如果监视标志为1则不进行故障诊断处理，由此能够实现相同的功能。

(实施方式2)

在实施方式1中，使用图3，说明了将故障诊断执行控制过程和帧图像处理完成状态控制过程并行处理的故障诊断控制处理例。在实施方式2中，参照图9，说明将故障诊断执行控制过程和帧图像处理完成状态控制过程串行处理的故障诊断控制处理例。

图9所示的故障诊断控制处理例中，当故障诊断控制部10从图像处理部11接收到帧图像处理开始信号(步骤s11：是)时，故障诊断控制部10将故障诊断控制部10内的计数器启动(步骤s12)，并且将故障诊断控制部10内的完成状态清零(步骤s22)。故障诊断控制部10在计数器成为设定值为止的期间(步骤s13：否)从图像处理部11接收到帧图像处理完成信号(步骤23：是)时，对完成状态置位(步骤s24)，如果没有接收帧图像处理完成信号，则不对完成状态置位(步骤s23：否)。

故障诊断控制部10在故障诊断控制部10内的计数器成为设定值时(步骤s13：是)，使计数器停止并进行初始化(步骤s14)。接着，确认完成状态是否被置位(步骤s15)。如果在步骤s15中完成状态没有被置位(步骤s15：否)，则故障诊断控制部10不输出故障诊断处理请求信号。如果完成状态被置位(步骤s15：是)，则故障诊断控制部10输出故障诊断处理请求信号，执行故障诊断处理(步骤s16)。当步骤s15为否或者步骤s16的处理结束时，故障诊断控制部10对于下一帧重复从步骤s11至步骤s15为否或步骤s16为止的处理。

(实施方式3)

在实施方式3中，参照图10，说明将故障诊断执行控制过程和帧图像处理完成状态控制过程串行处理的其他故障诊断控制处理例。省略与实施方式2的说明相同的说明。

图10所示的故障诊断控制处理例中，故障诊断控制部10在从图像处理部11接收到帧图像处理开始信号(步骤s11：是)时，将故障诊断控制部10内的计数器启动(步骤s12)。故障诊断控制部10在上述计数器成为设定值为止的期间(步骤s13：否)从图像处理部11接收到帧图像处理完成信号(步骤23：是)时，输出故障诊断处理请求信号，执行故障诊断(步骤s16)。故障诊断控制部10在未接收到帧图像处理完成信号时上述计数器成为设定值以上的情况下(步骤s13：是)，不输出故障诊断处理请求信号。

在上述计数器成为设定值时(步骤s13：是)，或者在输出了故障诊断处理请求信号时，故障诊断控制部10使上述计数器停止并进行初始化(步骤s17)。在步骤s17的处理结束时，故障诊断控制部10对于下一帧重复从步骤s11至步骤s17为止的处理。

另外，在上述的说明中，说明了图1所示的图像处理部11、故障诊断处理部12、系统控制部14分别具备dsp或cpu的情况，但硬件结构不需要限定于此。例如，也可以将全部的处理用多个或1个cpu处理。

此外，在上述的说明中，说明了故障诊断处理部12利用扫描测试图形和期待值进行故障诊断的情况，但不需要限定故障诊断的内容。只要使图像处理部11在规定的时间内执行某种处理、并基于该执行结果进行故障诊断即可。

此外，在使用图2及图7的说明中，主要通过正逻辑进行了说明，但逻辑电路的组成方式各种各样。例如，也可以用负逻辑构成，也可以将正逻辑和负逻辑组合来构成。其结果，图2所示的and电路10c有时会成为nand电路、or电路、nor电路。此外，还能够不使用触发器而构成逻辑电路。所谓正逻辑，是指用1(高电平)表现真(例如发挥功能的状态)而用0(低电平)表现伪来构成逻辑电路。

以上，说明了本发明的实施方式，但这些实施方式是作为例子而提示的，并不意欲限定发明的范围。这些新的实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，并且包含在权利要求的范围所记载的发明及其等同范围中。