图像处理装置、图像处理方法以及图像处理系统与流程

本公开涉及图像处理装置、图像处理方法和图像处理系统。

背景技术：

一种车内相机系统，包括具有成像元件的初级图像处理集成电路(ic)和具有识别功能等的后级图像处理ic。此外，在初级图像处理ic和后级图像处理ic之间包括其他图像处理ic、存储器、缓冲器、信号传输电路等。

引文列表

专利文献

专利文献1：jp2015-171106a

技术实现要素：

技术问题

然而，在上述现有技术中，从初级图像处理ic发送的图像信息可能在到达后级图像处理ic之前被改变。

在后级图像处理ic对改变的图像信息执行识别处理的情况下，可能执行错误识别，因此，需要判定从初级图像处理ic传输的图像信息的状态。

因此，本公开提出了能够判定图像信息的状态的图像处理装置、图像处理方法和图像处理系统。

问题的解决方案

根据本公开，一种图像处理装置包括获取单元，其获取捕获图像；重叠单元，其生成在所述捕获图像的未使用区域上重叠图像而得到的重叠图像；以及判定单元，其基于从所述重叠单元传输的重叠图像中的重叠有所述图像的区域的特性来判定所述捕获图像的状态。

附图说明

图1是示出根据第一实施例的成像装置的功能配置的示例的图。

图2是用于描述根据第一实施例的由重叠单元执行的处理的图(1)。

图3是用于描述根据第一实施例的由重叠单元执行的处理的图(2)。

图4是示出根据第一实施例的状态判定结果数据的数据结构的示例的图。

图5是用于描述由判定单元执行的处理的图。

图6是示出当图像正常时标准偏差和积分值的分布的示例的图。

图7是示出当发生图像粘滞时标准偏差和积分值的分布的示例的图。

图8是示出当发生视频掩蔽时标准偏差和积分值的分布的示例的图。

图9是示出当发生灰度级变化时标准偏差和积分值的分布的示例的图。

图10是示出当产生噪声重叠时标准偏差和积分值的分布的示例的图。

图11是示出根据第一实施例的图像处理装置的处理过程的流程图。

图12是示出状态判定处理的处理过程的流程图。

图13是示出通知处理的处理过程的流程图。

图14是用于描述由重叠单元执行的其他处理的图。

图15是示出当图像反转发生时标准偏差和积分值的分布的示例的图。

图16是示出根据第二实施例的系统的示例的图。

图17是示出根据第二实施例的成像装置的处理过程的流程图。

图18是用于描述由经销商服务器提供的服务的示例的图。

图19是示出实现成像装置的功能的计算机的示例的硬件配置图。

图20是示出其他图像处理系统的功能配置的示例的图。

图21是示出可以应用本技术的车辆控制系统的示意性功能配置的示例的框图。

图22是示出自动驾驶紧急行动模式的处理过程的流程图。

具体实施方式

在下文中，将参考附图详细描述本公开的实施例。另外，在以下的各实施例中，对相同的部分标注相同的符号，并且省略重复的说明。

(1.第一实施例)

[1-1.根据第一实施例的成像装置的功能配置]

图1是示出根据第一实施例的成像装置的功能配置的示例的图。如图1所示，成像装置100包括初级图像处理单元110、信号传输电路120、图像处理单元130、存储单元135和后级图像处理单元140。例如，成像装置100是包括在安装在车辆上的车内系统中的装置。成像装置100是图像处理装置的示例。

初级图像处理单元110、图像处理单元130和后级图像处理单元140每个都由例如集成电路(ic)实现。

初级图像处理单元110连接到信号传输电路120。图像处理单元130连接到信号传输电路120。后级图像处理单元140连接到信号传输电路120。

初级图像处理单元110是与图像传感器相对应的器件，诸如互补金属氧化物半导体(cmos)或电荷耦合器件(ccd)等。例如，初级图像处理单元110包括成像元件单元110a、重叠单元110b和图像输出单元110c。注意，在从后级图像处理单元140等接收到复位命令的情况下，初级图像处理单元110重新启动。

成像元件单元110a是通过将通过相机镜头(未示出)入射的光转换成电信号来生成(获取)视频信号的处理单元。成像元件单元110a是获取单元的示例。在以下描述中，由成像元件单元110a生成的视频信号被称为“捕获图像”。成像元件单元110a将捕获图像输出至重叠单元110b。成像元件单元110a以预定的帧速率(每秒帧数(fps))重复执行上述过程。

重叠单元110b是生成其中在捕获图像的未使用区域上重叠有图像的重叠图像的处理单元。例如，未使用区域对应于捕获图像中的图像圈之外的未曝光区域。注意，即使在图像圈中的曝光区域的情况下，图像处理单元130、后级图像处理单元140等未使用的区域也可对应于未使用区域。

由重叠单元110b重叠在捕获图像的未使用区域上的检查图像是具有多个亮度的图案图像。例如，重叠单元110b将多种类型的具有单一亮度的图像或者亮度逐渐变化的具有灰度的图像作为图案图像重叠在捕获图像的未使用区域上。在以下描述中，具有单一亮度的图像被称为“单一亮度图像”。具有灰度的图像被称为“灰度图像”。此外，在不特别区分单一亮度图像和灰度图像的情况下，将它们称为“图案图像”。重叠单元110b可以通过使用存储在存储器(未示出)中的位图来重叠图像，或者ic的cpu/gpu可以绘制图像。

图2和图3是用于说明根据第一实施例的由重叠单元进行的处理的图。将描述图2。在图2所示的示例中，第2n-1(n是自然数)个捕获图像10a包括与未使用区域对应的区域a1、a4、a6和a7。重叠单元110b在区域a1上重叠灰度图像p1。重叠单元110b在区域a4上重叠灰度图像p4。重叠单元110b将单一亮度图像p6重叠在区域a6上。重叠单元110b将单一亮度图像p7重叠在区域a7上。这里，单一亮度图像p6的亮度值和单一亮度图像p7的亮度值彼此不同。这样，重叠单元110b生成重叠图像11a。

将描述图3。在图3所示的示例中，第2n捕获图像10b包括作为未使用区域的区域a2、a3、a5和a8。重叠单元110b在区域a2上重叠灰度图像p2。重叠单元110b在区域a3上重叠灰度图像p3。重叠单元110b将单一亮度图像p5重叠在区域a5上。重叠单元110b将单一亮度图像p8重叠在区域a8上。这里，单一亮度图像p5的亮度值和单一亮度图像p8的亮度值彼此不同。这样，重叠单元110b生成重叠图像11b。

如上所述，重叠单元110b从成像元件单元110a获取多个捕获图像，并且将图案图像p1、p4、p6和p7中的每一个重叠在第2n-1捕获图像10a上，以生成重叠图像11a。重叠单元110b将图案图像p2、p3、p5、p8中的每一个重叠在第2n捕获图像10b上，以生成重叠图像11b。重叠单元110b将重叠图像11a和11b依次输出至图像输出单元110c。

图像输出单元110c是从重叠单元110b获取重叠图像11a和11b并将所获取的重叠图像11a和11b输出至信号传输电路120的处理单元。重叠图像11a和11b通过信号传输电路120传输，并且到达图像处理单元130和后级图像处理单元140。

信号传输电路120是传输从初级图像处理单元110接收到的诸如重叠图像11a和11b的信号的电路。例如，信号传输电路120包括缓冲器、存储器和各种信号处理ic，并且重叠图像11a和11b等经由缓冲器、存储器和各种信号处理ic被传输到图像处理单元130和后级图像处理单元140。

图像处理单元130是基于重叠图像11a和11b中所包括的除未使用区域以外的区域来执行各种图像处理的处理单元。

存储单元135是保持状态判定结果数据135a的存储装置。存储单元135对应于诸如随机存取存储器(ram)、只读存储器(rom)或闪存的半导体存储元件，或者诸如硬盘驱动器(hdd)的存储装置。存储单元135可以是易失性存储器或非易失性存储器中的任何一个，或者可以使用易失性存储器和非易失性存储器两者。

状态判定结果数据135a是关于判定捕获图像的状态的结果的信息。图4是示出根据第一实施例的状态判定结果数据的数据结构的示例的图。如图4所示，状态判定结果数据135a具有状态异常位区域(bitarea)、图像粘滞位区域、视频掩蔽位区域、灰度级变化位区域和噪声重叠位区域。在每个位区域中，由后级图像处理单元140设置“1”或“0”。

在捕获图像中存在异常的情况下，在状态异常位区域中设置“1”，并且在捕获图像中不存在异常的情况下，在状态异常位区域中设置“0”。在捕获图像中存在图像粘滞的异常的情况下，在图像粘滞位区域中设置“1”，并且在不存在图像粘滞的异常的情况下，在图像粘滞位区域中设置“0”。

此外，状态判定结果数据135a具有标准偏差区域和积分值区域。标准偏差区域是保持从区域a1到a8计算的标准偏差的区域。积分值区域是保持从区域a1到a8计算的积分值的区域。

在捕获图像中存在视频掩蔽异常的情况下，在视频掩蔽位区域中设置“1”，并且在不存在视频掩蔽异常的情况下，在视频掩蔽位区域中设置“0”。在捕获图像中存在灰度级变化异常的情况下，在灰度级变化位区域中设置“1”，并且在不存在灰度级变化异常的情况下，在灰度级变化位区域中设置“0”。在捕获图像中存在噪声重叠的异常的情况下，在噪声重叠位区域中设置“1”，并且在不存在噪声重叠的异常的情况下，在噪声重叠位区域中设置“0”。

后级图像处理单元140是基于重叠图像11a和11b来判定捕获图像的状态并将状态判定结果数据135a存储在存储单元135中的处理单元。后级图像处理单元140将状态判定结果数据135a通知给外部装置或成像装置100的其他电路(未示出)。此外，后级图像处理单元140对重叠图像11a和11b执行感测处理等。

例如，后级图像处理单元140包括图像输入单元140a、判定单元140b、分析处理单元140c和通知单元140d。分析处理单元140c是感测处理单元的示例。

图像输入单元140a是获取从初级图像处理单元110传输的重叠图像11a和11b的处理单元。图像输入单元140a将重叠图像11a和11b输出至判定单元140b。此外，图像输入单元140a将重叠图像11a和11b输出至分析处理单元140c。

判定单元140b是基于重叠图像11a和11b判定捕获图像的状态的处理单元。判定单元140b根据判定结果在状态判定结果数据135a的每个位区域中设置“1”。注意，状态判定结果数据135a的每个位区域的初始值被设置为“0”。判定单元140b通过执行这种处理来生成状态判定结果数据135a，并且将状态判定结果数据135a存储在存储单元150中。此外，判定单元140b将状态判定结果数据135a输出到通知单元140d。

如下所述，判定单元140b执行计算亮度值的标准偏差和亮度值的积分值的处理，以及判定状态的处理。

将描述判定单元140b计算亮度值的标准偏差和亮度值的积分值的处理。图5是用于描述由判定单元执行的处理的图。例如，判定单元140b计算来自重叠图像11a和11b的区域a1至a8中的每一个的亮度值的标准偏差和亮度值的积分值，并判定捕获图像的状态。作为示例，将参考图5描述计算重叠图像11a的区域a1的标准偏差的情况。部分区域11a1是区域a1周围的放大区域。区域a1由多个像素构成。判定单元140b基于等式(1)计算区域a1的标准偏差σ。

在等式(1)中，“n”表示要计算其标准偏差的区域中的像素的数量。yi表示在要计算其标准偏差的区域中的每个像素的亮度值。“yave”表示要计算其标准偏差的区域中的全部像素的亮度值的平均值。

判定单元140b通过对要计算其积分值的区域中的各个图像的亮度值求和来计算积分值。其积分值将被计算的区域与其标准偏差将被计算的区域相同。判定单元140b通过对区域a1的各个像素的亮度值求和来计算区域a1的亮度值的积分值。

判定单元140b还以与区域a1相同的方式计算区域a2至a8中的每一个的标准偏差和积分值。

随后，将描述由判定单元140b执行的判定状态的处理。注意，判定单元140b预先保持标准偏差的期望值和重叠图像11a和11b的区域a1至a8的积分值的期望值。

例如，判定单元140b判定通过等式(2a)至(2h)计算的差值d1a至d1h是否等于或大于阈值th1-1。在等式(2a)至(2h)中，σa1至σa8是区域a1至a8的亮度值的标准偏差。e1a1至e1a8是区域a1至a8的标准偏差的期望值。

d1a＝|σa1-e1a1|……(2a)

d1b＝|σa2-e1a2|……(2b)

d1c＝|σa3-e1a3|……(2c)

d1d＝|σa4-e1a4|……(2d)

d1e＝|σa5-e1a5|……(2e)

d1f＝|σa6-e1a6|……(2f)

d1g＝|σa7-e1a7|……(2g)

d1h＝|σa8-e1a8|……(2h)

此外，判定单元140b判定由等式(3a)至(3h)计算的差值d2a至d2h是否等于或大于阈值th1-2。在等式(3a)至(3h)中，ia1至ia8是区域a1至a8的亮度值的积分值。e2a1至e2a1是区域a1至a8的积分值的期望值。

d2a＝|ia1-e2a1|……(3a)

d2b＝|ia2-e2a2|……(3b)

d2c＝|ia3-e2a3|……(3c)

d2d＝|ia4-e2a4|……(3d)

d2e＝|ia5-e2a5|……(3e)

d2f＝|ia6-e2a6|……(3f)

d2g＝|ia7-e2a7|……(3g)

d2h＝|ia8-e2a8|…(3h)

在差值d1a至d1h中的任一个等于或大于阈值th1-1，或者差值d2a至d2h中的任一个等于或大于阈值th1-2的情况下，判定单元140b判定在捕获图像中存在异常，并且在状态判定结果数据135a的状态异常位区域中设置1。

在判定在捕获图像中存在异常的情况下，判定单元140b将区域a1至a8的标准偏差存储在状态判定结果数据135a的标准偏差区域中。此外，区域a1至a8的积分值存储在状态判定结果数据135a的积分值区域中。

此外，在判定在捕获图像中存在异常的情况下，判定单元140b执行判定是否发生图像粘滞、视频掩蔽、灰度级变化和噪声重叠的处理。另一方面，在判定在捕获图像中没有异常的情况下，判定单元140b结束处理。

图6是示出当图像正常时标准偏差和积分值的分布的示例的图。图6的重叠图像11a和11b通过信号传输电路120传输并到达后级图像处理单元140。分布15a的横轴表示各个区域a1至a8。左侧的纵轴是与标准偏差的大小相对应的轴。区域a1至a8中的每一个的标准偏差的大小由“三角形标记”表示。右侧的纵轴是与积分值的大小对应的轴。区域a1至a8中的每一个的积分值的大小由“圆形标记”表示。图6中的分布15a是在捕获图像中没有异常的情况下的分布。

将描述判定单元140b判定是否发生“图像粘滞”的处理。判定单元140b将区域a1至a4的标准偏差σa1至σa4中的每一个与阈值th2进行比较，并且在三个或更多个标准偏差不等于或大于阈值th2的情况下，判定在捕获图像中发生图像粘滞。在判定在捕获图像中发生图像粘滞的情况下，判定单元140b在状态判定结果数据135a的图像粘滞位区域中设置1。

图7是示出当发生图像粘滞时标准偏差和积分值的分布的示例的图。图7的重叠图像11a和11b通过信号传输电路120传输并到达后级图像处理单元140。分布15b的横轴表示各个区域a1至a8。左侧的纵轴是与标准偏差的大小相对应的轴。区域a1至a8中的每一个的标准偏差的大小由“三角形标记”指示。右侧的纵轴是与积分值的大小对应的轴。区域a1至a8中的每一个的积分值的大小由“圆形标记”表示。图7中的分布15b是在捕获图像中发生图像粘滞的情况下的分布。在图7所示的分布15b中，区域a2和a3的标准偏差小于阈值th2。在图7中，黑色三角形标记是标准偏差的实际值，并且实心圆形标记是实际积分值。注意，在标准偏差的实际值是当捕获图像异常时的值的情况下，通过白色三角形标记表示正常值(期望值)。在实际积分值是当捕获图像异常时的值的情况下，正常值(期望值)由虚线圆形标记表示。

例如，当在初级图像处理单元110或初级图像处理单元110与后级图像处理单元140之间的其他信号处理ic、存储器或缓冲器(信号传输电路120)中发生故障时，认为发生图像粘滞。

将描述判定单元140b判定是否发生“视频掩蔽”的处理。判定单元140b计算区域a5至a8的积分值ia5至ia8的变化(方差)。在计算出的方差小于阈值th3的情况下，判定单元140b判定在捕获图像中发生视频掩蔽。在判定在捕获图像中发生视频掩蔽的情况下，判定单元140b在状态判定结果数据135a的视频掩蔽位区域中设置1。

图8是示出当视频掩蔽发生时标准偏差和积分值的分布的示例的图。图8的重叠图像11a和11b通过信号传输电路120传输并到达后级图像处理单元140。分布15c的横轴表示各区域a1至a8。左侧的纵轴是与标准偏差的大小相对应的轴。区域a1至a8中的每一个的标准偏差的大小由“三角形标记”表示。右侧的纵轴是与积分值的大小对应的轴。区域a1至a8中的每一个的积分值的大小由“圆形标记”表示。图8中的分布15c是在捕获图像中发生视频掩蔽的情况下的分布。在图8所示的分布15c中，各区域a1至a8的积分值几乎没有变化，因此，方差较小。在图8中，黑色三角形标记是标准偏差的实际值，并且实心圆形标记是实际积分值。注意，在标准偏差的实际值为捕获图像异常时的值的情况下，正常值(期望值)由白色三角形标记表示。在实际积分值为捕获图像异常时的值的情况下，正常值(期望值)由虚线圆形标记表示。

当初级图像处理单元110或在初级图像处理单元110和后级图像处理单元140之间的其他信号处理ic检测到错误时，根据错误状态，具有不同亮度的单色掩模可被重叠在图像上。该掩模被生成为视频掩蔽。

将描述判定单元140b判定是否发生“灰度级变化(灰度级跳变)”的处理。在区域a1至a4的积分值和各个期望值之间的差等于或大于阈值th4的情况下，判定单元140b判定在捕获图像中发生灰度级变化。例如，在|ia1-e2a1|、|ia2-e2a2|、|ia3-e2a3|、以及|ia4-e2a4|全部等于或大于阈值th4的情况下，判定单元140b判定在捕获图像中发生灰度级变化。在判定在捕获图像中已经发生灰度级变化的情况下，判定单元140b在状态判定结果数据135a的灰度级变化位区域中设置1。

图9是示出当灰度级变化发生时标准偏差和积分值的分布的示例的图。图9的重叠图像11a和11b通过信号传输电路120传输并到达后级图像处理单元140。分布15d的横轴表示各个区域a1至a8。左侧的纵轴是与标准偏差的大小相对应的轴。区域a1至a8中的每一个的标准偏差的大小由“三角形标记”表示。右侧的纵轴是与积分值的大小对应的轴。区域a1至a8中的每一个的积分值的大小由“圆形标记”表示。图9中的分布15d是在捕获图像中发生灰度级变化的情况下的分布。在图9所示的分布15d中，区域a1至a4的积分值都等于或大于阈值th4。在图9中，黑色三角形标记是标准偏差的实际值，并且实心圆形标记是实际积分值。注意，在实际积分值是当捕获图像异常时的值的情况下，正常值(期望值)由虚线圆形标记表示。

例如，在初级图像处理单元110和后级图像处理单元140之间的信号传输电路120(或其他ic)中发生故障，或者视频信号线由于随时间的劣化而引起的焊料裂纹而短路或开路的情况下，认为发生了灰度级变化。

将描述判定单元140b判定是否发生“噪声重叠”的处理。在区域a5至a8的标准偏差都等于或大于阈值th5的情况下，判定单元140b判定在捕获图像中发生噪声重叠。在判定在捕获图像中发生噪声重叠的情况下，判定单元140b在状态判定结果数据135a的噪声重叠位区域中设置1。

图10是示出当发生噪声重叠时标准偏差和积分值的分布的示例的图。图10的重叠图像11a和11b通过信号传输电路120传输并到达后级图像处理单元140。分布15e的横轴表示各个区域a1至a8。左侧的纵轴是与标准偏差的大小相对应的轴。区域a1至a8中的每一个的标准偏差的大小由“三角形标记”表示。右侧的纵轴是与积分值的大小对应的轴。区域a1至a8中的每一个的积分值的大小由“圆形标记”表示。图10中的分布15e是在捕获图像中发生噪声重叠的情况下的分布。在图10所示的分布15e中，区域a5至a8的标准偏差都等于或大于阈值th5。在图7中，黑色三角形标记是标准偏差的实际值，并且实心圆形标记是实际积分值。注意，在标准偏差的实际值是当捕获图像异常时的值的情况下，通过白色三角形标记表示正常值(期望值)。在实际积分值是当捕获图像异常时的值的情况下，正常值(期望值)由虚线圆形标记表示。

考虑到由于来自其他信号线的噪声或诸如信号传输期间的静电等的噪声的影响而发生噪声重叠。

如上所述，在判定在捕获图像中存在异常的情况下，判定单元140b执行判定是否发生图像粘滞、视频掩蔽、灰度级变化和噪声重叠的处理，并且在状态判定结果数据135a中设置位。判定单元140b将状态判定结果数据135a输出到通知单元140d。

返回到图1的描述，分析处理单元140c是从图像输入单元140a获取重叠图像11a和11b、并且对重叠图像11a和11b的区域中除未使用区域以外的区域(以下称为感测区域)执行各种感测处理的处理单元。

例如，分析处理单元140c通过从感测区域检测边缘等并进行模式匹配等来检测行人、其他车辆等。分析处理单元140c可以将感测结果输出到车内相机系统的显示装置等。此外，分析处理单元140c可以将感测结果通知给控制装置，控制装置执行制动控制。

通知单元140d是基于状态判定结果数据135a进行各种通知和响应的处理单元。通知单元140d参照状态判定结果数据135a，并且在状态异常位区域中设置“1”的情况下，使车内相机系统的显示装置等显示识别错误消息。例如，通知单元140d显示消息“<识别错误>请在驾驶时仔细检查周围环境”。

此外，通知单元140d参照状态判定结果数据135a，并且在状态异常位区域中设置“1”的情况下，通知单元140d参照其他位区域中的每一个进行各处理。以下，将描述通知单元140d根据图像粘滞位区域、视频掩蔽位区域、灰度级变化位区域和噪声重叠位区域的位执行的处理。

将描述在“图像粘滞位区域”中设置为1的情况下由通知单元140d执行的处理。在图像粘滞位区域中设置“1”的情况下，通知单元140d将复位命令输出到初级图像处理单元110。通知单元140d可经由信号传输电路120将复位命令输出到初级图像处理单元110，或者可经由其他路径将复位命令输出到初级图像处理单元110。

将描述在“视频掩蔽位区域”中设置“1”的情况下由通知单元140d执行的处理。在视频掩蔽位区域中设置为“1”的情况下，通知单元140d从状态判定结果数据135a的积分值区域获取积分值，并执行与该积分值相对应的处理。此外，通知单元140d将复位命令输出到初级图像处理单元110。

将描述在“灰度级变化位区域”中设置为“1”的情况下由通知单元140d执行的处理。通知单元140d使车内相机系统的显示装置显示消息“相机可能发生故障”。

将描述在“噪声重叠位区域”中设置“1”的情况下由通知单元140d进行的处理。通知单元140d跳过该处理，而不管在噪声重叠位区域中是否设置“1”。

同时，在状态异常位区域中设置为“1”并且图像粘滞位区域、视频掩蔽位区域、灰度级变化位区域以及噪声重叠位区域中的位在状态判定结果数据135a中都为“0”的情况下，通知单元140d判定发生不期望的错误。在这种情况下，通知单元140d使车内相机系统的显示装置等显示消息“发生不期望的错误”。

[1-2.根据第一实施例的成像装置的处理过程]

图11是示出根据第一实施例的成像装置的处理过程的流程图。如图11所示，成像装置100的成像元件单元110a开始获取捕获图像(步骤s101)。

成像装置100的重叠单元110b将图案图像重叠在捕获图像上以生成重叠图像(步骤s102)。成像装置100的图像输出单元110c将重叠图像发送到图像处理单元130和后级图像处理单元140(步骤s103)。

成像装置100的图像输入单元140a获取通过信号传输电路120传输的重叠图像(步骤s104)。成像装置100的判定单元140b执行状态判定处理(步骤s105)。成像装置100的通知单元140d执行通知处理(步骤s106)。

在继续处理的情况下(步骤s107，是)，成像装置100进行到步骤s102。在没有继续处理的情况下(步骤s107，否)，成像装置100结束处理。

随后，将描述在图11的步骤s105中由判定单元140b执行的状态判定处理的处理过程。图12是示出状态判定处理的处理过程的流程图。如图12所示，成像装置100的判定单元140b根据重叠图像11a和11b计算区域a1至a8的亮度值的标准偏差和亮度值的积分值(步骤s201)。

判定单元140b判定区域a1至a8中的任一个的标准偏差和积分值及其各自期望值之间的差是否等于或大于阈值(th1-1和th1-2)(步骤s202)。在区域a1至a8中的任一个的标准偏差和积分值及其各自期望值之间的差不等于或大于阈值th的情况下(步骤s202，否)，判定单元140b结束状态判定处理。

另一方面，在区域a1至a8中的任一个的标准偏差和积分值与其各自期望值之间的差等于或大于阈值th的情况下(步骤s202，是)，判定单元140b在状态异常位区域中设置为1(步骤s203)。判定单元140b将区域a1至a8的标准偏差和积分值存储在状态判定结果数据135a中(步骤s204)。

判定单元140b判定在区域a1至a4中的三个或更多个中的标准偏差是否等于或大于阈值th2(步骤s205)。在区域a1至a4中的三个或更多个中的标准偏差不等于或大于阈值th2的情况下(步骤s205，否)，判定单元140b在图像粘滞位区域中设置1(步骤s206)，并进行到步骤s209。

另一方面，在区域a1至a4中的三个或更多个中的标准偏差等于或大于阈值th2的情况下(步骤s205，是)，判定单元140b前进到步骤s207。判定单元140b判定在区域a5至a8中积分值的方差是否小于阈值th3(步骤s207)。

在积分值的方差小于阈值th3的情况下(步骤s207，是)，判定单元140b在视频掩蔽位区域中设置1(步骤s208)，并进行到步骤s211。

另一方面，在积分值的方差不小于阈值th3的情况下(步骤s207，否)，判定单元140b进行到步骤s209。判定单元140b判定区域a1至a4的积分值与其各自的期望值之间的差是否都等于或大于阈值th4(步骤s208)。

在区域a1至a4的积分值与其各自期望值之间的差并非全部等于或大于阈值th4的情况下(步骤s209，否)，判定单元140b进行到步骤s211。在区域a1至a4的积分值和其各自期望值之间的差都等于或大于阈值th4的情况下(步骤s209，是)，判定单元140b在灰度级变化位区域中设置1(步骤s210)，并进行到步骤s211。

同时，在区域a5至a8的积分值与其各自的期望值之间的差全部等于或大于阈值th4的情况下(步骤s211，是)，判定单元140b在噪声重叠位区域中设为1(步骤s212)。判定单元140b将状态判定结果数据135a存储在存储单元135中(步骤s213)。

随后，将描述在图11的步骤s106中由判定单元140b执行的通知处理的处理过程。图13是示出通知处理的处理过程的流程图。成像装置100的通知单元140d获取状态判定结果数据135a(步骤s301)。

通知单元140d判定状态异常位区域中是否被设置为1(步骤s302)。在状态异常位区域未被设置为1的情况下(步骤s302，否)，通知单元140d结束通知处理。

另一方面，在状态异常位区域中设置为1的情况下(步骤s302，是)，通知单元140d通知消息“<识别错误>请在驾驶时仔细检查周围”(步骤s303)。

通知单元140d判定在图像粘滞位区域中是否设置为1(步骤s304)。在图像粘滞位区域中设置为1的情况下(步骤s304，是)，通知单元140d向初级图像处理单元110发送复位命令(步骤s305)。

另一方面，在图像粘滞位区域中没有设置1的情况下(步骤s304，否)，通知单元140d进入步骤s306。通知单元140d判定在图像屏蔽位区域中是否设置为1(步骤s306)。在视频掩蔽位区域中设置为1的情况下(步骤s306，是)，通知单元140d获取积分值，根据积分值执行处理，并存储积分值(步骤s307)，然后进入步骤s305。在步骤307中，根据积分值，基于错误判定信息来判定错误是闪存读取错误还是像素错误。在发生闪存读取错误的情况下，再次执行闪存的读取处理，并且再次执行步骤s301之后的处理。然后，在闪存读取错误重复发生的情况下，通知单元140d存储积分值，然后进行到s305以执行复位处理。在像素错误的情况下，通知单元140d存储积分值，然后前进到s305以执行复位处理。在错误判定时，通过实验或学习预先准备指示与积分值相对应的错误的类型的错误判定信息。

在视频掩蔽位区域中没有设置1的情况下(步骤s306，否)，通知单元140d进入步骤s308。通知单元140d判定在灰度级变化位区域中是否设置为1(步骤s308)。在灰度级变化位区域中被设置为1的情况下(步骤s308，是)，通知单元140d通知消息“相机可能发生故障”(步骤s309)。

在灰度级变化位区域中未设置1的情况下(步骤s308，否)，通知单元140d进行到步骤s310。通知单元140d判定是否在噪声重叠位区域中设置了1(步骤s310)。在灰度级变化位区域中设置为1的情况下(步骤s310，是)，通知单元140d结束通知处理。

另一方面，在灰度级变化位区域中未设置1的情况下(步骤s308，否)，通知单元140d通知消息“发生不期望的错误”(步骤s311)。

[1-3.根据第一实施例的成像装置的效果]

如上所述，根据第一实施例的成像装置100生成其中在捕获图像的未使用区域上重叠有图像的重叠图像，并且基于从初级图像处理单元110传输到后级图像处理单元140的重叠图像中的图像被重叠的区域的特性来判定捕获图像的状态。结果，在由于某种原因在从初级图像处理单元110传输的捕获图像中发生非预期的状态变化的情况下，可以判定状态改变。通过判定状态改变，可以根据传输到初级图像处理单元110的复位命令执行操作，并警告驾驶员。

成像装置100生成重叠图像，其中，图像被重叠在捕获图像的区域之中的图像圈之外的未使用区域上。因此，可以在不影响对捕获图像的各种图像处理的情况下，判定捕获图像中是否存在异常。

成像装置100在捕获图像的区域中不是分析处理单元140c的感测对象的未使用区域上重叠图像，以生成重叠图像。因此，可以在不影响分析处理单元140c所执行的分析处理的情况下判定捕获图像中是否存在异常。

成像装置100将单一亮度图像或灰度图像重叠在捕获图像的未使用区域上，以生成重叠图像。通过使用这种重叠图像，当在捕获图像中发生异常时，可以识别状态异常的因素。

成像装置100在与捕获图像的未使用区域相对应的四个角上重叠图像，以生成重叠图像。因此，可以在重叠图像中包括具有不同亮度的多个单一亮度图像或灰度图像，由此可以识别状态异常的因素。

成像装置100基于通过包括缓冲器、存储器或各种信号处理ic的信号传输电路120传输的重叠图像来判定捕获图像的状态。因此，可以判定由于通过信号传输电路120的传输而发生的状态异常。

成像装置100基于重叠在重叠图像中的单一亮度图像或灰度图像来计算亮度的标准偏差和积分值，并且基于标准偏差和积分值来判定捕获图像的状态。结果，可以判定多个状态异常因素中的特定因素。例如，成像装置100可以判定诸如图像粘滞、视频掩蔽、灰度级变化或噪声重叠的状态异常。

成像装置100基于状态判定结果数据135a的判定结果进行各种通知。因此，可以通知捕获图像的状态，或者当存在异常时的因素。

(2.第一实施例的修改示例)

[2-1:第一实施例的重叠单元的修改示例]

在上述实施例中描述的重叠单元110b将图案图像重叠在捕获图像的四个角上，但是本公开不限于此。重叠单元110b可以将图案图像重叠在未使用区域的边缘上。图14是用于描述由重叠单元执行的其他处理的图。此外，图案图像可以是除上述图案以外的图案。此外，检查图像可以是除了图案图像之外的图像。

在图14所示的示例中，示出了重叠图像13a和13b。重叠图像13a是在与第2n-1(n为自然数)捕获图像12a的未使用区域对应的区域a9上重叠灰度图像而得到的。在重叠图像13b中，在与第2n(n为自然数)捕获图像12b的未使用区域对应的区域a10、a11、a12和a13上重叠单一亮度图像。重叠在a10、a11、a12和a13上的单一亮度的亮度值彼此不同。在图14中，h1指示图像圈的垂直宽度。重叠单元110b将区域a9至a13设置为h1中不包括的区域。重叠单元110b生成重叠图像13a和13b，并且图像输出单元110c将重叠图像13a和13b顺次传输至信号传输电路120。

判定单元140b基于重叠图像13a和13b来判定捕获图像的状态。例如，判定单元140b使用区域a9的亮度值的标准偏差和积分值，而不是参考图2和3描述的区域a1、a2、a3和a4。判定单元140b使用区域a10、a11、a12和a13的标准偏差和积分值，而不是参考图2和3描述的区域a5、a6、a7和a8。此外，判定单元140b可以基于管理者设置的其他判定标准来判定捕获图像的状态。

[2-2.第一实施例的判定单元的修改示例(1)]

在上述实施例中描述的判定单元140b中，计算包括在区域a1至a8中的图案图像的标准偏差以判定捕获图像的状态，但是可以使用信噪比(s/n)代替标准偏差。例如，判定单元140b基于等式(4)计算s/n。在等式(4)中，“σ”是通过等式(1)计算的标准偏差。“yave”表示计算标准偏差的区域(对象区域内)中的全部像素的亮度值的平均值。

此外，判定单元140b可通过使用亮度值的平均值或校验和值而不是计算图案图像的积分值来判定捕获图像的状态。

[2-3.第一实施例的判定单元的修改示例(2)]

在上述实施例中描述的判定单元140b将图像粘滞、视频掩蔽、灰度级变化和噪声重叠判定为捕获图像的异常状态，但是本公开不限于此。例如，判定单元140b还可以检测“图像反转”作为捕获图像的异常状态。

例如，在区域a1至a4的标准偏差σa1至σa4与区域a5至a8的标准偏差的期望值e1a5至e1a8之间的差均小于阈值th6的情况下，判定单元140b判定在捕获图像中发生了图像反转。在判定在捕获图像中发生图像反转的情况下，判定单元140b在状态判定结果数据135a的图像反转位区域(未示出)中设置为1。

图15是示出当发生图像反转时标准偏差和积分值的分布的示例的图。图15的重叠图像11a和11b通过信号传输电路120传输并到达后级图像处理单元140。分布15f的横轴表示各个区域a1至a8。左侧的纵轴是与标准偏差的大小相对应的轴。区域a1至a8中的每一个的标准偏差的大小由“三角形标记”表示。右侧的纵轴是与积分值的大小对应的轴。区域a1至a8中的每一个的积分值的大小由“圆形标记”表示。图15中的分布15f是在捕获图像中发生图像反转的情况下的分布。在图15所示的分布15f中，区域a1至a4的标准偏差和积分值的期望值和区域a5至a8的标准偏差和积分值的期望值横向反转。在图15中，黑色三角形标记是标准偏差的实际值，并且实心圆形标记是实际积分值。注意，在标准偏差的实际值是当捕获图像异常时的值的情况下，通过白色三角形标记表示正常值(期望值)。在实际积分值是当捕获图像异常时的值的情况下，正常值(期望值)由虚线圆形标记表示。

(3.第二实施例)

[3-1.根据第二实施例的图像处理系统的配置]

图16是示出根据第二实施例的图像处理系统的示例的图。如图16中所描述的，图像处理系统5包括成像装置200、显示装置300和经销商服务器400。

成像装置200是判定捕获图像的状态的装置。成像装置200判定捕获图像的状态，并且当检测到异常时，将状态判定结果数据135a传输到经销商服务器400。此外，成像装置200将用于处理状态异常的消息输出到显示装置300，并且使得显示装置300显示该消息。

显示装置300是显示关于从成像装置200输出的捕获图像的信息的装置。此外，显示装置300显示从成像装置200输出的消息。例如，显示装置300对应于诸如汽车导航系统的液晶显示器的显示装置。

经销商服务器400接收从成像装置200传输的状态判定结果数据235a，并且保持状态判定结果数据235a的历史。经销商服务器400通过使用状态判定结果数据235a的历史来提供各种服务。

[3-2.根据第二实施例的成像装置的功能配置]

随后，将描述根据第二实施例的成像装置的功能配置的示例。如图16所示，成像装置200包括初级图像处理单元210、图像分支单元220、存储单元235、后级图像处理单元240和250、控制器局域网(can)微型计算机260、总线265和无线通信单元270。

例如，通过ic等实现初级图像处理单元210、图像分支单元220、后级图像处理单元240和250以及can微型计算机260中的每一个。

初级图像处理单元210连接到图像分支单元220。后级图像处理单元240和250连接到图像分支单元220。can微型计算机260连接到后级图像处理单元240和250。can微型计算机260经由总线265连接到无线通信单元270。此外，can微型计算机260通过信号线(未示出)连接到初级图像处理单元210、图像分支单元220以及后级图像处理单元240和250。

初级图像处理单元210是与诸如cmos或ccd等的图像传感器相对应的装置。例如，初级图像处理单元210包括成像元件单元210a、重叠单元210b和图像输出单元210c。当从can微型计算机接收到复位命令时，初级图像处理单元210重新启动。

成像元件单元210a是通过将通过相机(未示出)的镜头入射的光转换成电信号来生成(获取)视频信号(捕获图像)的处理单元。成像元件单元210a将捕获图像输出至重叠单元210b。

重叠单元210b是生成在捕获图像的未使用区域上重叠图像的处理单元。重叠单元210b以与重叠单元110b同样的方式生成重叠图像11a和11b。重叠单元210b将重叠图像11a和11b依次输出到图像输出单元210c。

图像输出单元210c是从重叠单元210b获取重叠图像11a和11b并将所获取的重叠图像11a和11b输出到图像分支单元220的处理单元。重叠图像11a和11b被传输通过图像分支单元220，并且到达后级图像处理单元240和250。

图像分支单元220是传输从初级图像处理单元210接收的诸如重叠图像11a和11b的信号的电路。例如，图像分支单元220包括缓冲器、存储器和各种信号处理ic，并且重叠图像11a和11b等经由缓冲器、存储器和各种信号处理ic被传输到后级图像处理单元240和250。

存储单元235是保持状态判定结果数据235a的存储装置。存储单元235对应于诸如ram、rom或闪存的半导体存储元件，或者诸如hdd的存储装置。存储单元235可以是易失性存储器或非易失性存储器中的任何一个，或者可以使用易失性存储器和非易失性存储器两者。

状态判定结果数据235a是关于判定捕获图像的状态的结果的信息。状态判定结果数据235a的数据结构与参照图4描述的状态判定结果数据135a的数据结构相同。

后级图像处理单元240是基于重叠图像11a和11b来判定捕获图像的状态并将状态判定结果数据235a存储在存储单元235中的处理单元。当检测到捕获图像中的异常时，后级图像处理单元240将状态判定结果数据235a输出到can微型计算机260。此外，后级图像处理单元240对重叠图像11a和11b进行感测处理等。

图像输入单元240a是获取从初级图像处理单元210传输的重叠图像11a和11b的处理单元。图像输入单元240a将重叠图像11a和11b输出至判定单元240b。此外，图像输入单元240a将重叠图像11a和11b输出至分析处理单元240c。

判定单元240b是基于重叠图像11a和11b判定捕获图像的状态的处理单元。判定单元240b根据判定结果在状态判定结果数据235a的每个位区域中设置“1”。判定单元240b基于重叠图像11a和11b判定捕获图像的状态的处理与判定单元140b判定捕获图像的状态的处理相同。

分析处理单元240c是从图像输入单元240a获取重叠图像11a和11b并且对重叠图像11a和11b的区域中除未使用区域以外的区域(感测区域)执行各种感测处理的处理单元。由分析处理单元240c执行的分析处理对应于由分析处理单元140c执行的感测处理。

通知单元240d是参照状态判定结果数据235a的处理单元，并且在状态异常位区域中被设置为“1”的情况下，通知单元240d将状态判定结果数据235a输出到can微型计算机260。注意，通知单元240d可以以与通知单元140d相同的方式通知各种消息。

后级图像处理单元250是将从图像分支单元220传输的重叠图像作为用于观看的图像输出到显示装置300并且使显示装置300显示重叠图像的处理单元。

can微型计算机260是在从通知单元240d获取状态判定结果数据235a的情况下进行各种通知和响应的处理单元。例如，can微型计算机260执行与参照图12描述的通知单元140d相同的处理，产生关于消息的信息，并使显示装置300显示该消息。在状态判定结果数据235a的图像粘滞位区域中设置1的情况下，以及在视频掩蔽位区域中设置1的情况下，can微型计算机260将复位命令传输到初级图像处理单元210。此外，can微型计算机260将状态判定结果数据235a输出到无线通信单元270。

无线通信单元270是与经销商服务器400进行无线通信并将从can微型计算机260接收的状态判定结果数据235a传输到经销商服务器400的处理单元。无线通信单元270对应于无线通信装置。注意，成像装置200可以以有线方式连接到经销商服务器400，或者可以经由其他网络连接到经销商服务器400。

[3-3.根据第二实施例的成像装置的处理过程]

图17是示出根据第二实施例的成像装置的处理过程的流程图。如图17所示，成像装置200的成像元件单元210a开始获取捕获图像(步骤s401)。

成像装置200的重叠单元210b将图案图像重叠在捕获图像上以生成重叠图像(步骤s402)。成像装置200的图像输出单元210c将重叠图像传输到后级图像处理单元240和250(步骤s403)。

成像装置200的图像输入单元240a获取从图像分支单元220传输的重叠图像(步骤s404)。成像装置200的判定单元240b执行状态判定处理(步骤s405)。成像装置200的通知单元240d执行通知处理(步骤s406)。

成像装置200的can微计算机260判定是否在状态判定结果数据235a的状态异常位区域中设置了1(步骤s407)。在状态异常位区域中没有设置1的情况下(步骤s407，否)，can微型计算机260进行到步骤s409。

在状态异常位区域中设置1的情况下(步骤s407，是)，can微型计算机260将状态判定结果数据235a传输到经销商服务器400(步骤s408)。

在继续处理的情况下(步骤s409，是)，成像装置200进行到步骤s402。在不继续处理的情况下(步骤s409，否)，成像装置200结束处理。

图17的步骤s405中的状态判定处理对应于图12中所示的状态判定处理。图17的步骤s406中的通知处理对应于图13中所示的通知处理。

[3-4.根据第二实施例的成像装置的效果]

如上所述，根据第二实施例的成像装置200生成其中在捕获图像的未使用区域上重叠图像的重叠图像，并且基于从初级图像处理单元210传输到后级图像处理单元240的重叠图像中的图像被重叠的区域的特性来判定捕获图像的状态。结果，在由于某种原因在从初级图像处理单元210传输的捕获图像中发生非预期的状态改变的情况下，可以判定状态改变。通过判定状态改变，可以根据传输到初级图像处理单元210的复位命令执行操作，并警告驾驶员。

注意，如参照图16所述，从初级图像处理单元210输出的重叠图像(视频信号)被图像分支单元220分配到用于感测的后级图像处理单元240和用于观看的后级图像处理单元250。在这种情况下，由于传输到后级图像处理单元240和250的重叠图像经过图像分支单元220，因此后级图像处理单元240和250不一定接收相同的重叠图像，并且可能发生不同的状态异常。

例如，原始重叠图像可以被适当地输入至观看用后级图像处理单元250，而输入至感测用后级图像处理单元240的重叠图像可能处于异常状态。在这种情况下，可能从感测用后级图像处理单元240输出错误的感测结果，但是用户确认的图像(重叠图像)是来自观看用后级图像处理单元250的输出，因此不是异常的。因此，不能注意到异常。因此，如参照图16所述，由于并入初级图像处理单元210和感测用后级图像处理单元240，因此在输入到感测用后级图像处理单元240的重叠图像中存在异常的情况下(即使在输入到后级图像处理单元250的重叠图像中不存在异常的情况下)，也可以检测到异常。

[3-5.根据第二实施例的经销商服务器的服务的示例]

图18是用于描述由经销商服务器提供的服务的示例的图。如图18所示，假设在该服务中，涉及用户4、车辆30、经销商31、车辆制造商32和保险公司33。

用户4是车辆30的拥有者。车辆30是参照图16描述的安装有成像装置200的车辆。经销商31是向用户4销售车辆30并拥有经销商服务器400的商店。车辆制造商32是制造车辆30的车辆制造商。保险公司33是用户4预订的保险公司。

在检测到捕获图像的异常状态的情况下，安装在车辆30上的成像装置200通过无线通信将状态判定结果数据235a传输到经销商服务器400。例如，成像装置200可以在传输状态判定结果数据235a时提供用于唯一地标识车辆30或用户4的标识信息。

经销商服务器400接收从成像装置200传输的状态判定结果数据235a，并将状态判定结果数据235a存储在存储装置中。经销商31的销售人员操作经销商服务器400，并访问状态判定结果数据235a，以识别检测到异常的车辆30。

经销商31的销售人员向车辆制造商32通知状态判定结果数据235a等，并且请求分析异常的原因和改进。车辆制造商32基于状态判定结果数据235a分析异常的原因。车辆制造商32向经销商31提供关于原因和改进措施的信息。

当接收到关于原因和改善措施的信息时，经销商31的销售人员向用户4提供召回和检查的引导，并向保险公司33通知证据。证据包括分析车内系统中的异常的原因的结果等。

用户4从保险公司33接收指示保险费可以被打折的保险指导，前提是用户4响应于来自经销商31的召回和检查的引导。

如参考图18所述，经销商31、车辆制造商32和保险公司可以通过使用状态判定结果数据235a相互合作，以向用户4提供服务。

(4.硬件配置)

根据上述各实施例的成像装置100和200例如由具有图19所示的配置的计算机1000实现。以下，以根据第一实施例的成像装置100为例进行说明。图19是图示实现成像装置100的功能的计算机1000的示例的硬件配置图。计算机1000包括cpu1100、ram1200、只读存储器(rom)1300、ic组1400、硬盘驱动器(hdd)1500、通信接口1600和输入/输出接口1700。计算机1000的每个组件由总线1050连接。

cpu1100基于存储在rom1300或hdd1500中的程序而操作，并且控制每个组件。例如，cpu1100将存储在rom1300或hdd1500中的程序加载到ram1200上，并执行与各种程序相对应的处理。

rom1300存储当计算机1000启动时由cpu1100执行的诸如基本输入输出系统(bios)的引导程序、依赖于计算机1000的硬件的程序等。

ic组1400是对应于初级图像处理单元110和210、信号传输电路120、图像处理单元130、后级图像处理单元140、240和250、图像分支单元220等的ic。

hdd1500是计算机可读记录介质，其中非临时记录由cpu1100执行的程序、该程序使用的数据等。具体地，hdd1500是记录介质，其中记录根据本公开的图像处理程序，该图像处理程序是程序数据1550的示例。例如，ic组1400可以读取图像处理程序1550，并且执行处理以实现成像元件单元110a、重叠单元110b、图像输出单元110c、图像输入单元140a、判定单元140b、通知单元140d和分析处理单元等的功能。

通信接口1600是用于计算机1000连接到外部网络1650(例如，因特网)的接口。例如，cpu1100经由通信接口1500从其他装备接收数据或者将由cpu1100生成的数据发送到其他装置。

输入/输出接口1700是用于将输入/输出装置1750和计算机1000彼此连接的接口。例如，cpu1100通过输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，cpu1100经由输入/输出接口1600将数据发送到诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作用于读取记录在预定记录介质中的程序等的介质接口。介质的示例包括诸如数字通用盘(dvd)或相变可重写盘(pd)的光学记录介质、诸如磁光盘(mo)的磁光记录介质、磁带介质、磁记录介质和半导体存储器。

此外，hdd1500将根据本公开的图像处理程序和状态判定结果数据135a存储在存储单元135中。注意，cpu1100从hdd1500读取程序数据1550，并执行程序数据1550，但是作为另一示例，这些程序可以经由外部网络1650从其他装置获取。

(5.其他图像处理系统)

图20是示出另一图像处理系统301的功能配置的示例的图。如图20所示，图像处理系统301包括成像装置310、信号传输网络320、图像处理装置330、存储装置335和后级图像处理装置340。

成像装置310包括成像单元310a、重叠单元110b和图像输出单元110c。重叠单元110b和图像输出单元110c的描述与参照图1描述的重叠单元110b和图像输出单元110c的描述相同。成像单元310a对应于诸如cmos或ccd的图像传感器。

信号传输网络320是传输诸如从成像装置310接收的重叠图像11a和11b的信号的电路。信号传输网络320的描述与参考图1描述的信号传输电路120的描述相同。

图像处理装置330是基于重叠图像11a和11b中所包括的除未使用区域以外的区域来执行各种图像处理的处理单元。图像处理装置330的描述与参照图1描述的图像处理单元130的描述相同。

存储装置335是保持状态判定结果数据135a的存储装置。存储装置335对应于诸如ram、rom或闪存的半导体存储器元件，或诸如hdd的存储装置。存储装置335可以是易失性存储器或非易失性存储器中的任何一个，或者可以使用易失性存储器和非易失性存储器两者。存储装置335的描述与参考图1描述的存储单元135的描述相同。

后级图像处理装置340是基于重叠图像11a和11b判定捕获图像的状态并将状态判定结果数据135a存储在存储装置335中的处理单元。后级图像处理装置340将状态判定结果数据135a通知给外部装置的其他电路(未示出)。此外，后级图像处理装置340对重叠图像11a和11b进行分析处理等。

例如，后级图像处理装置340包括图像输入单元140a、判定单元140b、分析处理单元140c和通知单元140d。图像输入单元140a、判定单元140b、分析处理单元140c和通知单元140d的描述与参照图1描述的图像输入单元140a、判定单元140b、分析处理单元140c和通知单元140d的描述相同。

(6.向自动驾驶系统的应用)

另外，上述本申请的系统可以应用于图21所示的自动驾驶系统(车辆控制系统410)。在将上述系统应用于车辆控制系统410的情况下，通知单元140d将状态判定结果数据通知车辆控制系统410(紧急状况回避单元171)，并且控制自动驾驶紧急行动模式。注意，在下文中，设置有车辆控制系统410的车辆被称为本车辆，以将其与其他车辆区分开。

图22是示出自动驾驶紧急行动模式的处理过程的流程图。如图22所示，车辆控制系统410开始自动驾驶(步骤s501)。车辆控制系统410从通知单元140d接收状态判定结果数据(步骤s502)。

在状态位中没有异常的情况下(步骤s503，否)，车辆控制系统410前进到步骤s507。另一方面，在状态位中存在异常的情况下(步骤s503，是)，车辆控制系统410前进到步骤s504。

在异常仅为噪声并且噪声持续的时间在预定时间内的情况下(步骤s504，是)，车辆控制系统410前进到步骤s507。另一方面，在异常不仅是噪声，或者异常仅仅是噪声，并且噪声持续预定时间的情况下(步骤s504，否)，车辆控制系统410前进到步骤s506。注意，在步骤s504中的判定中，在噪声持续预定时间(1秒)的情况下，将其视为异常，而在噪声不持续的情况下，不将其视为异常。

当车辆处于自动驾驶时，车辆控制系统410执行紧急行动模式的处理(步骤s506)。在步骤s506中，紧急行动模式包括示例1至3。示例1：执行紧急停止处理车辆通过制动控制等减速，并在闪烁紧急灯、发出喇叭声等的同时停止。示例2：在异常是噪声或异常灰度级的情况下，自动驾驶模式结束，并且执行向手动驾驶模式的切换。示例3：在示例2中，在驾驶员处于不能驾驶车辆的状况下，且不能向手动驾驶模式转移的状态持续预定时间的情况下，进行示例1的停止处理。

在继续自动驾驶的情况下(步骤s507，是)，车辆控制系统410前进到步骤s502。另一方面，在没有继续自动驾驶的情况下(步骤s507，否)，车辆控制系统410结束处理。

图21是示出本技术可以应用到的车辆控制系统410的示意性功能配置的示例的框图。车辆控制系统410包括输入单元101、数据获取单元102、通信单元103、车内装备104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统411、存储单元111和自动驱动控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121相互连接。通信网络121的示例包括根据诸如控制器局域网(can)、局域互联网络(lin)、局域网(lan)或flexray(注册商标)的任何标准的车内通信网络、总线等。注意，车辆控制系统410的各个部件可以直接彼此连接，而不通过通信网络121。

注意，在下文中，当车辆控制系统410的各个部件经由通信网络121彼此进行通信时，将省略对通信网络121的描述。例如，在输入单元101和自动驾驶控制单元112经由通信网络121彼此执行通信的情况下，简单地描述输入单元101和自动驾驶控制单元112彼此执行通信。

输入单元101包括乘客用来输入各种数据、指令等的装置。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关或操纵杆的操作装置，以及能够接收通过除手动操作之外的方法，例如，通过语音或手势的输入的操作装置。此外，例如，输入单元101可以是使用红外线或其他无线电波的远程控制装置，或者是与车辆控制系统410的操作相对应的诸如移动装置或可穿戴装置的外部连接装置。输入单元101基于乘客输入的数据、指令等生成输入信号，并将输入信号提供给车辆控制系统410的每个部件。

数据获取单元102包括获取用于由车辆控制系统410执行的处理的数据的各种传感器等，并且将所获取的数据提供给车辆控制系统410的每个部件。

例如，数据获取单元102包括用于检测本车辆的状态等的各种传感器。具体地，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(imu)、用于检测加速器踏板操作量、制动踏板操作量、方向盘转向角以及引擎速度、马达旋转速度、车轮旋转速度等的传感器。

此外，例如，数据获取单元102包括用于检测关于本车辆外部的信息的各种传感器。具体地，例如，数据获取单元102包括成像装置，诸如飞行时间(tof)相机、立体相机、单目相机、红外相机或其他相机。此外，例如，数据获取单元102包括用于检测天气或气候的环境传感器和用于检测本车辆周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器、雪传感器等。周围信息检测传感器包括例如超声波传感器、雷达、光检测和测距(激光成像检测和测距(lidar))、声纳等。

此外，例如，数据获取单元102包括用于检测本车辆的当前位置的各种传感器。具体地，例如，数据获取单元102包括从gnss卫星接收gnss信号的全球导航卫星系统(gnss)接收器等。

此外，例如，数据获取单元102包括用于检测车辆内部的信息的各种传感器。具体地，例如，数据获取单元102包括捕获驾驶员的图像的成像装置、检测驾驶员的生物信息的生物传感器、收集车厢中的声音的麦克风等。生物传感器例如设置在座椅的表面或方向盘上，并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物信息。

通信单元103执行与车内装备104和车辆外部的各种装备、服务器、基站等的通信，发送从车辆控制系统410的每个部件提供的数据，并将接收到的数据发送到车辆控制系统410的每个部件。注意，通信单元103支持的通信协议没有特别限制，并且通信单元103可以支持多种类型的通信协议。

例如，通信单元103通过使用无线lan、蓝牙(注册商标)、近场通信(nfc)、无线usb(wusb)等执行与车内装备104的无线通信。此外，例如，通信单元103通过使用通用串行总线(usb)、高清晰度多媒体接口(hdmi)(注册商标)、移动高清晰度链路(mhl)等经由连接端子(未示出)(以及根据需要的电缆)与车内装备104进行有线通信。

此外，例如，通信单元103经由基站或接入点执行与存在于外部网络(例如，因特网、云网络或企业运营商特有的网络)上的装备(例如，应用服务器或控制服务器)的通信。另外，例如，通信单元103使用对等(p2p)技术，与存在于本车辆的附近的终端(例如，行人、店铺终端、机器类通信(mtc)终端)进行通信。另外，例如，通信单元103进行诸如车与车间通信、车与基础设施间通信、车与家庭间通信、车与行人间通信的v2x通信。此外，例如，通信单元103包括信标接收单元，接收从安装在道路上的无线电台等发送的无线电波或电磁波，并且获取诸如当前位置、交通堵塞、交通管制或所需时间的信息。

车内装备104例如包括乘客的移动装备或可穿戴装备、在本车辆中携带或附接到本车辆的信息装备以及用于搜索到任意目的地的路线的导航装置。

输出控制单元105控制向本车辆的乘客或车外输出各种信息。例如，输出控制单元105生成包括视觉信息(例如，图像数据)和听觉信息(例如，音频数据)中的至少一个的输出信号，并且将所生成的输出信号提供给输出单元106以控制来自输出单元106的视觉信息和听觉信息的输出。具体地，例如，输出控制单元105组合由数据获取单元102的不同成像装置捕获的图像数据，以生成鸟瞰视图图像、全景图像等，并且将包括所生成的图像的输出信号提供给输出单元106。此外，例如，输出控制单元105生成包括针对诸如碰撞、接触和进入危险区的危险的警告声音或警告消息的音频数据，并且将包括所生成的音频数据的输出信号提供给输出单元106。

输出单元106包括能够向本车辆的乘客或车辆外部输出视觉信息或听觉信息的装置。例如，输出单元106包括显示装置、仪表板、音频扬声器、耳机、诸如乘客佩戴的眼镜型显示器的可佩戴装置、投影仪、灯等。除了具有正常显示的装置之外，包括在输出单元106中的显示装置还可以是在驾驶员的视野中显示视觉信息的装置，诸如平视显示器、透射显示器和具有增强现实(ar)显示功能的装置。

驱动系统控制单元107生成各种控制信号，并将所生成的控制信号提供给驱动系统108以控制驱动系统108。此外，驱动系统控制单元107根据需要向除驱动系统108以外的各部件提供控制信号，并且进行驱动系统108的控制状态的通知等。

驱动系统108包括与本车辆的驱动系统相关的各种装置。例如，驱动系统108包括用于产生内燃机、驱动电动机等的驱动力的驱动力产生装置、用于将驱动力传递到车轮的驱动力传递机构、用于调节转向角的转向机构、产生制动力的制动装置、防抱死制动系统(abs)、电子稳定控制(esc)、电动转向装置等。

车身系统控制单元109生成各种控制信号，并将控制信号提供给车身系统411以控制车身系统411。此外，车身系统控制单元109根据需要向除了车身系统411之外的每个部件提供控制信号，并且进行车身系统411的控制状态的通知等。

车身系统411包括安装在车身上的车身系统的各种装置。例如，车身系统411包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空调装置、各种灯(例如，头灯、尾灯、制动灯、转向指示灯和雾灯)等。

存储单元111包括例如磁存储装置，诸如只读存储器(rom)、随机存取存储器(ram)或硬盘驱动器(hdd)、半导体存储装置、光存储装置、光磁存储装置等。存储单元111存储由车辆控制系统410的每个部件使用的各种程序、数据等。例如，存储单元111存储地图数据，诸如动态地图的三维高精度地图、比高精度地图精度低并且覆盖宽区域的全局地图、以及包括关于本车辆的周围环境的信息的局部地图。

自动驾驶控制单元112执行与自动驾驶相关的控制，诸如自主驾驶或驾驶支持。具体地，例如，自动驾驶控制单元112执行协作控制，以实现高级驾驶员辅助系统(adas)的功能，包括对本车辆的碰撞避免或冲击减轻、基于车辆间距离的跟随驾驶、维持车速的驾驶、本车辆碰撞的警告、本车辆偏离车道的警告等。此外，例如，自动驾驶控制单元112执行用于自动驾驶目的协作控制，其中，本车辆自主行驶而不依赖于驾驶员的操作。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、计划单元134和操作控制单元435。

检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括车外信息检测单元141、车内信息检测单元142以及车辆状态检测单元143。

车外信息检测单元141基于来自车辆控制系统410的各部件的数据或信号，进行检测本车辆的车外信息的处理。例如，车外信息检测单元141进行本车辆周围的物体的检测处理、识别处理、追踪处理、以及检测到物体的距离的处理。作为待检测的物体，例如可以举出车辆、行人、障碍物、构造物、道路、信号灯、交通标识、道路标识等。此外，例如，车外信息检测单元141进行检测本车辆的周围环境的处理。作为待检测的周围环境，例如可以举出天气、温度、湿度、亮度和路面条件等。车外信息检测单元141将表示检测处理结果的数据提供给状况分析单元133的自身位置估计单元132、地图分析部151、交通规则识别单元152、状况识别单元153、操作控制单元435的紧急状况回避单元171等。

车内信息检测单元142基于来自车辆控制系统410的各组件的数据或信号，进行检测车辆内的信息的处理。例如，车内信息检测单元142进行驾驶员的认证处理和识别处理、驾驶员的状态检测处理、乘客检测处理、车室内环境检测处理等。作为待检测的驾驶员的状态，例如可以举出身体条件、觉醒度、集中度、疲劳度、注视方向等。作为待检测的车内环境，例如可以举出温度、湿度、亮度、气味等。车内信息检测单元142将表示检测处理结果的数据提供给状况分析单元133的状况识别单元153、操作控制单元435的紧急状况回避单元171等。

车辆状态检测单元143基于来自车辆控制系统410的各部件的数据或信号，进行检测本车辆的状态的处理。作为待检测的本车辆的状态，例如可以举出速度、加速度、转向角、异常的有无及内容、驾驶操作状态、电动座椅的位置/倾斜、门锁状态、其他车内装备的状态等。车辆状态检测单元143将表示检测处理结果的数据提供给状况分析单元133的状况识别单元153、操作控制单元435的紧急状况回避单元171等。

自身位置估计单元132执行基于来自车辆控制系统410的各部件(诸如车外信息检测单元141或状况分析单元133的状况识别单元153)的数据或信号，进行估计本车辆的位置和姿势的处理。另外，自身位置估计单元132根据需要生成用于自身位置估计的局部地图(在下文中，被称为自身位置估计地图)。例如，自位置估计地图是使用诸如同时定位和地图绘制(slam)的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据提供给状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153等。此外，自身位置估计单元132将自身位置估计图存储在存储单元111中。

状况分析单元133进行分析本车辆和周围状况的处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153和状况预测单元154。

地图分析单元151根据需要使用来自诸如自身位置估计单元132和车外信息检测单元141的车辆控制系统410的各部件的数据或信号的同时，对存储在存储单元111中的各种地图进行分析处理，从而构建包含自动驾驶处理所需的信息的地图。地图分析单元151将所构建的地图提供给例如交通规则识别单元152、状况识别单元153、状况预测单元154以及计划单元134的路线计划单元161、行动计划单元162和操作计划单元163。

交通规则识别单元152基于来自本车辆控制系统410的各部件(诸如自身位置估计单元132、车外信息检测单元141和地图分析单元151)的数据或信号，进行识别本车辆的周围的区域中的交通规则的处理。通过该识别处理，例如，识别本车周围的信号的位置和状态、本车周围的区域中的交通规则的内容、车辆能够行驶的车道等。交通规则识别单元152将指示识别处理的结果的数据提供给状况预测单元154等。

状况识别单元153基于来自诸如自身位置估计单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143和地图分析单元151的车辆控制系统410的各部件的数据或信号，进行本车辆的状况识别处理。例如，状况识别单元153执行识别本车辆的状况、本车辆周围区域中的状况、本车辆的驾驶员的状况等的处理。另外，状况识别单元153根据需要生成用于识别本车辆周围区域中的状况的局部地图(在下文中，被称为状况识别地图)。状况识别地图是例如占有栅格地图。

作为待识别的本车辆的状况，例如有本车辆的位置、姿势和移动(例如，速度、加速度或移动方向)以及异常的有无和内容。作为待识别的车辆周围的区域中的状况，例如可以举出周围的静止物体的种类和位置、周围的移动体的种类、位置和移动(例如速度、加速度或移动方向)、周围道路的配置、路面状态、以及本车辆周围的天气、温度、湿度、亮度等。作为待检测的驾驶员的状态，例如可以举出身体状态、觉醒度、集中度、疲劳度、注视运动、驾驶操作等。

状况识别单元153将指示识别处理的结果的数据(必要时包括状况识别地图)提供给自身位置估计单元132、状况预测单元154等。此外，状况识别单元153将状况识别图存储在存储单元111中。

状况预测单元154基于来自诸如地图解析单元151、交通规则识别单元152和状况识别单元153的车辆控制系统410的各部件的数据或信号，进行本车辆的状况预测处理。例如，状况预测单元154进行预测本车辆的状况、本车周围的区域的状况、驾驶员的状况等的处理。

作为待预测的本车辆的状况，例如可以举出本车辆的举动、异常的发生、本车辆能够行驶的距离等。作为待预测的本车辆周围的区域的状况，例如可以举出本车辆周围的移动体的行为、信号状态的变化、诸如天气的环境的变化等。作为预测对象的驾驶员的状况，例如可以举出驾驶员的行为和身体状况等。

状况预测单元154将表示预测处理的结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起提供给计划单元134的路线计划单元161、行动计划单元162以及操作计划单元163。

路线计划单元161基于来自车辆控制系统410的各部件(诸如地图分析单元151和状况预测单元154)的数据或信号来计划到目的地的路线。例如，路线计划单元161基于全球地图，设置从当前位置到指定目的地的路线。另外，例如，路线计划单元161基于交通堵塞、事故、交通管制、施工等状况、驾驶员的身体状况等，适当地变更路线。路线计划单元161将表示所计划的路线的数据提供给行动计划单元162等。

行动计划单元162基于来自诸如地图分析单元151或状况预测单元154的车辆控制系统410的各部件的数据或信号，计划用于在计划时间内沿着由路线计划单元161计划的路线安全行驶的本车辆的行动。例如，行动计划单元162计划出发、停止、行驶方向(例如，前进、后退、左转、右转、转弯等)、行驶车道、行驶速度、超车等。行动计划单元162将表示所计划的本车辆的行动的数据提供给操作计划单元163等。

操作计划单元163基于来自诸如地图分析单元151和状况预测单元154的车辆控制系统410的各部件的数据或信号，计划用于实现由行动计划单元162计划的行动的本车辆的操作。例如，操作计划单元163计划加速度、减速度、行进轨迹等。行动计划单元163将表示本车辆的计划操作的数据提供给操作控制单元435的加减速控制单元172以及方向控制单元173。

操作控制单元435控制本车辆的操作。操作控制单元435包括紧急状况回避单元171、加减速控制单元172和方向控制单元173。

紧急状况回避单元171基于车外信息检测单元141、车内信息检测单元142以及车辆状态检测单元143的检测结果，进行检测诸如碰撞、接触、进入危险区域、驾驶员异常、车辆异常的紧急状况的处理。紧急状况回避单元171在检测到发生紧急状况时，计划本车辆回避紧急状况的操作，诸如急刹车或急转弯。紧急状况回避单元171将表示本车辆的计划操作的数据提供给加减速控制单元172、方向控制单元173等。另外，紧急状况回避单元171在从通知单元140d接收到紧急行动模式的指示时，对加减速控制单元172、方向控制单元173等发出诸如紧急停止的指示。

加减速控制单元172进行用于实现由操作计划单元163或紧急状况回避单元171计划的本车辆的操作的加减速控制。例如，加减速控制单元172计算用于驱动力产生装置或制动装置用于实现计划的加减速或紧急停止的目标控制值，并将表示计算出的目标控制值的控制命令向驱动系统控制单元107输出。

方向控制单元173进行用于实现由操作计划单元163或紧急状况回避单元171计划的本车辆的操作的方向控制。例如，方向控制单元173计算出用于实现由操作计划单元163或紧急状况回避单元171计划的行驶轨迹或急转弯的转向机构的目标控制值，并将表示计算出的目标控制值的控制命令向驱动系统控制单元107输出。

(7.发明效果)

一种图像处理装置，包括获取单元、重叠单元和判定单元。获取单元获取捕获图像。重叠单元生成在捕获图像的未使用区域上重叠有图像的重叠图像。判定单元基于从重叠单元传输的重叠图像中的图像被重叠在其上的区域的特性来判定捕获图像的状态。结果，在由于某种原因在所传输的捕获图像中发生非预期的状态变化的情况下，可以判定出状态变化。

重叠单元生成图像被重叠在捕获图像的区域之中的图像圈之外的未使用区域上的重叠图像。可以在不影响对捕获图像的各种图像处理的情况下判定捕获图像中是否存在异常。

图像处理装置还包括感测处理单元，其使用重叠图像执行感测，并且重叠单元生成其中图像被重叠在捕获图像的区域之中不是感测处理单元的感测对象的未使用区域上的重叠图像。因此，可以在不影响由感测处理单元执行的感测处理的情况下判定在捕获图像中是否存在异常。

重叠单元将单一亮度图像重叠在捕获图像的未使用区域上以生成重叠图像。判定单元基于重叠在重叠图像中的单一亮度，计算亮度的标准偏差和亮度的积分值，并且基于标准偏差和积分值，判定捕获图像的状态。判定单元基于重叠在重叠图像中的单一亮度图像的标准偏差来判定在捕获图像中是否发生像素粘滞。判定单元基于重叠在重叠图像中的单一亮度图像的方差来判定在捕获图像中是否发生视频掩蔽。判定单元基于重叠在重叠图像中的单一亮度图像的标准偏差来判定在捕获图像中是否产生噪声。判定单元基于重叠在重叠图像中的单一亮度图像的方差来判定在捕获图像中是否发生反转。通过使用这种重叠单一亮度图像的重叠图像，当在捕获图像中发生异常时，可以识别状态异常的因素。

重叠单元将灰度图像重叠在捕获图像的未使用区域上，以生成重叠图像。判定单元通过使用重叠图像中重叠的灰度图像的亮度的积分值来判定在捕获图像中是否发生了灰度级跳变。判定单元基于重叠在重叠图像中的灰度图像来计算亮度的标准偏差和亮度的积分值，并且基于标准偏差和积分值来判定捕获图像的状态。判定单元基于重叠在重叠图像中的灰度图像的方差来判定在捕获图像中是否发生了视频掩蔽。

重叠单元将图像重叠在作为捕获图像的四个角的未使用区域上，以生成重叠图像。因此，可以在重叠图像中包括具有不同亮度的多个单一亮度图像或灰度图像，由此可以识别状态异常的因素。

判定单元基于在通过包括存储装置和信号处理电路的信号传输电路传输之后的重叠图像来判定捕获图像的状态。结果，可以判定由于通过信号传输电路的传输而发生的状态异常。

重叠单元和判定单元各自包括在不同的集成电路(ic)中。结果，可以判定由于通过位于各个ic之间的信号传输电路的传输而发生的状态异常。

图像处理装置还包括通知单元，其向外部装置通知判定单元的判定结果。因此，可以通知捕获图像的状态，或者当存在异常时的因素。

一种图像处理系统，包括第一图像处理装置和第二图像处理装置。第一图像处理装置包括获取单元和重叠单元。获取单元获取捕获图像。重叠单元生成在捕获图像的未使用区域上重叠图像的重叠图像。第二图像处理装置包括判定单元。判定单元基于从重叠单元传输的重叠图像中的图像被重叠在其上的区域的特性来判定捕获图像的状态。结果，在从第一图像处理装置传输到第二图像处理装置的捕获图像中发生非预期的状态变化的情况下，可以判定状态变化。

获取单元从移动体的成像装置获取捕获图像。结果，当由移动体的成像装置捕获的捕获图像从第一图像处理装置传输到第二图像处理装置时，可以判定是否发生了非预期的状态改变。

注意，本技术也可以具有以下配置。

(1)一种图像处理装置，包括：

获取单元，其获取捕获图像；

重叠单元，其生成在所述捕获图像的未使用区域上重叠图像而得到的重叠图像；以及

判定单元，其基于从所述重叠单元传输的重叠图像中的重叠有所述图像的区域的特性来判定所述捕获图像的状态。

(2)根据(1)所述的图像处理装置，其中，所述重叠单元生成图像被重叠在所述捕获图像的区域中的图像圈之外的未使用区域上的重叠图像。

(3)根据(1)或(2)所述的图像处理装置，还包括使用所述重叠图像进行感测的感测处理单元，其中，所述重叠单元生成图像被重叠在所述捕获图像的区域中的不是所述感测处理单元的感测对象的未使用区域上的重叠图像。

(4)根据(1)至(3)中任一项所述的图像处理装置，其中，所述重叠单元将单一亮度图像重叠在所述捕获图像的所述未使用区域上，以生成所述重叠图像。

(5)根据(1)至(4)中任一项所述的图像处理装置，其中，所述判定单元基于在所述重叠图像中重叠的单一亮度来计算亮度的标准偏差和亮度的积分值，并且基于所述标准偏差和所述积分值来判定所述捕获图像的状态。

(6)根据(1)至(5)中任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的所述单一亮度图像的标准偏差，判定所述捕获图像中是否发生了像素粘滞。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的所述单一亮度图像的方差，判定在所述捕获图像中是否发生了视频掩蔽。

(8)根据(1)至(7)中任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的所述单一亮度图像的标准偏差，判定在所述捕获图像中是否产生了噪声。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的所述单一亮度图像的方差，判定在所述捕获图像中是否发生了反转。

(10)根据(1)至(9)中任一项所述的图像处理装置，其中，所述重叠单元将灰度图像重叠在所述捕获图像的所述未使用区域上，以生成所述重叠图像。

(11)根据(1)至(10)中任一项所述的图像处理装置，其中，所述判定单元通过使用重叠在所述重叠图像中的灰度图像的亮度的积分值来判定在所述捕获图像中是否发生了灰度级跳变。

(12)根据(1)至(11)中任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的灰度图像来计算亮度的标准偏差和亮度的积分值，并且基于所述标准偏差和所述积分值来判定所述捕获图像的状态。

(13)根据(1)至(12)中任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的灰度图像的方差，判定在所述捕获图像中是否发生了视频掩蔽。

(14)根据(1)至(13)中的任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的灰度图像的方差，判定在所述捕获图像中是否发生了反转。

(15)根据(1)至(14)中任一项所述的图像处理装置，其中，所述重叠单元将所述图像重叠在作为所述捕获图像的四个角的所述未使用区域上，以生成所述重叠图像。

(16)根据(1)至(15)中任一项所述的图像处理装置，其中，所述判定单元基于在通过包括存储装置和信号处理电路的信号传输电路传输之后的所述重叠图像，判定所述捕获图像的状态。

(17)根据(1)至(16)中任一项所述的图像处理装置，其中，所述重叠单元和所述判定单元分别被包括在不同的集成电路(ic)中。

(18)根据(1)至(17)中任一项所述的图像处理装置，还包括通知单元，所述通知单元将所述判定单元的判定结果通知给外部装置。

(19)根据(1)至(18)中的任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的单一亮度来计算亮度的信噪s/n比和亮度的积分值，并基于s/n比和积分值判定捕获图像的状态。

(20)根据(1)至(19)中的任一项所述的图像处理装置，其中，所述判定单元基于重叠在所述重叠图像中的灰度图像来计算亮度的s/n比和亮度的积分值，并基于s/n比和积分值判定捕获图像的状态。

(21)一种图像处理方法，包括由计算机进行如下处理：

获取捕获图像；

生成在所述捕获图像的未使用区域上重叠图像而得到的重叠图像；以及

基于所述重叠图像中的重叠有所述图像的区域的特性来判定所述捕获图像的状态。

(22)一种图像处理系统，包括：

第一图像处理装置；以及

第二图像处理装置，其中，

所述第一图像处理装置包括：

获取单元，其获取捕获图像；以及

重叠单元，其生成在所述捕获图像的未使用区域上重叠图像而得到的重叠图像，以及

所述第二图像处理装置包括：

判定单元，其基于从所述重叠单元传输的重叠图像中的重叠有所述图像的区域的特性来判定所述捕获图像的状态。

(23)根据(22)所述的图像处理系统，其中，所述获取单元从移动体的成像装置获取所述捕获图像。

(24)一种图像处理程序，用于使计算机发挥以下作用：

获取单元，其获取捕获图像；

重叠单元，其生成在所述捕获图像的未使用区域上重叠图像而得到的重叠图像；以及

判定单元，其基于从所述重叠单元传输的重叠图像中的重叠有所述图像的区域的特性来判定所述捕获图像的状态。

附图标记列表

5图像处理系统

100、200成像装置

110、210初级图像处理单元

110a、210a成像元件单元

110b、210b重叠单元

110c、210c图像输出单元

120信号传输电路

130图像处理单元

135、235储存单元

135a、235a状态判定结果数据

140、240、250后级图像处理单元

140a、240a图像输入单元

140b、240b判定单元

140c、240c分析处理单元

140d、240d通知单元

220图像分支单元

260can微型计算机

265总线

270无线通信单元

300显示装置

400经销商服务器