图像处理装置、图像处理方法、图像处理程序的制作方法

专利名称：图像处理装置、图像处理方法、图像处理程序的制作方法
技术领域：
本发明涉及一种图像处理技术，根据在对摄像对象物不进行照明的 非照明时拍摄该摄像对象物得到的图像、和在对摄像对象物进行照明的 照明时拍摄该摄像对象物得到的图像，进行摄像图像上的该摄像对象物 的提取。
背景技术：
基于监视和认证的目的，在通过定点观测拍摄进入视场的被摄体时， 有时需要去除被摄体周围的背景，形成只提取被摄体的图像。因此，公知有下述技术(以下称为照明起动/停止差分)，使对进入 照相机的视场的被摄体进行照明的照明装置闪烁，与该照明的闪烁定时 同步地进行摄像，求出在照明点亮时拍摄的图像与熄灭时拍摄的图像的 各个像素值的差分，由此去除被摄体的背景的图像，生成只拍摄了被摄 体的图像。例如，公知有下述技术(例如参照专利文献1)，使用进行照明起 动/停止差分得到的图像来获取不受干扰光的影响的被摄体图像。但是， 在生成这种照明起动/停止差分的图像时，在照明起动时和照明停止时之 间的很短期间内，只要被摄体稍有移动，就导致形成被摄体处于抖动状 态的差分图像，不能适当地提取被摄体。并且，公知有下述技术(例如参照专利文献2)，在通过与预先拍摄的正常图像进行比较来检测异常物体时，向被摄体投影点图案照明，并 使用照明起动/停止差分，以便清楚地拍摄该点图案。这样，为了确认是 否存在被摄体而使用照明起动/停止差分的示例还有其他类型，但由于是 只确认是否存在被摄体，所以在这些公知技术中没有考虑因被摄体的移 动造成的图像的抖动。此外，公知一种方法，通过以极短的时间间隔连续拍摄，将在拍摄 到的图像间的被摄体的移动量控制在1个像素以内，从而防止被摄体抖 动。但是，在被摄体的移动速度比摄影速度快时，以及照明比较暗、很 难快速连续拍摄的情况下，该方法将不能完全防止被摄体抖动。尤其在 被摄体接近照相机时，该方法导致被摄体抖动变大的可能性比较大。并且，公知一种移动检测技术，在MPEG等动画编码领域中，通过 部分图像的块匹配处理来计算动画图像中的移动物体的移动方向和移动 量，但该处理一般运算量比较大，需要用于快速处理的专用硬件和可以进行快速运算的CPU等，存在成本方面的问题。 专利文献1:日本特开平10—177449号公报 专利文献2:日本特开2001—25001号公报通过生成与照明的闪烁定时同步地连续拍摄的两个图像的差分图 像，去除被摄入被摄体背后的背景，去除干扰光的影响，并生成只清楚 地拍摄了被摄体的图像，在这种情况下，只要被摄体在用于求出差分的 图像间稍有移动，即使生成差分图像，也形成被摄体抖动的图像，或导 致凹凸强调不自然，存在不能获得清楚图像的问题。发明内容本发明就是为了解决上述问题而提出的，其目的在于提供在图像处 理技术中能够利用简单的装置结构、而且以较少的处理负荷高精度地提 取摄像对象物的技术，在该图像处理技术中，根据在对摄像对象物不进 行照明的非照明时拍摄该摄像对象物得到的图像、和在对摄像对象物进 行照明的照明时拍摄该摄像对象物得到的图像，进行摄像图像上的该摄 像对象物的提取。为了解决上述问题，本发明涉及的图像处理装置具有第1图像获 取部，其获取第1图像，该第1图像是在对摄像对象物不进行照明的非照明时拍摄该摄像对象物得到的；第2图像获取部，其获取第2图像， 该第2图像是在对所述摄像对象物进行照明的照明时拍摄该摄像对象物 得到的；差分图像生成部，其生成由第1图像中的各个像素的亮度与第2图像中的各个像素的亮度之间的差分构成的差分图像，该第1图像由所 述第1图像获取部获取，该第2图像由所述第2图像获取部获取；高亮 度区域提取部，其提取由所述差分图像生成部生成的差分图像中、由具 有预定的亮度值以上的亮度的像素构成的图像区域；和移动判定部，其根据由所述高亮度区域提取部提取的图像区域，判定所述第1图像的摄像定时与所述第2图像的摄像定时之间的所述摄像对象物的移动量。并且，本发明涉及的图像处理方法包括第1图像获取步骤，获取 第1图像，该第1图像是在对摄像对象物不进行照明的非照明时拍摄该摄像对象物得到的；第2图像获取步骤，获取第2图像，该第2图像是 在对所述摄像对象物进行照明的照明时拍摄该摄像对象物得到的差分图像生成步骤，生成由第1图像的各个像素的亮度与第2图像中的各个像素的亮度之间的差分构成的差分图像，该第1图像由所述第1图像获取步骤获取，该第2图像由所述第2图像获取步骤获取；高亮度区域提取步骤，提取由所述差分图像生成步骤生成的差分图像口、由具有预定的亮度值以上的亮度的像素构成的图像区域；和移动判定步骤，根据由 所述高亮度区域提取步骤提取的图像区域，判定所述第i图像的摄像定 时与所述第2图像的摄像定时之间的所述摄像对象物的移动量。并且，本发明涉及的图像处理程序使计算机执行以下步骤第1图像 获取步骤，获取第1图像，该第1图像是在对摄像对象物不进行照明的非 照明时拍摄该摄像对象物得到的；第2图像获取步骤，获取第2图像，该 第2图像是在对所述摄像对象物进行照明的照明时拍摄该摄像对象物得到 的差分图像生成步骤，生成由第1图像的各个像素的亮度与第2图像中 的各个像素的亮度之间的差分构成的差分图像，该第1图像由所述第1图 像获取步骤获取，该第2图像由所述第2图像获取步骤获取；高亮度区域 提取步骤，提取由所述差分图像生成步骤生成的差分图像中、由具有预定 的亮度值以上的亮度的像素构成的图像区域；和移动判定步骤，根据由所 述高亮度区域提取步骤提取的图像区域，判定所述第1图像的摄像定时与 所述第2图像的摄像定时之间的所述摄像对象物的移动量。


图1是用于说明本发明的第1实施方式的图像处理装置的结构的功 能框图。图2是表示本发明的第1实施方式的图像处理装置1的处理(图像 处理方法)的流程的流程图。图3是表示差分图像生成处理的概况和差分图像的一例的图。 图4是表示掩蔽图像生成处理的概况和掩蔽图像的一例的图。图5是用于说明掩蔽图像的填充处理的图。 图6是用于说明掩蔽图像的填充处理的图。 图7是用于说明掩蔽图像的填充处理的图。图8是表示对在差分图像生成步骤生成的差分图像实施2值化处理 的结果的一例的图。图9是表示针对对差分图像实施2值化处理后的图像再实施"细线化 处理"的结果的一例的图。图IO是表示根据细线化处理的结果，求出2值化后的图像中的高亮 度图像区域的线宽的方法的图。图11是用于说明移动判定部106中的移动量和移动方向的判定方法 的图。图12是用于说明移动判定部106中的移动量和移动方向的判定方法 的图。图13是用于说明移动判定部106中的移动量和移动方向的判定方法 的图。图14是用于说明细线化处理的算法的图。 图15是用于说明细线化处理的算法的图。 图16是用于说明细线化处理的算法的图。 图17是用于说明细线化处理的算法的图。 图18是用于说明细线化处理的算法的图。 图19是用于说明细线化处理的算法的图。 图20是用于说明细线化处理的算法的图。图21是用于说明细线化处理的算法的图。图22是表示摄像对象物没有位置偏移等时的、合适的照明起动图像 与照明停止图像之间的差分图像的 一 例的图。图23是表示与被摄体的本来形状相比、掩蔽图像在被摄体的移动方向上变粗移动量的状态的图。图24是用于说明掩蔽图像的形状调整的图。图25是用于说明本发明的第2实施方式的图像处理装置1'的结构的 功能框图。图26是表示本发明的第2实施方式的图像处理装置的处理(图像处 理方法)的流程的流程图。图27是用于说明本发明的第3实施方式的图像处理装置1"的结构的 功能框图。图28是表示本发明的第3实施方式的图像处理装置的处理(图像处 理方法)的流程的流程图。图29是用于说明利用掩蔽图像去除多余的线段等的技术的图。
具体实施方式
以下，参照

本发明的实施方式。 (第1实施方式)首先，说明本发明的第1实施方式。在本实施方式中，利用下述现 象当在连续拍摄的两个图像之间生成差分图像时，摄像对象在这些图 像的拍摄间隔期间移动的情况下，在差分图像中的摄像对象物的轮廓部 分和该轮廓的内侧出现亮度较高的像素区域。图1是用于说明本发明的第1实施方式的图像处理装置的结构的功 能框图。本实施方式的图像处理装置1能够获取由摄像装置2拍摄摄像 对象物得到的图像数据。在此，由摄像装置2拍摄的图像数据被存储在 数据库3中，图像处理装置1参照该数据库3来获取图像数据。图像处 理装置1 、摄像装置2和数据库3通过电气通信线路互相连接并可以通信。 另外，此处的电气通信线路可以是有线的也可以是无线的。12摄像装置2具有用于照明摄像对象物的照明装置201;用于拍摄 摄像对象物的由CCD摄像机等构成的摄像机202;用于控制照明装置201和摄像机202的摄像控制部203。照明装置201根据来自摄像控制部203 的指令，能够按照期望定时进行起动停止。以下，在本实施方式中，把 照明装置201对摄像对象物进行照明的状态称为"照明时"，把照明装置 201不对摄像对象物进行照明的状态称为"非照明时"。数据库3例如利用数据库服务器等构成，具有进行由摄像装置2拍 摄的图像数据的存储、和在图像处理装置1中使用的各种数据的管理等 的作用。另外，此处示出了把在图像处理装置1中使用的各种数据存储 在数据库3 (图像处理装置l的外部)中的示例，但不限于此，也可以存 储在设于图像处理装置1内的预定的存储区域中。具体地讲，本实施方式的图像处理装置1构成为具有第1图像获取 部101、第2图像获取部102、差分图像生成部103、对象物区域提取部 104、高亮度区域提取部105、移动判定部106、校正处理部107、 CPU801、 和MEMORY,。第1图像获取部101从数据库3获取在"非照明时"利用摄像机202 拍摄摄像对象物得到的"照明停止图像(第1图像)"。第2图像获取部102从数据库3获取在"照明时"利用摄像机202拍 摄摄像对象物得到的"照明起动图像(第2图像)"。另外，第1图像及 第2图像获取部在获取图像数据时，未必一定在将图像数据存储在存储 区域中后再获取，也可以直接获取利用摄像机202拍摄的图像数据。差分图像生成部103生成"差分图像"，该"差分图像"由利用第1 图像获取部101获取的"照明停止图像"中的各个像素的亮度与利用第2 图像获取部102获取的"照明起动图像"中的各个像素的亮度之间的差分 构成。由差分图像生成部103生成的差分图像被存储在数据库3中的差 分图像存储区域303中。对象物区域提取部104根据由差分图像生成部103生成的"差分图 像"，提取"照明停止图像"和"照明起动图像"中分别对应于摄像对象物的 像素区域。高亮度区域提取部105提取由差分图像生成部103生成的差分图像中、由具有预定的亮度值以上的亮度的像素构成的图像区域。移动判定部106根据由高亮度区域提取部105提取的图像区域，判 定在"照明停止图像"的摄像定时和"照明起动图像"的摄像定时之间的摄 像对象物的移动量。移动判定部106的判定结果被存储在数据库3中的 对象物移动量/移动方向判定结果存储区域306中。另外，在本实施方式 中列举了在拍摄了照明起动图像后拍摄照明停止图像的示例，所以由移 动判定部106判定的移动量相当于从照明起动图像的摄像定时到照明停 止图像的摄像定时期间的移动量。另外，照明停止图像的摄像定时和照 明起动图像的摄像定时只要不同即可，对其顺位没有要求。具体地讲，移动判定部106对由高亮度区域提取部105提取的图像 区域实施"细线化处理(在后面具体叙述)"，并将与由此得到的细线正 交的方向上的该图像区域的尺寸的最大量判定为移动量。另外，移动判 定部106对由高亮度区域提取部105提取的图像区域实施细线化处理， 并将在与由此得到的细线正交的方向上的该图像区域的尺寸为最大的位 置与该细线正交的方向，判定为摄像对象物的移动方向。另外，移动判定部106对由高亮度区域提取部105提取的图像区域 实施细线化处理，并将与由此得到的细线正交的方向上的该图像区域的 尺寸的平均值判定为移动量，该平均值是对该尺寸的大小截止到上位第3 位(预定的顺位)的值进行平均得到的。并且，移动判定部106对由高 亮度区域提取部105提取的图像区域实施细线化处理，并将与由此得到 的细线正交的方向上的该图像区域的尺寸的平均值判定为摄像对象物的 移动方向，该平均值是对该尺寸的大小为上位预定的顺位的多个位置的、 与该细线正交的方向上的值进行平均得到的。并且，移动判定部106对由高亮度区域提取部105提取的图像区域 实施细线化处理，并在由此得到的细线上的多个预定位置与该细线正交 的方向上的该图像区域的各个尺寸之差小于预定的尺寸值时，把摄像对 象物的移动方向判定为拍摄该摄像对象物的摄像装置的摄像方向。这样，可以利用移动判定部106通过比较低负荷的处理来判定摄像对象物的移动量和移动方向。与反复进行块匹配处理等其他方法的移动 量检测相比，属于轻松的处理，所以能够容易利用低廉的硬件实现。对象物区域提取部104根据由差分图像生成部103生成的差分图像， 从照明停止图像和照明起动图像中的某一个图像中提取由超过预定的像 素值的像素构成的图像区域，作为与摄像对象物对应的像素区域。由此， 能够适当掌握摄像对象物的移动量和移动方向，能够容易实现用于校正 通过该移动形成的偏差的摄像对象物的提取处理。校正处理部107根据由移动判定部106判定的移动量，进行校正， 以使由对象物区域提取部104提取的像素区域在图像上的位置和尺寸与 照明停止图像及照明起动图像中的某另一个图像中与摄像对象物对应的 像素区域大致相同。另外，校正处理部107不仅校正图像上的坐标值(直 线移动)，在摄像对象物的移动伴有旋转时，也进行包括使图像彼此相对 旋转的处理在内的校正处理。CPU801具有进行图像处理装置的各种处理的作用，也具有通过执行 存储在MEMORY802中的程序来实现各种功能的作用。MEMORY802例 如利用ROM和RAM等构成，具有存储图像处理装置中所使用的各种信 息和程序的作用。图2是表示本发明的第1实施方式的图像处理装置1的处理(图像 处理方法)的流程的流程图。摄像控制部203在利用照明装置201照明摄像对象物的状态下(照 明时)，使摄像机202拍摄该摄像对象物(SIOI)。在S101拍摄得到的图像数据被存储在数据库3中(S102)。第2图 像获取部102获取这样存储在数据库3中的该图像数据(第2图像) (第1图像获取步骤)。摄像控制部203在照明装置201不对摄像对象物进行照明的状态下 (非照明时)，使摄像机202拍摄该摄像对象物(S103)。在S103拍摄得到的图像数据被存储在数据库3中(S104)。第1 图像获取部101获取这样存储在数据库3中的该图像数据(第1图像) (第2图像获取步骤)。另外，此处示出了在获取照明停止图像之前获取照明起动图像的示例，但只要在执行后面叙述的差分图像生成步骤时能 够获取双方图像，则可以先获取照明停止图像和照明起动图像中的某一 个图像。
差分图像生成部103生成由在第1图像获取步骤获取的图像中的各 个像素的亮度与在第2图像获取步骤获取的图像中的各个像素的亮度之 间的差分构成的差分图像(差分图像生成步骤)。这样生成的差分图像被
存储在数据库3中的差分图像存储区域303中(S105)。图3是表示差分 图像生成处理的概况和差分图像的一例的图。在图3所示的示例中，根 据摄像对象物的位置偏移等，在摄像对象物即人的轮廓部分出现了极白 的线条。该线条的线宽直接依赖于摄像对象物的位置偏移的量，所以能 够以线宽为基础估计被摄体的移动量。并且，在该图的示例中，在摄像 对象物的左右方向出现了变粗的线条，所以可得知摄像对象物在左右方 向产生了位置偏移。此外，当在上下方向出现了变粗的线条时，表示摄 像对象物在上下方向抖动。并且，当在上下左右所有方向出现了均等的 高对比度的线条时，认为摄像对象物在远近方向上进行了移动。
对象物区域提取部104提取在差分图像生成步骤生成的差分图像 中、像素的亮度值超过预定的阈值"Th—mask"的区域，并作为摄像对象物 掩蔽图像存储在数据库3中的摄像对象物掩蔽图像存储区域304中 (S106)。图4是表示掩蔽图像生成处理的概况和掩蔽图像的一例的图。
然后，对象物区域提取部104进行填充如上所述生成的掩蔽图像中 的细小孔的处理(S107)。图5 图7是用于说明掩蔽图像的孔填充处理 的图。对象物区域提取部104在进行掩蔽图像的提取处理时，例如在由 于噪声等使得掩蔽图像的内侧产生类似开孔那样的部分时(参照图5)， 进行填充该孔的处理。
具体地讲，对象物区域提取部104从外侧扫描所生成的掩蔽图像， 以扫描到的点为基准，生成跨越掩蔽图像的边界部分的掩蔽图像的轮廓 线(参照图6)。
对象物区域提取部104根据通过上述处理形成的轮廓线，将该轮廓 线的内侧填涂，从而完成孔填充(参照图7)。高亮度区域提取部105提取在差分图像生成步骤生成的差分图像 中、由具有预定的亮度值以上的亮度的像素构成的图像区域(高亮度区 域提取步骤)。与此处提取的图像区域相关的信息作为"线信息"存储在数
据库3中的线信息存储区域305中(S108)。
当在S108没有提取到线状的像素区域时(S109:否)，结束处理。 另一方面，当在S108提取到线状的像素区域时(S109:是)，移动 判定部106根据在高亮度区域提取步骤提取的图像区域，判定在摄像机 202的"照明停止图像的摄像定时"和"照明起动图像的摄像定时"期间的 摄像对象物的移动量(移动了多长距离)和移动方向(移向哪个方向)(移 动判定步骤)(S110)。通过该判定处理计算得到的摄像对象物的移动量 和移动方向等被存储在数据库3中。
经过上述的处理，在移动判定部106对摄像对象物的移动量和移动 方向的判定(S110)结束后，对象物区域提取部104根据在差分图像生 成步骤生成的差分图像和掩蔽图像，提取照明停止图像和照明起动图像 中的某一个图像中与摄像对象物对应的像素区域(对象物区域提取步 骤)。
校正处理部107进行校正，以使由对象物区域提取部104从照明停 止图像和照明起动图像中的某一个图像中提取的与摄像对象物对应的像 素区域在图像上的位置和尺寸与照明停止图像及照明起动图像中的某另 一个图像中与摄像对象物对应的像素区域大致相同(校正处理步骤)
(sm)。
差分图像生成部103生成经过校正处理步骤的校正处理后的照明停 止图像和照明起动图像间的差分图像，把生成的差分图像存储在数据库3 中(S112)。
下面，具体说明移动判定部106对摄像对象物的移动量和移动方向 的判定方法(S110)。
图8是表示对在差分图像生成步骤生成的差分图像实施2值化处理 的结果的一例的图。此处，所说2值化处理指将具有小二预先设定的阈 值的像素值的像素设为"黑"，将具有大于阈值的像素值的像素设为"白"，
17形成只有黑白2值的图像的处理。
图9是表示针对对差分图像实施2值化处理后的图像再实施"细线化
处理"的结果的一例的图。此处，所说细线化处理指将利用具有2像素以
上的宽度的粗线和面构成的图像设为宽度为1个像素的线图像的处理。 此时，求出使细线化后的线条尽量通过原来的粗线条的中央的线条。
图IO是表示根据细线化处理的结果，求出2值化后的图像中的高亮 度图像区域的线宽的方法的图。在该图中，把细线化之前的宽度较粗的 线设为"线M"，把细线化后的宽度为1个像素的线设为"线L"。移动判定 部106检查构成线L的任意像素位置的线L的宽度。此日r，为了快速化， 也可以例如每隔10个像素地检査线L上的像素。在线L上的任意像素V 中，引出线L的法线，把该法线横穿线M时的线M内侧的法线的长度 设为以像素V为基准的线M的宽度。
例如，移动判定部106对在高亮度区域提取步骤提取的图像区域实 施细线化处理，并将与由此得到的细线正交的方向上的该图像区域的尺 寸的最大量判定为移动量(参照图11)。此时，移动判定部106对在高亮 度区域提取步骤提取的图像区域实施细线化处理，并将在与由此得到的 细线正交的方向上的该图像区域的尺寸为最大的位置与该细线正交的方 向，判定为摄像对象物的移动方向。
并且，移动判定部106对在高亮度区域提取步骤提取的图像区域实 施细线化处理，并将与由此得到的细线正交的方向上的该图像区域的尺 寸的平均值判定为移动量，该平均值是对该尺寸大小的截止到上位预定 的顺位(例如从上位第1位到第5位)的值进行平均得到的(图12)。并 且，在移动判定歩骤，对在高亮度区域提取步骤提取的图像区域实施细 线化处理，并将与由此得到的细线正交的方向上的该图像区域的尺寸的 平均值判定为摄像对象物的移动方向，该平均值是对该尺寸的大小为上 位预定的顺位的多个位置的、与该细线正交的方向的值进行平均得到的。
另外，移动判定部106对由高亮度区域提取部105提取的图像区域 实施细线化处理，并在由此得到的细线上的多个预定位置与该细线正交 的方向上的该图像区域的各个尺寸之差小于预定的尺寸值时(即，上述多个预定位置的各个尺寸是彼此接近的数值时)(图13):判定为摄像对 象物的移动方向是拍摄该摄像对象物的摄像装置的摄像方向(摄像机的 物镜的光轴方向)。
下面，说明移动判定部106对差分图像进行的细线化处理的一例。 关于细线化处理的算法公知有各种技术。下面列举其中一例。
(1) 首先，移动判定部106向表示像素值有无变更的变量
"change—flag"输入"O"。
(2) 然后，按照图14所示，移动判定部106从左上部朝向右下部 沿倾斜方向扫描整个图像。
移动判定部106当在扫描过程中的任意像素p中、该像素p周围的 像素是下述3种状态时，把该像素p的值变为"O (黑色)"。此时，向表 示对像素值进行变更的变量"chang^flag"输入"l"(参照图15) (0、 1表 示该像素的值分别是O、 1， x表示该像素的值可以是任何值)。
然后，按照图16所示，移动判定部106从右上部朝向左下部沿倾斜 方向扫描整个图像。
移动判定部106当在扫描过程中的任意像素p中、该像素p周围的 像素是下述3种状态时，把该像素p的值变为"O (黑色)"。此时，向表 示对像素值进行变更的变量"change—flag"输入'T，(参照图17) (0、 1表 示该像素的值分别是O、 1， x表示该像素的值可以是任何值)。
(4) 然后，按照图18所示，移动判定部106从右下部朝向左上部 沿倾斜方向扫描整个图像。
移动判定部106当在扫描过程中的任意像素p中、该像素p周围的 像素是下述3种状态时，把该像素p的值变为"O (黑色)"。此时，向表 示对像素值进行变更的变量"change—flag"输入"l"(参照图19) (0、 1表 示该像素的值分别是O、 1， x表示该像素的值可以是任何值)。
(5) 然后，按照图20所示，移动判定部106从左下部朝向右上部 沿倾斜方向扫描整个图像。
移动判定部106当在扫描过程中的任意像素p中、该像素p周围的 像素是下述3种状态时，把该像素p的值变为"O (黑色)"。此时，向表示对像素值进行变更的变量"change—flag"输入"l"(参照图21) (0、 1表 示该像素的值分别是O、 1， x表示该像素的值可以是任何值)。
(6)移动判定部106在变量"change—flag"为"r时，再次返回(1) 反复进行处理。另一方面，如果变量"change—flag"为"0"，则在此结束细 线化处理。
图22是表示摄像对象物没有位置偏移等时的、合适的照明起动图像 与照明停止图像的差分图像的一例的图。如该图所示，在摄像对象物没 有位置偏移等时，不会出现高对比度的线状像素。另外，与图3示出的 摄像对象物具有位置偏移等时的差分图像相比，虽然看起来是模糊的图 像，但其是合适的照明起动/停止差分图像。在摄像对象物有位置偏移等 时，不仅轮廓部的高对比度的线条，被摄体内部的纹理的对比度也提高， 看起来很清楚，但这是相比于原来的被摄体的纹理被异常强调得到的图 像，所以不是正确的差分图像。
另外，关于在图2示出的流程图中说明的掩蔽图像，不只是单纯地 从差分图像中提取，还可以根据摄像对象物的移动方向和移动量进行校 正。
掩蔽图像是照明起动时/照明停止时的被摄体的图像的逻辑和，与原 来的被摄体的形状相比，成为被摄体在移动方向变粗了移动量后的形状 (参照图23)。因此，在能够估计被摄体的移动方向/移动量的时刻，通 过以该移动方向/移动量为基础来删除掩蔽图像(参照图24)，可以接近 原来的摄像对象物的形状。
并且，校正处理部107在由移动判定部106判定的摄像对象物的移 动量之差为预定的距离以下的移动方向有多个时等，在不能唯一地确定 移动量和移动方向时，该校正处理部根据该多个移动方向的各个方向， 进行校正，以使由对象物区域提取部104从照明停止图像和照明起动图 像中分别提取的两个像素区域在图像上的位置和尺寸大致相同(校正处 理歩骤)。
差分图像生成部103生成经过校正处理部107的校正处理后的这两 个像素区域间的差分图像，移动判定部106把生成由差分图像生成部103生成的多个差分图像中、由高亮度区域提取部105提取的图像区域的面 积为最小的差分图像时使用的移动方向，判定为摄像对象物的移动方向。 这样，在被摄体的移动微小时等，在不能唯一地确定被摄体的移动量和 移动方向的渺茫情况下，也能够获得最佳的校正结果。
这样，从照明起动/停止差分图像中提取高对比度的线条，根据该线 条的宽度和方向估计被摄体的移动量/移动方向，根据该估计使照明起动/ 停止的某一个图像中的被摄体部分错位，然后再生成差分图像，由此可 以生成不存在被摄体抖动的清楚的差分图像。
并且，在使用差分图像大致提取摄像对象物后，根据在该摄像对象 物的轮廓部分出现的对比度较高的线条的线宽、位置和方向，将与大致 提取的摄像对象物对应的像素区域平移和縮放等，然后再次重新生成差 分图像，由此生成差分图像，获得排除了背景和外部光的影响的被摄体 图像吋，即使被摄体稍有移动时，也能够获得合适的被摄体图像。这样， 通过把降低了被摄体抖动的影响的差分图像用于认证等，可以有助于提 高认证精度。
(第2实施方式)
下面，说明本发明的第2实施方式。本实施方式是上述第1实施方
式的变形例。下面，对具有与己经在第1实施方式中说明的部分相同的 功能的构成部分标注相同标号，并省略说明。
图25是用于说明本发明的第2实施方式的图像处理装置1，的结构的 功能框图。本实施方式的图像处理装置l'在第1实施方式的图像处理装 置1的结构基础上，还具有块匹配处理部108。
在本实施方式的图像处理装置r中，校正处理部107根据由移动判
定部106判定的移动量，对由所述对象物区域提取部提取的像素区域在 图像上的位置和尺寸进行校正，使其与所述第1图像及第2图像中的某 另一个图像中与所述摄像对象物对应的像素区域大致相同。
并且，块匹配处理部108在经过校正处理部107的校正处理后的 第1图像和第2图像间实施块匹配处理。差分图像生成部103生成由块 匹配处理部108实施块匹配处理后的这两个像素区域间的差分图像。由
21此，可以获得更高精度的差分图像。
图26是表示本发明的第2实施方式的图像处理装置的处理(图像处
理方法)的流程的流程图。另外，关于图26所示的流程图中的S201 S210、 S214和S215，是与图2所示的流程图中的S101 S110、 Sill和 S112相同的处理，所以省略说明。
校正处理部107根据在移动判定步骤(S210)判定的移动量，对在 对象物区域提取步骤(S211)提取的像素区域在图像上的位置和尺寸进 行校正，使其与第1图像及第2图像中的某另一个图像中与摄像对象物 对应的像素区域大致相同(校正处理步骤)。
块匹配处理部108在经过校正处理步骤的校正处理后的第1图像和 第2图像间实施块匹配处理，再进行高精度的定位(块匹配处理步骤) (S212)0
块匹配处理部108将块匹配处理的结果、即达到最佳的匹配分数的 移动量和移动方向重新登记在数据库3中(S213)，转入差分图像生成步 骤的差分图像生成处理。
虽然也可以不按照本实施方式，而采用直接进行块匹配处理的结构， 但是需要进行与非常多的候选的匹配，导致处理时间增加。与此相对， 如果像本实施方式的结构这样，将块匹配处理用于最终的校正处理中， 则能够通过微小的处理负荷获得高精度的差分图像。 (第3实施方式)
下面，说明本发明的第3实施方式。本实施方式是上述第1实施方 式的变形例。下面，对具有与已经在第1实施方式中说明的部分相同的 功能的构成部分标注相同标号，并省略说明。
图27是用于说明本发明的第3实施方式的图像处理装置1"的结构的 功能框图。本实施方式的图像处理装置l"在第1实施方式的图像处理装 置1的结构基础上，还具有像素选择部109。
像素选择部109只选择由对象物区域提取部104提钗的像素区域的 轮廓部分的像素或者存在于该轮廓部分的内侧的像素。
移动判定部106根据由像素选择部109选择的像素，判定摄像对象物的移动量和移动方向。由此，可以抑制产生多余的线段的提取处理， 可以有效获得高精度的校正结果。
图28是表示本发明的第3实施方式的图像处理装置的处理(图像处
理方法)的流程的流程图。另外，关于图28所示的流程图中的S301 S309、 S311 S313，是与图2所示的流程图中的S101 S109、 S110 S112
相同的处理，所以省略说明。
像素选择部109只选择在对象物区域提取步骤提取的像素区域(摄 像对象物掩蔽图像)的轮廓部分的像素或者存在于该轮廓部分的内侧的 像素(像素选择步骤)(S310)。
移动判定步骤只把在像素选择步骤选择的像素作为对象并进行细线 化处理等，判定摄像对象物的移动量和移动方向。
在拍摄时，在被摄体之外的多余的物体被摄入、由二外部光的影响 等使得照明起动/停止差分图像出现了多余的线段的情况—S可以使用摄 像对象物掩蔽图像排除该多余的线段(参照图29)。由此，可以提高生成 针对摄像对象物的差分图像时的闪动校正的精度。
另外，在上述的各个实施方式中，在差分图像生成部103生成差分 图像时和在移动判定部106的判定处理中提取线区域时，也可以进行用 于强调被摄体和线条的亮度校正。
并且，在上述的各个实施方式中列举了摄像对象物是人的示例，但 不限于此，例如也可以把"手掌"作为摄像对象物，根据得到的图像数据 实现"手掌静脉认证"。
在为了进行"手掌静脉认证"而拍摄手掌时，摄像机与手掌仅相隔几 厘米左右，属于相当近距离的拍摄。这样，在利用摄像机进行近距离拍 摄时，背景与摄像对象物的明亮度差异容易增大。在这种背景与摄像对 象物的明亮度差异相当大的情况下，优选将由差分图像生成部生成的差 分图像2值化，并根据周围的照明状况调整生成线图像和掩蔽图像时的 阈值的设定。
并且，不限于上述的"手掌静脉认证"，对于在使照明起动图像和照 明停止图像为大致相同的背景(背景固定的摄影环境)^拍摄摄像对象物(例如人脸、瞳孔、指纹等)的摄像装置，本发明也能发挥效果。
并且，在上述的各个实施方式中，示出了本发明涉及的图像处理装 置相对摄像装置2分体设置，图像处理装置自身独立成为交易对象的示 例，但不限于此，例如也可以构成为使上述的各个实施方式的图像处理 装置内置于摄像装置中，从而可以提供发挥本发明涉及的图像处理装置 的效果的摄像装置。当然，不仅将构成图像处理装置的全部构成要素内 置于摄像装置中，也可以将图像处理装置的构成要素的一部分配置于摄 像装置中，作为由图像处理装置和摄像装置构成的图像处理系统整体来 实现发明涉及的图像处理装置的功能。
上述的图像处理装置的处理中的各个步骤可以通过使CPU801执行 存储于MEMORY802中的图像处理程序来实现。
另外，可以把使构成图像处理装置的计算机执行上述各个步骤的程 序，作为图像处理程序提供。上述程序可以存储在计算机可以读取的记 录介质中，并使构成图像处理装置的计算机执行。在此，作为上述计算 机可以读取的记录介质，包括ROM和RAM等安装在计算机内部的内部 存储装置、CD—ROM和软盘、DVD盘、光磁盘、IC卡等移动式存储介 质、保存计算机程序的数据库、或者其他计算机以及其数据库、线路上 的传输介质。
产业上的可利用性
如以上说明的那样，根据本发明可以提供在图像处理技术中能够利 用简单的装置结构、而且以较少的处理负荷高精度地提取摄像对象物的 技术，在该图像处理技术中，根据在对摄像对象物不进行照明的非照明 时拍摄该摄像对象物得到的图像和在对摄像对象物进行照明的照明时拍 摄该摄像对象物得到的图像，进行摄像图像上的该摄像对象物的提取。
权利要求
1.一种图像处理装置，其具有第1图像获取部，其获取第1图像，该第1图像是在对摄像对象物不进行照明的非照明时拍摄该摄像对象物得到的；第2图像获取部，其获取第2图像，该第2图像是在对所述摄像对象物进行照明的照明时拍摄该摄像对象物得到的；差分图像生成部，其生成由第1图像中的各个像素的亮度与第2图像中的各个像素的亮度之间的差分构成的差分图像，该第1图像由所述第1图像获取部获取，该第2图像由所述第2图像获取部获取；高亮度区域提取部，其提取由所述差分图像生成部生成的差分图像中、由具有预定的亮度值以上的亮度的像素构成的图像区域；和移动判定部，其根据由所述高亮度区域提取部提取的图像区域，判定所述第1图像的摄像定时与所述第2图像的摄像定时之间的所述摄像对象物的移动量。
2. 根据权利要求l所述的图像处理装置，该图像处理装置具有 对象物区域提取部，其根据由所述差分图像生成部生成的差分图像，提取所述第1图像及第2图像中的某一个图像中的与所述摄像对象物对 应的像素区域；和校正处理部，其根据由所述移动判定部判定的移动量，进行校正， 以使由所述对象物区域提取部提取的像素区域在图像上的位置和尺寸与 所述第1图像及第2图像中的某另一个图像中的与所述摄像对象物对应 的像素区域大致相同，所述差分图像生成部生成经过所述校正处理部的校正处理后的第1 图像及第2图像间的差分图像。
3. 根据权利要求l所述的图像处理装置，其中，所述移动判定部对 由高亮度区域提取部提取的图像区域实施细线化处理，并将与由此得到 的细线正交的方向上的、该图像区域的尺寸的最大量判定为所述移动量。
4. 根据权利要求l所述的图像处理装置，其中，所述移动判定部对由高亮度区域提取部提取的图像区域实施细线化处理，并将在与由此得 到的细线正交的方向上的、该图像区域的尺寸为最大的位置与该细线正 交的方向判定为所述摄像对象物的移动方向。
5. 根据权利要求l所述的图像处理装置，其中，所述移动判定部对 由高亮度区域提取部提取的图像区域实施细线化处理，并将与由此得到 的细线正交的方向上的、该图像区域的尺寸的平均值判定为所述移动量， 该平均值是对该尺寸的大小截止到上位预定的顺位的值进行平均得到 的。
6. 根据权利要求l所述的图像处理装置，所述移动判定部对由高亮 度区域提取部提取的图像区域实施细线化处理，并将与由此得到的细线 正交的方向上的、该图像区域的尺寸的平均值判定为所述摄像对象的移 动方向，该平均值是对该尺寸的大小为上位预定的顺位的多个位置的、 与该细线正交的方向上的值进行平均得到的。
7. 根据权利要求l所述的图像处理装置，所述移动判定部对由高亮 度区域提取部提取的图像区域实施细线化处理，并在由此得到的细线上 的多个预定位置与该细线正交的方向上的、该图像区域的各个尺寸之差 小于预定的尺寸值时，判定为所述摄像对象物的移动方向是拍摄该摄像 对象物的摄像装置的摄像方向。
8. 根据权利要求2所述的图像处理装置，该图像处理装置具有校正处理部，在由所述移动判定部判定的所述摄像对象物的移动量之差为预 定的距离以下的移动方向有多个时，该校正处理部根据该多个移动方向 的各个方向，进行校正，以使由所述对象物区域提取部从所述第1图像及第2图像中的某一个图像提取的像素区域在图像上的位置和尺寸与所 述第1图像及第2图像中的某另一个图像中的与所述摄像对象物对应的 像素区域大致相同，^ 述差分图像生成部生成经过所述校正处理部的校正处理后的第1 图像及第2图像间的差分图像，所述移动判定部将在生成由所述差分图像生成部生成的多个差分图 像中、由所述高亮度区域提取部提取的图像区域的面积为最小的差分图像时使用的移动方向，判定为所述摄像对象物的移动方向。
9. 根据权利要求2所述的图像处理装置，该图像处理装置具有-校正处理部，其根据由所述移动判定部判定的移动量，进行校正，以使由所述对象物区域提取部提取的像素区域在图像上的位置和尺寸与所述第1图像及第2图像中的某另一一个图像中的与所述摄像对象物对 应的像素区域大致相同；和块匹配处理部，其在经过所述校正处理部的校正处理后的第1图像 及第图像间实施块匹配处理，所述差分图像生成部生成由所述块匹配处理部实施了块匹配处理的 该两个图像间的差分图像。
10. 根据权利要求2所述的图像处理装置，其中，所述对象物区域 提取部提取由所述差分图像生成部生成的差分图像中、由具有超过预定 的像素值的像素构成的图像区域，作为与所述摄像对象物对应的像素区 域。
11. 根据权利要求2所述的图像处理装置，该图像处理装置具有像素 选择部，该像素选择部只选择由所述对象物区域提取部提取的像素区域 的轮廓部分的像素或者存在于该轮廓部分的内侧的像素，所述移动判定部根据由所述像素选择部选择的像素，判定摄像对象 物的移动量和移动方向。
12. —种图像处理方法，该图像处理方法包括-第1图像获取步骤，获取第1图像及第2图像中的某一个图像，该 第1图像是在对摄像对象物不进行照明的非照明时拍摄该摄像对象物得 到的，该第2图像是在对所述摄像对象物进行照明的照明时拍摄该摄像 对象物得到的；第2图像获取步骤，获取所述第1图像及所述第2图像中的某另一 个图像；差分图像生成步骤，生成由在所述第1图像获取步骤获取的图像中 的各个像素的亮度与在所述第2图像获取步骤获取的图像中的各个像素 的亮度之间的差分构成的差分图像；高亮度区域提取步骤，提取在所述差分图像生成步骤生成的差分图 像中、由具有预定的亮度值以上的亮度的像素构成的图像区域；和移动判定步骤，根据在所述高亮度区域提取步骤提取的图像区域， 判定在所述第1图像的摄像定时与所述第2图像的摄像定时之间的所述 摄像对象物的移动量。
13. 根据权利要求12所述的图像处理方法，该图像处理方法包括 对象物区域提取步骤，根据在所述差分图像生成步骤生成的差分图像，提取所述第1图像及第2图像中的某一个图像中的与所述摄像对象 物对应的像素区域；和校正处理步骤，根据在所述移动判定步骤判定的移动量，进行校正， 以使在所述对象物区域提取步骤提取的像素区域在图像上的位置和尺寸 与所述第1图像及第2图像中的某另一个图像中的与所述摄像对象物对 应的像素区域大致相同，所述差分图像生成步骤生成经过所述校正处理步骤的校正处理后的 第1图像及第2图像间的差分图像。
14. 根据权利要求12所述的图像处理方法，其中，在所述移动判定 步骤中，对在高亮度区域提取步骤提取的图像区域实施细线化处理，并 将与由此得到的细线正交的方向上的、该图像区域的尺寸的平均值判定 为所述移动量，该平均值是对该尺寸的大小截止到上位预定的顺位的值 进行平均得到的。
15. 根据权利要求12所述的图像处理方法，其中，在所述移动判定 步骤中，对在高亮度区域提取步骤提取的图像区域实施细线化处理，并 将与由此得到的细线正交的方向上的、该图像区域的尺寸的平均值判定 为所述摄像对象的移动方向，该平均值是对该尺寸的大小为上位预定的 顺位的多个位置的、与该细线正交的方向上的值进行平均得到的。
16. 根据权利要求13所述的图像处理方法，该图像处理方法包括校 正处理歩骤，在该校正处理步骤中，在由所述移动判定步骤判定的所述 摄像对象物的移动量之差为预定的距离以下的移动方向有多个时，根据 该多个移动方向的各个方向，进行校正，以使由所述对象物区域提取步骤从所述第1图像及第2图像中的某一个图像提取的像素区域在图像上 的位置和尺寸与所述第1图像及第2图像中的某另一个图像中的与所述 摄像对象物对应的像素区域大致相同，所述差分图像生成步骤生成经过所述校正处理步骤的校正处理后的 第1图像及第2图像间的差分图像，在所述移动判定步骤中，将在生成由所述差分图像生成步骤生成的 多个差分图像中、由所述高亮度区域提取步骤提取的图像区域的面积为 最小的差分图像时使用的移动方向，判定为所述摄像对象物的移动方向。
17. —种图像处理程序，该图像处理程序使计算机执行以下歩骤 第1图像获取步骤，获取第1图像及第2图像中的某一个图像，该第1图像是在对摄像对象物不进行照明的非照明时拍摄该摄像对象物得到的，该第2图像是在对所述摄像对象物进行照明的照明时拍摄该摄像 对象物得到的；第2图像获取步骤，获取所述第1图像及所述第2图像中的某另一 个图像；差分图像生成步骤，生成由在所述第1图像获取步骤获取的图像中 的各个像素的亮度与在所述第2图像获取步骤获取的图像中的各个像素 的亮度之间的差分构成的差分图像；高亮度区域提取步骤，提取在所述差分图像生成步骤生成的差分图 像中、由具有预定的亮度值以上的亮度的像素构成的图像区域；和移动判定步骤，根据在所述高亮度区域提取步骤提取的图像区域， 判定在所述第1图像的摄像定时与所述第2图像的摄像定时之间的所述 摄像对象物的移动量。
18. 根据权利要求17所述的图像处理程序，该图像处理程序包括 对象物区域提取步骤，根据在所述差分图像生成步骤生成的差分图像，提取所述第1图像及第2图像中的某一个图像中的与所述摄像对象 物对应的像素区域；和校正处理步骤，根据在所述移动判定步骤判定的移动量，进行校正， 以使在所述对象物区域提取步骤提取的像素区域在图像上的位置和尺寸与所述第1图像及第2图像中的某另一个图像中的与所述摄像对象物对 应的像素区域大致相同，所述差分图像生成步骤生成经过所述校正处理步骤的校正处理后的 第1图像及第2图像间的差分图像。
19. 根据权利要求17所述的图像处理程序,在所述移动判定步骤中，对在高亮度区域提取步骤提取的图像区域实施细线化处理，并将与由此 得到的细线正交的方向上的、该图像区域的尺寸的平均值判定为所述移 动量，该平均值是对该尺寸的大小截止到上位预定的顺位的值进行平均 得到的。
20. 根据权利要求17所述的图像处理程序，在所述移动判定步骤中， 对在高亮度区域提取步骤提取的图像区域实施细线化处理，并将与由此 得到的细线正交的方向上的、该图像区域的尺寸的平均值判定为所述摄 像对象的移动方向，该平均值是对该尺寸的大小为上位预定的顺位的多 个位置的、与该细线正交的方向上的值进行平均得到的。
全文摘要
本发明提供图像处理装置、图像处理方法、图像处理程序。该图像处理装置具有第1图像获取部(101)，其获取第1图像，该第1图像是在对摄像对象物不进行照明的非照明时拍摄该摄像对象物得到的；第2图像获取部(102)，其获取第2图像，该第2图像是在对摄像对象物进行照明的照明时拍摄该摄像对象物得到的；差分图像生成部(103)，其生成由第1图像中的各个像素的亮度与第2图像中的各个像素的亮度之间的差分构成的差分图像，该第1图像由第1图像获取部(101)获取，该第2图像由第2图像获取部(102)获取；高亮度区域提取部(105)，其提取由差分图像生成部(103)生成的差分图像中、由具有预定的亮度值以上的亮度的像素构成的图像区域；和移动判定部(106)，其根据由高亮度区域提取部(105)提取的图像区域，判定第1图像的摄像定时与第2图像的摄像定时之间的摄像对象物的移动量。
文档编号H04N7/18GK101617535SQ200780048850
公开日2009年12月30日 申请日期2007年3月28日 优先权日2007年3月28日
发明者浜壮一, 福田充昭, 青木隆浩 申请人:富士通株式会社