图像处理方法、图像处理装置以及图像处理系统的制作方法

专利名称：图像处理方法、图像处理装置以及图像处理系统的制作方法
图像处理方法、图像处理装置以及图像处理系统本申请是原案申请号为200580047809.9的发明专利申请(国际申请号PCT/ JP2005/002928,申请日2005年2月23日，发明名称图像处理方法、图像处理装置、图像 处理系统以及计算机程序)的分案申请。
技术区域 本发明涉及一种从将像素分别排列在不同的第1方向以及第2方向上而成的二维 图像中检测特定的检测对象的图像处理方法、适用了该图像处理方法的图像处理装置、具 有该图像处理装置的图像处理系统以及用于实现所述图像处理装置的计算机程序，特别涉 及可以提高检测对象的检测精度的图像处理方法、图像处理装置、图像处理系统以及计算 机程序。
背景技术：
作为协助汽车等车辆的驾驶的装置，提出了这样的图像处理装置通过在可以拍 摄驾驶员的脸部的位置上配置的车载摄像头对驾驶员的脸部进行拍摄，根据所得到的图 像，进行检测驾驶员的脸部的轮廓以及眼睛的位置的图像处理(例如，参考专利文献1)。通 过使用这种装置可以构成这样的系统可以检测出驾驶员的状况，根据驾驶员在驾驶时心 不在焉或是打盹等状况，可以对其进行警告等驾驶协助。另外，由于夕阳等外部光线照射 车辆内的驾驶员的脸部的情况频繁出现，所以驾驶中的驾驶员的脸部的照度不是恒定的， 但是为了使拍摄驾驶员脸部而得到的图像的亮度恒定，可以通过车载摄像头的自动增益功 能，对其进行一定程度的调整。 专利文献1 :日本特开2004-234367号公报

发明内容
然而，如果太阳光、反射光等外部光线一样地照射驾驶员脸部，则虽然可以通过自 动增益功能来应对，但是如果所照射的外部光线不同，则通过调整图像整体的亮度的自动 增益功能是无法应对局部的照度的变化。例如会有产生如下误检的问题仅对脸部的左半 边照射太阳光而引起的偏变化时，不能把没有照射到太阳光的暗部分识别为脸部，而是仅 把明亮的部分检测为脸部轮廓。这样照射到行驶中的车辆内驾驶员脸部的光线是不断变化 的，所以如果不用多种方法对脸部或是脸部所包含的各个部位进行综合判断，则不能得到 充分的精度。 本发明正是为了解决上述问题而完成的，其主要目的是提供一种图像处理方法、 适用了该图像处理方法的图像处理装置、具有该图像处理装置的图像处理系统以及用于实 现所述图像处理装置的计算机程序，在该图像处理方法中，当从通过拍摄等的处理所得到 的图像中检测人物的鼻子等的检测对象时，把拍摄图像时的垂直方向的位置作为候选检测 出多个位置，针对在与检测出的各位置相对应的水平方向上排列的各个像素列，基于像素 的亮度检测出成为检测对象的候选的范围，并基于检测出的范围的长度，通过从检测对象 的候选中确定检测对象，从而使检测方法多样化，提高检测精度。
此外，本发明的其他目的在于提供一种如下的图像处理方法、图像处理装置、图像 处理系统以及计算机程序根据针对一个像素亮度，进行基于相邻的其他各个像素的亮度 的加法运算以及基于在拍摄时的水平方向和垂直方向上与所述一个像素相隔规定距离的 位置处的像素的亮度的减法运算而得到的结果，检测出检测对象，从而使检测方法多样化， 提高检测精度。 此外，本发明的其他目的在于提供一种如下的图像处理方法、图像处理装置、图像 处理系统以及计算机程序检测出检测对象作为水平方向的范围和垂直方向的范围，从而 使检测方法多样化，提高检测精度，其中，所述水平方向的范围是基于如下的结果得到的 将在拍摄时的水平方向上排列的像素的亮度的变化累加到垂直方向，所述垂直方向的范围 是基于如下的结果得到的将在垂直方向上排列的像素的亮度的变化累加到水平方向。
而且，本发明的其他目的在于提供一种如下的图像处理方法、图像处理装置、图像 处理系统以及计算机程序基于亮度的平均值以及分散值，决定检测方法的优先顺序，从而 可以对应于情况选择有效的检测方法，因此提高了检测精度。 第1发明的图像处理方法，从将像素分别排列在不同的第1方向及第2方向上而 得到的二维图像中检测出特定的检测对象，其特征在于，根据加法运算和减法运算的结果 对一个像素的亮度进行转换，基于转换的结果，检测出检测对象，其中，所述加法运算是基 于与所述一个像素相邻的其他各个像素的亮度进行的，所述减法运算是基于在第1方向上 与所述一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向上与所述一个像 素相隔了规定距离的位置处的像素的亮度进行的。 第2发明的图像处理方法，从将像素分别排列在不同的第1方向及第2方向上而 得到的二维图像中检测出特定的检测对象，其特征在于，在第2方向上对基于在第1方向上 排列的像素的亮度变化的数值进行累加，从而导出第1方向上的累加值的变化，在第1方向 上对基于在第2方向上排列的像素的亮度变化的数值进行累加，从而导出第2方向上的累 加值的变化，根据第1方向上的范围和第2方向的范围，检测出检测对象，其中，所述第1方 向上的范围是基于所导出的第1方向上的累加值的变化而得到的，所述第2方向的范围是 基于所导出的第2方向上的累加值的变化而得到的。 第3发明的图像处理方法，通过多种检测方法从包括多个像素的二维图像中检测 出特定的检测对象，其特征在于，计算像素的亮度的平均值，计算像素的亮度的分散值，根 据计算出的平均值和分散值，决定检测方法的优先顺序。 第4发明的图像处理装置，从将像素分别排列在不同的第1方向及第2方向上而 得到的二维图像中检测出特定的检测对象，其特征在于，其包括执行如下处理的单元根 据加法运算和减法运算的结果对一个像素的亮度进行转换，其中，所述加法运算是基于与 所述一个像素相邻的其他各个像素的亮度进行的，所述减法运算是基于在第1方向上与所 述一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向上与所述一个像素相 隔了规定距离的位置处的像素的亮度进行的；以及检测单元，其根据转换的结果，检测出检 测对象。 第5发明的图像处理装置，其特征在于，在第4发明中，所述检测单元检测出转换 后的值为最小的像素，作为检测对象。 第6发明的图像处理装置，从将像素分别排列在不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，其特征在于，其包括第1导出单元，其在第2方 向上对基于在第1方向上排列的像素的亮度变化的数值进行累加，从而导出第1方向上的 累加值的变化；第2导出单元，其在第1方向上对基于在第2方向上排列的像素的亮度变化 的数值进行累加，从而导出第2方向上的累加值的变化；以及检测单元，其根据第1方向上 的范围和第2方向的范围，检测出检测对象，其中，所述第1方向上的范围是基于所述第1 导出单元所导出的第1方向上的累加值的变化而得到的，所述第2方向的范围是基于所述 第2导出单元所导出的第2方向上的累加值的变化而得到的。 第7发明的图像处理装置，其特征在于，在第6发明中，所述第1导出单元在第2方 向上对如下的指标进行累加，导出第1方向上的累加值的变化，所述指标是根据基于在第1 方向上相邻的像素之间的亮度差的数值、以及表示在第1方向上相邻的像素的亮度高低的 数值而得到的，所述第2导出单元在第1方向上对如下的指标进行累加，导出第2方向上的 累加值的变化，所述指标是根据基于在第2方向上相邻的像素之间的亮度差的数值、以及 表示在第2方向上相邻的像素的亮度高低的数值而得到的，所述检测单元根据第1方向上 的范围和第2方向的范围，检测出检测对象，其中，所述第1方向上的范围是从所述第1导 出单元所导出的累加值最大的位置到第1导出单元所导出的累加值最小的位置之间的范 围，所述第2方向的范围是从所述第2导出单元所导出的累加值最大的位置到所述第2导 出单元所导出的累加值最小的位置之间的范围。 第8发明的图像处理装置，通过多种检测方法从包括多个像素的二维图像中检测 出特定的检测对象，其特征在于，其包括计算像素的亮度的平均值的单元；计算像素的亮 度的分散值的单元；根据计算出的平均值和分散值决定检测方法的优先顺序的单元。
第9发明的图像处理系统，其特征在于，其包括第4个发明至第8发明中的任一 项所述的图像处理装置；以及生成由该图像处理装置进行处理的图像的摄像装置，所述检 测对象是通过所述摄像装置拍摄到的图像内的包括人物的鼻孔在内的区域，所述第1方向 为水平方向，所述第2方向为垂直方向。 第10发明的计算机程序，使计算机从将像素分别排列在不同的第1方向及第2方 向上而得到的二维图像中检测出特定的检测对象，其特征在于，使计算机执行如下的步骤 根据加法运算和减法运算的结果对一个像素的亮度进行转换，其中，所述加法运算是基于 与所述一个像素相邻的其他各个像素的亮度进行的，所述减法运算是基于在第1方向上与 所述一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向上与所述一个像素 相隔了规定距离的位置处的像素的亮度进行的；以及根据转换的结果，检测出检测对象。
第11发明的计算机程序，使计算机从将像素分别排列在不同的第1方向及第2方 向上而得到的二维图像中检测出特定的检测对象，其特征在于，使计算机执行如下的步骤 在第2方向上对基于在第1方向上排列的像素的亮度变化的数值进行累加，从而导出第1 方向上的累加值的变化；在第1方向上对基于在第2方向上排列的像素的亮度变化的数值 进行累加，从而导出第2方向上的累加值的变化；以及根据第1方向上的范围和第2方向的 范围，检测出检测对象，其中，所述第1方向上的范围是基于所导出的第1方向上的累加值 的变化而得到的，所述第2方向的范围是基于所导出的第2方向上的累加值的变化而得到 的。 第12发明的计算机程序，使计算机通过多种检测方法从包括多个像素的二维图像中检测出特定的检测对象，其特征在于，使计算机执行如下的步骤计算像素的亮度的平 均值；计算像素的亮度的分散值；以及根据计算出的平均值和分散值，决定检测方法的优 先顺序。 在第1发明、第4发明、第5发明、第10发明中，在例如在拍摄到的图像中，以人物 脸部中的鼻孔为检测对象的情况下，把水平方向以及垂直方向分别设为第l方向以及第2 方向时，对相邻像素的亮度较低、且其周围亮度较高的部位，即亮度低且小的区域进行强调 的转换处理，从而可以高精度地检测出检测对象。特别是与检测出检测对象的其他方法并 用时，可以使检测方法多样化而综合地判断检测对象的位置，因此可以进一步提高检测精 度。 在第2发明、第6发明、第7发明、第11发明中，例如在拍摄到的图像中，以人物脸 部中鼻孔的周围区域为检测对象的情况下，把水平方向以及垂直方向分别设为第1方向以 及第2方向时，分别针对垂直方向以及水平方向，导出亮度下降较大之处较大、亮度上升较 大之处较小的数值，根据所导出的数值对作为亮度低于周围的四角形的区域的检测对象进 行检测，由此可以高精度地检测出检测对象。特别是不是检测鼻孔，而是检测鼻孔周围下方 的区域，所以即使在将脸部倾斜到难以检测鼻孔的角度时，也可以检测出检测对象。特别是 与其他方法进行并用时，可以使检测方法多样化而综合地判断检测对象的位置，因此可以 进一步提高检测精度。而且，用其他方法检测出双眼的位置、鼻子的位置等的部位时，可以 基于检测出的部位之间的位置关系而縮小区域，在此基础上，通过进行相应发明的检测，可 以更高精度地检测出检测对象。 在第3发明、第8发明以及第12发明中，例如在拍摄到的图像中，对人物脸部中鼻 孔等的检测对象进行检测时，基于亮度的平均值以及分散值，判断是否在人物脸部中产生 了局部照度的变化，根据判断的状况决定检测方法的优先顺序，对应于状况，从各种各样的 检测方法中选择可靠性高的检测方法以及检测顺序，因此可以进一步提高检测精度。
在第17发明中，由于可以高精度地检测出包含人物鼻孔在内的区域，所以适用于 这样的系统通过例如在车辆上安装的车载摄像头等摄像装置对驾驶员的脸部进行拍摄而 获取的图像中，以驾驶员的脸部为检测对象进行检测，从而可以在检测出驾驶员的状况，而 在驾驶员心不在焉时对其进行警告等驾驶协助的系统中得以实现。 本发明中的图像处理方法、图像处理装置、图像处理系统以及计算机程序可以适 用为这样的方式通过例如在车辆上安装的车载摄像头等摄像装置对驾驶员的脸部进行拍 摄而获取的图像中，以人物脸部中的包含鼻孔的左右鼻翼之间的区域为检测对象。而且， 本发明中的图像处理装置等执行如下的处理对在作为第1方向的水平方向上排列的像素 亮度进行累加，导出作为第2方向的垂直方向的累加值的变化，根据所导出的累加值的变 化检测作为极小值的多个位置，作为包括检测对象在内的候选，进一步对其中的累加值的 变化进行二次微分，将范围縮小到规定数量之内，分别对于在与縮小的各个位置对应的第1 方向上排列的像素列，基于像素亮度，检测出成为检测对象的候选的第1方向上的范围，基 于检测出的范围长度，从检测对象的候选中确定检测对象。 本发明根据这种结构，着眼于垂直方向的亮度分布，检测包括亮度较低的眉毛、眼 睛以及嘴在内的多个候选，以水平方向的宽度为基础，从候选中确定检测对象，从而可以得 到高精度地检测出检测对象等优良的效果。特别是本发明与基于水平方向的亮度分布检
7测出检测对象的其他方法进行并用时，可以使检测方法多样化而综合地判断检测对象的位 置，因此得到可以进一步提高检测精度等优良的效果。 并且，本发明通过提高检测对象的检测精度，正确地检测驾驶员的状况，适用于通 过对驾驶员心不在焉的驾驶提出警告等的驾驶协助的系统时，即使在外部光线的状况不断 发生变化的环境中驾驶时，也可以得到构筑误检少的具有可靠性的驾驶协助系统等卓越的 效果。 另外，在本发明的图像处理装置等中，从在作为第l方向的水平方向上排列的像 素列中检测出成为检测对象的候选的范围时，基于在第1方向上排列的像素的亮度的变化 检测范围，由此具体地说，通过对水平方向的亮度急剧变化之处进行强调的滤波处理，对基 于在第1方向上排列的、亮度较低的像素列的两端的结果的范围进行检测，从而可以明确 包含鼻孔在内的区域、与眉毛、眼睛、嘴等其他部位之间的水平方向的范围差异，因此可以 得到提高检测精度等卓越的效果。 另外，在本发明的图像处理装置等中，检测出脸部的宽度，与脸部宽度相比较，例 如将相对于脸部宽度、水平方向的范围为22% 43%的候选确定为检测对象，从而可以与 眉毛、眼睛、嘴等的其他部位明确进行划分，因此得到可以提高检测精度等卓越的效果。
并且，在本发明的图像处理装置等中，即使确定了检测对象时，在特定的检测对象 中包含的水平方向上排列的像素列中，与检测对象有关的垂直方向的亮度的累加值为极小 值的、亮度低于周围亮度的部位的数量，即很可能是鼻孔的部位的数量小于表示左右的鼻 孔的数量的规定数量即2个的情况下，可以判断其为鼻孔的可能性低，判断为不是检测对 象，由此得到可以降低把鼻孔以外的部位判断为鼻孔的误检的可能性等卓越的效果。
而且，在本发明的图像处理装置等中，如果排列在垂直方向的像素的数量超过了 规定数量，则判断为检测出了眼镜框的可能性高，得到通过判断为不是检测对象，而降低误 检的可能性等卓越的效果。 本发明的图像处理方法、图像处理装置、图像处理系统以及计算机程序，可以适用 为这样的方式例如通过在车辆上安装的车载摄像头等摄像装置对驾驶员的脸部进行拍摄 而获取的图像中，以人物脸部中的鼻孔为检测对象。并且，在本发明的图像处理装置等执行 如下的处理根据加法运算以及减法运算的结果对一个像素的亮度进行转换，将变换后的 值最小的像素作为检测对象进行检测，其中，所述加法运算是基于与所述一个像素相邻的 其他各个像素的亮度进行的，所述减法运算是基于在第1方向的水平方向上与所述一个像 素的位置相隔了规定距离的位置处的像素的亮度以及在第2方向的垂直方向上与所述一 个像素的位置相隔了规定距离的位置处的像素的亮度进行的。 根据本发明的结构，对相邻像素的亮度较低、且其周围亮度较高的部位，即对亮度 低而小的区域进行强调的转换处理，从而得到可以高精度地检测作为亮度较低而小的区域 的鼻孔等卓越的效果。特别是在本发明中，在脸部上扬时可以高精度地检测出鼻孔，所以与 对检测对象进行检测的其他方法进行并用时，可以使检测方法多样化而综合地判断检测对 象的位置，可以得到进一步提高检测精度等卓越的效果。 另外，在本发明应用于通过提高检测对象的检测精度，正确得知驾驶员状况，而在 驾驶员心不在焉时对其进行警告等驾驶协助的系统时，得到即使在外部光线经常变化的环 境中行驶，也可以构筑误检少的、可靠性高的驾驶协助系统等卓越的效果。
本发明的图像处理方法、图像处理装置、图像处理系统以及计算机程序可以适用 为这样的方式例如通过在车辆上安装的车载摄像头等摄像装置对驾驶员的脸部进行拍摄 而获取的图像中，以人物脸部中鼻孔周围下方的区域作为检测对象。而且，本发明的图像处 理装置等执行如下的处理在作为第2方向的垂直方向，对基于在作为第1方向的水平方向 上相邻的像素之间的亮度差的数值、以及表示在第1方向上相邻的像素的亮度高低的数值 相乘而得到的指标进行累加，导出第1方向上的累加值的变化，在第1方向上对基于在第2 方向上相邻的像素之间的亮度差的数值、以及表示在第2方向上相邻的像素的亮度高低的 数值相乘而得到的指标进行累加，导出第2方向上的累加值的变化，根据从所导出的各个 累加值最大的位置到最小的位置之间的第1方向上的范围以及第2方向的范围，检测出检 测对象。 本发明根据这种结构，分别针对垂直方向以及水平方向，导出亮度下降较大之处 较大、亮度上升较大之处较小的数值，基于所导出的数值，对作为亮度低于周围的、四边形 的区域的检测对象进行检测，因此得到可以高精度地检测出检测对象等卓越的效果。特别 是在本发明中，不是检测鼻孔、而是检测作为亮度低于周围的四边形的区域的鼻孔周围下 方的区域，因此即使将脸部倾斜到很难检测出鼻孔的角度，也可以得到检测出检测对象等 卓越的效果。而且在本发明中，如果用其他方法检测出双眼的位置、鼻子的位置等部位，则 可以基于检测出的部位之间的位置关系縮小区域，在此基础上，进行相应发明的检测，从而 得到可以更高精度地检测出检测对象等卓越的效果。因此，本发明与对检测对象进行检测 的其他方法进行并用时，可以使检测方法多样化而综合地判断检测对象的位置，因此得到 可以进一步提高检测精度等卓越的效果。 而且，本发明通过提高检测对象的检测精度，在适用于正确地检测驾驶员的状况， 而在驾驶员心不在焉时对其进行警告等的驾驶协助的系统时，得到即使在外部光线的状况 不断变化的环境中进行驾驶，也可以构筑误检较少的具有可靠性的驾驶协助系统等卓越的 效果。 本发明的图像处理方法、图像处理装置、图像处理系统以及计算机程序可以适用 为这样的方式例如通过在车辆上安装的车载摄像头等摄像装置对驾驶员的脸部进行拍摄 而获取的图像中，以人物脸部中包括鼻孔在内的区域作为检测对象。并且，本发明的图像处 理装置等执行如下处理可以计算像素亮度的平均值，计算像素亮度的分散值，以计算出的 平均值与分散值为基础，从多个检测方法中决定检测方法的优先顺序。 本发明的这种结构中，以亮度的平均值以及分散值为基础，判断是否在人物脸部 中产生了局部的照度变化，根据判断状况决定检测方法的优先顺序，由此对应于具体情况， 从各种各样的检测方法中选择可靠性高的检测方法以及检测顺序，因此得到可以进一步提 高检测精度等卓越的效果。


图1是表示本发明的实施方式1中的图像处理系统的结构例子的方框图。 图2是表示本发明的实施方式1中的用于图像处理系统的图像处理装置的处理例
子的流程图。 图3是表示本发明的实施方式1中的用于图像处理系统的图像处理装置的处理例子的流程图。 图4是概念性地表示在本发明的实施方式1中的图像处理系统从决定图像处理的 范围开始到检测检测对象的候选为止的处理例子的说明图。 图5是示意性地表示在本发明的实施方式1中的图像处理系统进行端部检测处理 的范围的例子的说明图。 图6是表示本说明的实施方式1中的图像处理系统的端部检测处理中所使用的系 数的例子的说明图。 图7是示意性地表示在本发明的实施方式1中的图像处理系统进行端部检测处理 的范围的例子的说明图。 图8是示意性地表示在本发明的实施方式1中的图像处理系统进行端部检测处理 的范围的例子的说明图。 图9是表示本发明的实施方式1中的图像处理系统的检测对象的候选的说明图。
图10是概念性地表示本发明的实施方式1中的图像处理系统的鼻孔区域标记的 说明图。 图11是表示本发明的实施方式2中的图像处理系统的结构例子的方框图。
图12是表示本发明的实施方式2中用于图像处理系统的图像处理装置的处理例 子的流程图。 图13是概念性地表示本发明的实施方式2中的图像处理系统的检测范围的设定 例子的说明图。 图14是概念性地表示本发明的实施方式2中的图像处理系统的搜索范围的设定 例子的说明图。 图15是表示在本发明的实施方式2中的用于图像处理系统的黑色区域计算滤波 处理的系数例子的说明图。 图16是概念性地表示在本发明的实施方式2中的使用了图像处理系统的黑色区 域计算滤波处理的检测例子的说明图。 图17是表示本发明的实施方式3中的图像处理系统的结构例子的方框图。
图18是表示本发明的实施方式3中的用于图像处理系统的图像处理装置的处理 的例子的流程图。 图19是概念性地表示本发明的实施方式3中的图像处理系统的搜索范围的设定 例子的说明图。 图20是表示本发明的实施方式3中的用于图像处理系统的水平方向边缘滤波处 理的系数的例子的说明图。 图21是表示本发明的实施方式3中的用于图像处理系统的垂直方向边缘滤波处 理的系数的例子的说明图。 图22是表示本发明的实施方式3中的图像处理系统的检测结果的说明图。
图23是表示本发明的实施方式4中的图像处理系统的结构例子的方框图。
图24是表示本发明的实施方式4中的用于图像处理系统的图像处理装置2的处 理例子的流程图。
标号说明
1摄像装置 2图像处理装置 31，32，33，34计算机程序 41，42，43，44记录介质
具体实施例方式
以下根据表示本实施方式的附图，详细说明本发明。
实施方式1. 图1是本发明的实施方式1中的图像处理系统的结构例子的方框图。在图1中的 1为安装在车辆中的车载摄像头等摄像装置，摄像装置1通过专用电缆等的通信线路或有 线、或无线所构成的车内LAN(Local AreaNetwok)等通信网络与进行图像处理的图像处理 装置2连接。摄像装置1配置在车辆内的手柄、仪器板等的驾驶员的前方，可以调整拍摄状 态，使得驾驶员脸部的横向以及纵向成为水平方向或是垂直方向。 摄像装置1中包括控制装置整体的MPU(Micro Processer Unit) 11、对以MPU11 的控制为基础而执行的各种计算机程序以及数据进行记录的ROM(Read Only Memory) 12、 在执行R0M12所记录的计算机程序时，暂时对所产生的各种数据进行记录的RAM (Random Access Memory) 13、使用CCD (Charge Coupled Device)等摄像元件构成的摄像部14、将从 摄像部14的拍摄中所得到的模拟图像数据转换为数字数据的A/D转换器15、将通过A/D转 换器15转换为数字的图像数据进行暂时记录的帧存储器16、用于与图像处理装置2之间进 行通信的通信接口 17。 摄像装置1中，通过摄像部14连续或是断续地进行拍摄处理，以拍摄处理为基础 例如在每1秒生成30张图像数据(图像帧)，并向A/D转换器15输出，在A/D转换器15中， 把构成图像的各像素转换为256灰度(1Byte，字节)等的灰度所示的数字图像数据，并记录 于帧存储器16。在帧存储器16中所记录的图像数据，在规定的定时从通信接口 17输出到 图像处理装置2。构成图像的各个像素以二维方式进行排列，图像数据包括平面直角坐标 系、所谓xy坐标系上示出的各像素的位置、和表示为灰度值的表示各像素亮度的数据。另 外，也可以不针对各像素分别用xy坐标系表示坐标，而通过排列在数据内的顺序而表示坐 标。并且，图像的水平方向可以对应于图像数据的x轴方向，图像的垂直方向对应于图像数 据的y轴方向。 图像处理装置2中包括控制装置整体的CPU (Central ProcessingUnit) 21、从记 录了本发明实施方式1的计算机程序31以及数据等各种信息的CD-ROM等的记录介质41 中读取信息的CD-ROM驱动器等的辅助记录部22、对辅助记录部22所读取的各种信息进行 记录的硬盘(以下简称为HD)23、在执行HD23所记录的计算机程序31时，对产生的各种数 据进行暂时记录的RAM24、由易失性存储器所构成的帧存储器25、用于与摄像装置1之间进 行通信的通信接口 26。 并且，从HD23读取本发明的计算机程序31以及数据等的各种信息，通过CPU21执 行被记录在RAM24中而包含在计算机程序31内的各种程序，车载用计算机作为本发明的图 像处理装置2而进行动作。作为HD23所记录的数据有如下的数据与执行计算机程序31 有关的数据，例如后述的公式、滤波器、各种常数等数据，以及表示检测出检测对象或是检
11测对象的候选的数据等。 在图像处理装置2中，用通信接口 26接收从摄像装置l输出的图像数据，把接收 到的图像数据记录于帧存储器25，读取帧存储器25所记录的图像数据，进行各种各样的 图像处理。针对接收到的图像数据执行的各种各样的图像处理是指从图像数据中检测出 驾驶员脸部的轮廓、眼睛、鼻子时所需的各种处理。作为具体的处理例，可举出这样的轮廓 宽度检测处理对在图像的垂直方向上排列的亮度进行累加，把所累加的值与规定的阈值 进行比较，由此检测亮度高于背景的像素所构成的脸部轮廓的水平方向的范围。另外，该 处理还可以举出这样的轮廓宽度检测处理对累加值的水平方向的变化进行微分，确定变 化大的位置，检测出亮度变化大的背景与脸部的轮廓之间的边界。详细的处理内容在例如 本申请人所申请的日本特开2004-234494号公报、日本特开2004-234367号公报等文献中 有所记载。另外，这些图像处理，并不局限于日本特开2004-234494号公报以及日本特开 2004-234367号公报中所记载的处理，可以根据硬件结构、与其他应用程序之间的连带关系 等的条件进行适当选择。 然后对本发明的实施方式1中的图像处理系统所用的各种装置的处理进行说明。 本发明的实施方式1中，如使用图1所说明的那样，例如在由通过安装在车辆的车载摄像头 等的摄像装置1对驾驶员的脸部进行拍摄而得到的图像中，以驾驶员脸部中包括鼻孔在内 的左右鼻翼之间的区域作为检测对象。图2以及图3为本发明的实施方式1中的用于图像 处理系统的、表示了图像处理装置2的处理例子的流程图。在图像处理装置2中，通过执行 记录于RAM24中的计算机程序31的CPU21的控制，从帧存储器25中提取由摄像装置1的 拍摄而得到、通过通信接口 26而接收到的图像数据(S101)，通过例如所述的轮廓宽度检测 处理，从所提取的图像数据中检测出驾驶员脸部宽度、即表示脸部的区域的边界的轮廓的 水平方向(第l方向)的范围(S102)，以检测出的结果为基础，设定以后要进行的图像处理 的范围(S103)。步骤S102所检测出的区域范围(轮廓的宽度)、以及图像处理的范围被记 录于HD23或是RAM24中。 然后图像处理装置2通过CPU21的控制，针对用步骤S101所提取的步骤S103所 设定的范围的图像，对在水平方向(第l方向)上排列的像素亮度进行累加(S104)，通过累 加的结果导出垂直方向(第2方向)的累加值的变化(S105)，从所导出的垂直方向上的累 加值的变化中，作为对应于检测对象的候选的垂直方向上的位置、检测出表示极小值的多 个位置(S106)。在步骤S106中，不仅仅可以检测出作为原来检测对象的、包含鼻孔的左右 鼻翼之间的区域，也可以检测出亮度低的眉毛、眼睛以及嘴在内的多个候选。
图像处理装置2通过CPU21的控制，对步骤S105所导出的累加值的变化进行二次 微分(S107)，在步骤S106所检测出的、表示极小值的多个位置当中，按照二次微分值从低 向高的顺序，把10个等的规定数量的位置检测为包括垂直方向上的检测对象在内的候选 的位置(S108)。在对累加值变化进行二次微分的步骤S107的处理中，例如使用下述式1。 步骤S107对步骤S106所检测出的候选进行縮小处理，通过步骤S104 S108的处理，最多 可以检测出10个候选。其中，如果步骤S106所检测出的候选数量不足10个时，步骤S108 所检测出的候选不一定小于10个。另外，规定数量是HD23或是RAM24所预先记录的、根据 所需可以进行变更的数值。另外步骤S108所检测出的、表示候选的数据被记录在HD23或 是RAM24中。
二次微分值=p (y) 2-P (y-8) _P (y+8)…式1
其中，y :垂直方向的坐标(y坐标)
P(y):位置y的累加值 然后，图像处理装置2通过CPU21的控制，从HD23或是RAM24读取用步骤S108所 检测出的、作为检测对象的候选的垂直方向上的各个位置，分别针对与所读取的各个位置 对应的、水平方向上所排列的像素列，以像素的亮度变化为基础，检测出检测对象的候选的 水平方向上的端部，也就是其左右端(S109)，以所检测出的左右端为基础，检测出成为检测 对象的候选的水平方向的范围(SllO)。另外，对于用步骤S109未检测到左右端的候选，也 就是仅仅检测出一端侧的候选、以及未检测出端部的候选而言，其被从检测对象的候选中 除去，HD23或是RAM24所记录的内容被更新。步骤S109的处理如同后文所述的那样，可以 把亮度低于周围的像素连续状态中断的点作为端部进行检测。另外，步骤S109 S110的 处理针对所有检测对象的候选进行，进行检测对象的候选的进一步縮小以及范围的检测。
然后，图像处理装置2通过CPU21的控制，对由步骤S110所检测并记录的、检测对 象的候选的水平方向的范围的长度与由步骤S102所检测并记录的、驾驶者脸部区域的水 平方向的范围(轮廓的宽度)的长度进行比较，在检测对象的候选中，将水平方向的范围的 长度相对于驾驶者脸部区域的水平方向的范围的长度进入了 22 43%范围内的检测对象 的候选，确定为检测对象(S111)，对在HD23或是RAM24中作为检测对象的候选而记录的内 容进行更新。在步骤Slll中，对于所有的检测对象的候选进行如下的判断相对于检测对 象即包括鼻孔在内的左右鼻翼之间的区域的候选的水平方向的范围长度，包括了检测对象 的检测区域即脸部区域的水平方向的长度是否在规定的范围内，这里为22 43%的范围 之内，将进入规定范围内的检测对象的候选作为检测对象进行检测。另外在步骤Slll中， 如果进入规定范围的检测对象的候选有多个，则根据步骤S109 S110所示的范围的检测 处理中所使用的指标(后述的横向边缘标记)，确定检测对象的候选。另外，作为规定范围 所示的22 43%的数值并不是固定值，而可以根据驾驶者人种等因素进行适当的设定。
然后，图像处理装置2通过CPU21的控制，设定包括用步骤Slll所确定的检测 对象，且水平方向的宽度与检测对象一致，垂直方向的宽度为3、5个等的规定像素数量的 检测区域(S112)，对所设定的检测区域内在垂直方向上排列的像素亮度进行累加，导出 水平方向的累加值变化(S113)，通过所导出的水平方向的累加值的变化，检测出极小值 (S114)，对所检测出的极小值数量进行计数(S115)，判断计数出的极小值数量是否小于规 定数量，在这里为2个(S116)。在步骤S115中，如果所计数的极小值数量小于规定数量 (S116 :是)，则图像处理装置2通过CPU21的控制，判断出用步骤Slll所确定的检测对象 为假值，不能对检测对象进行检测(S117)，以判断的结果为基础，更新HD23或是RAM24的记 录内容，结束处理。如果被确定的检测对象为包括鼻孔在内的左右鼻翼之间的区域，则在步 骤S113所导出的累加值的变化中，与鼻孔相当的位置为极小值，所以可以对2个以上的极 小值进行计数。为此在极小值为O或是为1的情况下，可以判断被确定的检测对象为假值。 另外，因鼻翼轮廓附近等的位置成为阴影，可能会表示出极小值，所以即使极小值为3个以 上，也不能仅仅据此判断其为假值。 在步骤S116中，所计数的极小值的数量为作为规定数量的2个以上的情况下 (S116 :否)，图像处理装置2通过CPU21的控制，对包括与极小值对应的像素在内、亮度与该像素相同且在垂直方向连续的像素数量进行计数(S118)，判断所计数的连续的像素的数 量是否为预先设定的规定数量以上(S119)。在步骤S118中，判断亮度低的像素在垂直方 向的连续性。另外在计数像素的数量时，由于其目的是判断亮度低的像素的连续性，所以不 一定要仅对与极小值对应的像素有着同等亮度的像素进行计数。具体而言，如果把亮度分 级为256个阶段，作为灰度进行表示，则表示极小值的像素的灰度为20时，希望可以用具有 20+5等幅度的灰度对连续性进行计数。 在步骤S119中，所计数的连续的像素的数量超过了预先设定的规定数量时 (S119 :是)，图像处理装置2通过CPU21的控制，判断出步骤Slll所确定的检测对象为假 值，而不能对检测对象进行检测(S117)，以判断的结果为基础对HD23或是RAM24的记录内 容进行更新，结束处理。在亮度低的像素的连续性为规定数量以上时，判断出是误检了眼镜 镜框。 在步骤S119中，所计数的连续的像素的数量为预先设定的规定数量以下时 (S119 :否)，图像处理装置2通过CPU21的控制，判断出步骤Slll所确定的检测对象为真 值，而可以对检测对象进行检测(S120)，以判断的结果为基础对HD23或是RAM24的记录内 容进行更新，结束处理。 另外，通过对步骤S109 Slll等检测对象的候选进行縮小处理，所有检测对象的 候选都被除去的情况下，也仍判断为不能检测出检测对象。 进一步详细说明使用图2以及图3的流程图说明的处理。首先，对步骤S101 S108的处理进行说明。图4为概念性地表示本发明的实施方式1中的图像处理系统中的决 定图像处理范围开始到检测出检测对象的候选为止的处理例子的说明图。图4(a)中表示 了决定图像处理范围的状况，图4(a)中，实线所示的外侧的框是步骤S101所提取的图像数 据表示的图像整体，表示了被拍摄的驾驶员脸部图像、以及作为检测对象的驾驶员的脸部 的包括鼻孔在内的左右鼻翼之间的区域。用点划线所示的图像的垂直方向(y轴方向)的 线为步骤S102所检测出的区域范围，也就是驾驶员脸部轮廓的宽度。点划线所示的脸部轮 廓宽度、以及实线所示的图像整体中的上下框所围起来的区域为步骤S103所设定的图像 处理的范围。 图4(b)是表示在步骤S104中对在水平方向上排列的像素亮度进行累加，而在步 骤S105中导出的垂直方向的亮度的累加值的分布的曲线图。图4(b)中表示了图4(a)所 示的图像的垂直方向的亮度的累加值的分布，纵轴为对应于图4(a)的垂直方向的坐标，横 轴表示了亮度的累加值。图4(b)所示的垂直方向的亮度的累加值按照在眉毛、眼睛、鼻孔、 嘴等部位达到以箭头标识标出极小值的方式发生变化，由步骤S106，根据极小值读取可以 检测出检测对象的候选的情况。 以下对步骤S109 Slll的处理进行说明。图5为示意性地表示本发明的实施方 式1的图像处理系统进行端部检测处理的范围的例子的说明图。图6为表示用于本发明的 实施方式l中的图像处理系统的端部检测处理的系数例子的说明图。图5表示了检测对象 的候选的周边像素，图5上方所示的数字表示像素的水平方向上的位置，也就是x坐标，左 方所示的记号为像素的垂直方向上的位置，也就是y坐标。图5的横方向上所排列的、用从 右上到左下的斜线所表示的y坐标的值为y的、像素列y表示了检测对象的候选，像素列y 与像素列y的上下相邻的左上到右下的斜线所表示的y坐标的值分别用于检测作为y+l以及y-1的像素列y+1以及y-1的端部。而且，针对像素列y、 y+1以及y-1中所包含的各个
像素，通过乘以图6所示的系数，起到横向边缘滤波器的功能，即使在水平方向上排列的像
素中、连续存在亮度低的像素的区域的端部明确化。图6所示的系数为3X3的矩阵，表示
了要针对九个像素亮度相乘的系数，针对中心的一个像素亮度以及相邻的八个像素亮度，
乘以各自对应的一个系数，把其结果的合计值的绝对值作为中心位置的像素的横向边缘系
数进行计算。横向边缘系数如图6所示的那样，通过将对在左方相邻的像素亮度乘以"-l"
的数值、以及对在右方相邻的像素亮度乘以"1"的数值相加而求出。另外图5中的粗线所
示的3X3的区域，表示了将对坐标(2， y+l)所示的像素对应横向边缘滤波器的状态，坐标
(2， y+l)所示的像素的横向边缘系数通过下述式2进行计算。 |P(3， y+2)+P(3， y+l)+P(3， y)-P(l， y+2)_P(l， y+l)_P(l， y) |式2 其中，X :水平方向的坐标(X坐标) y :垂直方向的坐标(y坐标) p(x，y):坐标(x，y)的像素的亮度 如上所示，针对成为检测对象的候选的水平方向上所排列的像素列y及与其上下相邻的像素列y-1和y+1所包含的像素，计算出横向边缘系数。 图7为示意性地说明本发明的实施系统1中的图像处理系统的进行端部检测处理的范围的例子的说明图。图7的上方所示的数字为像素的水平方向的位置，也就是x坐标，左方所示的记号为像素的垂直方向的位置，也就是y坐标。图7的在横向方向上排列的y坐标的值为y的像素列y表示检测对象的候选，对于像素列y、以及与像素列y上下相邻的y坐标的值分别为y+1以及y-1的像素列y+1以及列y-l，计算横向边缘系数。然后，对于像素列y的除了两端的像素之外的从右上到左下的斜线所示的各个像素，针对一个像素、以及与该像素相邻的八个像素的合计值的九个像素，对横向边缘系数与预先设定的规定阈值进行比较。然后，将表示横向边缘系数超过了规定的阈值的像素数量的指数作为一个像素的横向边缘标记而进行计算。图7中的粗线所围住的3X3的区域表示了坐标(3， Y)所示的计算像素的横向边缘标记所需的像素。在图7中的粗线所围住的区域内的九个像素中，具有超过阈值的横向边缘系数的像素数量成为坐标(3，y)所示的像素的横向边缘标记。
然后，针对表示0 9的值的横向边缘标记为5个以上的像素，判断为在检测对象的候选的水平方向的范围之内。即图像处理装置2在步骤S109中，把横向边缘标记为5个以上的最左端的像素作为检测对象的候选的水平方向左侧的端部进行检测，把横向边缘标记为5个以上的最右端的像素作为检测对象的候选的水平方向右侧的端部进行检测。然后，在步骤SllO中，以被检测出的左右端为基础，检测出检测对象的候选的水平方向的范围。 图8为示意性地表示了本发明实施方式1中的图像处理系统的进行端部检测处理的范围的例子的说明图。图8表示了检测对象的候选的像素以及横向边缘标记，图8的上方所示的数字表示了像素的水平方向的位置、也就是x坐标。图8所示的例子中，从x坐标为5的像素到x坐标为636的像素为止，被作为检测对象的水平方向的范围进行检测。
图9为表示了本发明的实施方式1中的图像处理系统的检测对象的候选的说明图。图9表示了驾驶员脸部的图像、以及在步骤S109 S110的处理中检测出了水平方向的范围的检测对象的候选。图9中，X标记表示了用步骤109所检测的左右端，连接用X标记所示的左右端的线段表示了检测对象的候选。在这个阶段没有检测出左右端的候选，被从检测对象中除去。在图9所示的例子中，眉毛、眼睛、鼻孔、嘴以及下颚位置成为检测对象的候选。 然后，通过将图4所示的驾驶员脸部区域的水平方向的范围与图9所示的检测对象的候选的水平方向的范围相比较，在步骤Slll中，从检测对象的候选中确定检测对象。另外，在步骤Slll中，如果确定出的检测对象的候选为多个，则针对确定出的每个检测对象，对在形成确定出的各个检测对象的水平方向上所排列的各个像素中、横向边缘标记为规定值以上的像素的数量进行计数，将得到的数值所示出的指标作为鼻孔区域标记。然后，把鼻孔区域标记为最大的检测对象作为真值检测对象，把其他检测对象作为假值而排除掉。 图10为概念性地表示了本发明实施方式1中的图像处理系统的鼻孔区域标记的说明图。图10表示了图8所检测出的检测对象的水平方向的范围内所包括的像素、以及表示该像素的横向边缘标记的数值，用O包围了数值的像素表示横向边缘标记为规定值，在此为5以上的值。然后，对横向边缘标记为规定值以上的像素的数量进行计数，作为鼻孔区域。 并且，在本发明的图像处理系统中，通过步骤S112以后的处理，可以进一步判断被确定的检测对象的真伪。 包括所述实施方式1中所示的数值的各种条件等仅仅为一个例子，可以通过系统结构、目的等状况进行适当的设定。
实施方式2. 图11为本发明的实施方式2中的图像处理系统的结构例的方框图。图11中，1为摄像装置，摄像装置1例如通过专用电缆与图像处理装置2进行了连接。摄像装置1中具有MPU11、R0M12、RAM13、摄像部14、A/D转换器15、帧存储器16以及通信接口 17。
图像处理装置2中具有CPU21、辅助记录部22、HD23、RAM24、帧存储器25以及通信接口 26，通过辅助记录部22从本发明的实施方式2的记录了计算机程序32以及数据等各种信息的记录介质42中读取各种信息并记录于HD23、RAM24，通过CPU21来执行，由此图像处理装置2可以执行本发明实施方式2的各种步骤。 另外，有关各装置的详细说明，由于与实施方式l相同，所以以实施方式l为参考，在此省略说明。 然后，对本发明的实施方式2中的图像处理系统所用的各种装置的处理进行说明。在本发明的实施方式2中，从由例如安装在车辆上的车载摄像头等的摄像装置1拍摄驾驶员的脸部而得到的图像中，以驾驶员脸部中的鼻孔为检测对象。图12为表示了本发明的实施方式2中的图像处理系统所用的图像处理装置2的处理例子的流程图。图像处理装置2中，通过CPU21对RAM24所记录的计算机程序32执行的控制，从帧存储器25中提取由摄像装置1的拍摄得到并经由通信接口 26接收到的图像数据(S201)，通过例如实施方式l所示的轮廓宽度检测处理，从所提取的图像数据中检测出作为驾驶员的脸部的宽度、即表示脸部的区域的边界的轮廓的水平方向的范围(S202)，进一步检测包括鼻孔在内的左右鼻翼之间的区域作为鼻孔周边区域(S203)。步骤S202所检测出的轮廓的水平方向的范围以及步骤S203所检测出的鼻孔周边区域被记录到HD23或是RAM24中。在步骤S203中，检测鼻孔周边区域的方法中，例如使用实施方式1所示的方法。 另外，图像处理装置2通过CPU21的控制，从步骤S203所检测出的鼻孔周边区域的水平方向的像素亮度的变化中，导出取得极小值的2点作为极小点(S204)，以所导出的2点极小点为基础，设定检测出检测对象的搜索范围(S205)。步骤S205所设定的搜索范围记录于HD23或是RAM24中。如果步骤S205的极小点为3点以上，则把亮度小的2点作为极小点导出。通过步骤S205所设定的范围，针对分别导出的极小值的2点，在水平方向为左右分别15个像素，在垂直方向为上下分别5个像素的范围。另外，在步骤S204所导出的2点极小点，可以视为与左右鼻孔相关的点，在步骤S205中，可视为分别对左右鼻孔设定了搜索范围。 然后，图像处理装置2通过CPU21的控制，针对步骤S205所设定的搜索范围内的所有像素，通过进行加法运算以及减法运算的黑色区域计算滤波处理，变更亮度(S206)，把变更后的值为最小的像素作为检测对象进行检测(S207)，并将检测出的结果记录于HD23或是RAM24中，其中，所述加法运算是以相邻的其他像素的亮度为基础进行的，所述减法运算是以在水平方向相隔了规定距离的位置处的像素的亮度以及在垂直方向相隔了规定距离的位置处的像素的亮度为基础进行的。步骤S206 S207的处理中，针对左右鼻孔各自的搜索范围内所含的像素进行。 更详细说明利用图12的流程图说明过的处理。图13是概念性地表示本发明实施方式2中的图像处理系统的检测范围的设定例子的说明图。图13中，实线所表示的外侧框架为步骤S201所提取的图像数据所示的图像整体，点划线所示的图像的垂直方向(y轴方向)的线为步骤S202所检测出的区域范围，也就是驾驶员脸部的轮廓的宽度。另外，粗线所示的水平方向的线段是步骤S203中作为鼻孔的周边区域检测的包括鼻孔在内的左右鼻翼之间的区域。 图14概念性地表示本发明的实施方式2中的图像处理系统的搜索范围的设定例子的说明图。图14中，表示了包括鼻孔在内的周围的图像，图14中实线所示的长方形的范围为在步骤S205中，针对左右鼻孔所分别设定的搜索范围。 图15为表示本发明实施方式2中的图像处理系统的黑色区域计算滤波处理用的系数例子的说明图。通过对搜索范围内所包括的像素乘以图15所示的系数，使中央为低亮度且周围为高亮度的区域明确化。图15所示的黑色区域计算滤波器，对与作为转换对象的一个像素的亮度以及相邻的八个像素的亮度相乘的系数，设定了"l"，另外对与在与一个像素左右相隔了规定距离的位置处排列的二个像素的亮度相乘的系数，设定了"-l"，对与在与一个像素上下相隔了规定距离的位置处分别排列的二个像素的亮度相乘的系数，设定了"-l"。另外，规定距离被设定为步骤S202所检测的区域的1/18。 图16为概念性地表示了本发明的实施方式2中的图像处理系统的黑色区域计算滤波处理用的检测例子的说明图。图16中表示了在图14所示那样被设定的搜索范围中，作为图16中的左侧的鼻孔检测出的检测对象进行黑色区域计算滤波处理时的黑色区域计算滤波位置。图15所示的条件中所设定的黑色区域计算滤波器中，在针对图16所示的鼻孔中央附近的像素进行黑色区域计算滤波处理时，为了使用于加法运算的系数位于鼻孔，使用于减法运算的系数位于鼻孔外侧，而可以使鼻孔的中心明确化。 所述实施方式2所示的包括数值在内的各种条件等仅仅为一个例子，可以根据系
17统结构、目的等状况进行适当设定。
实施方式3. 图17为表示本发明实施方式3中的图像处理系统的结构例子的方框图。图17中，1为摄像装置，摄像装置l例如通过专用电缆与图像处理装置2进行了连接。摄像装置1中具有MPU11、R0M12、RAM13、摄像部14、A/D转换器15、帧存储器16以及通信接口 17。
图像处理装置2中具有CPU21、辅助记录部22、HD23、RAM24、帧存储器25以及通信接口 26，通过辅助记录部22从记录了本发明实施方式3的计算机程序33以及数据等各种信息的记录介质43中读取各种信息而记录在HD23、记录在RAM24，通过CPU21来执行，由此图像处理装置2可以执行本发明实施方式3的各种步骤。 另外有关各装置的详细说明，由于与实施方式1相同，所以以实施方式1为参考，在此省略说明。 然后对本发明的实施方式3中的图像处理系统所用的各种装置的处理进行说明。在本发明的实施方式3中，由例如安装在车辆上的车载摄像头等的摄像装置1对驾驶员的脸部进行拍摄所得到的图像中，以驾驶员脸部的鼻孔周围下方的区域为检测对象。图18为表示本发明实施方式3中的图像处理系统所用的图像处理装置2的处理例子的流程图。图像处理装置2中，通过CPU21对执行RAM24所记录的计算机程序33的控制，从帧存储器25中提取通过摄像装置1的拍摄所得到的、经由通信接口 26所接收的图像数据(S301)，通过例如实施方式1所示的轮廓宽度检测处理，从所提取的图像数据中检测出驾驶员的脸部宽度、即作为表示脸部的区域边界的轮廓的水平方向的范围(S302)，进一步检测出使用图案匹配等处理的双眼以及鼻尖检测处理来检测双眼以及鼻尖的位置(S303)，根据所检测出的轮廓的水平方向的范围、以及双眼以及鼻尖位置，设定搜索范围(S304)。在步骤S302所检测的轮廓的水平方向的范围、在步骤S303所检测的双眼和鼻尖位置以及在步骤S304设定的搜索范围被记录到HD23或是RAM24中。另外，在步骤S302中的双眼以及鼻尖检测处理的详细内容被记载在本申请人所申请的日本特开2004-234367号公报、日本特开2004-234494号公报等文献中。步骤S304所设定的搜索范围为被设定为例如基于如下位置的区域垂直方向的上端从表示双眼的垂直方向的位置的y坐标的平均值起为轮廓的水平方向宽度的1/16距离之下的位置，下端从双眼的y坐标的平均值起为轮廓宽度的3/8的距离之下的位置，水平方向的左端为表示鼻尖的水平方向位置的x坐标起为轮廓宽度的1/8距离之左的位置，以及右端从鼻尖x坐标起为轮廓宽度的1/8的距离之右的位置。
另外，图像处理装置2通过CPU21的控制，对步骤S304所设定的搜索范围内的所有像素，导出作为指标的水平方向像素标记，该指标是将基于在水平方向上相邻的像素之间的亮度差的数值以及表示在水平方向上相邻的像素的亮度高低的数值相乘得到的(S305)，在垂直方向对所导出的水平方向像素标记进行累加，从而导出作为表示在水平方向上的累加值变化的指标的水平方向标记(S306)。进而，在图像处理装置2中，通过CPU21的控制，对搜索范围内所有的像素，导出作为指标的垂直方向像素标记，该指标是将基于在垂直方向上相邻的像素之间的亮度差的数值以及表示在垂直方向上相邻的像素的亮度高低的数值相乘而得到的(S307)，在水平方向对所导出的垂直方向上的像素标记进行累加，从而导出作为表示垂直方向上的累加值变化的指标的垂直方向标记(S308)。另外，图像处理装置2通过CPU21的控制，将步骤S306所导出的水平方向标记的最大值到最小值之间的水平方向的范围、以及将步骤S307所导出的垂直方向标记的最大值到最小值之间的垂直方向的范围，作为检测对象进行检测(S309)，并把检测的结果记录在HD23或是RM24中。
进一步详细说明利用图18的流程图说明过的处理。图19是概念性地说明本发明实施方式3中的图像处理系统的搜索范围的设定例子的说明图。图19中，实线所表示的外侧框架为步骤S301所提取的图像数据所示的图像整体，点划线所示的图像的垂直方向(y轴方向)的线为步骤S302所检测出的区域范围，也就是驾驶员脸部的轮廓宽度，X标记所表示的位置为步骤S303所检测出的双眼以及鼻尖的位置。另外，点线所示的区域为步骤S304所设定的搜索范围。 步骤S305所导出的水平方向像素标记如下述式3所示。w、 丁H(x，y).(255 —P(x + l,y);(H(x,y)^)) 其中x :水平方向的坐标(X坐标) y :垂直方向的坐标(y坐标) Sh(x， y):坐标(x， y)的像素的水平方向像素标记 H(x， y):坐标(x， y)的像素的水平垂直方向边缘滤波处理结果 P(x， y):坐标(x， y)的像素的亮度 图20为表示本发明实施方式3中的图像处理系统的水平方向边缘滤波处理用的
系数例子的说明图。在式3中，H(x， y)表示了用图20所示的系数进行的水平方向边缘滤
波处理的结果。图20作为3X3的矩阵表示了要与九个像素的亮度相乘的系数，针对中心
的一个像素的亮度以及相邻的八个像素亮度，乘以各自对应的系数，把其结果的合计值作
为中心位置的像素的水平方向边缘滤波处理结果进行计算。在使用图20所示的系数进行
水平方向的边缘滤波处理时，通过将对左方相邻的像素亮度乘以"1"的数值、以及对右方相
邻的像素亮度乘以"-l"的数值相加，由此求出作为结果的指标。也就是通过水平方向边缘
滤波处理，以在水平方向上相邻的像素之间的亮度差为基础求出数值。 对水平方向边缘滤波处理结果相乘的式是从表示把像素的亮度分为256个阶段
而得到的灰度值的最高数值的"255"减去在水平方向相邻的像素的亮度的值，即表示亮度
高低的数值。这样，水平方向像素标记是基于如下的数值得到的指标基于在水平方向相邻
的像素之间亮度差的数值、以及表示在水平方向相邻的像素的亮度高低的数值。另外，在与
水平方向边缘滤波处理结果相乘的式中使用亮度的像素根据水平方向边缘滤波处理结果
的正负而不同。 并且，步骤S306所导出的水平方向标记是表示通过在垂直方向对水平方向像素标记进行累加而导出的水平方向位置即x坐标和累加值之间关系的指标。也就是通过水平方向标记表示了水平方向像素标记在水平方向上的变化。具体而言，在水平方向标记中，在水平方向上像素亮度大幅度降低的位置的值变大 在像素亮度大幅度上升的位置的值变小。 步骤S307所导出的垂直方向像素标记，用下述式4进行表示。
<formula>formula see original document page 19</formula> 其中Vh(x， y):坐标(x， y)的像素的垂直方向像素标记
V(x， y):坐标(x， y)的像素的垂直方向边缘滤波处理结果
P(x， y):坐标(x， y)的像素的亮度 图21为表示本发明实施方式3中的图像处理系统的垂直方向边缘滤波处理用的
系数例子的说明图。在式4所示的式子中，V(x， y)表示了用图21所示的系数进行的垂直
方向边缘滤波处理的结果。图21作为3X3的矩阵表示了要对九个像素的亮度相乘的系
数，针对中心的一个像素亮度以及相邻的八个像素亮度，乘以各自对应的系数，把其结果的
合计值作为中心位置的像素的垂直方向边缘滤波处理结果进行计算。在使用如图21所示
的系数进行垂直方向边缘滤波处理时，通过将对上方相邻的像素亮度乘以"1"的数值、以及
对下方相邻的像素亮度乘以"-l"的数值相加，求出成为结果的指标。也就是通过垂直方向
边缘滤波处理，以在垂直方向上相邻的像素之间的亮度差为基础求出数值。 对垂直方向边缘滤波处理结果相乘的式是从表示把像素的亮度分为256个阶段
而得到的灰度值的最高数值的"255"减去在垂直方向上相邻的像素的亮度的值，即是表示
亮度高低的数值。这样，垂直方向像素标记是基于如下的数值得到的指标基于在垂直方
向相邻的像素之间亮度差的数值、以及表示在垂直方向相邻的像素的亮度高低的数值。另
外，在与垂直方向边缘滤波处理结果相乘的式中使用了亮度的像素根据垂直方向边缘滤波
处理结果的正负而不同。 并且，步骤S308所导出的垂直方向标记是表示通过在水平方向对垂直方向像素标记进行累加而导出的垂直方向位置即y坐标和累加值之间关系的指标。也就是通过垂直方向标记表示了垂直方向像素标记在垂直方向上的变化。具体而言，在垂直方向标记中，在垂直方向上像素亮度大幅度降低的位置的值变大，在像素亮度大幅度上升的位置的值变小。 另外在步骤S309中，检测出如下设定的区域将水平方向标记的最大值为水平方向的左端，最小值为水平方向的右端，垂直方向标记的最大值为垂直方向的上端，最小值为垂直方向的下端。 图22为表示本发明的实施方式3中的图像处理系统的检测结果的说明图。图22表示了通过步骤S304所设定的搜索范围，由左端L、右端R、上端U以及下端D包围的用斜线所示的长方形的区域为被检测出鼻孔周围的下方的区域。 包括所述实施方式3所示的数值在内的各种条件等，只是一个例子，可以根据系统结构、目的等状况适当地进行设定。例如在所述实施方式3中，示出了在导出水平方向标记之后，导出垂直方向标记的实施方式，但也可以为导出垂直方向标记之后，导出水平方向标记的方式，还可以为不导出水平方向标记，而把水平方向的左端以及右端作为脸部轮廓的宽度，仅仅导出垂直方向标记等的方式等，可以进行各种各样的展开。
实施方式4. 图23为表示本发明实施方式4中的图像处理系统的结构例子的方框图。图23中，1为摄像装置，摄像装置l例如用专用电缆等与图像处理装置2进行了连接。摄像装置1中具有MPU11、R0M12、RAM13、摄像部14、A/D转换器15、帧存储器16以及通信接口 17。
图像处理装置2中具有CPU21、辅助记录部22、HD23、RAM24、帧存储器25以及通信接口 26，通过辅助记录部22，从记录了本发明实施方式4的计算机程序34以及数据等各种信息的记录介质44中读取各种信息并记录于HD23、RAM24，通过CPU21执行，由此图像处理装置2执行本发明实施方式4的各种步骤。在本发明实施方式4的图像处理装置2中，记
录了包括本发明实施方式1至3中所说明的检测方法的多种检测方法。 另外，有关各装置的详细说明，由于与实施方式1相同，所以以实施方式1为参考，
在此省略说明。 接着，对本发明的实施方式4中的图像处理系统中所用的各种装置的处理进行说明。本发明的实施方式4中，在通过例如安装在车辆的车载摄像头等摄像装置1对驾驶者的脸部进行拍摄而得到的图像中，以驾驶者脸部中包括鼻孔在内的区域作为检测对象。图24是表示用于本发明的实施方式4中的图像处理系统的图像处理装置2的处理例子的流程图。在图像处理装置2中，通过执行记录于RAM24中的计算机程序34的CPU21的控制，从帧存储器25中提取通过摄像装置1的拍摄所得到的、经由通信接口 26所接收的图像数据(S401)，计算出所提取的图像数据中所包含的像素亮度的平均值(S402)，并把作为计算出的结果的平均值与针对亮度平均值事先设定的阈值进行比较(S403)。而且在图像处理装置2中，通过CPU21的控制，计算像素亮度的分散值(S404)，把作为计算出的结果的分散值、与针对亮度的分散值事先设定的阈值进行比较(S405)。然后在图像处理装置2中，通过CPU21的控制，基于亮度平均值与阈值之间的比较结果以及亮度分散值与阈值之间的比较结果，决定在HD23所记录的多种检测方法的优先顺序(S406)。 在本发明的实施方式4中进行如下处理根据亮度的平均值和分散值，决定检测方法的优先顺序。所决定的优先顺序是是否需要执行多种检测方法和执行的顺序，根据所决定的内容，执行上述的本发明实施方式1乃至3所说明的检测方法，以及其他的检测方法。 图像数据的亮度的平均值与分散值根据对驾驶员脸部照射的光线状况不同而变化较大，所以根据平均值和分散值判断照射状况，选择最为合适的检测方法。具体而言，如果产生太阳光仅仅照射到脸部的左半边而导致的各种偏变化，亮度的平均值为阈值以下，并且亮度的分散值为阈值以上，因此可以判断发生了偏变化，使难以对偏变化造成影响的检测方法优先。 例如没有产生偏变化的状态下，通过实施方式1所示的检测方法检测出鼻孔周边
区域，使用检测出的结果，用实施方式2所示的检测方法检测出鼻孔。通过检测出鼻孔周边
区域，限定成为图像处理对象的范围，因此提高处理速度，并提高检测精度。但是如果产生
了偏变化，则由于产生亮度饱和的可能性大，所以使用实施方式1的横向边缘滤波器进行
的处理的可靠性降低。因此，根据实施方式2所示的检测方法优先检测出鼻孔。 在所述实施方式4中，对亮度的平均值以及分散值的阈值设定了一个，但本发明
并不局限于此，也可以设定多个阈值，并针对各种各样的状况决定检测方法的优先顺序，此
外也可以基于平均值和分散值来决定用于进行检测的图像处理所需的各种设定值等的处
理条件。 在所述实施方式1至4中，对由平面直角坐标系所表示的图像数据进行了处理，但本发明并不局限于此，可以针对各种各样的坐标系的图像数据应用，例如应用于对包括被配置为蜂巢状的像素的图像进行处理时，通过第1方向和第2方向之间具有60度的角度而交叉的坐标系所示的图像数据等。 另外，在所述实施方式1至4中示出了以车辆的驾驶员为检测对象的方式，但本发
21明并不局限于此，而也可以以各种各样的人物、以及人物以外的有生命物或是无生命物为检测对象。 此外，在所述实施方式1至4中示出了从使用车载摄像头的摄像装置的拍摄而生成的图像中检测出检测对象的方式，但本发明并不局限于此，可以应用于将通过各种装置用各种方法所生成的图像记录于HD中，从所记录的图像中检测出特定的检测对象的各种图像处理。
权利要求
一种图像处理方法，该图像处理方法从将像素分别排列在不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，该图像处理方法包括执行如下处理的步骤根据加法运算和减法运算的结果，对一个像素的亮度进行转换；以及基于转换的结果，检测出检测对象，其中，所述加法运算是基于与所述一个像素相邻的其他各个像素的亮度进行的，所述减法运算是基于在第1方向上与所述一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向上与所述一个像素相隔了规定距离的位置处的像素的亮度进行的。
2. —种图像处理方法，该图像处理方法从将像素分别排列在不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，该图像处理方法包括执行如下处理的步骤在第2方向上对基于在第1方向上排列的像素的亮度变化的数值进行累加，从而导出第l方向上的累加值的变化；在第1方向上对基于在第2方向上排列的像素的亮度变化的数值进行累加，从而导出第2方向上的累加值的变化；以及根据第1方向上的范围和第2方向的范围，检测出检测对象，其中，所述第1方向上的范围是基于所导出的第1方向上的累加值的变化而得到的，所述第2方向的范围是基于所导出的第2方向上的累加值的变化而得到的。
3. —种图像处理方法，通过多种检测方法从包括多个像素的二维图像中检测出特定的检测对象，该图像处理方法包括执行如下处理的步骤计算像素的亮度的平均值；计算像素的亮度的分散值；以及根据计算出的平均值和分散值，决定检测方法的优先顺序。
4. 一种图像处理装置，该图像处理装置从将像素分别排列在不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，该图像处理装置包括转换部，其根据加法运算和减法运算的结果，对一个像素的亮度进行转换，其中，所述加法运算是基于与所述一个像素相邻的其他各个像素的亮度进行的，所述减法运算是基于在第1方向上与所述一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向上与所述一个像素相隔了规定距离的位置处的像素的亮度进行的；以及检测部，其根据转换的结果，检测出检测对象。
5. 如权利要求4所述的图像处理装置，其中，所述检测部检测出具有最小的转换后的值的像素，作为检测对象。
6. —种图像处理装置，该图像处理装置从将像素分别排列在不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，该图像处理装置包括第1导出部，其在第2方向上对基于在第1方向上排列的像素的亮度变化的数值进行累加，从而导出第1方向上的累加值的变化；第2导出部，其在第1方向上对基于在第2方向上排列的像素的亮度变化的数值进行累加，从而导出第2方向上的累加值的变化；以及检测部，其根据第1方向上的范围和第2方向的范围，检测出检测对象，其中，所述第1方向上的范围是基于所述第1导出部所导出的第1方向上的累加值的变化而得到的，所述第2方向的范围是基于所述第2导出部所导出的第2方向上的累加值的变化而得到的。
7. 如权利要求6所述的图像处理装置，其中，所述第1导出部在第2方向上对如下的指标进行累加，导出第1方向上的累加值的变化，所述指标是根据基于在第1方向上相邻的像素之间的亮度差的数值、以及表示在第1方向上相邻的像素的亮度高低的数值而得到的，所述第2导出部在第1方向上对如下的指标进行累加，导出第2方向上的累加值的变化，所述指标是根据基于在第2方向上相邻的像素之间的亮度差的数值、以及表示在第2方向上相邻的像素的亮度高低的数值而得到的，所述检测部根据第1方向上的范围和第2方向的范围，检测出检测对象，其中，所述第1方向上的范围是从所述第1导出部所导出的累加值最大的位置到第1导出部所导出的累加值最小的位置之间的范围，所述第2方向的范围是从所述第2导出部所导出的累加值最大的位置到所述第2导出部所导出的累加值最小的位置之间的范围。
8. —种图像处理装置，该图像处理装置通过多种检测方法从包括多个像素的二维图像中检测出特定的检测对象，该图像处理装置包括计算像素的亮度的平均值的第1计算部；计算像素的亮度的分散值的第2计算部；以及根据计算出的平均值和分散值决定检测方法的优先顺序的决定部。
9. 一种图像处理系统，该图像处理系统包括权利要求4至8中的任一项所述的图像处理装置；以及生成由该图像处理装置进行处理的图像的摄像装置，其中，所述检测对象是通过所述摄像装置拍摄到的图像内的包括人物的鼻孔在内的区域，所述第1方向为水平方向，所述第2方向为垂直方向。
全文摘要
本发明提供一种图像处理方法、图像处理装置以及图像处理系统，该图像处理方法在使用了例如安装在车辆上而对驾驶员的脸部进行拍摄的车载摄像头的系统中，可以高精度地检测驾驶员的鼻孔等检测对象。通过如下的方法等各种检测方法对检测对象进行多样化将在图像拍摄时的垂直方向上的位置作为候选，检测出多个位置，分别针对在与检测出的各个位置相对应的水平方向上排列的像素列，基于像素的亮度，检测作为检测对象的候选的范围，并根据检测出的范围的长度，从检测对象的候选中确定出检测对象。
文档编号G06K9/00GK101714210SQ20091022486
公开日2010年5月26日 申请日期2005年2月23日 优先权日2005年2月23日
发明者东野全寿, 伊藤寿雄, 斋藤拓, 片桐卓, 田福明义, 马场幸三 申请人:富士通株式会社