专利名称：图像处理方法、图像处理装置、图像处理系统以及计算机程序的制作方法
图像处理方法、图像处理装置、图像处理系统以及计算机程序 技术区域
本发明涉及一种从将像素分别排列在不同的第1方向以及第2方向 上而成的二维图像中检测特定的检测对象的图像处理方法、适用了该图 像处理方法的图像处理装置、具有该图像处理装置的图像处理系统以及 用于实现所述图像处理装置的计算机程序，特别涉及可以提高检测对象 的检测精度的图像处理方法、图像处理装置、图像处理系统以及计算机 程序。
背景技术：
作为协助汽车等车辆的驾驶的装置，提出了这样的图像处理装置 通过在可以拍摄驾驶员的脸部的位置上配置的车载摄像头对驾驶员的脸 部进行拍摄，根据所得到的图像，进行检测驾驶员的脸部的轮廓以及眼 睛的位置的图像处理(例如，参考专利文献1)。通过使用这种装置可以 构成这样的系统可以检测出驾驶员的状况，根据驾驶员在驾驶时心不 在焉或是打盹等状况，可以对其进行警告等驾驶协助。另外，由于夕阳 等外部光线照射车辆内的驾驶员的脸部的情况频繁出现，所以驾驶中的 驾驶员的脸部的照度不是恒定的，但是为了使拍摄驾驶员脸部而得到的 图像的亮度恒定，可以通过车载摄像头的自动增益功能，对其进行一定 程度的调整。
专利文献1:日本特开2004-234367号公报
发明内容
然而，如果太阳光、反射光等外部光线一样地照射驾驶员脸部，则 虽然可以通过自动增益功能来应对，但是如果所照射的外部光线不同， 则通过调整图像整体的亮度的自动增益功能是无法应对局部的照度的变
化。例如会有产生如下误检的问题仅对脸部的左半边照射太阳光而引 起的偏变化时，不能把没有照射到太阳光的暗部分识别为脸部，而是仅 把明亮的部分检测为脸部轮廓。这样照射到行驶中的车辆内驾驶员脸部 的光线是不断变化的，所以如果不用多种方法对脸部或是脸部所包含的 各个部位进行综合判断，则不能得到充分的精度。
本发明正是为了解决上述问题而完成的，其主要目的是提供一种图 像处理方法、适用了该图像处理方法的图像处理装置、具有该图像处理 装置的图像处理系统以及用于实现所述图像处理装置的计算机程序，在 该图像处理方法中，当从通过拍摄等的处理所得到的图像中检测人物的 鼻子等的检测对象时，把拍摄图像时的垂直方向的位置作为候选检测出 多个位置，针对在与检测出的各位置相对应的水平方向上排列的各个像 素列，基于像素的亮度检测出成为检测对象的候选的范围，并基于检测 出的范围的长度，通过从检测对象的候选中确定检测对象，从而使检测 方法多样化，提高检测精度。
此外，本发明的其他目的在于提供一种如下的图像处理方法、图像 处理装置、图像处理系统以及计算机程序根据针对一个像素亮度，进 行基于相邻的其他各个像素的亮度的加法运算以及基于在拍摄时的水平 方向和垂直方向上与所述一个像素相隔规定距离的位置处的像素的亮度 的减法运算而得到的结果，检测出检测对象，从而使检测方法多样化， 提高检测精度。
此外，本发明的其他目的在于提供一种如下的图像处理方法、图像 处理装置、图像处理系统以及计算机程序检测出检测对象作为水平方 向的范围和垂直方向的范围，从而使检测方法多样化，提高检测精度， 其中，所述水平方向的范围是基于如下的结果得到的将在拍摄时的水 平方向上排列的像素的亮度的变化累加到垂直方向，所述垂直方向的范 围是基于如下的结果得到的将在垂直方向上排列的像素的亮度的变化 累加到水平方向。
而且，本发明的其他目的在于提供一种如下的图像处理方法、图像 处理装置、图像处理系统以及计算机程序基于亮度的平均值以及分散
值，决定检测方法的优先顺序，从而可以对应于情况选择有效的检测方 法，因此提高了检测精度。
第1发明的图像处理方法，从将像素分别排列在不同的第1方向及 第2方向上而得到的二维图像中检测出特定的检测对象，其特征在于， 对在第1方向上排列的像素的亮度进行累加，导出第2方向上的累加值
的变化，根据所导出的累加值的变化，检测出多个第2方向上的位置，
作为与检测对象的候选对应的位置，分别针对在与检测出的各个位置相 对应的第1方向上排列的像素列，检测基于像素的亮度的第1方向上的 范围作为检测对象的候选，根据检测出的范围的长度，从检测对象的候 选中确定出检测对象。
第2发明的图像处理方法，从将像素分别排列在不同的第1方向及 第2方向上而得到的二维图像中检测出特定的检测对象，其特征在于， 根据加法运算和减法运算的结果对一个像素的亮度进行转换，基于转换 的结果，检测出检测对象，其中，所述加法运算是基于与所述一个像素 相邻的其他各个像素的亮度进行的，所述减法运算是基于在第1方向上 与所述一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向 上与所述一个像素相隔了规定距离的位置处的像素的亮度进行的。
第3发明的图像处理方法，从将像素分别排列在不同的第1方向及 第2方向上而得到的二维图像中检测出特定的检测对象，其特征在于， 在第2方向上对基于在第1方向上排列的像素的亮度变化的数值进行累 加，从而导出第1方向上的累加值的变化，在第1方向上对基于在第2 方向上排列的像素的亮度变化的数值进行累加，从而导出第2方向上的 累加值的变化，根据第1方向上的范围和第2方向的范围，检测出检测 对象，其中，所述第1方向上的范围是基于所导出的第1方向上的累加 值的变化而得到的，所述第2方向的范围是基于所导出的第2方向上的 累加值的变化而得到的。
第4发明的图像处理方法，通过多种检测方法从包括多个像素的二 维图像中检测出特定的检测对象，其特征在于，计算像素的亮度的平均 值，计算像素的亮度的分散值，根据计算出的平均值和分散值，决定检 测方法的优先顺序。
第5发明的图像处理装置，从将像素分别排列在不同的第1方向及 第2方向上而得到的二维图像中检测出特定的检测对象，其特征在于， 其包括导出单元，其对在第1方向上排列的像素的亮度进行累加，导 出第2方向上的累加值的变化；候选检测单元单元，其根据所导出的累 加值的变化，检测多个第2方向上的位置，作为与检测对象的候选对应 的位置；范围检测单元，其分别针对在与检测出的各个位置相对应的第l 方向上排列的像素列，检测出基于像素的亮度的第1方向上的范围，作 为检测对象的候选；以及确定单元，其根据检测出的范围的长度，从检 测对象的候选中确定出检测对象。
第6发明的图像处理装置，其特征在于，在第5发明中，所述候选 检测单元从在第1方向上进行累加而得到的像素的亮度的累加值的变化 中，检测出表示极小值的多个位置。
第7发明的图像处理装置，其特征在于，在第6发明中，对所述导 出单元所导出的累加值的变化进行二次微分的单元，所述候选检测单元 根据二次微分的结果，从表示极小值的多个位置中检测出规定数量的位
第8发明的图像处理装置，其特征在于，在第5发明至第7发明中 的任意一项中，所述范围检测单元根据在第1方向上排列的像素的亮度 的变化，检测范围。
第9发明的图像处理装置，其特征在于，在第5发明至第8发明中 的任意一项中，该图像处理装置还包括对检测区域的第1方向上的范围 进行检测的单元，其中，该检测区域包括检测对象、且第1方向上的范 围大于检测对象，所述确定单元根据对检测对象的候选的第1方向上的 范围的长度与检测区域的第1方向上的范围的长度进行比较的结果，确 定出检测对象，其中，所述检测对象的候选的第1方向上的范围是由所 述范围检测单元检测出的，所述检测区域包括检测对象。
第10发明的图像处理装置，其特征在于，在第5发明至第9发明中 的任意一项中，该图像处理装置还包括执行如下处理的单元对在与
确定出的检测对象有关的第2方向上排列的像素的亮度进行累加，导出
在第1方向上的累加值的变化；极小值检测单元，其根据第1方向上的 累加值的变化，检测出极小值；对检测出的极小值的数量进行计数的单 元；以及执行如下处理的单元在计数出的数量小于规定数量时，判断 确定出的检测对象为假值(false)。
第11发明的图像处理装置，其特征在于，在第10发明中，该图像 处理装置还包括执行如下处理的单元在包括与由所述极小值检测单元 检测出的极小值相对应的像素在内的、亮度与该像素的亮度相同并在第2 方向上连续的像素数量超过了规定的数量时，判断确定出的检测对象为 假值。
第12发明的图像处理装置，从将像素分别排列在不同的第1方向及 第2方向上而得到的二维图像中检测出特定的检测对象，其特征在于， 其包括执行如下处理的单元根据加法运算和减法运算的结果对一个 像素的亮度进行转换，其中，所述加法运算是基于与所述一个像素相邻 的其他各个像素的亮度进行的，所述减法运算是基于在第1方向上与所 述一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向上与 所述一个像素相隔了规定距离的位置处的像素的亮度进行的；以及检测 单元，其根据转换的结果，检测出检测对象。
第13发明的图像处理装置，其特征在于，在第12发明中，所述检 测单元检测出转换后的值为最小的像素，作为检测对象。
第14发明的图像处理装置，从将像素分别排列在不同的第1方向及 第2方向上而得到的二维图像中检测出特定的检测对象，其特征在于， 其包括第1导出单元，其在第2方向上对基于在第1方向上排列的像 素的亮度变化的数值进行累加，从而导出第1方向上的累加值的变化； 第2导出单元，其在第1方向上对基于在第2方向上排列的像素的亮度 变化的数值进行累加，从而导出第2方向上的累加值的变化；以及检测 单元，其根据第1方向上的范围和第2方向的范围，检测出检测对象， 其中，所述第1方向上的范围是基于所述第1导出单元所导出的第1方 向上的累加值的变化而得到的，所述第2方向的范围是基于所述第2导
出单元所导出的第2方向上的累加值的变化而得到的。
第15发明的图像处理装置，其特征在于，在第14发明中，所述第 1导出单元在第2方向上对如下的指标进行累加，导出第1方向上的累加 值的变化，所述指标是根据基于在第1方向上相邻的像素之间的亮度差 的数值、以及表示在第1方向上相邻的像素的亮度高低的数值而得到的, 所述第2导出单元在第1方向上对如下的指标进行累加，导出第2方向 上的累加值的变化，所述指标是根据基于在第2方向上相邻的像素之间 的亮度差的数值、以及表示在第2方向上相邻的像素的亮度高低的数值 而得到的，所述检测单元根据第1方向上的范围和第2方向的范围，检 测出检测对象，其中，所述第1方向上的范围是从所述第1导出单元所 导出的累加值最大的位置到第1导出单元所导出的累加值最小的位置之 间的范围，所述第2方向的范围是从所述第2导出单元所导出的累加值 最大的位置到所述第2导出单元所导出的累加值最小的位置之间的范围。
第16发明的图像处理装置，通过多种检测方法从包括多个像素的二 维图像中检测出特定的检测对象，其特征在于，其包括计算像素的亮 度的平均值的单元；计算像素的亮度的分散值的单元；根据计算出的平 均值和分散值决定检测方法的优先顺序的单元。
第17发明的图像处理系统，其特征在于，其包括第5个发明至第 16发明中的任一项所述的图像处理装置；以及生成由该图像处理装置进 行处理的图像的摄像装置，所述捡测对象是通过所述摄像装置拍摄到的 图像内的包括人物的鼻孔在内的区域，所述第1方向为水平方向，所述 第2方向为垂直方向。
第18发明的计算机程序，使计算机从将像素分别排列在不同的第1 方向及第2方向上而得到的二维图像中检测出特定的检测对象，其特征 在于，使计算机执行如下的步骤对在第1方向上排列的像素的亮度进 行累加，导出第2方向上的累加值的变化；根据所导出的累加值的变化， 检测多个在第2方向上的位置，作为与检测对象的候选对应的位置；分
别针对在与检测出的各个位置相对应的第1方向上排列的像素列，检测
基于像素的亮度的第1方向上的范围，作为检测对象的候选；以及根据
检测出的范围的长度，从检测对象的候选中确定出检测对象。
第19发明的计算机程序，使计算机从将像素分别排列在不同的第1
方向及第2方向上而得到的二维图像中检测出特定的检测对象，其特征
在于，使计算机执行如下的步骤根据加法运算和减法运算的结果对一 个像素的亮度进行转换，其中，所述加法运算是基于与所述一个像素相 邻的其他各个像素的亮度进行的，所述减法运算是基于在第1方向上与 所述一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向上
与所述一个像素相隔了规定距离的位置处的像素的亮度进行的；以及根
据转换的结果，检测出检测对象。
第20发明的计算机程序，使计算机从将像素分别排列在不同的第1 方向及第2方向上而得到的二维图像中检测出特定的检测对象，其特征 在于，使计算机执行如下的步骤在第2方向上对基于在第1方向上排
列的像素的亮度变化的数值进行累加，从而导出第1方向上的累加值的
变化；在第1方向上对基于在第2方向上排列的像素的亮度变化的数值 进行累加，从而导出第2方向上的累加值的变化；以及根据第1方向上 的范围和第2方向的范围，检测出检测对象，其中，所述第l方向上的 范围是基于所导出的第1方向上的累加值的变化而得到的，所述第2方 向的范围是基于所导出的第2方向上的累加值的变化而得到的。
第21发明的计算机程序，使计算机通过多种检测方法从包括多个像 素的二维图像中检测出特定的检测对象，其特征在于，使计算机执行如 下的步骤计算像素的亮度的平均值；计算像素的亮度的分散值；以及 根据计算出的平均值和分散值，决定检测方法的优先顺序。
在第1发明、第5发明、第6发明、第7发明以及第18发明中， 例如在拍摄到的图像中，以包含人物脸部的鼻孔在内的左右鼻翼之间的 区域为检测对象时，如果将水平方向以及垂直方向设为第1方向以及第2 方向时，着眼于垂直方向上的亮度分布，检测出包含眉毛、眼睛以及嘴 在内的多个候选，根据水平方向的宽度从候选中确定出检测对象，可以 高精度地检测出检测对象。特别是与根据水平方向的亮度分布检测出检 测对象的其他方法并用时，可以使检测方法多样化而综合地判断检测对
象的位置，因此可以进一步提高检测精度。
在第8发明中，根据在水平方向上排列的像素的亮度，从包含眉毛、 眼睛以及嘴等部位在内的多个候选中检测出范围，从而可以明确检测出 包含鼻孔的区域与其他部位之间在水平方向的范围内的差异，可以提高
检领!j精度。
在第9发明中，检测出包括作为检测对象的鼻孔在内的检测区域即 脸部的宽度，将其与脸部宽度进行比较，例如针对脸部宽度，根据水平 方向的范围为22% 43%的候选作为检测对象进行确定，从而可以把眉 毛、眼睛、嘴等部位明确地进行划分，可以提高检测精度。
在第IO发明中，如果在水平方向上的极小值的数量、即作为鼻孔部 位的可能性高的部位的数量少于假设左右的鼻孔而设定的2个等的规定 数量，则可以判断其很可能不是鼻孔，而判断为其不是检测对象，由此 可以降低把鼻孔以外的部位误检为鼻孔的可能性。
在第11发明中，如果垂直方向的连续性超过了由规定数量示出的阈 值，则可以判断为其很有可能为眼镜框，得出其不是检测对象的结论， 从而降低误检的可能性。
在第2发明、第12发明、第13发明、第19发明中，在例如在拍摄
到的图像中，以人物脸部中的鼻孔为检测对象的情况下，把水平方向以 及垂直方向分别设为第1方向以及第2方向时，对相邻像素的亮度较低、 且其周围亮度较高的部位，即亮度低且小的区域进行强调的转换处理， 从而可以高精度地检测出检测对象。特别是与检测出检测对象的其他方 法并用时，可以使检测方法多样化而综合地判断检测对象的位置，因此 可以进一步提高检测精度。
在第3发明、第14发明、第15发明、第20发明中，例如在拍摄到
的图像中，以人物脸部中鼻孔的周围区域为检测对象的情况下，把水平 方向以及垂直方向分别设为第1方向以及第2方向时，分别针对垂直方 向以及水平方向，导出亮度下降较大之处较大、亮度上升较大之处较小 的数值，根据所导出的数值对作为亮度低于周围的四角形的区域的检测 对象进行检测，由此可以高精度地检测出检测对象。特别是不是检测鼻
孔，而是检测鼻孔周围下方的区域，所以即使在将脸部倾斜到难以检测 鼻孔的角度时，也可以检测出检测对象。特别是与其他方法进行并用时， 可以使检测方法多样化而综合地判断检测对象的位置，因此可以进一步 提高检测精度。而且，用其他方法检测出双眼的位置、鼻子的位置等的 部位时，可以基于检测出的部位之间的位置关系而縮小区域，在此基础 上，通过进行相应发明的检测，可以更高精度地检测出检测对象。
在第4发明、第16发明以及第21发明中，例如在拍摄到的图像中，
对人物脸部中鼻孔等的检测对象进行检测时，基于亮度的平均值以及分 散值，判断是否在人物脸部中产生了局部照度的变化，根据判断的状况 决定检测方法的优先顺序，对应于状况，从各种各样的检测方法中选择 可靠性高的检测方法以及检测顺序，因此可以进一步提高检测精度。
在第17发明中，由于可以高精度地检测出包含人物鼻孔在内的区
域，所以适用于这样的系统通过例如在车辆上安装的车载摄像头等摄 像装置对驾驶员的脸部进行拍摄而获取的图像中，以驾驶员的脸部为检 测对象进行检测，从而可以在检测出驾驶员的状况，而在驾驶员心不在 焉时对其进行警告等驾驶协助的系统中得以实现。
本发明中的图像处理方法、图像处理装置、图像处理系统以及计算 机程序可以适用为这样的方式通过例如在车辆上安装的车载摄像头等 摄像装置对驾驶员的脸部进行拍摄而获取的图像中，以人物脸部中的包 含鼻孔的左右鼻翼之间的区域为检测对象。而且，本发明中的图像处理 装置等执行如下的处理对在作为第1方向的水平方向上排列的像素亮 度进行累加，导出作为第2方向的垂直方向的累加值的变化，根据所导 出的累加值的变化检测作为极小值的多个位置，作为包括检测对象在内 的候选，进一步对其中的累加值的变化进行二次微分，将范围縮小到规 定数量之内，分别对于在与縮小的各个位置对应的第1方向上排列的像 素列，基于像素亮度，检测出成为检测对象的候选的第l方向上的范围， 基于检测出的范围长度，从检测对象的候选中确定检测对象。
本发明根据这种结构，着眼于垂直方向的亮度分布，检测包括亮度 较低的眉毛、眼睛以及嘴在内的多个候选，以水平方向的宽度为基础，
从候选中确定检测对象，从而可以得到高精度地检测出检测对象等优良 的效果。特别是本发明与基于水平方向的亮度分布检测出检测对象的其 他方法进行并用时，可以使检测方法多样化而综合地判断检测对象的位 置，因此得到可以进一步提高检测精度等优良的效果。
并且，本发明通过提高检测对象的检测精度，正确地检测驾驶员的 状况，适用于通过对驾驶员心不在焉的驾驶提出警告等的驾驶协助的系 统时，即使在外部光线的状况不断发生变化的环境中驾驶时，也可以得 到构筑误检少的具有可靠性的驾驶协助系统等卓越的效果。
另外，在本发明的图像处理装置等中，从在作为第1方向的水平方 向上排列的像素列中检测出成为检测对象的候选的范围时，基于在第1 方向上排列的像素的亮度的变化检测范围，由此具体地说，通过对水平 方向的亮度急剧变化之处进行强调的滤波处理，对基于在第1方向上排 列的、亮度较低的像素列的两端的结果的范围进行检测，从而可以明确 包含鼻孔在内的区域、与眉毛、眼睛、嘴等其他部位之间的水平方向的 范围差异，因此可以得到提高检测精度等卓越的效果。
另外，在本发明的图像处理装置等中，检测出脸部的宽度，与脸部
宽度相比较，例如将相对于脸部宽度、水平方向的范围为22% 43%的 候选确定为检测对象，从而可以与眉毛、眼睛、嘴等的其他部位明确进 行划分，因此得到可以提高检测精度等卓越的效果。
并且，在本发明的图像处理装置等中，即使确定了检测对象时，在 特定的检测对象中包含的水平方向上排列的像素列中，与检测对象有关 的垂直方向的亮度的累加值为极小值的、亮度低于周围亮度的部位的数 量，即很可能是鼻孔的部位的数量小于表示左右的鼻孔的数量的规定数 量即2个的情况下，可以判断其为鼻孔的可能性低，判断为不是检测对 象，由此得到可以降低把鼻孔以外的部位判断为鼻孔的误检的可能性等 卓越的效果。
而且，在本发明的图像处理装置等中，如果排列在垂直方向的像素 的数量超过了规定数量，则判断为检测出了眼镜框的可能性高，得到通 过判断为不是检测对象，而降低误检的可能性等卓越的效果。
本发明的图像处理方法、图像处理装置、图像处理系统以及计算机 程序，可以适用为这样的方式例如通过在车辆上安装的车载摄像头等 摄像装置对驾驶员的脸部进行拍摄而获取的图像中，以人物脸部中的鼻 孔为检测对象。并且，在本发明的图像处理装置等执行如下的处理根 据加法运算以及减法运算的结果对一个像素的亮度进行转换，将变换后 的值最小的像素作为检测对象进行检测，其中，所述加法运算是基于与 所述一个像素相邻的其他各个像素的亮度进行的，所述减法运算是基于 在第1方向的水平方向上与所述一个像素的位置相隔了规定距离的位置 处的像素的亮度以及在第2方向的垂直方向上与所述一个像素的位置相 隔了规定距离的位置处的像素的亮度进行的。
根据本发明的结构，对相邻像素的亮度较低、且其周围亮度较高的 部位，即对亮度低而小的区域进行强调的转换处理，从而得到可以高精 度地检测作为亮度较低而小的区域的鼻孔等卓越的效果。特别是在本发 明中，在脸部上扬时可以髙精度地检测出鼻孔，所以与对检测对象进行 检测的其他方法进行并用时，可以使检测方法多样化而综合地判断检测 对象的位置，可以得到进一步提高检测精度等卓越的效果。
另外，在本发明应用于通过提高检测对象的检测精度，正确得知驾 驶员状况，而在驾驶员心不在焉时对其进行警告等驾驶协助的系统时， 得到即使在外部光线经常变化的环境中行驶，也可以构筑误检少的、可 靠性高的驾驶协助系统等卓越的效果。
本发明的图像处理方法、图像处理装置、图像处理系统以及计算机 程序可以适用为这样的方式例如通过在车辆上安装的车载摄像头等摄 像装置对驾驶员的脸部进行拍摄而获取的图像中，以人物脸部中鼻孔周 围下方的区域作为检测对象。而且，本发明的图像处理装置等执行如下 的处理在作为第2方向的垂直方向，对基于在作为第1方向的水平方 向上相邻的像素之间的亮度差的数值、以及表示在第1方向上相邻的像 素的亮度高低的数值相乘而得到的指标进行累加，导出第1方向上的累 加值的变化，在第1方向上对基于在第2方向上相邻的像素之间的亮度 差的数值、以及表示在第2方向上相邻的像素的亮度高低的数值相乘而
得到的指标进行累加，导出第2方向上的累加值的变化，根据从所导出
的各个累加值最大的位置到最小的位置之间的第1方向上的范围以及第2
方向的范围，检测出检测对象。
本发明根据这种结构，分别针对垂直方向以及水平方向，导出亮度 下降较大之处较大、亮度上升较大之处较小的数值，基于所导出的数值， 对作为亮度低于周围的、四边形的区域的检测对象进行检测，因此得到 可以高精度地检测出检测对象等卓越的效果。特别是在本发明中，不是 检测鼻孔、而是检测作为亮度低于周围的四边形的区域的鼻孔周围下方 的区域，因此即使将脸部倾斜到很难检测出鼻孔的角度，也可以得到检 测出检测对象等卓越的效果。而且在本发明中，如果用其他方法检测出 双眼的位置、鼻子的位置等部位，则可以基于检测出的部位之间的位置 关系縮小区域，在此基础上，进行相应发明的检测，从而得到可以更高 精度地检测出检测对象等卓越的效果。因此，本发明与对检测对象进行 检测的其他方法进行并用时，可以使检测方法多样化而综合地判断检测 对象的位置，因此得到可以进一步提高检测精度等卓越的效果。
而且，本发明通过提高检测对象的检测精度，在适用于正确地检测 驾驶员的状况，而在驾驶员心不在焉时对其进行警告等的驾驶协助的系 统时，得到即使在外部光线的状况不断变化的环境中进行驾驶，也可以 构筑误检较少的具有可靠性的驾驶协助系统等卓越的效果。
本发明的图像处理方法、图像处理装置、图像处理系统以及计算机
程序可以适用为这样的方式例如通过在车辆上安装的车载摄像头等摄 像装置对驾驶员的脸部进行拍摄而获取的图像中，以人物脸部中包括鼻 孔在内的区域作为检测对象。并且，本发明的图像处理装置等执行如下 处理可以计算像素亮度的平均值，计算像素亮度的分散值，以计算出 的平均值与分散值为基础，从多个检测方法中决定检测方法的优先顺序。 本发明的这种结构中，以亮度的平均值以及分散值为基础，判断是 否在人物脸部中产生了局部的照度变化，根据判断状况决定检测方法的 优先顺序，由此对应于具体情况，从各种各样的检测方法中选择可靠性 高的检测方法以及检测顺序，因此得到可以进一步提高检测精度等卓越
的效果。
图1是表示本发明的实施方式1中的图像处理系统的结构例子的方 框图。
图2是表示本发明的实施方式1中的用于图像处理系统的图像处理 装置的处理例子的流程图。
图3是表示本发明的实施方式1中的用于图像处理系统的图像处理
装置的处理例子的流程图。
图4是概念性地表示在本发明的实施方式1中的图像处理系统从决 定图像处理的范围开始到检测检测对象的候选为止的处理例子的说明 图。
图5是示意性地表示在本发明的实施方式1中的图像处理系统进行 端部检测处理的范围的例子的说明图。
图6是表示本说明的实施方式1中的图像处理系统的端部检测处理 中所使用的系数的例子的说明图。
图7是示意性地表示在本发明的实施方式1中的图像处理系统进行 端部检测处理的范围的例子的说明图。
图8是示意性地表示在本发明的实施方式1中的图像处理系统进行 端部检测处理的范围的例子的说明图。
图9是表示本发明的实施方式1中的图像处理系统的检测对象的候 选的说明图。
图10是概念性地表示本发明的实施方式1中的图像处理系统的鼻孔 区域标记的说明图。
图11是表示本发明的实施方式2中的图像处理系统的结构例子的方 框图。
图12是表示本发明的实施方式2中用于图像处理系统的图像处理装 置的处理例子的流程图。
图13是概念性地表示本发明的实施方式2中的图像处理系统的检测
范围的设定例子的说明图。
图14是概念性地表示本发明的实施方式2中的图像处理系统的搜索
范围的设定例子的说明图。
图15是表示在本发明的实施方式2中的用于图像处理系统的黑色区 域计算滤波处理的系数例子的说明图。
图16是概念性地表示在本发明的实施方式2中的使用了图像处理系 统的黑色区域计算滤波处理的检测例子的说明图。
图17是表示本发明的实施方式3中的图像处理系统的结构例子的方 框图。
图18是表示本发明的实施方式3中的用于图像处理系统的图像处理 装置的处理的例子的流程图。
图19是概念性地表示本发明的实施方式3中的图像处理系统的搜索 范围的设定例子的说明图。
图20是表示本发明的实施方式3中的用于图像处理系统的水平方向 边缘滤波处理的系数的例子的说明图。
图21是表示本发明的实施方式3中的用于图像处理系统的垂直方向 边缘滤波处理的系数的例子的说明图。
图22是表示本发明的实施方式3中的图像处理系统的检测结果的说 明图。
图23是表示本发明的实施方式4中的图像处理系统的结构例子的方 框图。
图24是表示本发明的实施方式4中的用于图像处理系统的图像处理 装置2的处理例子的流程图。 标号说明 1摄像装置 2图像处理装置 31， 32， 33， 34计算机程序 41， 42， 43， 44记录介质
具体实施例方式
以下根据表示本实施方式的附图，详细说明本发明。 实施方式1.
图1是本发明的实施方式1中的图像处理系统的结构例子的方框图。 在图1中的1为安装在车辆中的车载摄像头等摄像装置，摄像装置1通
过专用电缆等的通信线路或有线、或无线所构成的车内LAN (Local Area Netwok)等通信网络与进行图像处理的图像处理装置2连接。摄像装置 l配置在车辆内的手柄、仪器板等的驾驶员的前方，可以调整拍摄状态， 使得驾驶员脸部的横向以及纵向成为水平方向或是垂直方向。
摄像装置1中包括控制装置整体的MPU (Micro Processer Unit) 11、对以MPUll的控制为基础而执行的各种计算机程序以及数据进行记 录的ROM (Read Only Memory)12、在执行ROM12所记录的计算机程序 时，暂时对所产生的各种数据进行记录的RAM(Random Access Memory) 13、使用CCD (Charge Coupled Device)等摄像元件构成的摄像部14、将 从摄像部14的拍摄中所得到的模拟图像数据转换为数字数据的A/D转换 器15、将通过A/D转换器15转换为数字的图像数据进行暂时记录的帧 存储器16、用于与图像处理装置2之间进行通信的通信接口 17。
摄像装置1中，通过摄像部14连续或是断续地进行拍摄处理，以拍 摄处理为基础例如在每1秒生成30张图像数据(图像帧)，并向A/D转 换器15输出，在A/D转换器15中，把构成图像的各像素转换为256灰 度(1Byte，字节)等的灰度所示的数字图像数据，并记录于帧存储器16。 在帧存储器16中所记录的图像数据，在规定的定时从通信接口 17输出 到图像处理装置2。构成图像的各个像素以二维方式进行排列，图像数据 包括平面直角坐标系、所谓xy坐标系上示出的各像素的位置、和表示为 灰度值的表示各像素亮度的数据。另外，也可以不针对各像素分别用xy 坐标系表示坐标，而通过排列在数据内的顺序而表示坐标。并且，图像 的水平方向可以对应于图像数据的x轴方向，图像的垂直方向对应于图 像数据的y轴方向。
图像处理装置2中包括控制装置整体的CPU (Central Processing
Unit) 21、从记录了本发明实施方式1的计算机程序31以及数据等各种 信息的CD-ROM等的记录介质41中读取信息的CD-ROM驱动器等的辅 助记录部22、对辅助记录部22所读取的各种信息进行记录的硬盘(以下 简称为HD) 23、在执行HD23所记录的计算机程序31时，对产生的各 种数据进行暂时记录的RAM24、由易失性存储器所构成的帧存储器25、 用于与摄像装置1之间进行通信的通信接口 26。
并且，从HD23读取本发明的计算机程序31以及数据等的各种信息， 通过CPU21执行被记录在RAM24中而包含在计算机程序31内的各种程 序，车载用计算机作为本发明的图像处理装置2而进行动作。作为HD23 所记录的数据有如下的数据与执行计算机程序31有关的数据，例如后 述的公式、滤波器、各种常数等数据，以及表示检测出检测对象或是检 测对象的候选的数据等。
在图像处理装置2中，用通信接口 26接收从摄像装置1输出的图像 数据，把接收到的图像数据记录于帧存储器25，读取帧存储器25所记录 的图像数据，进行各种各样的图像处理。针对接收到的图像数据执行的 各种各样的图像处理是指从图像数据中检测出驾驶员脸部的轮廓、眼睛、 鼻子时所需的各种处理。作为具体的处理例，可举出这样的轮廓宽度检 测处理对在图像的垂直方向上排列的亮度进行累加，把所累加的值与 规定的阈值进行比较，由此检测亮度高于背景的像素所构成的脸部轮廓 的水平方向的范围。另外，该处理还可以举出这样的轮廓宽度检测处理-对累加值的水平方向的变化进行微分，确定变化大的位置，检测出亮度 变化大的背景与脸部的轮廓之间的边界。详细的处理内容在例如本申请 人所申请的日本特开2004-234494号公报、日本特开2004-234367号公报 等文献中有所记载。另外，这些图像处理，并不局限于日本特开 2004-234494号公报以及日本特开2004-234367号公报中所记载的处理， 可以根据硬件结构、与其他应用程序之间的连带关系等的条件进行适当 选择。
然后对本发明的实施方式1中的图像处理系统所用的各种装置的处 理进行说明。本发明的实施方式1中，如使用图1所说明的那样，例如
在由通过安装在车辆的车载摄像头等的摄像装置1对驾驶员的脸部进行 拍摄而得到的图像中，以驾驶员脸部中包括鼻孔在内的左右鼻翼之间的
区域作为检测对象。图2以及图3为本发明的实施方式1中的用于图像 处理系统的、表示了图像处理装置2的处理例子的流程图。在图像处理 装置2中，通过执行记录于RAM24中的计算机程序31的CPU21的控制， 从帧存储器25中提取由摄像装置1的拍摄而得到、通过通信接口 26而 接收到的图像数据(S101)，通过例如所述的轮廓宽度检测处理，从所提 取的图像数据中检测出驾驶员脸部宽度、即表示脸部的区域的边界的轮 廓的水平方向(第l方向)的范围(S102)，以检测出的结果为基础，设 定以后要进行的图像处理的范围(S103)。步骤S102所检测出的区域范 围(轮廓的宽度)、以及图像处理的范围被记录于HD23或是RAM24中。
然后图像处理装置2通过CPU21的控制，针对用步骤S101所提取 的步骤S103所设定的范围的图像，对在水平方向(第l方向)上排列的 像素亮度进行累加(S104)，通过累加的结果导出垂直方向(第2方向) 的累加值的变化(S105),从所导出的垂直方向上的累加值的变化中，作 为对应于检测对象的候选的垂直方向上的位置、检测出表示极小值的多 个位置(S106)。在步骤S106中，不仅仅可以检测出作为原来检测对象 的、包含鼻孔的左右鼻翼之间的区域，也可以检测出亮度低的眉毛、眼 睛以及嘴在内的多个候选。
图像处理装置2通过CPU21的控制，对步骤S105所导出的累加值 的变化进行二次微分(S107)，在步骤S106所检测出的、表示极小值的 多个位置当中，按照二次微分值从高向低的顺序，把10个等的规定数量 的位置检测为包括垂直方向上的检测对象在内的候选的位置(S108)。在 对累加值变化进行二次微分的步骤S107的处理中，例如使用下述式1。 步骤S107对步骤S106所检测出的候选进行縮小处理，通过步骤S104 S108的处理，最多可以检测出IO个候选。其中，如果步骤S106所检测 出的候选数量不足10个时，步骤S108所检测出的候选不一定小于10个。 另外，规定数量是HD23或是RAM24所预先记录的、根据所需可以进行 变更的数值。另外步骤S108所检测出的、表示候选的数据被记录在HD23
或是RAM24中。
二次微分值-P(y) 2-P(y-8) -P(y+8)…式1 其中，y:垂直方向的坐标(y坐标) P (y):位置y的累加值
然后，图像处理装置2通过CPU21的控制，从HD23或是RAM24 读取用步骤S108所检测出的、作为检测对象的候选的垂直方向上的各个 位置，分别针对与所读取的各个位置对应的、水平方向上所排列的像素 列，以像素的亮度变化为基础，检测出检测对象的候选的水平方向上的 端部，也就是其左右端(S109)，以所检测出的左右端为基础，检测出成 为检测对象的候选的水平方向的范围(SllO)。另外，对于用步骤S109 未检测到左右端的候选，也就是仅仅检测出一端侧的候选、以及未检测 出端部的候选而言，其被从检测对象的候选中除去，HD23或是RAM24 所记录的内容被更新。步骤S109的处理如同后文所述的那样，可以把亮 度低于周围的像素连续状态中断的点作为端部进行检测。另外，步骤 S109 SU0的处理针对所有检测对象的候选进行，进行检测对象的候选 的进一步縮小以及范围的检测。
然后，图像处理装置2通过CPU21的控制，对由步骤S110所检测 并记录的、检测对象的候选的水平方向的范围的长度与由步骤S102所检 测并记录的、驾驶者脸部区域的水平方向的范围(轮廓的宽度)的长度 进行比较，在检测对象的候选中，将水平方向的范围的长度相对于驾驶 者脸部区域的水平方向的范围的长度进入了 22 43%范围内的检测对象 的候选，确定为捡测对象(Slll)，对在HD23或是RAM24中作为检测 对象的候选而记录的内容进行更新。在步骤S111中，对于所有的检测对 象的候选进行如下的判断相对于检测对象即包括鼻孔在内的左右鼻翼 之间的区域的候选的水平方向的范围长度，包括了检测对象的检测区域 即脸部区域的水平方向的长度是否在规定的范围内，这里为22 43%的 范围之内，将进入规定范围内的检测对象的候选作为检测对象进行检测。 另外在步骤S111中，如果进入规定范围的检测对象的候选有多个，则根 据步骤S109 S110所示的范围的检测处理中所使用的指标(后述的横向
边缘标记)，确定检测对象的候选。另外，作为规定范围所示的22 43% 的数值并不是固定值，而可以根据驾驶者人种等因素进行适当的设定。
然后，图像处理装置2通过CPU21的控制，设定包括用步骤Slll 所确定的检测对象，且水平方向的宽度与检测对象一致，垂直方向的宽 度为3、 5个等的规定像素数量的检测区域(S112)，对所设定的检测区 域内在垂直方向上排列的像素亮度进行累加，导出水平方向的累加值变 化(S113)，通过所导出的水平方向的累加值的变化，检测出极小值 (S114)，对所检测出的极小值数量进行计数(S115)，判断计数出的极 小值数量是否小于规定数量，在这里为2个(S116)。在步骤S115中， 如果所计数的极小值数量小于规定数量(S116:是)，则图像处理装置2 通过CPU21的控制，判断出用步骤Slll所确定的检测对象为假值，不 能对检测对象进行检测(S117)，以判断的结果为基础，更新HD23或是 RAM24的记录内容，结束处理。如果被确定的检测对象为包括鼻孔在内 的左右鼻翼之间的区域，则在步骤S113所导出的累加值的变化中，与鼻 孔相当的位置为极小值，所以可以对2个以上的极小值进行计数。为此 在极小值为0或是为1的情况下，可以判断被确定的检测对象为假值。 另外，因鼻翼轮廓附近等的位置成为阴影，可能会表示出极小值，所以 即使极小值为3个以上，也不能仅仅据此判断其为假值。
在步骤S116中，所计数的极小值的数量为作为规定数量的2个以上 的情况下(S116:否)，图像处理装置2通过CPU21的控制，对包括与 极小值对应的像素在内、亮度与该像素相同且在垂直方向连续的像素数 量进行计数(S118)，判断所计数的连续的像素的数量是否为预先设定的 规定数量以上(S119)。在步骤S118中，判断亮度低的像素在垂直方向 的连续性。另外在计数像素的数量时，由于其目的是判断亮度低的像素 的连续性，所以不一定要仅对与极小值对应的像素有着同等亮度的像素 进行计数。具体而言，如果把亮度分级为256个阶段，作为灰度进行表 示，则表示极小值的像素的灰度为20时，希望可以用具有20±5等幅度 的灰度对连续性进行计数。
在步骤S119中，所计数的连续的像素的数量超过了预先设定的规定
数量时(S119:是)，图像处理装置2通过CPU21的控制，判断出步骤
Slll所确定的检测对象为假值，而不能对检测对象进行检测(S117)，以 判断的结果为基础对HD23或是RAM24的记录内容进行更新，结束处理。 在亮度低的像素的连续性为规定数量以上时，判断出是误检了眼镜镜框。
在步骤S119中，所计数的连续的像素的数量为预先设定的规定数量 以下时(S119:否)，图像处理装置2通过CPU21的控制，判断出步骤 Slll所确定的检测对象为真值，而可以对检测对象进行检测(S120)，以 判断的结果为基础对HD23或是RAM24的记录内容进行更新，结束处理。
另外，通过对步骤S109 S111等检测对象的候选进行縮小处理，所 有检测对象的候选都被除去的情况下，也仍判断为不能检测出检测对象。
进一步详细说明使用图2以及图3的流程图说明的处理。首先，对 步骤S101 S108的处理进行说明。图4为概念性地表示本发明的实施方 式1中的图像处理系统中的决定图像处理范围开始到检测出检测对象的 候选为止的处理例子的说明图。图4 (a)中表示了决定图像处理范围的 状况，图4(a)中，实线所示的外侧的框是步骤S101所提取的图像数据 表示的图像整体，表示了被拍摄的驾驶员脸部图像、以及作为检测对象 的驾驶员的脸部的包括鼻孔在内的左右鼻翼之间的区域。用点划线所示 的图像的垂直方向(y轴方向)的线为步骤S102所检测出的区域范围， 也就是驾驶员脸部轮廓的宽度。点划线所示的脸部轮廓宽度、以及实线 所示的图像整体中的上下框所围起来的区域为步骤S103所设定的图像处
理的范围。
图4 (b)是表示在步骤S104中对在水平方向上排列的像素亮度进 行累加，而在步骤S105中导出的垂直方向的亮度的累加值的分布的曲线 图。图4 (b)中表示了图4 (a)所示的图像的垂直方向的亮度的累加值 的分布，纵轴为对应于图4 (a)的垂直方向的坐标，横轴表示了亮度的 累加值。图4 (b)所示的垂直方向的亮度的累加值按照在眉毛、眼睛、 鼻孔、嘴等部位达到以箭头标识标出极小值的方式发生变化，由步骤 S106，根据极小值读取可以检测出检测对象的候选的情况。
以下对步骤S109 S111的处理进行说明。图5为示意性地表示本发
明的实施方式1的图像处理系统进行端部检测处理的范围的例子的说明 图。图6为表示用于本发明的实施方式1中的图像处理系统的端部检测
处理的系数例子的说明图。图5表示了检测对象的候选的周边像素，图5 上方所示的数字表示像素的水平方向上的位置，也就是x坐标，左方所 示的记号为像素的垂直方向上的位置，也就是y坐标。图5的横方向上 所排列的、用从右上到左下的斜线所表示的y坐标的值为y的、像素列y 表示了检测对象的候选，像素列y与像素列y的上下相邻的左上到右下 的斜线所表示的y坐标的值分别用于检测作为y+l以及y-l的像素列y+l 以及y-l的端部。而且，针对像素列y、 y+l以及y-l中所包含的各个像 素，通过乘以图6所示的系数，起到横向边缘滤波器的功能，即使在水 平方向上排列的像素中、连续存在亮度低的像素的区域的端部明确化。 图6所示的系数为3x3的矩阵，表示了要针对九个像素亮度相乘的系数， 针对中心的一个像素亮度以及相邻的八个像素亮度，乘以各自对应的一 个系数，把其结果的合计值的绝对值作为中心位置的像素的横向边缘系 数进行计算。横向边缘系数如图6所示的那样，通过将对在左方相邻的 像素亮度乘以的数值、以及对在右方相邻的像素亮度乘以"1"的 数值相加而求出。另外图5中的粗线所示的3x3的区域，表示了将对坐 标(2， y+l)所示的像素对应横向边缘滤波器的状态，坐标(2， y+l) 所示的像素的横向边缘系数通过下述式2进行计算。
1 P(3，y+2)+P(3,y+l)+P(3，y)-P(l,y+2)-P(l,y+l)-P(l,y) 1 式2 其中，x:水平方向的坐标(x坐标) y:垂直方向的坐标(y坐标) p(x,y):坐标(x，y)的像素的亮度 如上所示，针对成为检测对象的候选的水平方向上所排列的像素列 y及与其上下相邻的像素列y-l和y+l所包含的像素，计算出横向边缘系 数。
图7为示意性地说明本发明的实施系统1中的图像处理系统的进行 端部检测处理的范围的例子的说明图。图7的上方所示的数字为像素的 水平方向的位置，也就是x坐标，左方所示的记号为像素的垂直方向的
位置，也就是y坐标。图7的在横向方向上排列的y坐标的值为y的像 素列y表示检测对象的候选，对于像素列y、以及与像素列y上下相邻的 y坐标的值分别为y+l以及y-l的像素列y+l以及列y-l，计算横向边缘 系数。然后，对于像素列y的除了两端的像素之外的从右上到左下的斜 线所示的各个像素，针对一个像素、以及与该像素相邻的八个像素的合 计值的九个像素，对横向边缘系数与预先设定的规定阈值进行比较。然 后，将表示横向边缘系数超过了规定的阈值的像素数量的指数作为一个 像素的横向边缘标记而进行计算。图7中的粗线所围住的3x3的区域表 示了坐标(3， Y)所示的计算像素的横向边缘标记所需的像素。在图7 中的粗线所围住的区域内的九个像素中，具有超过阈值的横向边缘系数 的像素数量成为坐标(3, y)所示的像素的横向边缘标记。
然后，针对表示0 9的值的横向边缘标记为5个以上的像素，判断 为在检测对象的候选的水平方向的范围之内。即图像处理装置2在步骤 S109中，把横向边缘标记为5个以上的最左端的像素作为检测对象的候 选的水平方向左侧的端部进行检测，把横向边缘标记为5个以上的最右 端的像素作为检测对象的候选的水平方向右侧的端部进行检测。然后， 在步骤S110中，以被检测出的左右端为基础，检测出检测对象的候选的 水平方向的范围。
图8为示意性地表示了本发明实施方式1中的图像处理系统的进行 端部检测处理的范围的例子的说明图。图8表示了检测对象的候选的像 素以及横向边缘标记，图8的上方所示的数字表示了像素的水平方向的 位置、也就是x坐标。图8所示的例子中，从x坐标为5的像素到x坐 标为636的像素为止，被作为检测对象的水平方向的范围进行检测。
图9为表示了本发明的实施方式1中的图像处理系统的检测对象的 候选的说明图。图9表示了驾驶员脸部的图像、以及在步骤S109 S110 的处理中检测出了水平方向的范围的检测对象的候选。图9中，X标记 表示了用步骤109所检测的左右端，连接用X标记所示的左右端的线段 表示了检测对象的候选。在这个阶段没有检测出左右端的候选，被从检 测对象中除去。在图9所示的例子中，眉毛、眼睛、鼻孔、嘴以及下颚
位置成为检测对象的候选。
然后，通过将图4所示的驾驶员脸部区域的水平方向的范围与图9
所示的检测对象的候选的水平方向的范围相比较，在步骤sm中，从检
测对象的候选中确定检测对象。另外，在步骤S111中，如果确定出的检
测对象的候选为多个，则针对确定出的每个检测对象，对在形成确定出 的各个检测对象的水平方向上所排列的各个像素中、横向边缘标记为规 定值以上的像素的数量进行计数，将得到的数值所示出的指标作为鼻孔 区域标记。然后，把鼻孔区域标记为最大的检测对象作为真值检测对象， 把其他检测对象作为假值而排除掉。
图IO为概念性地表示了本发明实施方式1中的图像处理系统的鼻孔 区域标记的说明图。图10表示了图8所检测出的检测对象的水平方向的
范围内所包括的像素、以及表示该像素的横向边缘标记的数值，用o包
围了数值的像素表示横向边缘标记为规定值，在此为5以上的值。然后， 对横向边缘标记为规定值以上的像素的数量进行计数，作为鼻孔区域。
并且，在本发明的图像处理系统中，通过步骤S112以后的处理，可 以进一步判断被确定的检测对象的真伪。
包括所述实施方式1中所示的数值的各种条件等仅仅为一个例子， 可以通过系统结构、目的等状况进行适当的设定。
实施方式2.
图11为本发明的实施方式2中的图像处理系统的结构例的方框图。 图11中，1为摄像装置，摄像装置1例如通过专用电缆与图像处理装置 2进行了连接。摄像装置1中具有MPUll、 R0M12、 RAM13、摄像部 14、 A/D转换器15、帧存储器16以及通信接口 17。
图像处理装置2中具有CPU21、辅助记录部22、 HD23、 RAM24、 帧存储器25以及通信接口 26，通过辅助记录部22从本发明的实施方式 2的记录了计算机程序32以及数据等各种信息的记录介质42中读取各种 信息并记录于HD23、 RAM24,通过CPU21来执行，由此图像处理装置 2可以执行本发明实施方式2的各种步骤。
另外，有关各装置的详细说明，由于与实施方式1相同，所以以实
施方式l为参考，在此省略说明。
然后，对本发明的实施方式2中的图像处理系统所用的各种装置的 处理进行说明。在本发明的实施方式2中，从由例如安装在车辆上的车 载摄像头等的摄像装置1拍摄驾驶员的脸部而得到的图像中，以驾驶员 脸部中的鼻孔为检测对象。图12为表示了本发明的实施方式2中的图像 处理系统所用的图像处理装置2的处理例子的流程图。图像处理装置2 中，通过CPU21对RAM24所记录的计算机程序32执行的控制，从帧存 储器25中提取由摄像装置1的拍摄得到并经由通信接口 26接收到的图 像数据(S201)，通过例如实施方式1所示的轮廓宽度检测处理，从所提 取的图像数据中检测出作为驾驶员的脸部的宽度、即表示脸部的区域的 边界的轮廓的水平方向的范围(S202)，进一步检测包括鼻孔在内的左右 鼻翼之间的区域作为鼻孔周边区域(S203)。步骤S202所检测出的轮廓 的水平方向的范围以及步骤S203所检测出的鼻孔周边区域被记录到 HD23或是RAM24中。在步骤S203中，检测鼻孔周边区域的方法中， 例如使用实施方式1所示的方法。
另外，图像处理装置2通过CPU21的控制，从步骤S203所检测出 的鼻孔周边区域的水平方向的像素亮度的变化中，导出取得极小值的2 点作为极小点(S204),以所导出的2点极小点为基础，设定检测出检测 对象的搜索范围(S205)。步骤S205所设定的搜索范围记录于HD23或 是RAM24中。如果步骤S205的极小点为3点以上，则把亮度小的2点 作为极小点导出。通过步骤S205所设定的范围，针对分别导出的极小值 的2点，在水平方向为左右分别15个像素，在垂直方向为上下分别5个 像素的范围。另外，在步骤S204所导出的2点极小点，可以视为与左右 鼻孔相关的点，在步骤S205中，可视为分别对左右鼻孔设定了搜索范围。
然后，图像处理装置2通过CPU21的控制，针对步骤S205所设定 的搜索范围内的所有像素，通过进行加法运算以及减法运算的黑色区域 计算滤波处理，变更亮度(S206)，把变更后的值为最小的像素作为检测 对象进行检测(S207)，并将检测出的结果记录于HD23或是RAM24中， 其中，所述加法运算是以相邻的其他像素的亮度为基础进行的，所述减
法运算是以在水平方向相隔了规定距离的位置处的像素的亮度以及在垂 直方向相隔了规定距离的位置处的像素的亮度为基础进行的。步骤
S206 S207的处理中，针对左右鼻孔各自的搜索范围内所含的像素进行。 更详细说明利用图12的流程图说明过的处理。图13是概念性地表 示本发明实施方式2中的图像处理系统的检测范围的设定例子的说明图。 图13中，实线所表示的外侧框架为步骤S201所提取的图像数据所示的 图像整体，点划线所示的图像的垂直方向(y轴方向)的线为步骤S202 所检测出的区域范围，也就是驾驶员脸部的轮廓的宽度。另外，粗线所 示的水平方向的线段是步骤S203中作为鼻孔的周边区域检测的包括鼻孔 在内的左右鼻翼之间的区域。
图14概念性地表示本发明的实施方式2中的图像处理系统的搜索范 围的设定例子的说明图。图14中，表示了包括鼻孔在内的周围的图像， 图14中实线所示的长方形的范围为在步骤S205中，针对左右鼻孔所分
别设定的搜索范围。
图15为表示本发明实施方式2中的图像处理系统的黑色区域计算滤
波处理用的系数例子的说明图。通过对搜索范围内所包括的像素乘以图 15所示的系数，使中央为低亮度且周围为高亮度的区域明确化。图15所 示的黑色区域计算滤波器，对与作为转换对象的一个像素的亮度以及相 邻的八个像素的亮度相乘的系数，设定了 "1"，另外对与在与一个像素 左右相隔了规定距离的位置处排列的二个像素的亮度相乘的系数，设定 了 "-l"，对与在与一个像素上下相隔了规定距离的位置处分别排列的二 个像素的亮度相乘的系数，设定了 "-l"。另外，规定距离被设定为步骤 S202所检测的区域的1/18。
图16为概念性地表示了本发明的实施方式2中的图像处理系统的黑 色区域计算滤波处理用的检测例子的说明图。图16中表示了在图14所 示那样被设定的搜索范围中，作为图16中的左侧的鼻孔检测出的检测对 象进行黑色区域计算滤波处理时的黑色区域计算滤波位置。图15所示的 条件中所设定的黑色区域计算滤波器中，在针对图16所示的鼻孔中央附 近的像素进行黑色区域计算滤波处理时，为了使用于加法运算的系数位
于鼻孔，使用于减法运算的系数位于鼻孔外侧，而可以使鼻孔的中心明 确化。
所述实施方式2所示的包括数值在内的各种条件等仅仅为一个例 子，可以根据系统结构、目的等状况进行适当设定。 实施方式3.
图17为表示本发明实施方式3中的图像处理系统的结构例子的方框 图。图17中，l为摄像装置，摄像装置l例如通过专用电缆与图像处理 装置2进行了连接。摄像装置1中具有MPUll、 ROM12、 RAM13、摄 像部14、 A/D转换器15、帧存储器16以及通信接口 17。
图像处理装置2中具有CPU21、辅助记录部22、 HD23、 RAM24、 帧存储器25以及通信接口 26，通过辅助记录部22从记录了本发明实施 方式3的计算机程序33以及数据等各种信息的记录介质43中读取各种 信息而记录在HD23、记录在RAM24，通过CPU21来执行，由此图像处 理装置2可以执行本发明实施方式3的各种步骤。
另外有关各装置的详细说明，由于与实施方式1相同，所以以实施 方式1为参考，在此省略说明。
然后对本发明的实施方式3中的图像处理系统所用的各种装置的处 理进行说明。在本发明的实施方式3中，由例如安装在车辆上的车载摄 像头等的摄像装置1对驾驶员的脸部进行拍摄所得到的图像中，以驾驶 员脸部的鼻孔周围下方的区域为检测对象。图18为表示本发明实施方式 3中的图像处理系统所用的图像处理装置2的处理例子的流程图。图像处 理装置2中，通过CPU21对执行RAM24所记录的计算机程序33的控制， 从帧存储器25中提取通过摄像装置1的拍摄所得到的、经由通信接口 26 所接收的图像数据(S301)，通过例如实施方式1所示的轮廓宽度检测处 理，从所提取的图像数据中检测出驾驶员的脸部宽度、即作为表示脸部 的区域边界的轮廓的水平方向的范围(S302)，进一步检测出使用图案匹 配等处理的双眼以及鼻尖检测处理来检测双眼以及鼻尖的位置(S303)， 根据所检测出的轮廓的水平方向的范围、以及双眼以及鼻尖位置，设定 搜索范围(S304)。在步骤S302所检测的轮廓的水平方向的范围、在步
骤S303所检测的双眼和鼻尖位置以及在步骤S304设定的搜索范围被记 录到HD23或是RAM24中。另外，在步骤S302中的双眼以及鼻尖检测 处理的详细内容被记载在本申请人所申请的日本特开2004-234367号公 报、日本特开2004-234494号公报等文献中。步骤S304所设定的搜索范 围为被设定为例如基于如下位置的区域垂直方向的上端从表示双眼的 垂直方向的位置的y坐标的平均值起为轮廓的水平方向宽度的1/16距离 之下的位置，下端从双眼的y坐标的平均值起为轮廓宽度的3/8的距离之 下的位置，水平方向的左端为表示鼻尖的水平方向位置的x坐标起为轮 廓宽度的1/8距离之左的位置，以及右端从鼻尖x坐标起为轮廓宽度的 1/8的距离之右的位置。
另外，图像处理装置2通过CPU21的控制，对步骤S304所设定的 搜索范围内的所有像素，导出作为指标的水平方向像素标记，该指标是 将基于在水平方向上相邻的像素之间的亮度差的数值以及表示在水平方 向上相邻的像素的亮度高低的数值相乘得到的(S305)，在垂直方向对所 导出的水平方向像素标记进行累加，从而导出作为表示在水平方向上的 累加值变化的指标的水平方向标记(S306)。进而，在图像处理装置2中， 通过CPU21的控制，对搜索范围内所有的像素，导出作为指标的垂直方 向像素标记，该指标是将基于在垂直方向上相邻的像素之间的亮度差的 数值以及表示在垂直方向上相邻的像素的亮度高低的数值相乘而得到的 (S307)，在水平方向对所导出的垂直方向上的像素标记进行累加，从而 导出作为表示垂直方向上的累加值变化的指标的垂直方向标记(S308)。 另外，图像处理装置2通过CPU21的控制，将步骤S306所导出的水平 方向标记的最大值到最小值之间的水平方向的范围、以及将步骤S307所 导出的垂直方向标记的最大值到最小值之间的垂直方向的范围，作为检 测对象进行检测(S309)，并把检测的结果记录在HD23或是RM24中。
进一步详细说明利用图18的流程图说明过的处理。图19是概念性 地说明本发明实施方式3中的图像处理系统的搜索范围的设定例子的说 明图。图19中，实线所表示的外侧框架为步骤S301所提取的图像数据 所示的图像整体，点划线所示的图像的垂直方向(y轴方向)的线为步骤
S302所检测出的区域范围，也就是驾驶员脸部的轮廓宽度，X标记所表 示的位置为步骤S303所检测出的双眼以及鼻尖的位置。另外，点线所示 的区域为步骤S304所设定的搜索范围。
步骤S305所导出的水平方向像素标记如下述式3所示。
，(x,y)"255-P(x + l,y);(H(x,y)20) 寸 Sh(x,y) = <{ 瓦3 、"iH(x，y)"255 —P(x-l,y);(H(x，y)<0)
其中 x:水平方向的坐标(x坐标)
y:垂直方向的坐标(y坐标) Sh(x,y):坐标(x,y)的像素的水平方向像素标记 H(x,y):坐标(x,y)的像素的水平垂直方向边缘滤波处理结果 P(x,y):坐标(x,y)的像素的亮度 图20为表示本发明实施方式3中的图像处理系统的水平方向边缘滤 波处理用的系数例子的说明图。在式3中，H(x，y)表示了用图20所示的 系数进行的水平方向边缘滤波处理的结果。图20作为3x3的矩阵表示了 要与九个像素的亮度相乘的系数，针对中心的一个像素的亮度以及相邻 的八个像素亮度，乘以各自对应的系数，把其结果的合计值作为中心位 置的像素的水平方向边缘滤波处理结果进行计算。在使用图20所示的系 数进行水平方向的边缘滤波处理时，通过将对左方相邻的像素亮度乘以 "1"的数值、以及对右方相邻的像素亮度乘以的数值相加，由此 求出作为结果的指标。也就是通过水平方向边缘滤波处理，以在水平方 向上相邻的像素之间的亮度差为基础求出数值。
对水平方向边缘滤波处理结果相乘的式是从表示把像素的亮度分为 256个阶段而得到的灰度值的最高数值的"255"减去在水平方向相邻的 像素的亮度的值，即表示亮度高低的数值。这样，水平方向像素标记是 基于如下的数值得到的指标基于在水平方向相邻的像素之间亮度差的 数值、以及表示在水平方向相邻的像素的亮度高低的数值。另外，在与 水平方向边缘滤波处理结果相乘的式中使用亮度的像素根据水平方向边 缘滤波处理结果的正负而不同。
并且，步骤S306所导出的水平方向标记是表示通过在垂直方向对水
平方向像素标记进行累加而导出的水平方向位置即X坐标和累加值之间 关系的指标。也就是通过水平方向标记表示了水平方向像素标记在水平 方向上的变化。具体而言，在水平方向标记中，在水平方向上像素亮度 大幅度降低的位置的值变大，在像素亮度大幅度上升的位置的值变小。
步骤S307所导出的垂直方向像素标记，用下述式4进行表示。 Sv(x y) = <fV(X,y).(255-P(X,y + l));(V(x,y)^)) 式4 lv(x，y),(255-P(x，y — l));(V(x,y)<0)
其中Vh(X,y):坐标(x，y)的像素的垂直方向像素标记
V(x,y》坐标(x，y)的像素的垂直方向边缘滤波处理结果 P(x，y):坐标(x,y)的像素的亮度
图21为表示本发明实施方式3中的图像处理系统的垂直方向边缘滤 波处理用的系数例子的说明图。在式4所示的式子中，V(x，y)表示了用图 21所示的系数进行的垂直方向边缘滤波处理的结果。图21作为3x3的矩 阵表示了要对九个像素的亮度相乘的系数，针对中心的一个像素亮度以 及相邻的八个像素亮度，乘以各自对应的系数，把其结果的合计值作为 中心位置的像素的垂直方向边缘滤波处理结果进行计算。在使用如图21 所示的系数进行垂直方向边缘滤波处理时，通过将对上方相邻的像素亮 度乘以"1"的数值、以及对下方相邻的像素亮度乘以的数值相加， 求出成为结果的指标。也就是通过垂直方向边缘滤波处理，以在垂直方 向上相邻的像素之间的亮度差为基础求出数值。
对垂直方向边缘滤波处理结果相乘的式是从表示把像素的亮度分为 256个阶段而得到的灰度值的最高数值的"255"减去在垂直方向上相邻 的像素的亮度的值，即是表示亮度高低的数值。这样，垂直方向像素标 记是基于如下的数值得到的指标基于在垂直方向相邻的像素之间亮度 差的数值、以及表示在垂直方向相邻的像素的亮度高低的数值。另外， 在与垂直方向边缘滤波处理结果相乘的式中使用了亮度的像素根据垂直 方向边缘滤波处理结果的正负而不同。
并且，步骤S308所导出的垂直方向标记是表示通过在水平方向对垂 直方向像素标记进行累加而导出的垂直方向位置即y坐标和累加值之间 关系的指标。也就是通过垂直方向标记表示了垂直方向像素标记在垂直
方向上的变化。具体而言，在垂直方向标记中，在垂直方向上像素亮度 大幅度降低的位置的值变大，在像素亮度大幅度上升的位置的值变小。
另外在步骤S309中，检测出如下设定的区域将水平方向标记的最 大值为水平方向的左端，最小值为水平方向的右端，垂直方向标记的最 大值为垂直方向的上端，最小值为垂直方向的下端。
图22为表示本发明的实施方式3中的图像处理系统的检测结果的说 明图。图22表示了通过步骤S304所设定的搜索范围，由左端L、右端R、 上端U以及下端D包围的用斜线所示的长方形的区域为被检测出鼻孔周 围的下方的区域。
包括所述实施方式3所示的数值在内的各种条件等，只是一个例子， 可以根据系统结构、目的等状况适当地进行设定。例如在所述实施方式3 中，示出了在导出水平方向标记之后，导出垂直方向标记的实施方式， 但也可以为导出垂直方向标记之后，导出水平方向标记的方式，还可以 为不导出水平方向标记，而把水平方向的左端以及右端作为脸部轮廓的 宽度，仅仅导出垂直方向标记等的方式等，可以进行各种各样的展开。
实施方式4.
图23为表示本发明实施方式4中的图像处理系统的结构例子的方框 图。图23中，l为摄像装置，摄像装置l例如用专用电缆等与图像处理 装置2进行了连接。摄像装置1中具有MPUll、 ROM12、 RAM13、摄 像部14、 A/D转换器15、帧存储器16以及通信接口 17。
图像处理装置2中具有CPU21、辅助记录部22、 HD23、 RAM24、 帧存储器25以及通信接口 26，通过辅助记录部22，从记录了本发明实 施方式4的计算机程序34以及数据等各种信息的记录介质44中读取各 种信息并记录于HD23、 RAM24，通过CPU21执行，由此图像处理装置 2执行本发明实施方式4的各种步骤。在本发明实施方式4的图像处理装 置2中，记录了包括本发明实施方式1至3中所说明的检测方法的多种 检测方法。
另外，有关各装置的详细说明，由于与实施方式l相同，所以以实 施方式l为参考，在此省略说明。
接着，对本发明的实施方式4中的图像处理系统中所用的各种装置
的处理进行说明。本发明的实施方式4中，在通过例如安装在车辆的车
载摄像头等摄像装置1对驾驶者的脸部进行拍摄而得到的图像中，以驾
驶者脸部中包括鼻孔在内的区域作为检测对象。图24是表示用于本发明 的实施方式4中的图像处理系统的图像处理装置2的处理例子的流程图。 在图像处理装置2中，通过执行记录于RAM24中的计算机程序34的 CPU21的控制，从帧存储器25中提取通过摄像装置1的拍摄所得到的、 经由通信接口 26所接收的图像数据(S401)，计算出所提取的图像数据 中所包含的像素亮度的平均值(S402)，并把作为计算出的结果的平均值 与针对亮度平均值事先设定的阈值进行比较(S403)。而且在图像处理装 置2中，通过CPU21的控制，计算像素亮度的分散值(S404)，把作为 计算出的结果的分散值、与针对亮度的分散值事先设定的阚值进行比较 (S405)。然后在图像处理装置2中，通过CPU21的控制，基于亮度平 均值与阈值之间的比较结果以及亮度分散值与阈值之间的比较结果，决 定在HD23所记录的多种检测方法的优先顺序(S406)。
在本发明的实施方式4中进行如下处理根据亮度的平均值和分散 值，决定检测方法的优先顺序。所决定的优先顺序是是否需要执行多种 检测方法和执行的顺序，根据所决定的内容，执行上述的本发明实施方 式1乃至3所说明的检测方法，以及其他的检测方法。
图像数据的亮度的平均值与分散值根据对驾驶员脸部照射的光线状 况不同而变化较大，所以根据平均值和分散值判断照射状况，选择最为 合适的检测方法。具体而言，如果产生太阳光仅仅照射到脸部的左半边 而导致的各种偏变化，亮度的平均值为阈值以下，并且亮度的分散值为 阈值以上，因此可以判断发生了偏变化，使难以对偏变化造成影响的检 测方法优先。
例如没有产生偏变化的状态下，通过实施方式1所示的检测方法检 测出鼻孔周边区域，使用检测出的结果，用实施方式2所示的检测方法 检测出鼻孔。通过检测出鼻孔周边区域，限定成为图像处理对象的范围， 因此提高处理速度，并提高检测精度。但是如果产生了偏变化，则由于
产生亮度饱和的可能性大，所以使用实施方式1的横向边缘滤波器进行 的处理的可靠性降低。因此，根据实施方式2所示的检测方法优先检测 出鼻孔。
在所述实施方式4中，对亮度的平均值以及分散值的阈值设定了一 个，但本发明并不局限于此，也可以设定多个阈值，并针对各种各样的 状况决定检测方法的优先顺序，此外也可以基于平均值和分散值来决定 用于进行检测的图像处理所需的各种设定值等的处理条件。
在所述实施方式1至4中，对由平面直角坐标系所表示的图像数据
进行了处理，但本发明并不局限于此，可以针对各种各样的坐标系的图 像数据应用，例如应用于对包括被配置为蜂巢状的像素的图像进行处理
时，通过第1方向和第2方向之间具有60度的角度而交叉的坐标系所示 的图像数据等。
另外，在所述实施方式1至4中示出了以车辆的驾驶员为检测对象 的方式，但本发明并不局限于此，而也可以以各种各样的人物、以及人 物以外的有生命物或是无生命物为检测对象。
此外，在所述实施方式1至4中示出了从使用车载摄像头的摄像装 置的拍摄而生成的图像中检测出检测对象的方式，但本发明并不局限于 此，可以应用于将通过各种装置用各种方法所生成的图像记录于HD中， 从所记录的图像中检测出特定的检测对象的各种图像处理。
权利要求
1.一种图像处理方法，该图像处理方法从将像素分别排列在不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，该图像处理方法的特征在于，对在第1方向上排列的像素的亮度进行累加，导出第2方向上的累加值的变化，根据所导出的累加值的变化，检测出多个第2方向上的位置，作为与检测对象的候选对应的位置，分别针对在与检测出的各个位置相对应的第1方向上排列的像素列，检测基于像素的亮度的第1方向上的范围，作为检测对象的候选，根据检测出的范围的长度，从检测对象的候选中确定出检测对象。
2. —种图像处理方法，该图像处理方法从将像素分别排列在不同的 第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，该 图像处理方法的特征在于，根据加法运算和减法运算的结果，对一个像素的亮度进行转换，基 于转换的结果，检测出检测对象，其中，所述加法运算是基于与所述一个像素相邻的其他各个像素的亮度进 行的，所述减法运算是基于在第1方向上与所述一个像素相隔了规定距 离的位置处的像素的亮度以及在第2方向上与所述一个像素相隔了规定 距离的位置处的像素的亮度进行的。
3. —种图像处理方法，该图像处理方法从将像素分别排列在不同的 第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，该 图像处理方法的特征在于，在第2方向上对基于在第1方向上排列的像素的亮度变化的数值进 行累加，从而导出第l方向上的累加值的变化，在第1方向上对基于在第2方向上排列的像素的亮度变化的数值进 行累加，从而导出第2方向上的累加值的变化，根据第1方向上的范围和第2方向的范围，检测出检测对象，其中， 所述第1方向上的范围是基于所导出的第1方向上的累加值的变化而得到的，所述第2方向的范围是基于所导出的第2方向上的累加值的变化 而得到的。
4. 一种图像处理方法，通过多种检测方法从包括多个像素的二维图 像中检测出特定的检测对象，该图像处理方法的特征在于，计算像素的亮度的平均值， 计算像素的亮度的分散值，根据计算出的平均值和分散值，决定检测方法的优先顺序。
5. —种图像处理装置，该图像处理装置从将像素分别排列在不同的 第1方向及第2方向上而得到的二维图像中检测出特定的检测对象，该 图像处理装置的特征在于，该图像处理装置包括导出单元，其对在第1方向上排列的像素的亮度进行累加，导出第 2方向上的累加值的变化；候选检测单元单元，其根据所导出的累加值的变化，检测多个第2 方向上的位置，作为与检测对象的候选对应的位置；范围检测单元，其分别针对在与检测出的各个位置相对应的第1方 向上排列的像素列，检测出基于像素的亮度的第1方向上的范围，作为 检测对象的候选；以及确定单元，其根据检测出的范围的长度，从检测对象的候选中确定 出检测对象。
6. 如权利要求5所述的图像处理装置，其特征在于， 所述候选检测单元从在第1方向上进行累加而得到的像素的亮度的累加值的变化中，检测出表示极小值的多个位置。
7. 如权利要求6所述的图像处理装置，其特征在于， 对所述导出单元所导出的累加值的变化进行二次微分的单元， 所述候选检测单元根据二次微分的结果，从表示极小值的多个位置中检测出规定数量的位置。
8. 如权利要求5至7中的任一项所述的图像处理装置，其特征在于， 所述范围检测单元根据在第1方向上排列的像素的亮度的变化，检
9. 如权利要求5至8中的任一项所述的图像处理装置，其特征在于， 该图像处理装置还包括对检测区域的第1方向上的范围进行检测的单元，其中，该检测区域包括检测对象、且在第1方向上的范围大于检 测对象，所述确定单元根据对检测对象的候选的第1方向上的范围的长度与 检测区域的第1方向上的范围的长度进行比较的结果，确定出检测对象， 其中，所述检测对象的候选的第1方向上的范围是由所述范围检测单元 检测出的，所述检测区域包括检测对象。
10. 如权利要求5至9中的任一项所述的图像处理装置，其特征在于，该图像处理装置还包括执行如下处理的单元对在与确定出的检测对象有关的第2方向上排列的像素的亮度进行累加，导出第1方向上的累加值的变化；极小值检测单元，其根据第1方向上的累加值的变化，检测出极小值；对检测出的极小值的数量进行计数的单元；以及 执行如下处理的单元在计数出的数量小于规定数量时，判断确定 出的检测对象为假值。
11. 如权利要求10所述的图像处理装置，其特征在于， 该图像处理装置还包括执行如下处理的单元在包括与由所述极小值检测单元检测出的极小值相对应的像素在内的、亮度与该像素的亮度 相同并在第2方向上连续的像素数量超过了规定的数量时，判断确定出 的检测对象为假值。
12. —种图像处理装置，该图像处理装置从将像素分别排列在不同 的第1方向及第2方向上而得到的二维图像中检测出特定的检测对象， 该图像处理装置的特征在于，该图像处理装置包括 执行如下处理的单元根据加法运算和减法运算的结果，对一个像 素的亮度进行转换，其中，所述加法运算是基于与所述一个像素相邻的 其他各个像素的亮度进行的，所述减法运算是基于在第1方向上与所述 一个像素相隔了规定距离的位置处的像素的亮度以及在第2方向上与所 述一个像素相隔了规定距离的位置处的像素的亮度进行的；以及检测单元，其根据转换的结果，检测出检测对象。
13. 如权利要求12所述的图像处理装置，其特征在于， 所述检测单元检测出具有最小的转换后的值的像素，作为检测对象。
14. 一种图像处理装置，该图像处理装置从将像素分别排列在不同 的第1方向及第2方向上而得到的二维图像中检测出特定的检测对象， 该图像处理装置的特征在于，该图像处理装置包括第1导出单元，其在第2方向上对基于在第1方向上排列的像素的 亮度变化的数值进行累加，从而导出第1方向上的累加值的变化；第2导出单元，其在第1方向上对基于在第2方向上排列的像素的 亮度变化的数值进行累加，从而导出第2方向上的累加值的变化；以及检测单元，其根据第1方向上的范围和第2方向的范围，检测出检 测对象，其中，所述第1方向上的范围是基于所述第1导出单元所导出 的第1方向上的累加值的变化而得到的，所述第2方向的范围是基于所 述第2导出单元所导出的第2方向上的累加值的变化而得到的。
15. 如权利要求14所述的图像处理装置，其特征在于，所述第1导出单元在第2方向上对如下的指标进行累加，导出第1 方向上的累加值的变化，所述指标是根据基于在第1方向上相邻的像素 之间的亮度差的数值、以及表示在第1方向上相邻的像素的亮度高低的 数值而得到的，所述第2导出单元在第1方向上对如下的指标进行累加，导出第2 方向上的累加值的变化，所述指标是根据基于在第2方向上相邻的像素 之间的亮度差的数值、以及表示在第2方向上相邻的像素的亮度高低的 数值而得到的， 所述检测单元根据第1方向上的范围和第2方向的范围，检测出检测对象，其中，所述第1方向上的范围是从所述第1导出单元所导出的 累加值最大的位置到第1导出单元所导出的累加值最小的位置之间的范围，所述第2方向的范围是从所述第2导出单元所导出的累加值最大的 位置到所述第2导出单元所导出的累加值最小的位置之间的范围。
16. —种图像处理装置，该图像处理装置通过多种检测方法从包括 多个像素的二维图像中检测出特定的检测对象，该图像处理装置的特征 在于，该图像处理装置包括计算像素的亮度的平均值的单元；计算像素的亮度的分散值的单元；根据计算出的平均值和分散值决定检测方法的优先顺序的单元。
17. —种图像处理系统，其特征在于， 该图像处理系统包括权利要求5至16中的任一项所述的图像处理装置；以及 生成由该图像处理装置进行处理的图像的摄像装置， 所述检测对象是通过所述摄像装置拍摄到的图像内的包括人物的鼻 孔在内的区域，所述第l方向为水平方向， 所述第2方向为垂直方向。
18. —种计算机程序，该计算机程序使计算机从将像素分别排列在 不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对 象，该计算机程序的特征在于，该计算机程序使计算机执行如下的步骤对在第1方向上排列的像素的亮度进行累加，导出第2方向上的累 加值的变化；根据所导出的累加值的变化，检测多个在第2方向上的位置，作为 与检测对象的候选对应的位置；分别针对在与检测出的各个位置相对应的第1方向上排列的像素 列，检测基于像素的亮度的第1方向上的范围，作为检测对象的候选； 以及根据检测出的范围的长度，从检测对象的候选中确定出检测对象。
19. 一种计算机程序，该计算机程序使计算机从将像素分别排列在 不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对 象，该计算机程序的特征在于，该计算机程序使计算机执行如下的步骤-根据加法运算和减法运算的结果，对一个像素的亮度进行转换，其 中，所述加法运算是基于与所述一个像素相邻的其他各个像素的亮度进 行的，所述减法运算是基于在第1方向上与所述一个像素相隔了规定距 离的位置处的像素的亮度以及在第2方向上与所述一个像素相隔了规定 距离的位置处的像素的亮度进行的；以及根据转换的结果，检测出检测对象。
20. —种计算机程序，该计算机程序使计算机从将像素分别排列在 不同的第1方向及第2方向上而得到的二维图像中检测出特定的检测对 象，该计算机程序的特征在于，该计算机程序使计算机执行如下的步骤在第2方向上对基于在第1方向上排列的像素的亮度变化的数值进 行累加，从而导出第1方向上的累加值的变化；在第1方向上对基于在第2方向上排列的像素的亮度变化的数值进 行累加，从而导出第2方向上的累加值的变化；以及根据第1方向上的范围和第2方向的范围，检测出检测对象，其中， 所述第1方向上的范围是基于所导出的第1方向上的累加值的变化而得 到的，所述第2方向的范围是基于所导出的第2方向上的累加值的变化 而得到的。
21. —种计算机程序，该计算机程序使计算机通过多种检测方法从 包括多个像素的二维图像中检测出特定的检测对象，该计算机程序的特 征在于，该计算机程序使计算机执行如下的步骤 计算像素的亮度的平均值；计算像素的亮度的分散值；以及根据计算出的平均值和分散值，决定检测方法的优先顺序。
全文摘要
本发明提供一种图像处理方法、图像处理系统、图像处理装置以及计算机程序，该图像处理方法在使用了例如安装在车辆上而对驾驶员的脸部进行拍摄的车载摄像头的系统中，可以高精度地检测驾驶员的鼻孔等检测对象。通过如下的方法等各种检测方法对检测对象进行多样化将在图像拍摄时的垂直方向上的位置作为候选，检测出多个位置，分别针对在与检测出的各个位置相对应的水平方向上排列的像素列，基于像素的亮度，检测作为检测对象的候选的范围，并根据检测出的范围的长度，从检测对象的候选中确定出检测对象。
文档编号G06T7/00GK101116106SQ200580047809
公开日2008年1月30日 申请日期2005年2月23日 优先权日2005年2月23日
发明者东野全寿, 伊藤寿雄, 斋藤拓, 片桐卓, 田福明义, 马场幸三 申请人:富士通株式会社