专利名称：图像分割系统和方法
相关申请本部分继续申请请求享有以下几个美国申请的优先权申请日为2001年5月30日、序列号为09/870,151且名称为“A Rules-Based OccupantClassification System for Airbag Deployment”的申请；申请日为2001年7月10日、序列号为09/901,805且名称为“Image Processing System forDynamic Suppression of Airbags Using Multiple Model Likelihood to Inferthree Dimensional Information”的申请；以及申请日为2001年11月5日、序列号未知且名称为“Image Processing System for Estimating the EnergyTransfer of an Occupant into an Airbag”的申请。这里将它们作为一个整体来对其内容加以引用。
在很多情况下希望将作为“目标”的人或物的分割图像从包括附属于该“目标”人或物的环境图像中分离开。安全气囊展开系统就是这一技术的一种应用。安全气囊展开系统可能需要做出不同的决定，这些决定多少与乘员的图像相关。安全气囊展开系统的行为会因多种因素而改变，这些因素最终以某种方式与该乘员有关。乘员的类别，乘员与安全气囊的邻近程度，乘员的速度和加速度，乘员的质量，安全气囊和乘员之间的冲击造成的安全气囊需吸收的能量，以及安全气囊展开的一些其他的考虑都可能会用到可从该乘员的分割图像获得的该乘员的特征。
在有关图像分割技术的现有技术中存在大量障碍。首先，现有技术在较暗的环境中不能良好地工作，例如在夜间开车时。事实上，由于黑暗会造成视觉上无法看到人类乘员图像的某些部分，从而使安全气囊展开系统无法获得精确的信息。其次，这些技术无法补偿乘员的不同部分就检测器或光源而言所处的角度和距离不同而造成的不同程度的黑暗。而对该乘员图像的不同区域区别对待能够取得有益的效果。第三，当有特定类型的分割图像时，现有技术不能将可引入该分割处理的智能最大化。人类乘员所具有的解剖特点可用来使由照相机或其他检测器获得的乘员的粗略的分割图像更加精细。例如，人的所有部位都是连接在一起的，这些连接的内在特征能够增强分割处理的能力，以确定哪些图像的像素与该乘员相关，哪些图像像素与围绕该乘员的区域相关。对乘员更可能的某种坐姿的了解也可被用来将更多的智能应用到原始的环境图像。
本发明包括两个基本部件，图像阈值子系统和间隙填充子系统。该图像阈值子系统可将环境图像变换为二进制图像。可将与该乘员相关的每个像素设定为一个二进制值，而将与该乘员不是明确相关的每个像素设定为一不同的二进制值。使用例如亮度特征的图像阈值可被用于确定一特定像素应被设定的二进制值。环境图像的不同区域可使用不同的图像阈值来解决由于阴影、距光源的不同距离或其他原因造成的光照的差异。该图像阈值可使用累积分布函数将概率分析引入分割处理。一般情况下，该图像阈值子系统对一特定像素是否代表该乘员的图像可采取“苛刻的”观点。该图像阈值子系统可试图确定哪些像素清楚地代表该乘员的图像，并可将“灰区”像素看作是代表并非乘员的那些环境图像。对本发明来说，图像阈值将环境图像的大部分归类为与该乘员图像不相关并不是一个障碍。
间隙填充子系统可将一特定像素的周围的像素特征引入该特定像素的特征，该特定像素的周围的像素特征由子系统设定。该间隙填充子系统可填充由于图像阈值子系统采取的过分保守的方法所留下的间隙。该间隙填充子系统可应用形态逼近和扩张(morphological erosion and dilation)技术来消除伪像素区域，例如在邻近像素的范围内以外的像素值。该子系统可应用基于动量的试探法(heuristic)，其将邻近像素值“动量”的确定引入了一特定像素的值，。该子系统还可使用基于重力的试探法，其将质量的重量概念和距离引入一特定的像素值。
该系统可以不同的形式输出乘员图像，包括产生一上椭圆来代表该乘员的上半身。
对本专业技术人员来说，通过结合附图对以下较佳实施例的详细说明，本发明的各个方面会变得很明显。
图2示出用于本发明的几个潜在实施例的图像处理系统的高级处理流程。
图3为列出具有一特定亮度值的像素的个数的直方图。
图4为示出如何能够将多个不同的图像阈值应用于单个环境图像的示意图。
图5为能够被图像阈值子系统利用的累积分布函数的曲线图。
图6a示出接受形态逼近和形态扩张的垂直像素组。
图6b示出接受形态逼近和形态扩张的水平像素组。
图7为引入基于动量的间隙填充方法的概率图。
图8为能够使用基于重力的试探法处理的像素区域的示意图。
图9为示出如何使用一上椭圆，下椭圆和形心来表示乘员的分割图像的示意图。
图10为表示乘员的上椭圆，以及该上椭圆的一些重要的特征的示意图。
图11为图像阈值子系统和间隙填充子系统的流程图，包括能够引入这些子系统的一些不同的模块和处理。
在有些实施例中，照相机22可含有或包括在直流状态工作的红外光源，用来在黑暗的背景下提供恒定的照明。系统16被设计成用来在黑暗的条件下使用，例如夜间，雾天，大雨，浓云，日食或任何其他比通常的白天条件更暗的环境。该系统16也可用于较亮的光照条件下。红外照明的使用可对照明者18隐藏光源的使用。不同的实施例可使用以下光或光源中的一种或多种与照相机分离的光源；发射红外光以外的其他光的光源；使用交流电仅以周期方式所发出的光。该系统16可引入范围广泛的其他光照和照相机22的配置。
用于应用图像分割技术的计算机系统30实质上可位于车辆上的任何位置。较佳地，计算机系统30位于照相机22的附近以避免通过长的导线来发送照相机图像。该计算机系统30可以是能够包括由图像阈值子系统和间隙填充子系统执行的处理的任何类型的计算机或装置。图11公开了可由这些子系统执行的处理，在以后会对其进行更加详细的说明。图示安全气囊控制器23位于仪器面板34上，当然即使安全气囊控制器32位于不同的位置本发明仍然能够工作。类似的，安全气囊展开系统36最好位于乘员18和座位20之前的仪器面板34上，当然对系统16来说，也可使用其他的位置。
B.高级处理流程图2示出一高级处理流程，示出图像分割系统16的应用。照相机22可获得包括乘员18和座位区域21的该座位区域21的环境图像38。在该图中，座位区域21包括整个乘员18，尽管在许多不同的环境和实施例中，仅有该乘员图像18的一部分会被捕获，尤其是如果照相机22所处的位置看不到较低的末端时。该环境图像38会被发送到计算机30。该计算机30可使该乘员18的分割图像31从环境图像38中分离出来。以后将更详细地描述计算机30所进行的图像分割的处理，该处理示于图11中。然后可对分割图像31进行分析以作出适当的安全气囊展开决定。例如，该分割图像31可被用于确定在安全气囊36展开时该乘员18是否会离该正在展开的安全气囊36太近。可将对分割图像31的分析和其特征发送到安全气囊控制器32，从而使该安全气囊展开系统36使用获得的与乘员18相关的信息来作出适当的展开决定。
C.像素特征的直方3示出可由系统16使用的一种直方图39的例子。由照相机22捕获的任何图像，包括分割图像31和环境图像38，均可被分为一个或多个像素40。一般情况下，像素40的数量越多，图像38的分辨率就越好。在一较佳实施例中，环境图像38的宽度应至少跨越大约400个像素，该环境图像38的高度应至少为大约300个像素。如果像素太少，则难于将该分割图像31从该环境图像38中分离开。当然，像素的个数取决于照相机22的种类和样式，且通常照相机22会随着像素个数的增加而更加昂贵。标准的摄象机可捕获的图像大约是400个像素宽，300个像素高。因为可使用标准的非定制的照相机22，该实施例能够捕获细节充分的环境图像38，同时保持相对便宜。因此，一较佳实施例总共将使用大约120,000(400×300)个像素40。像素40的个数依赖于系统16使用的照相机22。每个像素40可拥有一个或多个不同的像素特征或属性(统称为“特征”)42，这些特征被系统16所使用来使分割图像31从环境图像38中分离。像素40可具有一个或多个像素特征42，每个特征由一个或多个像素值表示。像素特征42的一个例子是亮度测量(“亮度”)。亮度的像素特征42可波测量、存储并被处理作为与该特定像素相关的像素值。在一较佳实施例中，亮度值42为用于该环境图像38中的像素40的初始像素值，且亮度可以0(可能最暗的亮度)与255(可能最亮的亮度)之间的数字表示为数字像素值。其他的像素特征可包括颜色、热度、两个或多个特征的加权组合，或者可潜在地用于将分割图像31和环境图像38区分的其他特征。
在系统16的一些实施例中，可由0和255之间的一数字像素值来表示亮度42，如图所示。在这样的刻度中，0亮度表示可能最暗的亮度(黑)，255亮度表示可能最亮的亮度(白)。其他实施例也可使用具有不同数字刻度的直方图39，甚至也可以不使用亮度，而使用特征42。
图中的直方图39记录了具有特定的单个或组合像素特征42(统称为“特征”)的像素40的个数。直方图39记录了拥有一特定像素值的像素40的总数。直方图39中的数据可被系统16用来将环境图像38中的某些或最好为全部像素40分成两个或多个像素类。第一类像素40可包括清楚地代表乘员18的分割图像31的那些像素。该第一类中的像素40可被称为乘员像素40。第二类像素40可包括或清楚地代表不与乘员18相关的图像的那些像素40，或可能表示也可能不表示该乘员的图像的那些像素40(“灰区图像”或“周围像素”)。在一较佳实施例中，所有像素40均被归为两类中的一类，且所有的乘员像素40被设定为二进制值“1”，而所有的周围像素40被设定为二进制值“0”。该系统16可使用直方图39和图像阈值来对环境图像38中的像素40进行分类。使用图像阈值来将像素值设定为一二进制值的过程将在以后详细描述。
D.图像阈值图4为说明使用三个图像阈值44的系统16的一较佳实施例的示意图。图4为包括乘员18的分割图像31的环境图像38的示意图，在图中所示时刻，系统16正在进行图像阈值处理。如上所述，环境图像38由像素40组成。每个像素40具有诸如亮度这样的像素特征42。每个像素40的特定特征值42可具有不同的值。例如，某些像素40可能的亮度值会非常高，例如为255，而其他像素40的亮度值可能会非常低，例如为0。就亮度这一特征而言，较高的像素值倾向于代表乘员18，而较低的像素值倾向于代表周围区域的图像。图像阈值处理基于例如亮度的像素特征来选出前N％的像素40，并将这些像素识别为代表乘员18的分割图像31。由于不能确信其余的像素40是代表乘员18的分割图像31，因此可被系统16归类为不与乘员18相关的像素。上述直方图39使系统16更便于实现其(关于一特定像素特征)计算“挑出”前N％的像素40所需的图像阈值的能力。
其他实施例可根据需要使用少至一个图像阈值44或多个图像阈值44。如上所述，系统16可结合直方图39使用一图像阈值44来将像素40分成两个或多个不同的像素类。
仅有在前N％的像素40应被初始识别为代表乘员18。直方图39使系统16更便于对像素特征42进行分等以识别更有可能代表乘员18的分割图像31的那些像素40。例如，亮度为Y(像素值)或更高的像素40可被归类为代表分割图像31。所有其他像素40均可被归类为代表在环境图像38中的附属图像(例如“周围像素”)。在一较佳实施例中，“灰区”像素应初始地放置在周围像素40类中。
N通常应当设定为不高于50，但也不低于10。系统16可被设计为采取初始的保守方法来确定哪些像素40代表乘员18的分割图像31，因为系统16的后续处理会被设计来填充所述保守方法剩余的间隙。在一较佳实施例中，根据该特定像素40相对于环境图像31的位置，在环境图像38中的不同区域具有由系统16所应用的三个不同的图像阈值44中的一个。在环境图像38中最上层的位置常常具有最好的光照度，因此该系统16可包括被设计来仅选择前10％(N＝10)的那些像素40的上层图像阈值46。一般来说，环境图像38中的中间位置与环境图像38的上部的那些像素40相比，其光照度常常较小，且具有更多的阴影及较差的分辨率。因此，系统16可包括被设计用来仅选择前20％(N＝20)的那些像素40的中层图像阈值48。最接近环境图像38的底部的像素40可包括底层图像阈值50，其使用前30％(N＝30)的像素40作为代表乘员18的分割图像31的像素40。因为在环境图像38的较低部分的亮度代表相对其他像素40的位置来说光照较差座位区域21位置的像素40，所以要求有高的百分比。其他实施例可利用不同数量的图像阈值44，且不同的层可使用范围很广的不同的N值。
系统16使用的图像阈值44应包括这样的概念，即基于像素特征42，例如亮度，和与该特征相关的相应的像素值来选择前百分之若干的像素40来代表分割图像31。像素特征42，例如亮度可由一值Y，例如255来表示，而不应该为例如10％或N％的百分比或概率。可使用一累积分布函数来将例如Y的像素值或特征转换为例如N的概率或百分比，或将使用N的概率或百分比转换为一测量的特征42的值，例如Y。
在一较佳实施例中，可将前N％的像素(特征大于或等于Y的那些像素)的像素值设为一二进制值，例如“1”。在一较佳实施例中，可将代表乘员18的分割图像31的像素40称为乘员18的二进制图像，或称为乘员像素40。其他像素值可被设为一不同的二进制值，例如“0”，且可被归类为周围像素40。其他实施例可针对不同的类型和多种多样的像素值使用更多数量的类。
E.累积分布函数可基于与像素特征42相关的数字测量值(Y)使用累积分布函数52实现选择前10％的像素40并选择那些像素40来代表乘员18(例如，乘员像素40)的功能。图5公开了可由图3的直方图导出的累积分布曲线52。纵轴代表系统未错误地将任何像素40归类为表示乘员18的累积概率54。累积概率54可以是值1-N。例如，选择前10％的像素所得到的概率为0.9，0.9代表一周围像素未被错误的识别为一分割像素的概率。仅当假设所有120,000个像素均为周围像素40时才可获得绝对确定性(1.0的概率)，例如没有像素40代表乘员18的分割图像31。这种确定性对系统16并没有帮助，因为其并未提供创建乘员18的外形的起始点。反过来说，低标准的精确度，例如0值或接近0的值未将足够的像素40排除在代表分割图像31的像素40的类之外。
优选例如0.90，0.80或0.70的概率，因为它们通常表示高概率的精确度，同时提供一个乘员18的像素40的充分的基础，在该基础上可使用间隙处理子系统进行扩展，这将在以后详细描述。在一较佳实施例中，多图像阈值44的系统16将具有与图像阈值44一样多的累积分布函数52。
F.形态处理系统16可将形态试探法引入间隙处理子系统，以下将对此进行详细描述。间隙处理子系统应用的间隙处理试探法可包括进行形态试探。如以上和以下所述，系统16使用与一像素相关的像素值来对像素40进行分析，分析该像素是一乘员像素40，一周围像素40，还是一些其他类的像素40(某些实施例可具有三个或更多不同的像素类。)形态处理可将一特定像素值附近的其他像素40(“邻近像素”或“邻近像素值”)的像素值引入正在分析或设定的该特定像素。形态逼近(morphological erosion)可除去伪目标，例如，像素40代表分割图像31的非真实的指示。形态逼近可在不止一个方向上进行。例如，可在垂直方向上进行，在水平方向上进行或在对角线方向进行。可进行形态扩张(morphological dilation)以“长出”由所述“保守”图像阈值处理缩减的分割图像31。形态扩张也可在多个不同的方向进行。图6a和6b所示为在垂直和水平方向进行的形态处理的例子。
在一较佳实施例中，形态处理的顺序如下垂直形态逼近；垂直形态扩张；水平形态逼近；和水平形态扩张。其他实施例可能会仅包括这些处理中的一些，而且这些系统16可能会以不同的顺序进行处理。
图6a为说明用于进行垂直形态处理的像素40的垂直组58的示意图。垂直形态处理可将像素40一起分在一垂直组58中。在一较佳实施例中，该垂直组58包括垂直的12行像素40，其每一行包括2列像素。其他实施例可使用具有不同行数和列数的垂直组58。组58中的每个像素40具有至少一个像素值56，如在一优选实施例中的二进制数。
垂直形态逼近采取“悲观”或“保守”的观点确定一特定像素41是否代表分割图像31，例如，一像素40是否为乘员像素40。即使在该垂直组58中有一个像素40的像素值56表明该像素不代表乘员18的分割图像31(在一较佳实施例中像素值56为“0“)，那么在垂直组58中的所有像素值56均被设定为该相同值。
垂直形态扩张可采取“乐观”观点来判断一特定像素40是否代表该分割图像31。垂直组58中即使有一个像素值56表明该像素40代表分割图像31(在一较佳实施例中，值56为“1”)，该垂直组58中的每个像素值56均被设为该相同的像素值56。
图6b为水平形态处理的示意图。水平形态处理可将像素40一起分组为连续像素的水平组60。在一较佳实施例中，一水平组包括2垂直行的连续像素40，其每一行包括12列连续像素40。其他实施例可使用具有不同行数和列数的水平组60。组60中的每个像素40具有至少一个像素值56，如在一较佳实施例中为二进制值。
水平形态逼近采取“悲观”或“保守”的观点来判断一特定像素40是否代表分割图像31，例如，一像素40是否为一乘员像素40。即使在水平组60中有一个像素40的像素值56表明该像素不代表乘员的分割图像31(在一较佳实施例中像素值56为“0”)，那么该水平组60中的所有像素值56均被设定为该相同值，从而将该水平组60中的每个像素40归类为周围像素40。
水平形态扩张采用“乐观的”观点来判断一特定像素40是否代表分割图像31。即使水平组60中只有一个像素值56表明该像素代表分割图像31(在一较佳实施例中，值为“1”)，那么垂直组58中的每个像素值56都被设定为该相同的像素值56。
一些实施例可将像素值56设定为非二进制数字，或甚至是非数字的特征，例如字母，等等。有些实施例允许一水平组60与另一水平组60重叠，一垂直组58与另一垂直组58重叠。使用重叠水平组60或重叠垂直组58的实施例可在设定的特定像素值56和用于设定该特定像素40的特定的水平组60或垂直组58之间引入一对一的关系。在其他实施例中，像素40可仅属于一个水平组60和一个垂直组58。
G.基于动量的处理系统30可引入基于动量的处理来设定像素值56。该方法的基本逻辑是如果最后X个连续的像素40代表乘员18的分割图像31，则更可能的是，在基于位置的像素顺序中的下一个连续的像素40(像素X+1)将也代表乘员18。基于动量的试探法是系统30所使用的一种方法，通过该方法，系统30可通过参考和引入在接受系统30分析的一特定像素邻近的像素的像素值(“邻近像素”或“邻近像素值”)来确定该特定像素的适当值。可将基于动量的处理引入间隙处理子系统，以下将对其进行更详细的描述。
图7为有助于说明由基于动量的试探法进行基于动量分析的曲线图。一具有代表分割图像31的像素值56的特定像素40的概率随着每个代表环境图像38的连续像素值56而降低。基于动量的处理可在两维进行，即在垂直和水平方向，尽管在与就座位置中的乘员18相关的实施例中垂直动量处理通常更有用。基于动量的处理在试图填充由座椅安全带或帽子，或者通常被阴影遮挡的乘员18的部位，例如乘员18的脖子剩余的间隙时尤其有效。
当一特定像素40的像素值56表明该特定像素40代表乘员18的分割图像31时，该特定像素40可被称为乘员像素40。当一特定像素40的像素值56表明该特定像素40不代表或可能不代表该乘员18的分割图像31时，该特定像素40可被称为周围像素40。
图8为示出由乘员像素40组成的一个或多个像素区域66的一个例子的示意图。每个像素区域66包括至少一个乘员像素。对将在相同像素区域66的两个乘员像素40，这两个乘员像素40必须由一个乘员像素40的“链”连接起来，在该链中的每个乘员像素40与该链中的至少另一个乘员像素40相邻。一典型的环境图像38可包括3-5个像素区域66，尽管环境图像38可具有少至1个像素区域66或潜在地其所具有的像素区域与乘员像素40一样多。
基于动量的处理可计算乘员像素40在环境图像38中在一特定的行或列(在一较佳实施例中仅在垂直列)中在水平或垂直方向(在一较佳实施例中仅在垂直方向)上的顺序号。基于间隙处理的基本逻辑在于(与在被设定的像素附近的像素相关的)像素值可被引入被设定的像素。基于动量的处理引入这样的概念，即一系列连续的乘员像素使得系统16的误识别造成一个或两个插入的周围像素更成为可能。例如，如果两个像素区域66被由4个周围连续像素44所组成的间隙分隔开，则与该两个像素区域66中的乘员像素40相关的“动量”可能足以填充该间隙并使该两个区域66结合。连续的乘员像素40的数量越大，则允许填充周围像素40所造成的间隙的“动量”就越大。
可使用一动量计数器(“计数器”)来确定像素区域66之间的动量。每次当像素序列中的下一个像素40(后续像素)为乘员像素40时，可使计数递增或增加。反过来，每次当下一个连续像素40为周围像素40时，可从计数器减去一个值。基于动量的处理可对乘员像素40和周围像素40赋予不同的权值。例如，乘员像素40可导致给计数器增加为4的值，而环境图像40可导致从计数器减去为1的值。不同的实施例可对该动量计数器引入范围广泛的不同的权值。在一较佳实施例中，乘员像素使计数器加1，而周围像素使计数器减1。当计数器到达小于或等于0的数时，系统16可停止尝试弥补乘员像素40的像素区域66之间的周围像素40的间隙。
在以下的表1中将看到与像素值有关的基于动量的处理和计数器的例子。为区分像素位置和像素值，在该例中使用字母来表示像素的相对水平位置。在许多实施例中，使用数字坐标位置来表示像素位置，由此可通过一数字值来识别一像素的位置。在该例中，每个乘员像素40使计数器增1，而每个周围像素40使计数器减1。
1.表1
在位置G，H，I的三个1代表了1在该行的最大区域，于是沿左向的基于动量的处理将从位置I开始。I，H和G每一个的像素值为“1”，因此这些像素的每一个将使计数器加1。因此，在G位置的计数器值为3。F位置的像素值为0，但计数器的值大于0，因此，F位置的像素值变为1，且计数器被减1，得到的值为2。E位置的像素值为0，但计数器的值为2，大于0，因此计数器减为值1，且E处的像素值改变为值1。D的像素值为1，因此计数器被增加为值2。C的像素值为0，但计数器的值为2大于0，因此C处的像素值被变为1，且该计数器的值为1。B处的像素值也为0，但计数器值为1大于0，因此B被变为值1且计数器被变为值0。A的像素值为0，且计数器值为0，因此，没有动量来转换A的值0。因此，从右到左的水平处理停止。
沿从左向右方向移动的处理从G，即在G，H，I像素区域中最左边的1开始。在G位置计数器被增加至值1，在H处被增加至值2，在I处被增加至值3。J的像素值为0，接着其被改变为值1，而计数器的值被减1成为2。K的像素值由0变到1，但计数器的值接着也会减至1。类似地，L处的像素值也从0变到1，但计数器值然后减至0。M的像素值为0，同时在M处计数器的值也为0，因此，该过程停止。该过程甚至永远也不会到达像素位置N。表2公开了在对行的基于动量的水平处理后所得到的像素值。
表2
人们可以对上述例子进行多种不同的改进或变化。可修改加到计数器或从计数器减去的值。类似地，起始点和终点可随实施例的不同而改变。有多种不同的试探法和方法，其中乘员像素的动量可横跨一个或多个周围像素。
H.基于重力的处理系统16还可使用由图8中的例子所示的乘员像素40的像素区域66来进行基于重力的试探法的基于重力的处理。系统30可使用基于重力的处理这样一种方法通过参考和引入接受该系统30分析的一特定像素的附近的其他像素40的像素值56来确定与该特定像素40相关的适当的像素值56。基于重力的处理可包括向每个像素区域66分配唯一的识别符，如图8所示。该系统16可跟踪区域特征，例如区域位置和区域大小。最大的区域66典型地是该乘员18的上半身。
基于重力的处理和基于重力的试探法包括这样一种假设。即在乘员像素40的像素区域66(一组乘员像素，这里每个乘员像素与至少另一个乘员像素相邻)的一般附近的周围像素40可能实际上被错误地识别为乘员像素40。该系统16可包括类似物理测量重力对物体影响的方式的试探法。像素区域66的大小和像素区域66与潜在的被错误识别的周围像素40之间的距离是用于基于重力处理的两个潜在的重要的变量。可将一特定像素区域66的“重力”与一预定的阈值进行比较来确定一乘员像素40是否被错误识别为一周围像素40。
重力＝GMm/r2＞预先计算的阈值在上述等式中，“G”为“重力常数”，它确定将像素吸引在一起的力。该参数或特征通过肖像和目标类型来确定，所述肖像和目标类型被分析用来确定完成一完整的分割所需的吸引力。不同的实施例将使用不同的“G”值。“M”可代表用于特征42的初始像素值56的总和，例如用于像素区域66中的每个乘员像素40的在0和255之间的亮度值。小写的“m”代表潜在的被错误识别的周围像素40的初始像素特征42，这些潜在的被错误识别的周围像素40被考虑用于重新特征化该系统16的基于重力的处理。变量“r”代表“半径”或像素区域66和被考虑重新分类为乘员像素40的周围像素40之间的像素的个数。
可对每个被分类为周围像素40的像素，检查个像素区域66的基于重力的影响。在该实施例中，可考虑多个像素区域66对一特定的周围像素40的“重力”影响。或者，向外计算用于一特定的像素区域66的“重力”影响，直到周围像素40不再被重新分类为乘员像素40的那一点，从而无须对每个像素40或甚至是附加的周围像素40都进行计算。
I.椭圆适配子系统系统16可使用一椭圆适配子系统创建一椭圆来代表乘员18的分割图像31。在其它实施例中，可使用其他的形状来代表乘员18的分割图像31。图9示出可由该椭圆适配处理产生的这种结果中的一个类型的例子。在一较佳实施例中，该椭圆适配子系统为在计算机30中的软件，但在其他的实施例中，该椭圆适配子系统可被置于不同的计算机和装置中。
上椭圆80可从乘员18的臀部向上延伸到其头部。下椭圆84可从乘员18的臀部向下延伸到包括该乘员18的脚。如果从乘员18的臀部向下到乘员18的脚的整个区域都看不到，则可产生一下椭圆代表能看到的内容。系统16可使用椭圆80上的单个点例如椭圆80的质心来跟踪椭圆80，以下将更具体地进行描述。在现有技术中已知有多种椭圆适配例程。一较佳实施例不使用该下椭圆84。
图10示出可从上椭圆80导出的多个变量，用来代表相对于安全气囊展开系统36的乘员的分割图像31的某些特征。系统6可对上椭圆80的质心82加以识别以用于跟踪乘员18的特征。在现有技术中，已知如何识别椭圆的质心54。其他实施例可使用上椭圆80上的其他点来跟踪与安全气囊展开36或其他处理相关的乘员18的特征。可从上椭圆80得出宽范围的多种乘员18的特征。
运动特征包括质心82的x-轴(“距离”)98和前向倾斜角(“θ”)96。形状测量包括质心82的y-轴(“高度”)94，椭圆88长轴的长度(“major”)和椭圆86的短轴的长度(”minor”)。也可捕获变化率信息，例如速度和加速度，用于所有形状和运动特征。J.整个分割过程可由系统16实现的各种处里可以多种不同的方式实现，如上详细描述的那样。系统16具有大量潜在的不同的实施例。某些实施例无需使用所有的潜在的处理。不同的实施例也可使用不同的参数来进行一特定的处理或一系列处理。
图11公开了系统16用以将乘员18的分割图像31从既包括该乘员18又包括周围座位区域21的环境图像38中分离出来的处理流程的一个例子。包括乘员18和周围座位区域21的环境图像38为计算机系统30的输入。如上所述，该环境图像38包括多个像素40。系统16接收形式为代表该环境图像38的像素40的环境图像38。每个像素40具有一个或多个像素特征42，例如亮度，且每个像素特征可与用于一特定像素的一个或多个像素值相关(例如，一特定像素可具有在0和255之间的亮度值)。可使用装有图像阈值子系统100和间隙处理子系统102的计算机系统30来实现分割过程。可使用一椭圆适配子系统116来产生代表该乘员18的分割图像31的上椭圆80，但对该系统16的使用来说，不需要116处的椭圆适配处理。I.图像阈值子系统图像阈值子系统100可包括两个不同的模块，设定图像阈值模块40和执行图像阈值模块42。系统16可产生一图像阈值44来将第一子组像素40识别为乘员像素40，将第二子组像素40识别为周围像素40。可通过引入像素特征42的信息来设定图像阈值44，如图3，4，5所示，这一点在上述已进行了较详细的说明。图像阈值44的应用涉及将一像素40的像素值45与该图像阈值44比较以将像素40归类为或识别为属于两个或多个像素类中的一类，然后根据与该像素类相关的修正的像素值56设定用于该特定像素40的修正的像素值56。在一较佳实施例中，将此时归类为代表乘员的分割图像31的像素40设定为值“1”，且可称其为乘员像素。在一较佳实施例中，将此时归类为代表与乘员18不相关的周围像素38方面的像素40设定为像素值56为“0”，且称其为周围像素。在一较佳实施例中，每个像素40仅具有一个像素值56且该值基于作为像素特征42的亮度。
a.设定图像阈值模块产生图像阈值44可包括分析用于某些或全部像素40的一个或多个像素特征42的像素值56的分配的过程。该设定图像阈值模块104可使用图3中的直方图39来记录具有用于像素特征42的一特定像素值56的像素40的个数，例如，亮度值为255的像素40。图3的直方图39可转换为图5所示的累积分布曲线52。图5的累积分布曲线52可用于将所需的N百分比转换为图像阈值44，这种转换基于与在环境图像38中所捕获的像素特征和像素值相关的数字值Y。因此，该直方图39和累积分布曲线52可被用来计算适当的图像阈值，如图4所示。系统16较佳地使用多于一个图像阈值44以包含照明的差别。每个图像阈值44可被创建为使得一预定百分比的像素40低于该图像阈值44。用于一特定图像阈值44的预定百分比可考虑像素40与整个环境图像38的相对位置。
以上详细讨论了直方图39，累积分布曲线52和图像阈值44。
b.执行图像阈值模块执行图像阈值模块根据用于一特定像素42的像素特征42和可应用于被设定的该特定像素42的特定图像阈值44之间的关系来设定单个的像素值56。系统16可修改像素值56以便在一特定像素类的每个像素40享有相同的像素值56。
在一较佳实施例中，将此时归类为代表乘员的分割图像31的像素40设定为第一个二进制值“1”，且可将其称为乘员像素。在一较佳实施例中，所有其他的像素40均被归类为具有第二个二进制值“0”的周围像素。
2.间隙处理子系统在根据一个或多个图像阈值44对某些或所有像素值56进行设定后，系统16可使用间隙处理子系统102以该特定像素40附近的其他像素值56形式的智能方式来修改像素值56，该特定像素40的像素值56是由该系统16设定的。间隙处理子系统102应用一间隙填充或间隙处理试探法来修改像素值56。系统16可基于其他像素值56来改变像素值56，其他像素值56与被改变的像素值56附近的像素40相关。接着可从该修改的像素值56导出乘员18的分割图像31。
间隙处理子系统102可包括一形态处理模块108，一基于动量的处理模块110，一识别和标记像素区域模块112和一基于重力的处理模块114。a.形态处理模块使用一形态处理模块108既可通过将某些乘员像素40改变为周围像素40来除去外层乘员像素40，又可通过将某些周围像素40改变为乘员像素40来将由外层周围像素值56分隔的乘员像素区域66连接在一起。以上详细描述了该形态处理模块108，不同的形态试探法可按任何顺序来实现。
在一较佳实施例中，首先进行垂直形态逼近以除去取向水平的伪像素40，包括乘员18的这些部分，例如向前伸出的手臂。然后进行垂直形态扩张以通过将某些周围像素40转换为乘员像素40来使乘员像素40“长”回它们适当的“尺寸”。
然后以类似的方式进行水平形态逼近，接着进行水平形态扩张以再一次“长出”乘员像素40。
形态处理基于这一有用的假设，即一特定像素40的像素值56通常与特定像素40被设定时在相同附近的像素40的像素值56相关。形态处理是在例如图像阈值44和其他的处理工具的机制中的一种机制，其可使系统16引入邻近像素值56的概念以弥补照相机22的缺陷或由系统16应用的基本智能的缺陷。
以上对用于进行形态处理的垂直组58和水平组60进行了详细的描述，其示于图6a和6b中。
b.基于动量的处理模块基于动量的处理模块110引入基于动量的试探法来设定像素值56。以上对该过程进行了详细的描述。基于动量的试探法引入这样的智能，即一串连续乘员像素的存在增加了在该序列中下一个像素也为乘员像素40的可能性，且应当有分配给该像素40的适当的像素值。足够数量的乘员像素40可具有克服一系列周围像素的“动量”，结果通过基于动量的试探法造成将这些周围像素40重新归类为乘员像素40。
如上详细描述的那样，基于动量的试探法使用一计数器来计算一系列像素值56的动量效果。该计数器确定是否存在足够的“动量”来将一系列的周围像素40重新归类为乘员像素40。系统16在与一特定的像素值56相关的不同的正权值和负权值方面具有灵活性。每次当下一个相邻像素40属于第一像素类，例如乘员像素40时，可将一第一预定数加到计数器值上，每次当下一个相邻的像素40属于第二像素类，例如周围像素40时，可从该计数器值中减去一第二预定数。如果在一系列的周围像素40被乘员像素40的“动量”转换之前计数器到达小于或等于0的值，则剩余的周围像素40序列仍保持为周围像素40。一些实施例可使用线性方法来进行基于动量的处理，一个像素一个像素地应用动量。其他实施例可使用阈值方法，其中，如果乘员像素40的动量不能克服该整个的周围像素40序列，则在该序列中的周围像素40没有一个被重新归类为乘员像素40。
c.识别和标记区域模块系统16可识别像素区域66(乘员像素40的组，其中，每个乘员像素40与至少另一个乘员像素40相邻)。可通过一识别和标记像素区域模块112来进行这种处理。像素区域66可与一唯一的标记相关，且可拥有某些区域特征或属性，例如大小，位置，以及到其他区域66和像素40的距离。图8为包含四个像素区域66的环境图像38的一个例子。像素区域66可由基于重力的处理模块114来使用，而且在不同的实施例中，也可由基于动量的处理模块110来使用。
d.基于重力的处理模块基于重力的处理模块114允许系统16引入以下有用的逻辑假设即与一乘员像素40的区域66相邻或靠近的周围像素40可被简单地错误归类为乘员像素40。上述详细描述了基于重力的试探法。该试探法可包括与乘员像素40相关的初始亮度值42的“质量”，以及与由于乘员像素40的像素区域66和被考虑重新归类的周围像素40之间的“重力”和相对近的距离而被考虑重新归类为乘员像素40的周围像素40的初始发光值42的“质量”。
3.分割成象可从间隙处理子系统102输出乘员18的分割图像31，该分割图像与环境图像38中的乘员18周围的非乘员图像隔离。为展开安全气囊，该椭圆适配子系统116可从由该间隙处理子系统102输出的乘员像素和周围像素40产生一上椭圆80。对于其他实施例，如果需要该乘员的其他视觉特征，则初始像素特征42，在一较佳实施例中例如亮度，可以代替所有乘员像素40的像素值56，结果得到乘员18的分割图像。在一些实施例中，乘员18的分割图像31的二进制轮廓是椭圆适配子系统所需的全部。在其他实施例中，可通过简单地插回(plug back)用于每个分割图像40的初始亮度值来产生视觉上更详细的分割图像31。
4.椭圆适配子系统如上详细讨论的那样，椭圆适配子系统16可用于产生代表乘员18的分割图像31的椭圆80。上椭圆80和与该上椭圆相关的特征可向安全气囊控制器32提供与该乘员18有关的有用信息，以便向该安全气囊展开系统36提供适当的展开指示。
系统16还可被包含在使用乘员18的图像的任何其他系统中，包括但不限于火车，飞机，摩托车或任何其他类型的车辆或结构中，其中乘员18坐在座位20上。该系统16的用处还不仅限于乘员18的图像的领域。
以上已通过多个较佳实施例对本发明的原则和操作方式进行了说明和描述。然而，应当理解，在不脱离本发明的精神和范围的情况下，本发明可用不同于以上特定解释和描述的方式来实现。
权利要求
1.一种改进的图像分割方法，与乘员(18)、用于产生检测器测量结果的检测器(22)，和包括乘员(18)和围绕该乘员的区域(21)的环境图像(38)所使用的改进的图像分割方法，该改进包括以下步骤接收由多个像素(40)和多个初始像素值表示的环境图像(38)，其中，每个所述像素(40)具有至少一个所述的初始像素值；基于与被识别的像素(40)相关的一个或多个像素值，将一个或多个像素(40)识别为属于多个像素类中的一类；建立一用于一个或多个像素(40)的第一修正像素值(42)，其中，在相同像素类中的每个像素(40)具有该相同的第一修正像素值(42)；基于与在被设定的像素(40)附近的一个或多个像素(40)相关的一个或多个第一修正像素值(42)，设定用于一个或多个所述像素(40)的第二修正像素值(42)；且从所述第一修正像素值(42)和所述第二修正像素值(42)导出乘员(18)的分割图像(31)。
2.如权利要求1所述的改进的图像分割方法，其中，识别一个或多个所述像素(40)进一步包括产生一图像阈值(44)。
3.如权利要求2所述的改进的图像分割方法，其中，识别一个或多个所述像素(40)进一步包括将所述多个初始像素值(42)与所述图像阈值(44)进行比较。
4.如权利要求2所述的改进的图像分割方法，其中，产生图像阈值(44)进一步包括分析与一像素特征相关的初始像素值(42)的分布。
5.如权利要求4所述的改进的图像分割方法，其中，分析初始像素值(42)的分布进一步包括将总计的初始像素值(42)记入一直方图(39)；将该直方图(39)转换为一累积分布函数(52)；以及基于低于图像阈值(44)的初始像素值(42)的一预定百分比(54)来计算该图像阈值(44)。
6.如权利要求4所述的改进的图像分割方法，其中，每个像素(40)仅具有一个初始像素值(42)和一个像素特征。
7.如权利要求6所述的改进的图像分割方法，其中，亮度为所述像素特征。
8.如权利要求3所述的改进的图像分割方法，其中，每个所述像素(40)有一个相对于环境图像(38)的像素位置，且所述像素位置确定多个图像阈值(44)中的哪个与用于所述像素位置中的所述像素(40)的所述初始像素值(42)相比较。
9.如权利要求8所述的改进的图像分割方法，其中，将一较高的图像阈值(44)用于具有较亮照明的像素位置。
10.如权利要求1所述的改进的图像分割方法，其中仅有两个像素类。
11.如权利要求1述的改进的图像分割方法，其中，设定该第二修正像素值(42)包括形态试探。
12.如权利要求11所述的改进的图像分割方法，其中，所述形态试探为形态逼近。
13.如权利要求12所述的改进的图像分割方法，其中，该形态试探为形态扩张。
14.如权利要求1所述的改进的图像分割方法，其中，设定该第二修正像素值(42)包括基于动量的试探法。
15.如权利要求14所述的改进的图像分割方法，其中，所述多个像素(40)的子组为一组相邻的像素，其中，所述多个像素类包括第一像素类和第二像素类，且其中，设定该第二像素值(42)进一步包括按顺序分析该相邻像素(40)组中的像素子组(40)；每当在该序列中的下一个像素(40)属于所述第一个像素类时，增加计数器值；及每次当该序列中的下一个像素(40)属于所述第二个像素类时，减小所述计数器值。
16.如权利要求15所述的改进的图像分割方法，其中，当计数器值小于或等于零时该基于动量的试探法停止。
17.如权利要求1所述的改进的图像分割方法，其中，设定该第二修正像素值(42)包括基于重力的试探法。
18.一种结合乘员(18)、检测器(22)和环境图像(38)所使用的改进的图像分割方法，所述检测器(22)用于产生检测器测量结果，所述环境图像(38)包括乘员(18)及围绕该乘员的区域(21)，该改进包括以下步骤接收由多个像素(40)和多个像素值(42)表示的环境图像(38)，其中，所述像素(40)的每一个具有至少一个所述初始像素值(42)；将总计的初始像素值(42)记入一直方图(39)；将该直方图(39)转换成一累积分布函数(52)；使用该累积分布函数(52)计算一图像阈值(44)，使一预定百分比(54)的初始像素值(42)低于该图像阈值(44)；通过将该图像阈值(44)与用于被归类的像素(40)的初始像素值(42)比较来将多个像素中的每个像素(40)归类为多个像素类中的一类；建立第一修正像素值(42)使得在该同一像素类中的每一像素(40)享有相同的第一修正像素值(42)；根据形态试探法将所述第一修正像素值(42)修改为第二修正像素值(42)；使用基于动量的试探法从所述第二修正像素值(42)或所述第一修正像素值(42)确定第三修正像素值(42)；基于该第一修正像素值(42)，第二修正像素值(42)和第三修正像素值(42)识别像素区域(66)；根据基于重力的试探法从像素区域(66)产生第四修正像素值(42)；使用该第四修正像素值(42)导出该乘员(18)的分割图像(31)。
19.如在权利要求18中所述的结合乘员(18)所使用的改进的分割方法，其中导出该乘员(18)的分割图像(31)包括用初始像素值(42)替换代表乘员图像(31)的所述第四修正像素值(42)。
20.一种结合乘员(18)、检测器(22)和环境图像(38)所使用的改进的图像分割系统(16)，所述检测器(22)用于产生检测器测量结果，所述环境图像(38)包括乘员(18)及围绕该乘员的区域(21)，所述改进包括一种图像阈值子系统(100)，它包括代表环境图像(38)的多个像素(40)，和图像阈值试探法，所述图像阈值子系统(100)根据所述图像阈值试探法归类所述多个像素(40)；和一间隙处理子系统(102)，它包括一间隙处理试探法，一个在所述多个像素(40)中的附近像素子组，和多个像素值(42)，所述间隙处理子系统(102)根据所述间隙处理试探法和所述属于所述邻近像素子组中的像素(40)的所述像素值(42)有选择地设定所述像素值(42)；且其中，从所述多个像素(40)中产生一分割图像(31)。
21.如权利要求20所述的改进的图像分割系统(16)，所述图像阈值子系统(100)包括多个亮度值，其中每个所述像素(40)具有至少一个所述的亮度值。
22.如权利要求21所述的改进的图像分割系统(16)，所述图像阈值子系统(100)进一步包括一直方图(39)，其中所述直方图(39)列出所述亮度值的所述像素(40)的个数。
23.如权利要求22所述的改进的图像分割系统(16)，所述图像阈值子系统(100)进一步包括一累积分布曲线(52)，其中，所述直方图(39)通过所述图像阈值子系统(100)被转换为所述累积分布曲线(52)。
24.如权利要求23所述的改进的图像分割系统(16)，所述图像阈值子系统(100)还包括一预定的百分比(54)和一图像阈值(44)，其中所述图像阈值(44)从所述预定的百分比(54)和所述累积分布曲线(52)计算而得。
25.如权利要求24所述的改进的图像分割系统(16)，所述图像阈值子系统(100)包括多个图像阈值(44)且所述像素(40)包括一像素位置，其中，所述像素的所述像素位置确定所述图像阈值子系统(100)将哪一个所述像素阈值(44)用于所述像素(40)。
26.如权利要求24所述的图像分割系统(16)，所述图像阈值子系统(100)进一步包括所述多个像素(40)的第一子组和所述多个像素(40)的第二子组，所述图像阈值子系统(100)利用所述图像阈值(44)将所述多个像素(40)分为所述第一像素(40)子组和所述第二像素(40)子组。
27.如权利要求26所述的图像分割系统(16)，所述图像阈值子系统(100)进一步包括第一二进制值和第二二进制值，其中，所述多个像素(40)的所述第一子组被设定为所述第一二进制值，所述多个像素(40)的所述第二子组被设定为所述第二二进制值。
28.如权利要求27所述的图像分割系统(16)，其中所述多个所述像素(40)的至少大约一半被设定为所述第一二进制值。
29.如权利要求20所述的图像分割系统(16)，所述间隙处理试探法包括形态试探法。
30.如权利要求29所述的图像分割系统(16)，所述形态试探法包括形态逼近。
31.如权利要求29所述的图像分割系统(16)，所述形态试探法包括形态扩张。
32.如权利要求29所述的图像分割系统(16)，所述形态试探法包括基于垂直的形态试探法。
33.如权利要求29所述的图像分割系统(16)，所述形态试探法包括基于水平的形态试探法。
34.如权利要求20所述的图像分割系统(16)，所述间隙处理试探法包括基于动量的试探法，所述邻近像素子组包括一连续像素子组，且所述间隙处理子系统使用所述基于动量的试探法和与所述连续像素子组相关的所述像素值(42)来有选择地设定所述像素值(42)。
35.如权利要求34所述的图像分割系统(16)，所述连续像素子组包括连续的垂直像素(40)子组(58)和连续的水平像素(40)子组(60)，其中，所述基于动量的试探法分析在所述连续垂直像素(40)子组(58)和所述连续水平像素(40)子组(60)中的所述像素值(42)以确定所述多个像素值(40)。
36.如权利要求35所述的图像分割系统(16)，所述基于动量的试探法进一步包括一动量计数器，所述动量计数器确定所述间隙处理子系统何时终止用于所述像素值(42)的所述基于动量的试探法。
37.如权利要求27所述的图像分割系统(16)，所述间隙适配试探法包括一基于重力的试探法，一像素区域(66)和一区域特征；所述多个像素(40)包括一目标像素；其中，所述像素区域(66)包括一个或多个所述像素(40)；其中所述像素区域(66)不包括所述目标像素；且其中所述像素区域(66)为所述邻近像素的一个子组。
38.如权利要求37所述的图像分割系统(16)所述基于重力的试探法进一步包括区域大小和区域距离；其中所述区域大小为在所述像素区域(66)中的所述像素(40)的个数；其中所述区域距离为所述目标像素和所述像素区域(66)的中心点之间的距离；且其中，所述间隙处理子系统(102)根据所述区域大小、所述区域距离和所述基于重力的试探法设定所述目标像素。
全文摘要
本发明为用于将目标人、动物或物体的分割图像(31)从包括该目标人、动物或物体，以及围绕该目标的区域(21)的环境图像(38)中分离出来的图像分割系统(16)和方法。通过向安全气囊展开系统提供乘员的分割图像，本发明支持该安全气囊展开系统区分不同类型乘员(18)的能力。本发明在夜间或涉及光线不足或有不希望的阴影的其他环境中尤其有用。本发明可使用直方图(39)和累积分布函数(52)来设定图像阈值。可使用形态逼近和扩张来设定图像阈值，可使用形态逼近和扩张来从该图像中消除光“噪声”。基于具有类似像素值的区域的“动量”和“重力”来进行间隙填充。可产生一上椭圆(80)来代表乘员(18)的上半身。本发明具有高度的灵活性，且可按照所要求的使用进行改进。
文档编号G06Q40/00GK1427372SQ02156649
公开日2003年7月2日 申请日期2002年12月17日 优先权日2001年12月17日
发明者M·E·法默 申请人:伊顿公司