专利名称：一种基于手部姿态跟踪的违规驾驶行为检测方法
技术领域：
本发明涉及交通信息控制领域和驾驶行为监控预警技术，具体的说是一种基于手部姿态跟踪的驾驶违规行为检测方法。
背景技术：
近年来驾驶行为监控预警技术成为智能交通领域的研究重点之一，对提高驾驶员的驾驶能力并降低其驾驶负荷，协调好驾驶员与车辆以及交通环境之间的关系，从本质上改善交通事故状况具有重要意义。目前驾驶行为监控预警技术的研究大致分为以下几类1、基于驾驶员生理状态感应参数的检测方法。该方法通过测量驾驶员的生理信号来评价驾驶员的驾驶状态，生理状态感应需要驾驶员佩戴很多仪器，难以应用在实际驾驶过程中。2、基于传感器的驾驶行为特征检测方法。这种方法通过直接监视车辆行驶状况来评价驾驶员的驾驶状态，常常需要在驾驶舱范围内安装检测装置，并且存在测量误差和硬件成本较高等限制。3、基于计算机视觉的检测方法。该方法主要通过图像处理和模式识别技术，对驾驶员的头部活动情况、面部特征(如眼睛，头部，脸部)变化情况等特征进行分析，以判断驾驶员的驾驶行为和精神状态，对驾驶员的干扰最小，是目前最具有前景和实用价值的方法。近年来，国内外众多学者利用图像处理技术对驾驶员驾驶行为监控进行了大量研究，尽管如此，绝大部分研究主要集中在疲劳检测方面，通过对驾驶员的面部特征如注视方向、面部表情等特征进行分析，但这只是对驾驶员驾驶行为的间接监控，也容易受驾驶员是否佩戴眼镜、驾驶员眼镜大小和面部差异等因素的影响，并且对面部特征的分析仅仅是驾驶员驾驶行为的一小部分，忽略了驾驶员身体其他部位的活动状态。
发明内容
为了解决上述现有技术所存在的问题，本发明提供了一种基于手部姿态跟踪的违规驾驶行为检测方法，利用图像处理技术和模式识别方法对驾驶员的手部动作进行智能识别。本发明是通过以下的技术方案实现的本发明对从监控视频中读取图像；对读取的图像进行预处理，包括灰度变换、图像滤波、边缘提取、轮廓增强等步骤；从预处理后的图像中检测定位方向盘的轮廓；以方向盘为中心截取相应的感兴趣区域；对截取的区域进行特征提取；对提取的特征进行分类识别，辨别手部姿态是否属于违规驾驶行为。本发明提供了一种基于手部姿态跟踪的违规驾驶行为检测方法，其步骤如下步骤1，从监控视频中读取图像，所读取的有效图像包含方向盘和驾驶员的手部姿态信息；步骤2，对读取的图像进行预处理，得到边缘图像。包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤，增强方向盘和驾驶员的手部姿态的可检测性和最大限度地简化数据，从而改进特征提取和图像识别的可靠性；步骤3，对方向盘定位。对经过预处理得到的边缘图像，利用直接最小二乘椭圆拟合算法对方向盘进行轮廓提取、检测和定位；步骤4，以方向盘为中心截取相应的感兴趣区域，所截取的感兴趣区域是包含方向盘和驾驶员的手部姿态的区域；步骤5，选定简单高斯模型作为肤色模型，运用Chamfer距离变换算法和卡尔曼滤波跟踪算法对截取感兴趣区域的手部姿态运动轨迹进行跟踪和提取；步骤6，对提取的手部姿态运动轨迹进行分类识别，辨别手部姿态是否属于违规驾驶行为。所述的步骤3中，图像中的方向盘形状大部分为椭圆形或圆形，需要对图像进行椭圆检测来对方向盘进行定位。常用的椭圆检测可分为基于投票和最优化的两大类方法。投票类方法的代表算法包括Hough变换和RANSAC等算法。最优化方法则包含最小二乘法和遗传算法等。由于椭圆参数较多，投票类研究的重点一般都在于数据点的筛选和椭圆几何性质的利用。Hough变换，RANSAC都是采用映射的方法，将样本点投影到参数空间，用累加器或者类聚的方法来检测椭圆。这类算法有很好的健壮性，能一次检测多个椭圆，但是需要复杂的运算和大量的存储空间。另一类方法包括最小二乘拟合算法，遗传算法以及其他最优化椭圆拟合方法。这类方法的主要特点在于准确性高，不过通常需要预先进行分割或分组处理，无法直接用于多个椭圆的检测，对噪声的敏感程度高于前一类方法。由于车载视频图像中方向盘轮廓是具备最大的圆或椭圆外形轮廓，即只需检测出一个最大的椭圆形状，所以本发明采用了直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位。所述的步骤4中，感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定。具体截取时，通过从方向盘区域以设定比例系数向外延伸的方式完成截取。对于不同的车型，该比例系数由实验标定或可由用户根据经验设定。所述的步骤5中，对截取的区域进行手部姿态运动轨迹的提取。该步骤中选用简单高斯模型作为肤色模型，并运用Chamfer距离变换算法和卡尔曼滤波跟踪算法对截取区域的手部姿态运动轨迹进行跟踪和提取，具体是1)选用简单高斯模型进行皮肤检测对手部姿态进行跟踪和提取需要先对截取的区域进行肤色提取，检测出手部皮肤的区域。为了检测出皮肤，需要选定合适的肤色模型，对截取区域的手部肤色进行识别。图像处理中常用肤色模型大致分为两类简单阈值分割和概率模型。其中概率模型有直方图模型，简单高斯模型和混合高斯模型。简单高斯模型是假设肤色分布为单峰高斯分布的一种模型。简单高斯模型考虑到了落入肤色模型范围内像素点的分布情况，应用概率密度公式判断像素点属于肤色的概率，而不是直接将所有落入模型范围内的像素点简单归类为肤色点，相对于区域模型能更好的表示肤色分布，因此相对来说它的肤色检测效率也高的多，并且模型的参数也易于计算。本发明采用了简单高斯模型作为肤色模型，这种方法分两步走，首先选择合适的肤色模型并确定模型的参数，参数确定过程如下选取大量符合人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型。然后利用该模型来判别新的像素或区域是否为肤色。2)运用Chamfer距离变换算法获取手部姿态选定简单高斯模型检测出手部皮肤的区域后，再通过骨架提取的方法获取手部的姿态。对于骨架提取，目前已经提出了许多方法，包括基于距离变换的方法和细化方法等。 本发明采用的骨架提取方法是Chamfer距离变换算法。距离变换是针对二值图像的一种变换，在二维空间中，一幅二值图像可以认为仅包含目标和背景两种像素，目标像素值为1，背景像素值为0。实现肤色检测后，对肤色提取得到的二值图像运用该算法，可以得到一幅灰度图像，在该图像中每个像素的灰度值表示该像素与距其最近的背景像素间的距离，因而能够迅速地获取手部骨架并确定其姿态。3)运用卡尔曼滤波跟踪算法跟踪手部运动轨迹获取手部姿态后，通过卡尔曼滤波跟踪算法对手部运动轨迹进行跟踪。根据由卡尔曼滤波算法跟踪得到的运动轨迹，再结合手部的形态特征，能够更好的作为下一步分类识别中分类器的输入，有效提高了识别的效率。所述的步骤6中，对提取的手部姿态运动轨迹进行分类识别。本发明方法采用的是神经网络和贝叶斯网络分类器对手部姿态的运动轨迹进行分类识别，通过识别不同的手部姿态，辨别手部姿态是否属于违规驾驶行为。本发明与现有技术相比，利用了图像处理技术和模式识别方法对驾驶员的手部姿态运动轨迹进行智能识别，先是用直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位，再以方向盘为中心提取相应的感兴趣区域，运用肤色模型中的简单高斯模型检测手部皮肤，接着采用chamfer距离变换算法对手部姿态进行骨架提取，通过卡尔曼滤波跟踪算法对手部姿态运动轨迹进行跟踪。最后对识别的手部姿态运动轨迹采用神经网络和贝叶斯网络分类器对其进行分类识别，辨别手部姿态是否属于违规驾驶行为，这种利用图像处理技术和模式识别方法，研究一种通过分析驾驶员肢体活动状态从而对异常驾驶行为正确识别分类的检测方法，通过对手部姿态运动轨迹的特征进行分析，以判断驾驶员的驾驶行为和精神状态，突破传统疲劳驾驶检测方法的局限；由于驾驶员无需佩戴仪器对驾驶员的干扰最小；本发明所涉及的方法是图像处理、模式识别等研究领域的重要研究内容，稳定性和可靠性高，具有较好的实际推广价值。
图1是基于手部姿态跟踪的违规驾驶行为检测方法的流程 2 是 Chamfer 3-4 模板图。
具体实施例方式参照图1，提供下述实施例；通过实施例将有助于理解本发明，但不限制本发明的内容。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形均应认为是本发明的保护范围。本实施方式的检测方法包括从监控视频中读取图像；对读取的图像进行预处理，包括灰度变换、图像滤波、边缘提取、轮廓增强等步骤；从预处理后的图像中检测定位方向盘的轮廓；以方向盘为中心截取相应的感兴趣区域；对截取的区域进行特征提取；对提取的特征进行分类识别，辨别手部姿态是否属于违规驾驶行为。上述检测方法的具体流程如图1所示，具体步骤如下步骤1，从监控视频中读取图像，所读取的有效图像包含方向盘和驾驶员的手部姿态信息；步骤2，对读取的图像进行预处理，包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤，增强方向盘和驾驶员的手部姿态等有关信息的可检测性和最大限度地简化数据，从而改进特征提取和图像识别的可靠性；步骤3，对方向盘定位。对经过预处理得到的边缘图像，利用直接最小二乘椭圆拟合算法对方向盘的轮廓进行检测和定位；步骤4，以方向盘为中心截取相应的感兴趣区域，所截取的感兴趣区域是包含方向盘和驾驶员的手部姿态等信息的区域；步骤5，选定简单高斯模型作为肤色模型，运用Chamfer距离变换算法和卡尔曼滤波跟踪算法对截取区域的手部姿态运动轨迹进行跟踪和提取；步骤6，对提取的手部姿态运动轨迹进行分类识别，辨别手部姿态是否属于违规驾驶行为。所述的步骤2中，对读取的图像进行预处理，包括灰度变换、图像滤波、边缘提取和轮廓增强四个步骤，从常用的图像预处理方法中选择均值滤波和Carmy算子作为图像预处理中的滤波和边缘检测方法，增强方向盘和驾驶员的手部姿态等有关信息的可检测性和最大限度地简化数据，从而改进特征提取和图像识别的可靠性。所述的步骤3中，图像中的方向盘形状大部分为椭圆形或圆形，需要对图像进行椭圆检测来对方向盘进行定位。常用的椭圆检测可分为基于投票和最优化的两大类方法。投票类方法的代表算法包括Hough变换和RANSAC等算法。最优化方法则包含最小二乘法和遗传算法等。由于椭圆参数较多，投票类研究的重点一般都在于数据点的筛选和椭圆几何性质的利用。Hough变换，RANSAC都是采用映射的方法，将样本点投影到参数空间，用累加器或者类聚的方法来检测椭圆。这类算法有很好的健壮性，能一次检测多个椭圆，但是需要复杂的运算和大量的存储空间。另一类方法包括最小二乘拟合算法，遗传算法以及其他最优化椭圆拟合方法。这类方法的主要特点在于准确性高，不过通常需要预先进行分割或分组处理，无法直接用于多个椭圆的检测，对噪声的敏感程度高于前一类方法。由于车载视频图像中方向盘轮廓是具备最大的圆或椭圆外形轮廓，即只需检测出一个最大的椭圆形状，所以本发明采用了直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位。由于车载视频图像中方向盘轮廓具备最大的圆或椭圆外形轮廓，所以对经过预处理得到的边缘图像， 可以采用直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位。 直接最小二乘椭圆拟合算法是先假定椭圆的各参数，然后计算各待拟合点到该假设椭圆的距离的平方之和，最后求出满足这个和最小的参数，即为假定椭圆的参数。所述的步骤4中，完成对方向盘区域的定位后，以方向盘为中心截取相应的感兴趣区域。感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定。具体截取时，通过从方向盘区域以设定的比例系数向外延伸的方式完成截取。对于不同的车型，该比例系数由实验标定或可根据经验设定。所述的步骤5中，是对截取的区域进行特征提取。其中最重要的是手部特征，选定简单高斯模型作为肤色模型，对截取区域的手部肤色的区域进行识别。这种方法分两步走， 首先选择合适的肤色模型并确定模型的参数，参数确定过程如下选取大量符合人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型。然后利用该模型来判别新的像素或区域是否为肤色。首先本实施方式选择在YCbCr颜色空间中建立肤色模型。YCbCr是被欧洲电视系统所采用的一种颜色编码方法，其中Y表示亮度(Luminance或Luma)，Cr和Cb表示的是色度(Chrominance或Cbroma)，作用是描述图像的色彩和饱和度，用于指定像素的颜色。为了使肤色模型更加适应中国人的肤色特点，本实施方式从30张图像中选取了 675000个肤色像素点，统计得到这些肤色像素点样本在YCbCr颜色空间中的三维色度分布情况。对肤色像素点的Cb' ,Cr'值进行计算和统计，得到每个肤色点的色度信息Cb' ,Cr'所组成的向量X= (Cb' Cr' )τ，则均值m = E(X)，协方差矩阵C = E{(x-m) (x-m)T}，通过对实验
"84.197 10.489"
样本的统计得出m= [112.61 141. 99],C=，由此建立的肤色高斯模型。
lUo.4 /
利用所建立的肤色高斯模型，可以用高斯分布的概率表达式求得图像中任意像素的肤色似然度，即得到图像中任意一个像素点属于肤色的概率值P (Cb' , Cr' ) = exp {-O· 5 (x_m)TC_1 (x_m)}利用肤色高斯模型检测出肤色像素以后，即可根据其在空间上的几何相关性以及色度上的相似性分割出可能为肤色的区域，实现肤色检测。距离变换是针对二值图像的一种变换，在二维空间中，一幅二值图像可以认为仅包含目标和背景两种像素，目标像素值为1，背景像素值为0。实现肤色检测后，对手部肤色提取得到的二值图像，选用3X3的Chamfer 3-4模板，如附图2所示，对图像进行Chamfer 距离变换。首先，图像上的特征点初始化为0，非特征点初始化为无穷大，然后每个模板依次对图像遍历一次向前的扫描从左往右、由上向下进行，向后的扫描则相反，先右后左、自下到上。每一步的中心像素的更新过程，模板的中心置于图像每个像素的上，然后将模板像素上的局部距离值Cn加到模板下方的对应像素的距离值上，并将中心像素的值更新为这些值中的最小值，直到所有像素的值不再改变为止。经过相反方向的两次遍历更新操作后，距离变换也就计算好了。按序算法过程如下
Forward for i = (size+l)/2, ...,linesdofor j = (size+1)/2, ...,columns doij (ij'^s forward mask i+、J+l ^ ^Backwardfor i = lines-(size-1)/2，…，1 dofor i = columns-(size-1)/2, ".，1 do{^i J^backward mask ^^ ^
8
其中ν。为图像上像素(i，j)在第m次迭代的值，(k，1)为模板相对其中心(0，0) 的位置坐标，而c(k，1)为模板在(k，1)处的局部距离值，此处的“size”为模板的边长。采用Chamfer距离变换算法作为骨架提取方法获取手部的姿态，可以得到一幅灰度图像，在该图像中每个像素的灰度值表示该像素与距其最近的背景像素间的距离，因而能够迅速地获取手部骨架并确定其姿态。获取手部姿态后，通过卡尔曼滤波跟踪算法对手部运动轨迹进行跟踪。因为跟踪过程中两帧图像间的时间间隔较短，运动目标状态变化较小，所以目标的运动可以看作是勻速的，目标在每一帧的运动特征可以用它的位置和速度来描述。在本发明中选取的目标为手部中心点，并以手部中心点的坐标位置和运动速度作为输入，利用卡尔曼滤波器预测目标的运动状态。设(xk，yk)为k时刻手部中心点的位置，(Spdxk，Spdyk)为k时刻手部中心点在χ 方向和y方向的运动速度，则k时刻手部中心点的状态向量为& = [xk, yk，Spdxk, SpdyJτ, 观测向量为4= [xk，yk]T。由于未加外部控制量，而且过程噪声不可观测，因此系统的状态方程和观测方程可分别表示为
权利要求
1.一种基于手部姿态跟踪的违规驾驶行为检测方法，其特征在于包括从监控视频中读取图像；对读取的图像进行预处理，包括灰度变换、图像滤波、边缘提取、轮廓增强处理；从预处理后的图像中检测定位方向盘的轮廓；以方向盘为中心截取相应的感兴趣区域；对截取的区域进行特征提取；对提取的特征进行分类识别，辨别手部姿态是否属于违规驾驶行为。
2.根据权利要求1所述的检测方法，其特征在于包括如下步骤步骤1，从监控视频中读取图像，所读取的有效图像包含方向盘和驾驶员的手部姿态信息；步骤2，对读取的图像进行预处理，得到边缘图像，包括灰度变换、图像滤波、边缘提取和轮廓增强处理；步骤3，对方向盘定位，对经过预处理得到的边缘图像，利用直接最小二乘椭圆拟合算法对方向盘进行轮廓提取、检测和定位；步骤4，以方向盘为中心截取相应的感兴趣区域，所截取的感兴趣区域是包含方向盘和驾驶员的手部姿态的区域；步骤5，选定简单高斯模型作为肤色模型，运用Chamfer距离变换算法和卡尔曼滤波跟踪算法对截取感兴趣区域的手部姿态运动轨迹进行跟踪和提取；步骤6，对提取的手部姿态运动轨迹进行分类识别，辨别手部姿态是否属于违规驾驶行为。
3.根据权利要求2所述的检测方法，其特征在于步骤3中，图像中的方向盘形状大部分为椭圆形或圆形，需要对图像进行椭圆检测来对方向盘进行定位；采用直接最小二乘椭圆拟合算法检测出最大的椭圆形状来完成对方向盘区域的定位。
4.根据权利要求2所述的检测方法，其特征在于步骤4中，感兴趣区域的截取主要由方向盘的中心位置、大小和驾驶员头部轮廓特征的位置对应关系决定，具体截取时，从方向盘区域以设定比例系数向外延伸的方式完成截取；对于不同的车型，该比例系数由实验标定或可由用户根据经验设定。
5.根据权利要求2所述的检测方法，其特征在于所述的步骤5具体包括1)选用简单高斯模型进行皮肤检测选取大量符合人体肤色特征的像素点作为样本，统计其分布并建立肤色高斯模型，然后利用该模型来判别新的像素或区域是否为肤色；2)运用Chamfer距离变换算法获取手部姿态选定简单高斯模型检测出手部皮肤的区域后，再通过骨架提取的方法获取手部的姿态，采用的骨架提取方法是Chamfer距离变换算法，对肤色提取得到的二值图像运用该算法，得到一幅灰度图像，在该图像中每个像素的灰度值表示该像素与距其最近的背景像素间的距离，因而能够迅速地获取手部骨架并确定其姿态；3)运用卡尔曼滤波跟踪算法跟踪手部运动轨迹获取手部姿态后，通过卡尔曼滤波跟踪算法对手部运动轨迹进行跟踪，根据由卡尔曼滤波算法跟踪得到的运动轨迹，再结合手部的形态特征，作为下一步分类识别中分类器的输入，提高识别的效率。
6.根据权利要求2所述的检测方法，其特征在于步骤6中，采用神经网络和贝叶斯网络分类器对手部姿态的运动轨迹进行分类识别，通过识别不同的手部姿态，辨别手部姿态是否属于违规驾驶行为。
7.根据权利要求6所述的检测方法，其特征在于步骤6具体实现过程如下1)根据不同的车型，按设定比例和数量选取各种驾驶行为的图片；2)运用前述步骤对选取的图像进行处理得到与各类驾驶行为对应的运动状态参数，组成训练实例集；3)用训练实例集对神经网络和贝叶斯网络分类器进行训练得到适应于各类车型的驾驶行为分类器；通过分类器即可识别不同的手部姿态，手部姿态包括正常的驾驶手部姿态、离开方向盘设定时间的违规驾驶行为手部姿态以及驾驶时抽烟的违规驾驶行为手部姿态。
全文摘要
本发明公开一种基于手部姿态跟踪的违规驾驶行为检测方法，包括以下步骤步骤1、从监控视频中读取图像；步骤2、对读取的图像进行预处理，包括灰度变换、图像滤波、边缘提取、轮廓增强等步骤；步骤3、方向盘定位；步骤4、以方向盘为中心截取相应的感兴趣区域；步骤5、对截取的区域进行特征提取；步骤6、对提取的特征进行分类识别，辨别手部姿态是否属于违规驾驶行为。本发明能够有效识别驾驶员在驾驶期间是否有违规行为，可以有效的避免因驾驶员违规操作而造成的交通事故。
文档编号G06K9/00GK102289660SQ20111021119
公开日2011年12月21日 申请日期2011年7月26日 优先权日2011年7月26日
发明者徐建闽, 林培群, 林钰龙, 沈文超, 黄思博 申请人:华南理工大学, 广州运星科技有限公司