一种基于车载视频监控的驾驶员吸烟行为实时监测方法
【专利摘要】本发明公开了一种基于车载视频监控的驾驶员吸烟行为实时监测方法，包括以下步骤：获取车载监控摄像头视频数据；提取监控视频数据的亮度分量；设定感兴趣区域，并对所述感兴趣区域进行阈值化处理；对阈值化以后视频帧中的设定亮度区域依次进行形态学腐蚀运算、形态学膨胀运算、进行基于模板的区域生长后，得到初始掩膜图像；将形态学腐蚀运算后的视频帧与形态学膨胀运算后的视频帧相减，得到掩模图像；得到取阈值之后的特征亮度值；根据取阈值之后的特征亮度值中非零像素的数量，判断是否存在吸烟行为。本发明有益效果：可在大型乘用车辆上实现对驾驶员吸烟行为的实时监测和报警，无需人工参与。
【专利说明】
一种基于车载视频监控的驾驶员吸烟行为实时监测方法
技术领域
[0001 ]本发明涉及一种基于车载视频监控的驾驶员吸烟行为实时监测方法。
【背景技术】
[0002] 大型乘用车辆是重要的交通工具。近年来随着这类车辆的不断增多，因交通引发 的问题也日益凸显。其中，驾驶员不良驾驶行为是造成交通事故的主要原因。这些驾驶行为 包括行车过程中打手机、吸烟、疲劳驾驶等。在上述驾驶员的不良行为中，吸烟行为可能导 致如下不良后果：导致驾驶员注意力分散，容易引起事故;可能诱发车内火灾;严重恶化车 内空气质量，引发乘客的不适，造成乘客投诉。对驾驶员吸烟行为实行有效的远程监测和实 时预警，一方面能从根源上有效避免驾驶员不安全驾驶行为导致的交通事故，另一方面也 有利于对驾驶员进行更有效的管理，改变驾驶员行车驾驶习惯，减少交通事故造成的损失。
[0003] 当前针对驾驶员吸烟行为的检测方法中，包括:利用多信息融合方法实现吸烟行 为的检测;利用汽车行驶速度、加减速等信息提示驾驶员；利用颜色空间检测驾驶员手部， 再通过机器学习实现动作识别以及利用高斯函数建模实现对驾驶员主要针对疲劳驾驶的 异常行为的检测等等;但是，上述方法均无法专门实现针对驾驶员吸烟行为的实时监测。
【发明内容】
[0004] 为解决现有技术的缺陷，本发明具体公开了一种基于车载视频监控的驾驶员吸烟 行为实时监测方法，通过大型乘用车辆内部的摄像头和数字硬盘录像机，实时监测驾驶员 的吸烟行为并给出报警信息。该方法成本低，可靠性高，易于推广使用。
[0005] 为实现上述目的，本发明的具体方案如下：
[0006] -种基于车载视频监控的驾驶员吸烟行为实时监测方法，包括以下步骤：
[0007] (1)获取车载监控摄像头视频数据；
[0008] (2)提取监控视频数据的亮度分量；
[0009] (3)设定感兴趣区域，并对所述感兴趣区域进行阈值化处理;对阈值化以后视频帧 中的设定亮度区域进行形态学腐蚀运算；
[0010] (4)对形态学腐蚀运算后的视频帧中的设定亮度区域进行形态学膨胀运算；
[0011] (5)形态学膨胀运算后的视频帧中的设定亮度区域进行基于模板的区域生长，得 到初始掩膜图像；
[0012] (6)形态学膨胀运算后的视频帧中的设定亮度区域进行形态学腐蚀运算;并将形 态学腐蚀运算后的视频帧与形态学膨胀运算后的视频帧相减，得到掩模图像；
[0013] (7)根据上述掩模图像得到特征亮度值;将所得到的特征亮度值与设定阈值进行 对比，得到取阈值之后的特征亮度值；
[0014] 根据取阈值之后的特征亮度值中非零像素的数量，判断是否存在吸烟行为。
[0015] 进一步地，所述步骤(3)中，设定感兴趣区域具体为：
[0016]
[0017] 其中，Rect_yn(i，j)表示Rect_yn在像素点（i，j)处的亮度分量;&&表示逻辑与运算 符;令Rect_y n表示在yn中人工选定的感兴趣区域，其左上角坐标为(X1，yi)，右下角坐标为 (X2，y2); i表示像素点的横坐标，j表示像素点的纵坐标。
[0018] 进一步地，所述步骤(3)中，对感兴趣区域进行阈值化处理具体为：
[0019]
[0020] 其中，Rect_yn_t (i，j)表示Rect_yn_1^像素点（i，j)处的亮度分量，T为设定阈值。
[0021] 进一步地，所述步骤(5)中，进行基于模板的区域生长的方法具体为：
[0022] (a)判定Rect_yn_t_morph_2中设定亮度值的区域的边界点，将这些边界点记为B， B(i，j)表示在像素点（i，j)处的亮度值；
[0023] (b)$NB(1'W表示（i，j)的邻域，N(p，q) B(1'W表示（i，j)的邻域在像素点(p，q)的亮 度分量，P表示横坐标，q表示纵坐标;如果满足条件1:
[0024] (N(p，q)B(1'j)#255)&&(Rect_y n_t_morph_2(p，q) = 255);
[0025] 则进行如下操作
[0026] Rect_yn_t_morph_2(p, q) = 255 ；
[0027] 其中Rect_yn_t_morph_2(p, q)表示 Rect_yn_t_morph_2 在像素点（p, q)处的亮度 值；
[0028] (c)重复执行步骤(a)-(b)过程，直至条件1不再满足为止。
[0029] 进一步地，所述步骤(7)中，根据掩模图像得到特征亮度值具体为：
[0030]
[0031 ]其中1^(31:_711_€631：11代（;[，」）表示特征亮度值;1^(31:_7 11(;[，」）表示设定的感兴趣 Rect_yn在像素点（x，y)处的亮度分量;Rect_yn_mask(i，j)表示掩模图像Rect_y n_mask在像 素点（i，j)处的亮度值。
[0032] 进一步地，所述步骤(7)中，取阈值之后的特征亮度值具体为：
[0033]
[0034] 其中，Tf表示对特征亮度值Rect_yn_feature(i，j)的阈值。
[0035]进一步地，所述步骤(7)中，如果取阈值之后的特征亮度值中非零像素的数量超过 设定的阈值，则判断存在吸烟行为，发出报警信号。
[0036]本发明有益效果：
[0037]本发明可在大型乘用车辆上实现对驾驶员吸烟行为的实时监测和报警，无需人工 参与;无需借助机器学习或复杂的数学运算实现吸烟行为监测，处理速度快，对车载监控系 统的软硬件资源要求不高;算法可移植性好，适用性强。
【附图说明】
[0038] 图1为本发明方法流程图；
[0039] 图2为本发明实施例获取的视频输出格式数据示意图；；
[0040] 图3为本发明实施例提取监控视频数据的亮度分量示意图；
[0041] 图4为本发明实施例感兴趣区域不意图；
[0042]图5为本发明实施例进行阈值化处理后的视频帧示意图；
[0043] 图6为本发明实施例进行形态学腐蚀运算后的结果示意图；
[0044] 图7为本发明实施例进行形态学膨胀运算后的结果示意图；
[0045] 图8为本发明实施例进行基于模板的区域生长后的结果示意图；
[0046] 图9为本发明实施例得到的特征亮度值示意图；
[0047] 图10为本发明实施例最终得到的结果示意图。
【具体实施方式】
[0048] 下面结合附图对本发明进行详细说明：
[0049] 本发明方法所需硬件设备包括车载嵌入式设备和监控摄像头，两者通过视频传输 和控制线连接。其中摄像头用于实现视频采集，车载嵌入式设备用于对图像进行处理以及 实时报警。
[0050] 其中，车载嵌入式设备通过数字硬盘录像机及其控制芯片构成，对获取的图像进 行本发明所述的处理步骤后，如果确定存在吸烟行为，则进行报警。
[0051] 本发明公开了一种基于车载视频监控的驾驶员吸烟行为实时监测方法，如图1所 示，包括以下步骤：
[0052] (1)获取车载监控摄像头视频数据；
[0053] (2)提取监控视频数据的亮度分量；
[0054] (3)设定感兴趣区域，并对所述感兴趣区域进行阈值化处理;对阈值化以后视频帧 中的设定亮度区域进行形态学腐蚀运算；
[0055] (4)对形态学腐蚀运算后的视频帧中的设定亮度区域进行形态学膨胀运算；
[0056] (5)形态学膨胀运算后的视频帧中的设定亮度区域进行基于模板的区域生长，得 到初始掩膜图像；
[0057] (6)形态学膨胀运算后的视频帧中的设定亮度区域进行形态学腐蚀运算;并将形 态学腐蚀运算后的视频帧与形态学膨胀运算后的视频帧相减，得到掩模图像；
[0058] (7)根据上述掩模图像得到特征亮度值;将所得到的特征亮度值与设定阈值进行 对比，得到取阈值之后的特征亮度值；
[0059] 根据取阈值之后的特征亮度值中非零像素的数量，判断是否存在吸烟行为。
[0060] 具体实现方法如下：
[0061] 1.1获取车载监控摄像头视频数据(YUV420格式）
[0062] 本发明针对的是车载摄像头常用的视频输出格式YUV 4: 2:0。本实施例获取的视 频输出格式数据如图2所示。令摄像头输出的视频帧为vn，其中η表示帧序号。
[0063] 1.2提取监控视频数据的亮度分量
[0064]令，表示视频帧vn的亮度分量，yn(i，j)表示视频帧vn中的像素点（i，j)处的亮度 分量，其中i表示像素点的横坐标，j表示像素点的纵坐标。本实施例提取监控视频数据的亮 度分量如图3所不。
[0065] 1.3设定感兴趣区域
[0066]令Rect_yn表示在yn中人工选定的感兴趣区域(矩形），其左上角坐标为(xi，yi)，右 下角坐标为(X2，y2)，这里X1表示左上角的横坐标，yi表示左上角的纵坐标， X2表示右下角的 横坐标，y2表示右下角的纵坐标。设定7"中的感兴趣区域，即
[0067]
[0068]其中Rect_yn(i，j)表示Rect_yn在像素点（i，j)处的亮度分量，&&表示逻辑与运算 符。
[0069] 本实施例中感兴趣区域如图4所示。
[0070] 1.4对感兴趣区域进行阈值化处理
[0071] 令Rect_yn_t表示对Rect_yn进行阈值化处理后的视频帧，即
[0072]
[0073] 其中Rect_yn_t(i，j)表示像素点（i，j)处的亮度分量，T为阈值。
[0074]本实施例进行阈值化处理后的视频帧如图5所示。
[0075] 1.5对感兴趣区域进行腐蚀运算
[0076]对Rect_yn_t中的亮度值为255的区域进行形态学腐蚀运算，即 [0077]
[0078] 其中ReCt_yn_t_m〇rph_l表示Rect_yn_t腐蚀运算后的视频帧，?表示腐蚀运算符， S为形状算子。
[0079] 本实施例进行形态学腐蚀运算后结果如图6所示。
[0080] 1.6对区域进行膨胀运算
[0081 ] 对Rect_yn_t_morph_l中的亮度值为255的区域进行形态学膨胀运算，即
[0082]
[0083] 其中Rect_yn_t_morph_2表示对Rect_yn_t_morph_l进行膨胀运算后的视频帧，? 表示膨胀运算符。
[0084]本实施例进行形态学膨胀运算后的结果如图7所示。
[0085] 1.7对区域进行基于模板的区域生长
[0086]对Rect_yn_t_morph_2中的亮度值为255的区域进行基于模板的区域生长，本实施 例进行基于模板的区域生长后的结果如图8所示。
[0087]其具体实施过程为：
[0088] (a)判定Rect_yn_t_morph_2中亮度值为255的区域的边界点，将这些边界点记为 8,8(1，」)表示在像素点(1』处的亮度值；
[0089] (b)$NB(1'W表示（i，j)的邻域，表示（i，j)的邻域在像素点(p，q)的亮 度分量，P表示横坐标，q表示纵坐标。如果满足条件
[0090] (N(p，q)B(1'j)辛 255)&&(Rect_yn_t_morph_2(p，q) = 255)(条件 1)
[0091] 则进行如下操作
[0092] Rect_yn_t_morph_2(p, q) = 255 (5)
[0093]其中Re ct_yn_t_morph_2(p, q)表示Rect_yn_t_morph_2在像素点（i , j)处的亮度 值；
[0094] (c)重复执行步骤(a)-步骤(b)所示过程，直至条件1不再满足为止。
[0095] 1.8特征提取
[0096] 对由步骤1.7得到的Rect_yn_t_morph_2中亮度值为255的区域进行形态学腐蚀运 算，并且与Rect_yn_t_morph_2相减，即
[0097]
[0098] 其中，Rect_yn_mask表不掩模图像。又令Rect_yn_mask( i，j)表不Rect_yn_mask在 像素点（i，j)处的亮度值，则
[0099]
[0100] 其中，Rect_yn_feature(i，j)表示特征亮度值。
[0101] 本实施例得到的特征亮度值如图9所示。
[0102] 1.9输出检测结果
[0103] 令Tf表示对Rect_yn_feature(i，j)的阈值，那么
[0104]
[0105]其中，Rect_yn_feature_T(i，j)表示对Rect_y n_feature(i，j)取阈值之后的结果。 本实施例得到的结果如图10所示。
[0106]若Rect_yn_feature_T( i，j)中非零像素的数量超过设定的数值，则确认存在吸烟 行为。
[0107] 1.10重复上述步骤
[0108] 获取由摄像头拍摄的下一帧视频图像(YUV420格式），重复上述1.1-1.9描述的步 骤。
[0109] 上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范 围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不 需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【主权项】
1. 一种基于车载视频监控的驾驶员吸烟行为实时监测方法，其特征是，包括W下步骤： (1) 获取车载监控摄像头视频数据； (2) 提取监控视频数据的亮度分量； (3) 设定感兴趣区域，并对所述感兴趣区域进行阔值化处理;对阔值化W后视频帖中的 设定亮度区域进行形态学腐蚀运算； (4) 对形态学腐蚀运算后的视频帖中的设定亮度区域进行形态学膨胀运算； (5) 形态学膨胀运算后的视频帖中的设定亮度区域进行基于模板的区域生长，得到初 始掩膜图像； (6) 形态学膨胀运算后的视频帖中的设定亮度区域进行形态学腐蚀运算;并将形态学 腐蚀运算后的视频帖与形态学膨胀运算后的视频帖相减，得到掩模图像； (7) 根据上述掩模图像得到特征亮度值;将所得到的特征亮度值与设定阔值进行对比， 得到取阔值之后的特征亮度值； 根据取阔值之后的特征亮度值中非零像素的数量，判断是否存在吸烟行为。2. 如权利要求1所述的一种基于车载视频监控的驾驶员吸烟行为实时监测方法，其特 征是，所述步骤(3)中，设定感兴趣区域具体为：其中，Rect_yn( i , j)表示Rect_y%像素点（i，j)处的亮度分量;&&表示逻辑与运算符； 令Rect_yD表示在yD中人工选定的感兴趣区域，其左上角坐标为(XI,yi)，右下角坐标为(X2, 72); i表示像素点的横坐标，j表示像素点的纵坐标。3. 如权利要求2所述的一种基于车载视频监控的驾驶员吸烟行为实时监测方法，其特 征是，所述步骤(3)中，对感兴趣区域进行阔值化处理具体为：， 其中，Rect_yn_t (i , j)表示1?6(31:_7"_1：在像素点（i , j)处的亮度分量，T为设定阔值。4. 如权利要求1所述的一种基于车载视频监控的驾驶员吸烟行为实时监测方法，其特 征是，所述步骤(5)中，进行基于模板的区域生长的方法具体为： (a) 判定Rect_yn_t_mo^h_2中设定亮度值的区域的边界点，将运些边界点记为B，B(i， j)表示在像素点（i，j)处的亮度值； (b) 令表示（i，j)的邻域，N(p，q)B(i'"表示（i，j)的邻域在像素点（p，q)的亮度分 量，P表示横坐标，q表示纵坐标;如果满足条件1: (N(p'q)B(i'j)声255)&&(Rect_yn_t_morph_2(p,q) =255); 则进行如下操作 Rect_y"_t_morph_2(p,q) =255； 其中1?6(31:_7。_1：_1]1〇巧11_2(9,9)表示1^(31:_7。_1：_1]1〇巧11_2在像素点（9,9)处的亮度值； (C)重复执行步骤(a)-(b)过程，直至条件1不再满足为止。5. 如权利要求1所述的一种基于车载视频监控的驾驶员吸烟行为实时监测方法，其特 征是，所述步骤(7)中，根据掩模图像得到特征亮度值具体为：其中Rect_yn_feature(i,j)表示特征亮度值;Rect_yn(i,j)表示设定的感兴趣Rect_yn 在像素点(X，y)处的亮度分量;Rect_yn_mask(i , j)表示掩模图像Rect_yn_mask在像素点（i， j)处的亮度值。6. 如权利要求1所述的一种基于车载视频监控的驾驶员吸烟行为实时监测方法，其特 征是，所述步骤(7)中，取阔值之后的特征亮度值具体为：其中，T康示对特征亮度值Rect_yn_f ea1:ure (i，j)的阔值。7. 如权利要求1所述的一种基于车载视频监控的驾驶员吸烟行为实时监测方法，其特 征是，所述步骤(7)中，如果取阔值之后的特征亮度值中非零像素的数量超过设定的阔值， 则判断存在吸烟行为，发出报警信号。
【文档编号】G08B21/12GK105976570SQ201610339767
【公开日】2016年9月28日
【申请日】2016年5月20日
【发明人】万洪林, 白成杰
【申请人】山东师范大学