一种基于公路监控设备的货车安全带系挂状态的检测方法
【专利摘要】本发明提供了一种基于公路监控设备的货车安全带系挂状态的检测方法，步骤1：从公路监控设备中获取监控图像；步骤2：依据汽车与背景物特征对监控图像进行预处理后，采用积分投影定位原始监控图像中的车身区域；步骤3：利用hough变换从车身区域中定位车窗区域；步骤4：直线检测；利用直线检测方法，检测车窗区域中直线斜率是否在0.75-1.2之间，若直线斜率在0.75-1.2之间，则判断车窗区域中的驾驶员已系安全带；否则，判定车窗区域中的驾驶员未系安全带。利用车身及车窗区域，定位安全带所在区域，逐步缩小检测范围，提高了安全带检测的准确率和效率，能够代替人眼，进行自动判别，提高了安全带系挂检测的准确率和效率。
【专利说明】一种基于公路监控设备的货车安全带系挂状态的检测方法 【技术领域】
[〇〇〇1] 本发明涉及交通安全图片的目标物定位和检测【技术领域】，特别涉及一种基于公路 监控设备的货车安全带系挂状态的检测方法。 【背景技术】
[0002] 货车安全带是汽车行驶中保障司机安全驾驶和降低交通事故中死伤率的一个重 要设备。
[0003] 在最新的技术研究中，由公路上拍摄的图片进行安全带的识别方法一般是通过定 位车牌，接着根据车牌位置，利用车身和车窗的比例关系定位车窗，然后寻找方向盘位置， 再利用直线特征去检测安全带的存在。这种方法，首先，由于拍摄角度的问题，车牌定位时 裁切尺寸不统一，不能准确定位所有的车牌；其次，根据车牌位置，利用车身和车窗的比例 定位车窗有较大的误差；最后，采用现有的canny边缘检测，由于方向盘边缘在检测中不具 备连续性，导致方向盘位置很难高效率的找到。除此之外，还有通过定位人脸，根据人脸坐 标找出人体区域，在区域内检测安全带的方法等等。
[0004] 在实际应用中，我们一般还是通过人眼来判别货车驾驶员是否系挂安全带。由于 图片数量的巨大，需要耗费相当大的人力，物力。
【发明内容】
[0005] 本发明的目的在于克服现有的安全带检测方法在定位车牌和方向盘中心位置上 的准确度不足，本发明提供了一种新的能够准确检测货车驾驶员是否系挂安全带的方法。
[0006] 一种基于公路监控设备的货车安全带系挂状态的检测方法，包括以下几个步骤：
[0007] 步骤1 :从公路监控设备中获取监控图像；
[0008] 步骤2 :依据汽车与背景物特征对监控图像进行预处理后，采用积分投影定位步 骤1获得的原始监控图像中的车身区域；
[0009] 所述预处理依次包括图像灰度化、图像滤波、边缘检测及背景噪音去除操作；
[0010] 步骤3 :利用hough变换从车身区域中定位车窗区域；
[0011] 步骤4:直线检测；
[0012] 利用直线检测方法，检测车窗区域中直线斜率是否在0. 75-1. 2之间，若直线斜率 在0. 75-1. 2之间，则判断车窗区域中的驾驶员已系安全带；否则，判定车窗区域中的驾驶 员未系安全带。
[0013] 所述步骤2包括以下步骤：
[0014] 步骤2. 1 :对监控图像进行图像灰度化操作获得灰度图像，只保留图像灰度信息；
[0015] 步骤2. 2 :采用阈值为10、形状为square的结构算子对灰度图像进行开运算和差 分运算；
[0016] 步骤2. 3 :对步骤2. 2得到的图像进行维纳滤波操作，然后进行基于sobel算子的 边缘检测，阈值为〇. 08 ;
[0017] 步骤2· 4 :对步骤2· 3得到的图像用bwareaopen函数进行去噪处理；
[0018] 步骤2. 5 :对步骤2. 4得到的图像分别进行水平和垂直积分投影，将水平、垂直两 个方向上的像素投影点的像素累计值大于5且小于40、累计值大于10且小于30的点分别 标记出来，标记出的点对应的区域即为汽车车身区域。
[0019] 所述步骤3利用hough变换从车身区域中定位车窗区域的具体步骤如下；
[0020] 步骤3. 1 :将车身区域图像进行灰度化操作后，再进行直方图均衡化操作，获得直 方图均衡化图像；
[0021] 步骤3. 2 :对直方图均衡化图像进行canny边缘检测，然后再进行基于hough变换 的直线检测，其中，基于hough变换的直线检测过程中，最短线段阈值为5,投票累计数阈值 为10 ;
[0022] 步骤3. 3 :对步骤3. 2得到的水平直线中，计算所有相邻水平直线之间的距离，如 存在两条水平直线间的距离在140到310mm之间，则将这两条水平直线分别作为车窗的上、 下边缘线，进入步骤3. 4 ;如不存在，则当前图像无法找到车窗区域，退出当前检测流程，返 回步骤1，处理下一幅图像；
[0023] 步骤3.4 :由车窗的上、下边缘线提取汽车车窗区域图像。
[0024] 所述步骤4进行直线检测的具体步骤如下：
[0025] 步骤4. 1 :对车窗区域图像进行二分化操作；
[0026] 步骤4. 2 :对步骤4. 1得到的二分化操作图像进行灰度化操作；
[0027] 步骤4. 3 :采用阈值为30,形状为square的结构算子对步骤4. 3得到得灰度化图 像进行开运算和差分运算操作；
[0028] 步骤4. 4 :对步骤4. 3得到的图像进行直方图均衡化；
[0029] 步骤4. 5 :对步骤4. 4得到的图像进行canny的边缘检测；
[0030] 步骤4. 6 :对步骤4. 5得到的图像进行hough变换直线检测，得到安全带候选直 线；其中，最短线段阈值为10,投票累计数阈值为30 ;
[0031] 步骤4. 7 :计算步骤4. 6获得的安全带候选直线的两端点斜率，若直线斜率在 0.75-1. 2之间，则判断车窗区域中的驾驶员已系安全带；否则，判定车窗区域中的驾驶员 未系安全带。
[0032] 对步骤3定位获得的车窗区域进一步进行hough变换获得第二hough变换图像， 采用积分投影从第二hough变换图像提取精确的车窗区域用于步骤4的直线检测，具体步 骤如下：
[0033] 步骤1):对步骤3定位获得的车窗区域进行灰度化操作，然后进行canny的边缘 检测；
[0034] 步骤2):对canny边缘检测后的图像进行第二次hough变换直线检测；
[0035] 步骤3):从步骤2)获得的水平直线中，以步骤3. 3获得的上边缘直线作为基准直 线，依次计算每条水平直线到基准直线的距离，如计算得到的距离在150到300mm之间，则 将当前水平直线作为车窗的精准下边缘线，并以基准直线作为精准上边缘线，进入步骤4); 如不存在，则当前图像无法找到车窗区域，退出当前检测流程，返回步骤1，处理下一幅图 像；
[0036] 步骤4):由车窗的精准上、下边缘线提取汽车车窗区域。
[0037] 有益效果
[0038] 本发明提供了一种基于公路监控设备的货车安全带系挂状态的检测方法，步骤1 : 从公路监控设备中获取监控图像；步骤2 :依据汽车与背景物特征对监控图像进行预处理 后，采用积分投影定位图像中的车身区域；步骤3 :利用hough变换从车身区域中定位车窗 区域；步骤4 :直线检测；利用直线检测方法，检测车窗区域中直线斜率是否在0. 75-1. 2之 间，若直线斜率在〇. 75-1. 2之间，则判断车窗区域中的驾驶员已系安全带；否则，判定车窗 区域中的驾驶员未系安全带。利用车身及车窗区域，定位安全带所在区域，一步一步缩小检 测范围，比其他方法更言，降低了对图片质量的要求，即使图片质量一般，也能实现准确检 测；提高了安全带检测的准确率和效率，能够代替人眼，进行自动判别；由于该方法能够处 理大批量图片，大量的降低了人工劳动强度，提高了安全带系挂检测的准确率和效率。 【专利附图】
【附图说明】
[0039] 图1为本发明所述方法的流程图；
[0040] 图2为监控设备获得的货车原始图像；
[0041] 图3从原始图像中提取的车身定位图像；
[0042] 图4为车窗提取图像；
[0043] 图5为车窗精确提取图像；
[0044] 图6对图5车窗精确提取图像进彳丁边缘检测不意图；
[0045] 图7对图6进行基于hough变换直线检测示意图；
[0046] 图8应用本发明所述方法对图片进行安全带检测的结论数据图。 【具体实施方式】
[〇〇47] 下面结合附图和具体实施例对本发明作进一步详细的描述。
[〇〇48] 如图1所示，一种基于公路监控设备的货车安全带系挂状态的检测方法，基于从 公路上拍摄的图像，包括如下步骤：
[0049] 步骤1 :从公路监控设备中获取监控图像，如图2所示；
[0050] 步骤2 :依据汽车与背景物特征对监控图像进行预处理后，采用积分投影定位步 骤1获得的原始监控图像中的车身区域；
[0051] 所述预处理依次包括图像灰度化、图像滤波、边缘检测及背景噪音去除操作；
[0052] 步骤3 :利用hough变换从车身区域中定位车窗区域；
[0053] 步骤4 :直线检测；
[0054] 利用直线检测方法，检测车窗区域中直线斜率是否在0. 75-1. 2之间，若直线斜率 在0. 75-1. 2之间，则判断车窗区域中的驾驶员已系安全带；否则，判定车窗区域中的驾驶 员未系安全带。
[0055] 所述步骤2包括以下步骤：
[0056] 步骤2. 1 :对监控图像进行图像灰度化操作获得灰度图像，只保留图像灰度信息；
[0057] 步骤2. 2 :采用阈值为10、形状为square的结构算子对灰度图像进行开运算和差 分运算；
[0058] 步骤2. 3 :对步骤2. 2得到的图像进行3*3的维纳滤波操作，然后进行基于sobel 算子的边缘检测，阈值为0.08 ;
[0059] 步骤2. 4 :对步骤2. 3得到的图像，用bwareaopen函数进行去噪处理；
[0060] 步骤2. 5 :对步骤2. 4得到的图像分别进行水平和垂直积分投影，将水平、垂直两 个方向上的像素投影点的像素累计值大于5且小于40、累计值大于10且小于30的点分别 标记出来，标记出的点对应的区域即为汽车车身区域，如图3所示。
[0061] 利用size函数求出图像X，Y的边界m、n，对步骤2. 4得到的图像分别进行水平和 垂直的积分投影，对于Y轴方向，从10到η找出第一个大于10的点，将其作为Y轴开始位 置Υ1，并从Υ1开始到η，最后一个大于30的位置，将其作为Υ轴的结束位置Υ2 ;对于X轴方 向，从1到m找出第一个大于5的点，将其作为X轴开始位置XI，并从XI开始到m，最后一 个大于40的位置，将其作为X轴的结束位置X2 ;并由此得到汽车车身图像（XI?X2，Y1? Υ2)，即：
[0062] ①在Υ轴方向上，先从左到右遍历，找到累计像素点大于10的投影点停止，并将其 作为Υ1 ;然后从Υ1往右遍历，找到累计像素点大于30的投影点停止，并将其作为Υ2。
[0063] 在X轴方向上，先从左到右遍历，找到累计像素点大于5的投影点停止，并将其作 为XI ;
[0064] 然后从XI往右遍历，找到累计像素点大于40的投影点停止，并将其作为Χ2。
[〇〇65] 所述步骤3利用hough变换从车身区域中定位车窗区域的具体步骤如下；
[0066] 步骤3. 1 :将车身区域图像进行灰度化操作后，再进行直方图均衡化操作，获得直 方图均衡化图像；
[0067] 步骤3. 2 :对直方图均衡化图像进行canny边缘检测，然后再进行基于hough变换 的直线检测，其中，基于hough变换的直线检测过程中，最短线段阈值为5,投票累计数阈值 为10 ;
[0068] 步骤3. 3 :对步骤3. 2得到的水平直线中，计算所有相邻水平直线之间的距离，如 存在两条水平直线间的距离在140到310mm之间，则将这两条水平直线分别作为车窗的上、 下边缘线，进入步骤3. 4 ;如不存在，则当前图像无法找到车窗区域，退出当前检测流程，返 回步骤1，处理下一幅图像；
[0069] 步骤3.4 :由车窗的上、下边缘线提取汽车车窗区域图像，如图4所示。
[0070] 对步骤3定位获得的车窗区域进一步进行hough变换获得第二hough变换图像， 采用积分投影从第二hough变换图像提取精确的车窗区域用于步骤4的直线检测，具体步 骤如下：
[0071] 步骤1):对步骤3定位获得的车窗区域进行灰度化操作，然后进行canny的边缘 检测；
[0072] 步骤2):对canny边缘检测后的图像进行第二次hough变换直线检测；
[0073] 步骤3):从步骤2)获得的水平直线中，以步骤3. 3获得的上边缘直线作为基准直 线，依次计算每条水平直线到基准直线的距离，如计算得到的距离在150到300mm之间，则 将当前水平直线作为车窗的精准下边缘线，并以基准直线作为精准上边缘线，进入步骤4); 如不存在，则当前图像无法找到车窗区域，退出当前检测流程，返回步骤1，处理下一幅图 像；
[0074] 步骤4):由车窗的精准上、下边缘线提取汽车车窗区域，如图5所示。
[0075] 所述步骤4进行直线检测的具体步骤如下：
[0076] 步骤4. 1 :对车窗区域图像进行二分化操作；
[〇〇77] 步骤4. 2 :对步骤4. 1得到的二分化操作图像进行灰度化操作；步骤4. 3 :采用阈 值为30,形状为square的结构算子对步骤4. 3得到得灰度化图像进行开运算和差分运算操 作；
[0078] 步骤4. 4 :对步骤4. 3得到的图像进行直方图均衡化；
[0079] 步骤4. 5 :对步骤4. 4得到的图像进行基于canny算子的边缘检测，如图6所示；
[0080] 步骤4. 6 :对步骤4. 5得到的图像进行基于hough变换的直线检测，得到安全带候 选直线；其中，最短线段阈值为10,投票累计数阈值为30,如图7所示；
[0081] 步骤4. 7 :计算步骤4. 6获得的安全带候选直线的两端点斜率，若直线斜率在 0. 75-1. 2之间，则判断车窗区域中的驾驶员已系安全带；否则，判定车窗区域中的驾驶员 未系安全带。
[0082] 对于已有的大车数据库594张图像应用本发明所述方法进行检测，将检测结果进 行txt文本分析和饼图分析，如图8示：
[0083] The running time of the program(程序运行时间）：2534s
[0084] The number of small car (测试图片数）：594 张
[0085] The number of program error (程序出错图像）：8〇 张
[0086] The number of seat belt (有安全带图像）：81 张
[0087] The number of no seat belt (没有安全带图像）：430 张
[0088] The program runs correctly rate (程序运行正确率）：0· 86
[0089] 将程序出错的图片滤除后，我们做了个表格分析，如表1示。结果显示在检测出的 514张图片中，正确率为0.77。
[0090] 表1检测正确率
[0091]
【权利要求】
1. 一种基于公路监控设备的货车安全带系挂状态的检测方法，其特征在于，包括以下 几个步骤： 步骤1 :从公路监控设备中获取监控图像； 步骤2 :依据汽车与背景物特征对监控图像进行预处理后，采用积分投影定位步骤1获 得的原始监控图像中的车身区域； 所述预处理依次包括图像灰度化、图像滤波、边缘检测及背景噪音去除操作； 步骤3 :利用hough变换从车身区域中定位车窗区域； 步骤4 :直线检测； 利用直线检测方法，检测车窗区域中直线斜率是否在0.75-1. 2之间，若直线斜率在 0.75-1. 2之间，则判断车窗区域中的驾驶员已系安全带；否则，判定车窗区域中的驾驶员 未系安全带。
2. 根据权利要求1所述的基于公路监控设备的货车安全带系挂状态的检测方法，其特 征在于，所述步骤2包括以下步骤： 步骤2. 1 :对监控图像进行图像灰度化操作获得灰度图像，只保留图像灰度信息； 步骤2. 2 :采用阈值为10、形状为square的结构算子对灰度图像进行开运算和差分运 算； 步骤2. 3 :对步骤2. 2得到的图像进行维纳滤波操作，然后进行基于sobel算子的边缘 检测，阈值为〇. 08 ; 步骤2. 4 :对步骤2. 3得到的图像用bwareaopen函数进行去噪处理； 步骤2. 5 :对步骤2. 4得到的图像分别进行水平和垂直积分投影，将水平、垂直两个方 向上的像素投影点的像素累计值大于5且小于40、累计值大于10且小于30的点分别标记 出来，标记出的点对应的区域即为汽车车身区域。
3. 根据权利要求2所述的基于公路监控设备的货车安全带系挂状态的检测方法，其特 征在于，所述步骤3利用hough变换从车身区域中定位车窗区域的具体步骤如下； 步骤3. 1 :将车身区域图像进行灰度化操作后，再进行直方图均衡化操作，获得直方图 均衡化图像； 步骤3. 2 :对直方图均衡化图像进行canny边缘检测，然后再进行基于hough变换的 直线检测，其中，基于hough变换的直线检测过程中，最短线段阈值为5,投票累计数阈值为 10 ； 步骤3. 3 :对步骤3. 2得到的水平直线中，计算所有相邻水平直线之间的距离，如存在 两条水平直线间的距离在140到310mm之间，则将这两条水平直线分别作为车窗的上、下边 缘线，进入步骤3. 4 ;如不存在，则当前图像无法找到车窗区域，退出当前检测流程，返回步 骤1，处理下一幅图像； 步骤3. 4 :由车窗的上、下边缘线提取汽车车窗区域图像。
4. 根据权利要求3所述的基于公路监控设备的货车安全带系挂状态的检测方法，其特 征在于，所述步骤4进行直线检测的具体步骤如下： 步骤4. 1 :对车窗区域图像进行二分化操作； 步骤4. 2 :对步骤4. 1得到的二分化操作图像进行灰度化操作； 步骤4. 3 :采用阈值为30,形状为square的结构算子对步骤4. 3得到得灰度化图像进 行开运算和差分运算操作； 步骤4. 4 :对步骤4. 3得到的图像进行直方图均衡化； 步骤4. 5 :对步骤4. 4得到的图像进行canny的边缘检测； 步骤4. 6 :对步骤4. 5得到的图像进行hough变换直线检测，得到安全带候选直线；其 中，最短线段阈值为10,投票累计数阈值为30 ; 步骤4. 7 :计算步骤4. 6获得的安全带候选直线的两端点斜率，若直线斜率在0. 75-1. 2 之间，则判断车窗区域中的驾驶员已系安全带；否则，判定车窗区域中的驾驶员未系安全 带。
5.根据权利要求1-4任一项所述的基于公路监控设备的货车安全带系挂状态的检测 方法，其特征在于，对步骤3定位获得的车窗区域进一步进行hough变换获得第二hough变 换图像，采用积分投影从第二hough变换图像提取精确的车窗区域用于步骤4的直线检测， 具体步骤如下： 步骤1):对步骤3定位获得的车窗区域进行灰度化操作，然后进行canny的边缘检测； 步骤2):对canny边缘检测后的图像进行第二次hough变换直线检测； 步骤3):从步骤2)获得的水平直线中，以步骤3. 3获得的上边缘直线作为基准直线， 依次计算每条水平直线到基准直线的距离，如计算得到的距离在150到300mm之间，则将当 前水平直线作为车窗的精准下边缘线，并以基准直线作为精准上边缘线，进入步骤4);如 不存在，则当前图像无法找到车窗区域，退出当前检测流程，返回步骤1，处理下一幅图像； 步骤4):由车窗的精准上、下边缘线提取汽车车窗区域。
【文档编号】G06T7/00GK104112141SQ201410298811
【公开日】2014年10月22日 申请日期:2014年6月29日 优先权日:2014年6月29日
【发明者】施荣华, 黄玲, 赵颖, 周芳芳, 李尹 申请人:中南大学