基于移动终端的汽车主动安全驾驶辅助系统的操作方法与流程

本发明涉及汽车主动安全汽车辅助驾驶技术领域，尤其涉及基于移动终端的汽车主动安全驾驶辅助系统的操作方法。

背景技术：

目前，随着移动终端硬件上的快速升级，强大的中央处理器、高速存储单元以及高像素的摄像头早已成为主流配置，在系统功能的优化上也日渐成熟。拍照与视频聊天的需求，让前后置摄像头得到广泛使用，且层出不穷的各种运用大大的丰富了终端设备的功能输出，其中如支付、远程控制、防盗等。随着车辆与移动终端的关系越来越密切，其中利用终端设备来实现行车安全驾驶辅助，成为一个新的探索方向。

基于视觉的图像处理技术，越来越多的应用在汽车产品上，用于辅助驾驶者进行更加便捷及安全的操作，比如在倒车影像、360全景等功能中，驾驶者可以从这些技术中得到直观的驾驶帮助。目前，类似这些功能以及车道偏移、盲区检测等，大部分车企将此类功能加装在旗舰车型或高配车型上，其必须配置专门的传感器与设计新的电路来实现环境信息感知，而且价格相对高昂，导致大部分的用户无法直接的感受这些新的功能带来的便捷性。

为改善这种状况，如果利用现有移动终端设备实现这些功能，在一定程度上实现主动安全驾驶，不仅可以改善驾驶者的驾驶安全问题，还能优化利用现有资源，实现功能拓展。

当今的图像处理技术已经较为成熟，而根据摄像头的安装位置，大体分为车外摄像头与车内摄像头，车外摄像头大多用于车道线检测、行人检测、障碍物检测以及交通标识识别等，车内的有用于驾驶员眼部动作的疲劳检测以及用于检测驾驶员及乘客动作而实施的安全气囊保护等。在车道线的识别上，基本上是灰度化、图像二值化以及曲线拟合，由于使用的算法存在差异，最后得到的车道线拟合结果也存在一定的差异；而在疲劳检测上，各种组合传感器多角度的检测也形成了特有的检测模式。

本发明是基于视觉图像处理技术，结合控制技术实施，利用终端移动设备的视觉传感器，立在实现汽车主动安全驾驶辅助。

技术实现要素：

本发明针对上述的技术问题，提供一种基于视觉图像处理技术，结合控制技术实施，利用终端移动设备的视觉传感器，立在实现汽车主动安全驾驶辅助的基于移动终端的汽车主动安全驾驶辅助系统的操作方法。

本发明主要通过以下技术手段实现解决上述技术问题的：一种基于移动终端的汽车主动安全驾驶辅助系统的操作方法，当进入应用后，其操作逻辑步骤如下，

a)默认开启前置摄像头，拍摄一张具有头像的照片，进行保存；

b)关闭前摄像头，开启后置摄像头，根据当前的光线情况调整参数进行对焦操作，对焦完成后进入步骤c；

c)点击开始按钮后，实现视频实时录制，录制时间设置为3秒，时间结束后，进入步骤d；

d)应用后台开始调用录制视频，实现图像处理，进而实现车道线检测、道路车辆检测，当检测到存在车道偏移、变道风险时，进入步骤e，无偏移倾向及变道风险时，进入步骤f；

e)显示界面内警示提醒窗口，对应的图标点亮闪烁，且系统发出警报声，方向盘振动装置执行不同振动模式提示，进入步骤d；

f)后置摄像头使用循环拍摄模式，每拍摄一段时长为3秒的视频，返回步骤d，当循环拍摄3段视频后，调用移动终端前置摄像头，工作时间限制为1秒，拍摄一张图片，进入步骤g；

g)应用后台通过分析每一张前置摄像头拍摄的图片中驾驶员的面部特征，并类比图像判定是否有疲劳驾驶的倾向，如果判定存在疲劳驾驶倾向，进入步骤h，否则进入步骤f；

h)系统发出警报声，方向盘振动装置执行振动警示，进入步骤e。

优选地：应用显示界面包含三个区域：终端信息区域，包括显示时间、运营商、信号强度；图像显示区域，包括后置摄像头采集图像显示片与前置摄像头采集图像显示片；警示提醒窗口，包括左右车道线偏移图标、疲劳警示图标、左右禁止换道图标；操作输出区域，包括声音提示开关与摄像头显示切换；应用执行操作区域，包括应用开始及结束操作。

优选地：后台通过调用摄像头采集的数据，进行检测与判断，实现以下功能输出：

a、终端屏幕输出车道线拟合曲线，显示车道线的颜色与线型；标注目前车辆行驶的车道区域，车辆左右转时显示即将进入的区域；

b、当出现车辆偏移车道线的情况时，终端屏幕上的车道偏移图标点亮闪烁，同时后台向方向盘振动提醒装置发送短振动指令，方向盘振动装置执行指令进行振动操作；

c、当出现检测变道不是主观意识时，禁止变道图标点亮闪烁，同时后台向方向盘振动提醒装置发送短长间隙振动指令，方向盘振动装置执行指令进行振动操作；

d、当出现检测存在疲劳驾驶时，疲劳警示图标点亮闪烁，同时后台向方向盘振动提醒装置发送长振动指令，方向盘振动装置执行指令进行振动操作。

本发明的优点在于：本发明的系统具有安装便捷，成本低，且能够优化资源利用，在一定程度上能够实现主动安全驾驶辅助功能。

附图说明

图1为本发明中可视化界面简图。

图2为本发明中统控制逻辑流程图。

图3本发明中方向盘振动提醒装置。

图4为本发明中道线检测流程图。

图5为本发明中疲劳检测流程图。

具体实施方式

为了使本发明实现的技术手段，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

参见附图1，本发明所述的系统包括三个组成部分：移动终端系统，支架装置，方向盘振动提醒装置。移动终端设备可以是智能手机（图片中的设备外形只作为图例示意使用，不在此专利的权利保护范围内），也可以是针对于驾驶场景需要重新设计的专用视觉设备（配置前摄像头模块，后摄像头模块，屏幕显示模块，声音收放模块，蓝牙通讯模块，电源模块，控制模块以及接口等功能部件）。支架装置可以便捷安装在仪表台上，对安装位置不做具体的约束，以可以无遮挡清晰采集前方路面信息为佳且其前置摄像头可以清晰的采集驾驶员的面部信息。振动提醒装置安装在方向盘上，内置振动马达与主控制器（包括电源模块、通讯模块、控制模块以及接口等功能部件），并通过蓝牙数据传输实现与移动终端的通讯功能，其主要是在接收移动终端发送的相关振动命令后执行振动操作。

上述的设备经过安装放置妥当后，终端设备完成与方向盘振动提醒装置进行配对连接，整个系统进入可工作状态，则根据下列步骤进行程序运行：

（一）：启动设备开始工作

具体的，首先开启设备，进入应用，设备进行自检；界面显示如附图3，此时应用默认先开启前置摄像头，待前置摄像头捕捉到有头像的画面，拍摄一张照片，设备屏幕上的前置摄像头上一幅图片显示区域显示拍摄到的图片，再打开后置摄像头，根据当前的光线情况调整参数进行对焦操作，完成对焦工作；

（二）：程序正式启动，实现系统主体功能

具体的，如下：

a)点击开始按钮202后，实现视频实时录制，录制时间设置为3秒，时间结束后，应用后台开始调用录制视频，实现图像处理，进而实现车道线检测，算法流程如图5所示，具体实施如下：

步骤1：读入一帧视频数据，对图像进行两个并行处理，（1）进行轮廓提取，采取局部自适应域二值化处理方法；（2）道路边缘提取，采取canny边缘检测。

其中，局部自适应域二值化的阈值由每个像素的邻域像素值大小决定，可表示为

其中，a、b、c为自由参数，e为该窗口像素的平均值，p为像素之间的平方差，q为像素之间的均方根值。

图像二值化的方法是图像f(i,j)到图像ｇ(i,j)的如下转换：

其中，t为域值选取的大小，对于物体的图像元素g（i,j）＝1，对于背景的图像元素g（i,j）=0。

步骤2：分别对步骤1里并行处理的数据进行滤波处理，并把滤波后的图像进行相与融合，得到横纵向都经过处理的图像。

步骤3：采用密度特征的线性聚类分析算法处理融合以后的图像，大致过程为：（1）使用行扫描从上至下扫描整个图像数据集，找到任意一个核心点；（2）根据车道线数据的特点，使用寻找密度相连的数据点的方法，对核心点进行扩充。（3）遍历核心点邻域内所有列方向的核心点，寻找密度相连的点，直到扩充到车道线特征图像边界为止。（4）重新扫描车道线特征图像数据集，寻找图像中没有被聚类的核心点（因聚类成簇的点都是找到过的，在此列为非核心数据点）。（5）重复以上步骤，直到图像中没有新的核心点被检测出为止。其中，图像中有数据点没有包含在任何簇中，这些都属于干扰数据，可以除去。

步骤4：采用最小二乘曲线拟合算法，取二次曲线的一般表达方程，

则拟合过程如下：

（1）用残差平方和表示全部车道线特征数据点的总误差：

其中，关于a，b与c为方程式参数，yi为数据点纵坐标，k为车道线特征数据点的总个数。

（2）通过取目标函数的最小值来确定各个直线方程参数的值。若求该函数的极小值点，令，得到以下表达式：

整理得到二次多项式函数拟合方程：

（3）用全选主元高斯消去法，求解上式中方程组a，b，c的值，即可求出最终的车道线特征数据拟合的二次曲线的表达式。

步骤5：建立曲线的跟踪模型，并输出拟合车道线图像

b)当检测到存在车道偏移、变道风险时，系统发出控制指令，包括：

1)终端设备端：在设备终端显示界面内的警示提醒窗口，当判断向左偏移车道线时，209图标点亮闪烁，且系统发出警报声；判断向右偏移车道线时，205图标点亮闪烁，且系统发出警报声；判断静止向左变道时，211图标点亮闪烁，且系统发出警报声；判断静止向右变道时，203图标点亮闪烁，且系统发出警报声。

2)方向盘振动提醒装置：系统向方向盘振动装置发出控制指令，方向盘振动提醒装置执行不同振动模式提示，当判断向左偏移车道线时，持续振动3秒；判断向右偏移车道线时，方向盘振动提醒装置持续振动3秒；判断静止向左变道时，方向盘振动提醒装置间隙振动2个循环（振动2秒停1秒）；判断静止向右变道时，方向盘振动提醒装置间隙振动2个循环（振动2秒停1秒）。

c)当检测无偏移倾向及变道风险时，后置摄像头使用循环拍摄模式，每拍摄一段时长为3秒的视频，返回b的处理逻辑，当循环拍摄3段视频后，调用移动终端前置摄像头，工作时间限制为1秒，拍摄一张图片。应用后台通过分析每一张前置摄像头拍摄的图片中驾驶员的面部特征，并类比图像判定是否有疲劳驾驶的倾向，如果判定存在疲劳驾驶倾向，则执行以下操作：

1)终端设备端：在设备终端显示界面内的警示提醒窗口，204与210图标点亮闪烁，且系统发出警报声。

2)方向盘振动装置：系统向方向盘振动装置发出控制指令，方向盘振动提醒装置执行长振动，振动周期为持续10秒

疲劳检测算法流程的具体实施如下：

步骤1：读入一张图片，对图像进行二值化处理，图像二值化处理的方法是图像f(i，j)到图像g(i，j)的如下转换：

其中，t为域值选取的大小，对于物体的图像元素g(i，j)＝1，对于背景的图像元素g(i，j)＝0。

步骤2：对图像进行滤波处理，并进行特征信息匹配。具体做法为：基于计算机视觉的级联算法捕捉头部，再定位驾驶员的双眼区域、嘴区域作为特征区域，

步骤3：依据瞳孔开度与眼睛大小的百分比以及嘴部张合的百分比及频次，基于perclos方法，判断驾驶员是否为疲劳驾驶。

以上对本发明实施例公开的一种基于移动终端的汽车主动安全驾驶辅助系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。