车载环视系统骑行车实时检测方法、系统及装置与流程

本申请涉及智能驾驶领域，尤其涉及一种用于驾驶辅助的车载环视系统骑行车实时检测方法，以及执行该方法的实时检测系统、实时检测装置和计算机可读存储介质。

背景技术：

以电动车、自行车以及摩托车为代表的骑行车，作为一种日常出行交通工具，在我国具有较高的普及率。但许多道路上并没有设置专用的骑行车道，骑行车需要与机动车共用道路来行驶。这使得机动车在进行出库、转弯、掉头、靠边停车等驾驶行为的时候存在安全隐患。若机动车辆四周突然出现骑行车，且驾驶员由于视觉盲区没有及时发现该骑行车，容易造成交通事故。

出于驾驶安全的考虑，检测骑行目标并判断目标距离和目标速度，持续提高检测精确度成为了需要关心的问题。现有的检测系统多采用流媒体相机，其视野较小，并且检出目标的精确度较低，从而降低了检测系统的实用性。车载环视系统通过在车辆四周安装多个鱼眼相机，并采用车载处理器对得到的多路视频进行图像处理，为驾驶员提供车辆周边全方位的视野，具备了更可靠的骑行车检测基础，有利于提高检测效率。

技术实现要素：

第一方面，本申请提出一种兼具检测准确率、检测速度以及定位精度的车载环视系统骑行车实时检测方法，具体包括如下技术方案：

一种车载环视系统骑行车实时检测方法，包括以下步骤：

控制车载环视系统采集车辆周围的环视图像；

通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标；

通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标；

基于所述环视图像对所述骑行车目标进行跟踪。

本申请车载环视系统骑行车实时检测方法，基于车载环视系统对骑行车进行检测，可以避免因为视觉盲区造成的没有及时发现骑行车目标，导致交通事故的缺陷。通过粗识别模型和精识别模型的配合，可以提高骑行车目标的识别准确度，同时获得目标的精确定位，在节约计算资源的同时，保证实时获得检测结果，使得本方法具备较高的实用价值。通过在后续帧环视图像中对骑行车目标进行跟踪，可以平滑检测结果，防止目标位置出现抖动。由此，本方法兼具了检测准确率、检测速度以及定位精度，可以有效的对骑行车目标进行检测，对驾驶员提供可靠的驾驶辅助。

其中，所述通过车载环视系统采集车辆周围的环视图像，包括：

基于所述环视图像分析车辆所处的场景；

基于所述车辆所处的场景提取对应摄像头的视频图像进行检测。

基于车辆所处的场景对环视图像进行选择性检测，可以减少车载处理器的计算量，提高检测的实时性。

其中，所述基于所述车辆所处的场景提取对应摄像头的视频图像进行检测，还包括：

对单个摄像头的视频图像依据两侧视野进行切分；

对基于切分得到的单侧视频图像进行独立检测；

将相邻两个摄像头具有重叠图像的所述单侧视频图像的检测结果进行融合。

基于两侧视野对视频图像进行切分，可以进一步减少车载处理器的计算量。而对于重叠的单侧视频图像独立检测后相互融合，可以提高检测的准确率。

其中，所述通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标，包括：

将所述环视图像拉伸为线性视角；

对所述环视图像中的所述骑行车提取多尺度lbp特征以进行特征描述；

采用lightgbmboost算法提取所述骑行车的关键特征以生成分类器；

迭代所述骑行车以外的图形作为负样本，将多个所述分类器级联以获得所述粗识别模型。

采用较为先进的lbp和lightgbmboost算法，具有鲁棒性好、内存占用率低、训练速度快等优点。

其中，所述粗识别模型级联的级数与生成所述负样本的难易程度相关。

基于负样本的难易程度来设定粗识别模型级联的级数，可以提高粗识别模型的识别准确率。

其中，所述通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标，包括：

利用mtcnn人脸检测框架对所述候选目标进行精识别；

在所述环视图像中回归所述骑行车目标的位置；

基于所述环视系统的内外参标定将所述骑行车目标投影到世界坐标系中。

mtcnn既是多任务训练，其优势在于一次运算既可以输出识别结果，又能够回归目标定位。

其中，所述精识别模型解析出所述骑行车目标在所述环视图像中的二维坐标，并基于所述环视系统的内外参标定将所述骑行车目标回归到三维的世界坐标中以实现所述骑行车目标的投影。

通过所述精识别模型对所述骑行车目标在世界坐标中的回归投影，可以确定到所述骑行车目标相对于本车的距离，并利于后续对所述骑行车目标的跟踪和运动趋势、车速等参数的判断。

其中，所述基于所述环视图像对所述骑行车目标进行跟踪，包括：

基于所述环视图像对所述骑行车目标持续检测；

利用光流算法对所述骑行车目标进行目标跟踪；

融合所述持续检测的结果与所述目标跟踪的结果。

对目标同时进行检测和跟踪，并将二者结果融合，可以获得更平滑的检测结果，防止目标位置出现抖动。

其中，若所述环视图像中没有检测到所述骑行车目标，则将所述目标跟踪的结果作为所述跟踪结果。

基于光流算法对骑行车目标进行跟踪，可以较为准确的判断出目标的运动趋势，进而在连续帧中没有检测到骑行车目标的视频图像进行可靠的补充，使得跟踪结果不丢失。

其中，所述基于所述环视图像对所述骑行车目标进行跟踪之后，还包括：

基于所述跟踪结果判定所述骑行车目标的置信度；

确定所述置信度高于预设阈值之后，判定所述骑行车目标相对于本车的距离和速度；

基于所述骑行车目标相对于本车的距离和速度向驾驶员发出不同等级的警报。

基于置信度来判定目标是否为骑行车，并在判定到目标为骑行车之后检测目标相对于本车的距离和相对速度，可以向驾驶员发出不同等级的警报，以便于辅助驾驶员针对不同等级的警报对车辆施行不同的反馈操作。

第二方面，本申请还涉及一种车载环视系统骑行车实时检测系统，包括：

视频采集模块，通过车载环视系统采集车辆周围的环视图像；

候选目标检测模块，用于通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标；

目标精识别模块，用于通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标；

目标跟踪模块，用于基于所述环视图像对所述骑行车目标进行跟踪。

其中，所述系统还包括提示模块，所述提示模块用于基于所述骑行车目标相对于本车的距离和速度向驾驶员发出不同等级的警报。

第三方面，本申请涉及一种车载环视系统骑行车实时检测装置，包括处理器、输入设备、输出设备和存储装置，所述处理器、输入设备、输出设备和存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述的车载环视系统骑行车实时检测方法。

第四方面，本申请还涉及一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，其特征在于，当所述计算机可读存储介质中存储的所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述的车载环视系统骑行车实时检测方法。

可见，在以上各个方面，通过各个功能模块之间的配合工作，或通过处理器对程序指令的调用和执行，都可以实施本申请第一方面的车载环视系统骑行车实时检测方法，达到避免因为视觉盲区带来的目标漏检、提高骑行车目标的识别准确度、获得目标的精确定位、节约计算资源并保证实时获得检测结果等有益效果。通过在后续帧环视图像中对骑行车目标进行跟踪，还可以平滑检测结果，防止目标位置出现抖动。针对骑行车目标进行有效的检测，可以为驾驶员提供可靠的驾驶辅助，减少交通事故的发生。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1是本申请所述车载环视系统骑行车实时检测方法的流程图；

图2是本申请所述车载环视系统骑行车实时检测方法的逻辑图；

图3是本申请所述车载环视系统骑行车实时检测方法中步骤s10的子步骤流程图；

图4是本申请所述车载环视系统骑行车实时检测方法中步骤s12的子步骤流程图；

图5是本申请所述车载环视系统骑行车实时检测方法中步骤s20的子步骤流程图；

图6是本申请所述车载环视系统骑行车实时检测方法中步骤s30的子步骤流程图；

图7是本申请所述车载环视系统骑行车实时检测方法中步骤s40的子步骤流程图；

图8是本申请所述车载环视系统骑行车实时检测方法另一实施例的流程图；

图9是本申请提供的一种车载环视系统骑行车实时检测系统的示意图；

图10是本申请提供的一种车载环视系统骑行车实时检测系统另一实施例的示意图；

图11是本申请提供的一种车载环视系统骑行车实时检测装置的示意图；

图12是本申请提供的一种计算机可读存储介质与处理器的连接示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参阅图1所示的车载环视系统骑行车实时检测方法，以及图2所示的车载环视系统骑行车实时检测的逻辑图。在本申请实施例中，所述车载环视系统骑行车实时检测方法至少包括以下步骤：

s10、控制车载环视系统采集车辆周围的环视图像；

具体的，车辆上安装有车载环视系统。车载环视系统通常包括有设于车辆四周的摄像头，车载环视系统中的摄像头的总数量一般不小于4个。4个摄像头通常分别布置于车辆的前、后、左、右四个方向，摄像头多采用如鱼眼相机、广角相机、超广角相机等焦距短、视角广的相机来实现，以使得至少4个摄像头的视角存在重叠区域，各个摄像头自采集到的环视图像依据重叠区域相互拼接后形成环绕车辆周围的环视图像。各个摄像头的环视图像就是连续帧的静态图像的序列。车载处理器控制并获得各个摄像头的视频图像后，通过滤波、去噪和数据格式转换等处理，利用各个摄像头的标定参数对视频图像进行标定、畸变校正、投影变换等，再通过提取特征信息进行融合拼接，得到车辆周围的环视图像。同时，为了拓展车载环视系统的环境适应能力，摄像头还可以采用具有夜视功能的摄像头。

s20、通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标；

具体的，通过训练得到的机器学习粗识别模型，车载处理器对环视图像进行扫描，查找出环视图像中的骑行车目标。因为骑行车包括有自行车、电动车以及摩托车等多种类型，因此粗识别模型需要对不同类型的骑行车提取不同的特征进行判断，以辨别环视图像中该区域内是否存在可能的骑行车目标。进一步，对于同一类型的骑行车目标，其在图像中的特征也可能存在差异。粗识别模型需要对特征差异设置一定的宽容度，以免造成对骑行车目标的漏检。可以理解的，当环视图像中存在多个骑行车目标时，粗识别模型也需要将多个可能的骑行车目标逐一提取，作为候选目标代入后续的精识别流程。因为粗识别过程需要在环视图像中对可能存在的骑行车目标全部进行判断，因此粗识别模型捕获的候选目标中可能存在非骑行车目标的情况。通过大量目标识别的训练强化，可以修正粗识别模型的宽容度等参数，提高粗识别模型对候选目标的识别准确率。

另一方面，粗识别模型可以理解为级联的多个分类器，各个分类器对应一种类型的骑行车目标。通过级联的方式，可以在骑行车目标的识别过程中寻找响应最密集的蔟，根据各个候选目标所匹配到的特征表现形式以及匹配的响应密集度，粗识别模型对各个候选目标所匹配的结果中响应更频繁的分类器进行类型划分。通过大量目标识别的训练强化，可以将分类器不断细化，进而将候选目标更准确的代入后续精识别流程，获得骑行车目标的准确识别结果，避免频繁召回，造成资源浪费。

s30、通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标；

具体的，通过训练得到的精识别模型，对粗识别模型识别出的各个候选目标进行识别，以确定候选目标是否为骑行车目标。当确定候选目标为骑行车目标之后，精识别模型还同步解析出该骑行车目标在环视图像中的二维坐标。车载处理器根据摄像头的内外参标定，将骑行车目标在环视图像中的二维坐标回归到三维的世界坐标中，从而实现对骑行车目标的定位。

粗识别模型的作用主要在于剔除环视图像中无用的背景区域图像，提供骑行车可能存在的候选目标给的精识别模型。精识别模型对于候选目标代入算法框架中进行分析识别，以确认粗识别模型判断出的候选目标具体为背景图像或者骑行车目标。若候选目标为骑行车目标，精识别模型还需要判断骑行车目标的具体种类以及该骑行车目标在环视图像中的具体坐标。通过机器训练学习，精识别模型基于候选目标可能的骑行车类别，对候选目标中的图像进行特征提取，并将提取到的特征与该类别的骑行车目标特征进行匹配分析，从而得出与该候选目标最接近的匹配类别，进而判断出候选目标具体为背景图像还是骑行车目标，以及候选目标为骑行车目标时的具体类别。

s40、基于所述环视图像对所述骑行车目标进行跟踪。

具体的，当车载处理器从环视图像的某一帧中检测到骑行车目标之后，车载处理器还需要在该帧环视图像之后连续帧的环视图像中对骑行车目标进行跟踪。因为精识别模型在对骑行车目标进行识别的过程中已经获得了该骑行车目标在环视图像中的坐标，因此对该骑行车目标进行跟踪的过程中，车载处理器可以针对性的在该坐标位置的附近范围内对骑行车目标进行搜寻，得到与该骑行车目标相对匹配的候选目标，再通过精识别模型对候选目标进行识别和定位，以加快检测速度。同时，车载处理器还可以实时采集车速信息，在对骑行车目标进行跟踪的过程中还可以基于本车的车速来预测骑行车目标相对于本车的运动趋势，再依据该运动趋势来确定骑行车目标在环视图像中可能出现的位置，从而在该位置附近对骑行车目标进行搜寻，进一步加快检测速度。

对骑行车目标的跟踪，可以通过在后续帧环视图像中对骑行车目标进行持续检测，以判定骑行车目标的检测结果是否可信。当后续帧环视图像中持续没有检测到骑行车目标，车载处理器可以判定该骑行车目标为误检，或已经离开环视图像的视线范围，不会对本车行驶产生影响。当后续帧环视图像中连续检测得到骑行车目标，车载处理器还可以基于后续帧环视图像的检测结果对骑行车目标的连续坐标进行平滑，防止骑行车目标在世界坐标中的位置出现抖动。

本申请车载环视系统骑行车实时检测方法在车辆行驶的过程中，可以基于车载环视系统获得的车辆周围环视图像基础上，从环视图像中识别出骑行车。因为粗识别模型对候选目标的分类，再通过精识别模型对候选目标进行深度识别，判断出候选目标的具体类型，相对减化了车载处理器的运算量，占用资源较少，可以实现实时对骑行车进行识别的功能。精识别模型在判断出骑行车目标的类型同时，还确定该骑行车目标在环视图像中的坐标位置，以便于车载处理器在确定该骑行车目标类别的同时还得到该骑行车目标在世界坐标中的具体位置。车载处理器进而基于骑行车目标的位置保持对骑行车的跟踪，通过对骑行车目标的持续检测，可以判定骑行车目标的置信度，同时描述出该骑行车相对于本车的坐标变化情况。驾驶员在掌握周围环境中各个骑行车目标的位置和运动趋势后，可以更好的规划行驶路线，并注意对骑行车目标的避让，包括做出变向、刹车等提示信息给骑行车驾驶员，保证驾驶安全，避免因为没有观察到骑行车目标而造成的交通事故。

请参见图3的实施例，图3是图1所示车载环视系统骑行车实时检测方法中步骤s10的子步骤的流程图。在本申请实施例中，所述通过车载环视系统采集车辆周围的环视图像，包括：

s11、基于所述环视图像分析车辆所处的场景；

s12、基于所述车辆所处的场景提取对应摄像头的视频图像进行检测。

具体的，本申请车载环视系统骑行车实时检测方法更多的作用在于对驾驶员提供盲区视觉辅助。在车辆正前方驾驶员的视野范围内，通常驾驶员可以自行发现骑行车目标。此时如果将前方摄像头的视频图像也纳入环视图像中进行目标识别检测，可能造成系统资源的不必要浪费。因此，本申请实时检测方法可以先基于环视图像对车辆所处的场景进行分析，辨别当前车辆在道路上行驶、或准备倒车入库、或从库位中驶出、或可能转弯等情况，并对应选取环视系统中的摄像头所采集到的视频图像来进行检测。可以理解的，车载处理器选择的视频图像，需要针对驾驶员的视觉盲区来提取，以便于在驾驶员不容易发现的周围环境中查找是否车载骑行车，并对驾驶员提供警示。

例如，当车辆正常行驶在道路上时，车载处理器可以调用环视系统中位于车辆左、右两侧的摄像头采集到的视频图像，以作为骑行车目标的检测环视图像。这时主要检测的是车辆两侧的骑行车与本车的位置关系以及速度关系，避免因为骑行车存在而影响本车变道等动作。另一种场景，当车辆从停车位准备驶出时，车载处理器基于环视图像判断到车辆处于停车位中，可以调用车辆前方和后方的摄像头采集到的视频图像来进行骑行车检测，避免车辆在向前或向后行驶出车位时突然出现骑行车，造成碰撞事故的风险。类似场景还有很多，例如车辆前方路口转弯，车载处理器调用转弯一侧的摄像头进行骑行车检测；车辆倒车入库，车载处理器调用车辆后方摄像头进行骑行车检测等等。通过基于环视图像对车辆周围环境的分析，可以针对性的对环视系统中的摄像头采集到的视频图像来作为环视图像并进行骑行车检测，大大减少了本方法在执行过程中的资源占用，提高了检测速度，使得车辆对骑行车的反馈更及时。

请参见图4的实施例，图4是图3所示步骤s12所述基于所述车辆所处的场景提取对应摄像头的视频图像进行检测的子步骤的流程图。在本申请实施例中，步骤s12包括：

s121、对单个摄像头的视频图像依据两侧视野进行切分；

s122、对基于切分得到的单侧视频图像进行独立检测；

s123、将相邻两个摄像头具有重叠图像的所述单侧视频图像的检测结果进行融合。

具体的，上述提到，车载处理器在基于车辆所处场景提取对应摄像头的视频图像进行检测的目的，在于将环视图像进行切分，并针对性驾驶员可能的视觉盲区来进行骑行车目标的检测，加快检测速度的同时提高效率。在本实施例中，车载摄像头还对单个摄像头的视频图像依据两侧视野进行切分。例如，前方摄像头的视野为-90°～90°，前方摄像头正对的方向为0°方向。由此，本车前方摄像头的两侧视野即切分为-90°～0°，以及0°～90°。前方摄像头的视频图像中同时包括两侧视野。但驾驶员在行驶过程中如果需要往一侧变道，该侧视野中的骑行车目标会成为驾驶员变道过程中的可能障碍物。而另一侧视野中的骑行车存在与否，并不影响驾驶员的驾驶动作。因此，为了进一步的节约计算资源，本实施例还针对单个摄像头的视频图像按照两侧视野进行切分，基于切分得到的单侧视频图像进行独立检测。

可以理解的，前方摄像头的两侧视野可以理解为车辆前方的左右两侧视野。而对于与前方摄像头相邻的左侧摄像头，其两侧视野可以理解为车辆左侧的前后两侧视野。此时，前方摄像头的左侧视野，与左侧摄像头的前方视野存在重叠区域。对于车载环视系统来说，相邻两个摄像头之间的单侧视野所采集到的视频图像都存在重叠的情况。对此，如果在重叠的两个单侧视频图像中均检测到骑行车目标，可以在两个单侧视频图像中独立对骑行车目标进行检测之后，将两个检测结果进行融合计算，有助于提高骑行车目标的检测准确率。

请参见图5的实施例，图5是图1所示车载环视系统骑行车实时检测方法中步骤s20的子步骤流程图。在本申请实施例中，所述通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标，包括：

s21、将所述环视图像拉伸为线性视角；

具体的，环视图像需要根据摄像头的内外参数标定拉伸为线性图像，车载处理器才能在线性的平面图像中进行目标检测。车载处理器在调用环视图像时，需要基于摄像头的内外参标定将环视图像转化为二维的平面图像，以便于后续在二维的平面图像中进行目标检索和识别。

s22、对所述环视图像中的所述骑行车提取多尺度lbp特征进行特征描述；

具体的，lbp(localbinarypattern，局部二值模式)特征是一种用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等优点。将环视图像划分为若干的子区域，对每个子区域内的每个像素点都提取lbp特征，然后在每个子区域内建立lbp特征的统计直方图。如此，环视图像的每个子区域都可以用一个统计直方图来进行描述，或解释为环视图像经lbp特征描述后由若干个统计直方图组成。

采用lbp特征描述图像具有计算速度快，且鲁棒性好的优点。在另一些实施例中，也可以通过hog算法来对环视图像进行特征描述。

s23、采用lightgbmboost算法提取所述骑行车的关键特征以生成分类器；

具体的，不同类型的骑行车目标，其在环视图像中经lbp特征描述后的表现形式存在差异。采用lightgbmboost算法在lbp特征描述的特征向量中找到对应不同类型骑行车目标起到关键作用的特征，然后将这些关键特征组合以生成分类器。可以理解的，对于同一类型的骑行车目标分类器，其分类器中的关键特征相似。且相似的关键特征也是该类型分类器区别于其它分类器的基础。

在另一些实施例中，也可以采用xgboost算法来生成分类器，但相对于xgboost算法，本申请实施例中采用的lightgbmboost算法具有内存使用率低，训练速度快的优点。

s24、迭代所述骑行车以外的图形作为负样本，将多个所述分类器级联以获得所述粗识别模型。

具体的，粗识别模型可以理解为允许正样本的通过并抑制负样本的滤波器。该滤波器由多级分类器级联构成，各级分类器均通过迭代除骑行车以外的图形作为负样本训练而来。在粗识别模型对骑行车进行识别过滤的过程中，因为粗识别模型过滤负样本并通过正样本的滤波特性，使得车载处理器在迭代除骑行车以外的图形作为负样本的过程中，会对存在骑行车作为正样本的地方形成密集响应的区域。在利用多级分类器过滤的过程中，对骑行车图像的特征识别经过分布形成蔟，响应最密集的蔟可以对应到骑行车图像可能的具体类型。可以理解的，在此过程中，粗识别模型对背景区域可能有误识别，但背景图像会受到极大的抑制，其分布呈现零星分布的状态，因此通过簇来对过滤的过程进行提取，可以更准确的对背景图像进行过滤，只保留骑行车可能被识别为的类别再进入后续计算分析，进一步节约运算资源。

需要提出的是，粗识别模型级联的级数需要与生成负样本的难以程度匹配相关。当粗识别模型在环视图像中过滤的负样本越复杂时，训练得到的粗识别模型中分类器的级联级数需要更多，以获得更细分的特征识别能力，保证对生成的负样本的有效筛除，同时避免存在骑行车目标的正样本能以候选目标的形式流入后续精识别模型中得到识别和定位。

请参见图6的实施例，图6是图1所示车载环视系统骑行车实时检测方法中步骤s30的子步骤的流程图。在本申请实施例中，所述通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标，包括：

s31、利用mtcnn人脸检测框架对所述候选目标进行精识别；

s32、在所述环视图像中回归所述骑行车目标的位置；

具体的，mtcnn是人脸检测中的一个框架。该框架可以实现两个任务：人脸检测与人脸关键点检测。本方法利用这个框架，来对骑行车目标进行精识别以及回归骑行车目标的位置。mtcnn由三个级联的轻量级cnn完成：pnet，rnet和onet。经粗识别模型筛选流入的候选目标先后经这三个网络的处理，最终将识别为骑行车目标的候选目标进行输出，输出内容包括该骑行车目标的具体类型，以及骑行车目标在环视图像中的位置坐标。

s33、基于所述环视系统的内外参标定将所述骑行车目标投影到世界坐标系中。

具体的，当确定候选目标为骑行车目标之后，精识别模型还同步解析出该骑行车目标在环视图像中的二维坐标。二维坐标还不足以描述该骑行车目标相对于本车的距离，车载处理器需要根据摄像头的内外参标定，将骑行车目标在环视图像中的二维坐标回归到三维的世界坐标中，从而对骑行车目标实现定位，并确定该骑行车目标与本车的相对距离是否安全。

可以理解的，精识别模型解析出所述骑行车目标在所述环视图像中的二维坐标，并基于所述环视系统的内外参标定将所述骑行车目标回归到三维的世界坐标中以实现所述骑行车目标的投影。可以确定到所述骑行车目标相对于本车的距离，并利于后续对所述骑行车目标的跟踪和运动趋势、车速等参数的判断。

请参见图7的实施例，图7是图1所示骑行车实时检测方法中步骤s40的子步骤的流程图。在本申请实施例中，所述基于所述环视图像对所述骑行车目标进行跟踪，包括：

s41、基于所述环视图像对所述骑行车目标持续检测；

具体的，因为环视图像是连续帧的图像序列，在一帧环视图像中检测到骑行车目标之后，如果该检测结果准确，则后续的连续帧环视图像中应该都能检测到该骑行车目标，直至该骑行车目标消失于车载环视系统的视力范围之外。而当检测结果不准确时，后续的连续帧环视图像中不会检测到该骑行车目标，或确定该骑行车目标实际为负样本而不被识别。由此，基于环视图像后续连续帧中持续检测骑行车目标，可以提高本申请方法的识别准确率。

s42、利用光流算法对所述骑行车目标进行目标跟踪；

具体的，利用光流算法对检测得到的骑行车目标运动趋势进行判断，然后基于判断结果预测骑行车目标在后续帧环视图像中可能出现的位置，并针对性的在可能出现的位置区域附近范围内对骑行车目标进行识别，可以保持对骑行车目标的跟踪。

s43、融合所述持续检测的结果与所述目标跟踪的结果。

具体的，由于系统误差等影响，对于骑行车目标持续检测的结果可能存在不连续、位置抖动大等缺陷。而采用光流算法对骑行车目标进行的目标跟踪，又因为是基于骑行车目标的运动趋势而预测的骑行车目标可能在后续帧环视图像中出现的位置，而缺乏实际检测结果的支撑。在本实施例中，将可能存在位置抖动的持续检测结果，和根据光流算法预测的骑行车目标跟踪结果进行融合，可以在提供实际检测结果支撑的前提下，将骑行车目标在世界坐标中的定位检测结果进行修正，使得车载处理器检测到的骑行车目标相对于本车的运动轨迹更平滑，车载处理器也可以更准确的判断出骑行车目标与本车之间的位置或速度关系。

一种实施例，若在对骑行车目标进行持续检测的过程中，无法从环视图像中检测到骑行车目标，则将采用光流算法获得的目标跟踪的结果作为所述骑行车目标的跟踪结果，并在后续的检测中重新发现该骑行车目标后保持对该骑行车目标的跟踪状态。可以理解的，当判定到某一帧环视图像或某一段连续帧的环视图像中因为视线受阻等原因短暂丢失了骑行车目标，而该骑行车目标在导致丢失原因消失之后重新回到车载环视系统的视线中时，将通过光流算法对骑行车目标进行预测跟踪的结果替代为对骑行车目标的实际跟踪结果，可以使得车载处理器在骑行车目标丢失的时段内也保持对该骑行车目标的跟踪状态，从而在重新检测到该骑行车目标之后能够基于之前的检测结果综合判定该骑行车目标相对于本车的距离、以及运动速度、运动趋势等信息，使得骑行车目标不丢失，获得更准确的检测效果。

请参见图8，图8是图1车载环视系统骑行车实时检测方法另一实施例的流程图。在本实施例中，所述基于所述环视图像对所述骑行车目标进行跟踪之后，还包括：

s50、基于所述跟踪结果判定所述骑行车目标的置信度；

具体的，车载处理器在对骑行车目标进行持续跟踪的过程中，可以依据后续帧环视图像中是否实际检测到骑行车目标来判定该目标的置信度。即当后续帧环视图像中持续检测到该骑行车目标之后，骑行车目标客观存在的几率持续升高，因此该骑行车目标的置信度也随之上涨。反之，如果后续帧环视图像中存在目标消失等情况，则骑行车目标客观存在的几率降低，该骑行车目标的置信度也相应调低。

s60、确定所述置信度高于预设阈值之后，判定所述骑行车目标相对于本车的距离和速度；

具体的，车载处理器内预设有对应置信度的阈值。当骑行车目标的置信度持续上升，达到该阈值之后，车载处理器可以确定骑行车目标为真实存在的，并对真实存在的骑行车进行判定。需要判定的内容包括该骑行车相对于本车的距离以及车速。对骑行车目标的跟踪过程中，可以获得该骑行车目标的运动轨迹。基于运动轨迹的变化情况，可以获得该骑行车目标与本车的实时距离，以及骑行车目标相对于本车的速度。

s70、基于所述骑行车目标相对于本车的距离和速度向驾驶员发出不同等级的警报。

具体的，车载处理器在判定到骑行车目标相对于本车的距离和速度之后，可以基于骑行车目标的距离和速度综合判断该骑行车与本车之间的相对运动状态。可以理解的，骑行车目标相对于本车越近，该骑行车目标相对于本车的接触几率越大，越容易发生碰撞事故；骑行车目标相对于本车的速度越快，该骑行车目标在与本车碰撞发生交通事故后造成的损失可能更大。面对这两种情况，车载处理器都需要对驾驶员提出危险等级较高的警报，提醒驾驶员注意避让该骑行车目标。

反之，如果骑行车目标相对于本车距离较远，或骑行车目标相对于本车的车速很低，则车载处理器可以相对降低警报的等级，或不予发出警报。这样，通过对警报等级的区分，在检测到周围环境中存在骑行车目标的情况下，也可以尽量保证驾驶员处于正常驾驶状态，只有在情况较为紧急的时候才通过高等级的报警来提醒驾驶员避让骑行车，防止发生交通事故。

请参看图9，图9为本申请涉及的一种车载环视系统骑行车实时检测系统100，该系统具体包括：

视频采集模块101，用于控制车载环视系统采集车辆周围的环视图像；

候选目标检测模块102，用于通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标；

目标精识别模块103，用于通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标；

目标跟踪模块104，用于基于所述环视图像对所述骑行车目标进行跟踪。

可以理解的，本申请车载环视系统骑行车实时检测系统100可用于执行上述的车载环视系统骑行车实时检测方法。具体的，视频采集模块101利用车载环视系统中各相机来采集车辆周围的环视图像，然后由候选目标检测模块102将环视图像线性拉伸，并利用训练得到的粗识别模型在环视图像中识别出可能存在骑行车目标的候选目标。目标精识别模块103对传入的候选目标基于精识别模型进行识别，以确定候选目标的具体类型。当确定候选目标为骑行车目标之后，目标精识别模块103还同步解析出该骑行车目标在世界坐标中的位置。目标跟踪模块104在后续的环视图像中持续对骑行车目标进行跟踪，从而判定该骑行车目标是否会影响到本车的驾驶动作。

本申请车载环视系统骑行车实时检测系统100通过各模块联合工作之后，可以在车辆行驶的任意场景下对车辆周围，特别是驾驶员视觉盲区的骑行车进行实时检测识别，并通过对检测到的骑行车目标进行跟踪，来判断骑行车对本车当前行驶的影响程度，从而起到较好的驾驶辅助的效果。本申请车载环视系统骑行车实时检测系统100具有较高的准确性，在对骑行车进行精确识别的同时还可以获得骑行车相对于本车的相对位置和相对速度。且本申请车载环视系统骑行车实时检测系统100合理分配计算资源，缩短了识别时间，可以达到实时检测的实际使用需要。

一种可选的实施例参见图10，本申请车载环视系统骑行车实时检测系统100还包括提示模块105。提示模块105用于基于所述骑行车目标相对于本车的距离和速度向驾驶员发出不同等级的警报，以保证驾驶员的正常驾驶，并在紧急情况下对驾驶员提供及时的提醒。

一种可选的实施例，视频采集模块101通过车载环视系统采集车辆周围的环视图像时，候选目标检测模块102基于所述环视图像分析车辆所处的场景；

候选目标检测模块102还基于所述车辆所处的场景提取对应摄像头的视频图像进行检测。

一种可选的实施例，视频采集模块101基于所述车辆所处的场景提取对应摄像头的视频图像进行检测时，候选目标检测模块102用于对单个摄像头的视频图像依据两侧视野进行切分；

候选目标检测模块102和目标精识别模块103对基于切分得到的单侧视频图像进行独立检测；

目标精识别模块103还用于将相邻两个摄像头具有重叠图像的所述单侧视频图像的检测结果进行融合。

一种可选的实施例，候选目标检测模块102通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标时，候选目标检测模块102用于将所述环视图像拉伸为线性视角；

候选目标检测模块102用于对所述环视图像中的所述骑行车提取多尺度lbp特征进行特征描述；

候选目标检测模块102用于采用lightgbmboost算法提取所述骑行车的关键特征以生成分类器；

候选目标检测模块102还用于迭代所述骑行车以外的图形作为负样本，将多个所述分类器级联以获得所述粗识别模型。

一种可选的实施例，候选目标检测模块102中粗识别模型级联的级数与生成所述负样本的难易程度相关。

一种可选的实施例，目标精识别模块103通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标时，目标精识别模块103利用mtcnn人脸检测框架对所述候选目标进行精识别；

目标精识别模块103用于在所述环视图像中回归所述骑行车目标的位置；

目标精识别模块103还基于所述环视系统的内外参标定将所述骑行车目标投影到世界坐标系中。

一种可选的实施例，目标精识别模块103用于解析出所述骑行车目标在所述环视图像中的二维坐标，目标精识别模块103还基于所述环视系统的内外参标定将所述骑行车目标回归到三维的世界坐标中以实现所述骑行车目标的投影。

一种可选的实施例，目标跟踪模块104基于所述环视图像对所述骑行车目标进行跟踪时，目标跟踪模块104基于所述环视图像对所述骑行车目标持续检测；

目标跟踪模块104利用光流算法对所述骑行车目标进行目标跟踪；

目标跟踪模块104还用于融合所述持续检测的结果与所述目标跟踪的结果。

一种可选的实施例，若所述环视图像中没有检测到所述骑行车目标，则目标跟踪模块104将所述目标跟踪的结果作为所述跟踪结果。

一种可选的实施例，目标跟踪模块104基于所述环视图像对所述骑行车目标进行跟踪之后，目标跟踪模块104还基于所述跟踪结果判定所述骑行车目标的置信度；

目标跟踪模块104用于确定所述置信度高于预设阈值之后，判定所述骑行车目标相对于本车的距离和速度；

提示模块105基于所述骑行车目标相对于本车的距离和速度向驾驶员发出不同等级的警报。

需要说明的是，图9和图10中的各个操作的实现还可以对应参照上述的方法实施例的相应描述。

本申请还涉及一种车载环视系统骑行车实时检测装置200，请参见图11，该装置包括处理器201、输入设备202、输出设备203和存储装置204。所述处理器201、输入设备202、输出设备203和存储装置204相互连接，其中，所述存储装置204用于存储计算机程序，所述计算机程序包括程序指令，所述处理器201被配置用于调用所述程序指令，执行上述的车载环视系统骑行车实时检测方法。

具体的，处理器201调用存储装置204中存储的程序指令，执行以下操作：

控制车载环视系统采集车辆周围的环视图像；

通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标；

通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标；

基于所述环视图像对所述骑行车目标进行跟踪。

存储装置204可以包括易失性存储装置(volatilememory)，例如随机存取存储装置(random-accessmemory，ram)；存储装置204也可以包括非易失性存储装置(non-volatilememory)，例如快闪存储装置(flashmemory)，固态硬盘(solid-statedrive，ssd)等；存储装置204还可以包括上述种类的存储装置的组合。

处理器201可以是中央处理器(centralprocessingunit，cpu)。该处理器201还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在通过车载环视系统采集车辆周围的环视图像时，执行以下操作：

基于所述环视图像分析车辆所处的场景；

基于所述车辆所处的场景提取对应摄像头的视频图像进行检测。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在基于所述车辆所处的场景提取对应摄像头的视频图像进行检测时，执行以下操作：

对单个摄像头的视频图像依据两侧视野进行切分；

对基于切分得到的单侧视频图像进行独立检测；

将相邻两个摄像头具有重叠图像的所述单侧视频图像的检测结果进行融合。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在通过训练得到的粗识别模型对所述环视图像中的骑行车进行目标检测，得到候选目标时，执行以下操作：

将所述环视图像拉伸为线性视角；

对所述环视图像中的所述骑行车提取多尺度lbp特征进行特征描述；

采用lightgbmboost算法提取所述骑行车的关键特征以生成分类器；

迭代所述骑行车以外的图形作为负样本，将多个所述分类器级联以获得所述粗识别模型。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在迭代所述骑行车以外的图形作为负样本，将多个所述分类器级联以获得所述粗识别模型时，执行以下操作：

基于生成的所述负样本的难易程度确定所述粗识别模型级联的级数。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在通过训练得到的精识别模型对所述候选目标进行识别和定位，得到骑行车目标时，执行以下操作：

利用mtcnn人脸检测框架对所述候选目标进行精识别；

在所述环视图像中回归所述骑行车目标的位置；

基于所述环视系统的内外参标定将所述骑行车目标投影到世界坐标系中。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，通过所述精识别模型解析出所述骑行车目标在所述环视图像中的二维坐标，并基于所述环视系统的内外参标定将所述骑行车目标回归到三维的世界坐标中以实现所述骑行车目标的投影。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在基于所述环视图像对所述骑行车目标进行跟踪时，执行以下操作：

基于所述环视图像对所述骑行车目标持续检测；

利用光流算法对所述骑行车目标进行目标跟踪；

融合所述持续检测的结果与所述目标跟踪的结果。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在基于所述环视图像对所述骑行车目标进行跟踪时，若所述环视图像中没有检测到所述骑行车目标，则执行以下操作：

将所述目标跟踪的结果作为所述跟踪结果。

在一种实施方式中，处理器201调用存储装置204存储的程序指令，在基于所述环视图像对所述骑行车目标进行跟踪之后，执行以下操作：

基于所述跟踪结果判定所述骑行车目标的置信度；

确定所述置信度高于预设阈值之后，判定所述骑行车目标相对于本车的距离和速度；

基于所述骑行车目标相对于本车的距离和速度向驾驶员发出不同等级的警报。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

请参见图12，图12提供了一个或多个包含计算机可执行指令的非易失性计算机可读存储介质300，当所述计算机可读存储介质300中存储的所述计算机可执行指令301被一个或多个处理器201执行时，使得所述处理器201执行上述的车载环视系统骑行车实时检测方法。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。