基于实时视频流监控的远程泊车方法及系统与流程

本发明属于自动泊车技术领域，具体涉及一种基于实时视频流监控的远程泊车方法。

背景技术：

自动泊车系统最早在1992年由大众在其概念车irvwfutura上搭载，实现方式是在行李箱中安装了如同个人电脑一般的计算机来控制整个自动泊车系统，但实现成本较高，不适合量产。2003年丰田在普锐斯上提供选装自动泊车系统功能；2005年雪铁龙开发citypark系统，该系统能够完成基本停车动作。随着技术成本的降低和技术上水平的提升，现在已有大众、宝马、奔驰等多个企业的车型装备了该系统。对于国内产品而言，搭载自动泊车系统的车辆迅猛增长，已经从高档轿车搭载逐渐扩展到了中档轿车。

在自动泊车的实际应用场景中存在车位窄、异型车位、车位异物多等原因，导致自动泊车无法顺利进行，为了避免各种意外事件，各主机厂的自动泊车功能要求，必须是在用户监控下进行，如果用户距离车辆超出安全距离，将无法进行自动泊车。又如在专利文献cn107074279a中公开了一种通过拍摄执行自动泊车的周围环境视频图像并发送给移动终端设备来解决该问题。但此专利文献提出的方法存在车载摄像头拍摄视频图像不清晰、图像变形、弱光线下识别差等问题，无法为用户提供清晰的障碍物信息，不能有效地覆盖远程监控自动泊车的常见场景。

因此，有必要开发一种新的基于实时视频流监控的远程泊车方法。

技术实现要素：

本发明的目的是提供一种基于实时视频流监控的远程泊车方法，能在移动终端上实时查看车辆的周边环境信息，通过强化障碍物的精确边界信息，以解决用户在超视距的场景下无法远程泊车的问题。

第一方面，本发明所述的基于实时视频流监控的远程泊车方法，包括以下步骤：

步骤1：移动终端发送开启远程自动泊车请求；

步骤2：服务器接收该开启远程自动泊车请求，并向车端控制器a下发指令；

步骤3：车端控制器a基于服务器下发的指令向车载控制器b、车载控制器c和车载雷达控制器发送请求；

步骤4：车载控制器b反馈电池电量和检测环境光，完成系统启动并获取到视频监控的任务后反馈电池电量到服务器；

车载控制器c向车载摄像头发送控制指令；车载摄像头接收到指令后采集前、后、左、右各视角的视频流信息，并将视频流信息发送至车端控制器a；

车载雷达控制器控制车载雷达启动并使用超声波监控周围环境信息，并将采集到超声波信息实时发送给车端控制器a；

步骤5：车端控制器a对视频流信息与超声波信息进行融合处理生成准确的障碍物轮廓，并将该障碍物轮廓拟合到视频流中；

步骤6：车端控制器a将拟合后的视频流进行压缩处理，并上传至服务器；

步骤7：移动终端实时读取服务器中的实时视频流并展示。

可选的，所述步骤5中融合处理包括：

利用实时视觉三维点云重建技术，根据车载控制器c发送的实时视频流信息构建视觉3d点云地图；

根据车载雷达控制器发送的实时超声波信息构建超声波2d点云，并融合视觉3d点云地图，生成准确的障碍物轮廓并该障碍物轮廓拟合到实时视频流中。

可选的，所述步骤4，具体为：

车载控制器b通过检测环境光线信息决定车机端是否打开近光灯和位置灯；同时车载控制器b收集车辆电池电量信息，进行低电量监测，如果监测为低电量状态，则将结果反馈至车端控制器a，并结束此次任务；

车载控制器c采集前、后、左、右任一视角的视频并将视频流发送给车端控制器a，同时也负责对所有摄像头进行诊断，若摄像头异常则将异常信息上报到服务器，并结束此次任务；

车载雷达控制器检测车辆周围的超声波信息并将超声波信息发送给车端控制器a；同时对车载雷达进行诊断，若车载雷达异常则将异常信息上报到服务器，并结束此次任务。

可选的，所述步骤6，具体为：车端控制器a将视频流根据用户选择视频清晰度进行压缩处理，并通过实时视频流技术发送至服务器。

可选的，所述步骤7中，在展示视频流过程中，若车端控制器a接收到服务器下发的视频清晰度的切换任务和视频视角切换任务时，车端控制器a执行清晰度切换与视角切换任务；若车端控制器a接收到服务器下发的停止远程自动泊车指令时，则车端控制器a退出视频监控同时停止视频流处理；若车端控制器a检测到远程自动泊车操作时间超过规定时间时，则车端控制器a执行停止远程自动泊车操作，并同时关闭视频流推送且停止视频流处理，并向服务器反馈。

可选的，所述步骤2中，车端控制器a接收到服务器下发的指令后，车端控制器a进行自检，自检无异常时将进入步骤3；当自检发现错误问题时，车端控制器a将反馈的错误信息发送至服务器，服务器将对应错误信息反馈至移动终端，并退出本次功能执行。

第二方面，本发明所述的基于实时视频流监控的远程泊车系统，包括：

移动终端，用于发送视频监控请求，以及提供显示界面；

服务器，用于接收移动终端发送的视频监控请求并下发指令至车端，该服务器与移动终端建立通信连接；

车端控制器a，用于接收服务器下发指令并向下发送请求，该车端控制器a与服务器建立通信连接；

车载雷达，用于监控车辆周围环境信息；

车载雷达控制器，用于控制车载雷达启动并使用超声波监控周围环境信息，并将采集到超声波信息实时发送给车端控制器a，所述车载雷达控制器与车载雷达连接，车载雷达控制器通过网关与车端控制器a连接；

车载摄像头，用于采集前、后、左、右各视角的视频流信息；

车载控制器c，用于向车载摄像头发送控制指令，控制车载摄像头接收到指令后采集前、后、左、右各视角的视频流信息，并将视频流信息发送给车端控制器a，所述车载控制器c与车载摄像头连接，车载控制器c通过网关与车端控制器a连接；所述车端控制器a对视频流信息与超声波信息进行融合处理生成准确的障碍物轮廓，并将该障碍物轮廓拟合到视频流中，车端控制器a将拟合后的视频流进行压缩处理，并上传至服务器，所述移动终端实时读取服务器中的实时视频流并展示；

车载控制器b，用于反馈电池电量和检测环境光，完成系统启动并获取到视频监控的任务后将反馈电池电量发送给车端控制器a，该车载控制器b通过网关与车端控制器a连接。

本发明具有以下优点：在自动泊车过程中，使用车载摄像头与车载波雷达采集周边环境信息；车载摄像头采集到的信息通过实时视觉三维点云重建技术，建立视觉3d点云地图，车载雷达采集到信息建立超声波2d点云，通过融合算法融合3d点云地图与2d点云地图，生成高精度的障碍物边界，并将该信息拟合到实时视频中，实现各类复杂泊车场景的有效识别；同时使用实时视频流技术将该视频通过服务器实时发送到用户的移动终端，使得车主能够远程实时查看车辆，实现了对车辆四周环境的判断，能够辅助实现用户对自动泊车功能的远程操作，解决了用户在超视距的场景下无法远程泊车的问题。

附图说明

图1为本实施例的系统架构图；

图2为本实施例的整体业务示意图；

图3为本实施例的实时视频与超声波融合流程图。

具体实施方式

下面结合附图对本发明作可选的说明。

本实施例中，一种基于实时视频流监控的远程泊车方法，包括以下步骤：

步骤1，移动终端开启远程自动泊车请求。如图1和图2所示，移动终端开启远程自动泊车请求，将执行步骤2。移动终端用于接收用户操作指令以及显示传回的视频图像，实时影像查看过程中，用户可以通过移动终端切换车载摄像头，车载摄像头包括前、后、左、右四个摄像头，且用户可以通过移动终端切换影像清晰度。用户在实时影像查看过程中，可通过移动终端关闭视频监控。在视频监控时间超时、车载蓄电池电量过低或者汽车电源档位切换时，用户移动终端将自动退出影像直播。移动终端包含移动电话、智能移动终端、平板电脑或笔记本电脑。

步骤2，服务器基于接收到的远程监控开启请求下发指令并进行验证。如图1和图2所示，服务器与移动终端通过运营商网络连接，服务器接收到移动终端发送的远程监控开启请求时，以双方规定的格式向车端控制器a下发指令。车端控制器a进行自检，自检无异常时将进入步骤3；当自检发现错误问题时，车端控制器a将反馈的错误信息发送至服务器，服务器将对应错误信息反馈至移动终端，并退出本次功能执行。

步骤3，车端控制器a基于服务器下发的指令向车载控制器b、车载控制器c和车载雷达控制器下发送请求。如图1和图2所示，车端控制器a与服务器通过运营商网络进行通信，车端控制器a与其他模块之间的通信通过usb或内部接口。车端控制器a接收到服务器下发的远程自动泊车指令后将该远程自动泊车指令下发至车载控制器b、车载控制器c和车载雷达控制器，车载控制器b、车载控制器c和车载雷达控制器启动。

步骤4，车载控制器b通过检测环境光线信息决定车机端是否打开近光灯和位置灯，便于影像的清晰呈现；同时车载控制器b收集车辆电池电量信息，进行低电量监测，如果监测为低电量状态，则将结果反馈至车端控制器a，并结束此次任务。

车载控制器c采集视频并诊断摄像头是否异常。如图1和图2所示，车载控制器c与车辆控制器a连接，车载控制器c负责采集前、后、左、右任一视角的视频并将视频流发送给车端控制器a，同时也负责对所有摄像头进行诊断，若摄像头异常则将异常信息上报到服务器以告知用户，并结束此次任务。

车载雷达控制器采集超声波信息并诊断雷达是否异常。如图1和图2所示，车载雷达控制器与车辆控制器a连接，车载雷达控制器负责检测车辆周围的超声波信息并将超声波信息发送给车端控制器a；同时也负责对车载雷达进行诊断，若车载雷达异常则将异常信息上报到服务器以告知用户，并结束此次任务。

步骤5，车端控制器a收到车载控制器c与车载雷达控制器发送的视频流信息与超声波信息，使用融合算法进行融合，如图3所示。详细流程如下：利用实时视觉三维点云重建技术，根据车载控制器c发送的实时视频流信息构建视觉3d点云地图；根据车载雷达控制器发送的实时超声波信息构建超声波2d点云，融合视觉3d点云地图，生成准确的包括方柱、车位地锁、立柱侧面侵入车位空间的水管、消防箱等障碍物轮廓信息并拟合到实时视频流中，并执行步骤6。

步骤6，车端控制器a压缩视频流并上传至服务器。如图1和图2所示，车端控制器a将视频流根据用户选择视频清晰度进行压缩处理，并通过实时视频流技术发送至服务器，并执行步骤7。

步骤7，移动终端实时读取服务器中的实时视频流并展示。移动终端接收服务器推送的视频流信息，以监控车辆的实时状态。用户根据视频流进行监控。在监控过程中，若车端控制器a接收到服务器下发的视频清晰度的切换任务和视频视角切换任务时，车端控制器a执行清晰度切换与视角切换任务；若车端控制器a接收到服务器下发的停止远程自动泊车指令时，则车端控制器a需退出视频监控同时停止视频流处理。若车端控制器a检测到远程自动泊车操作时间超过规定时间时，则车端控制器a执行停止远程自动泊车操作，并同时关闭视频流推送且停止视频流处理，并向服务器反馈。

如图1所示，本实施例中，所述的基于实时视频流监控的远程泊车系统，包括：

移动终端，用于发送视频监控请求，以及提供显示界面；

服务器，用于接收移动终端发送的视频监控请求并下发指令至车端，该服务器与移动终端建立通信连接；

车端控制器a，用于接收服务器下发指令并向下发送请求，该车端控制器a与服务器建立通信连接；

车载雷达，用于监控车辆周围环境信息；

车载雷达控制器，用于控制车载雷达启动并使用超声波监控周围环境信息，并将采集到超声波信息实时发送给车端控制器a，所述车载雷达控制器与车载雷达连接，车载雷达控制器通过网关与车端控制器a连接；

车载摄像头，用于采集前、后、左、右各视角的视频流信息；

车载控制器c，用于向车载摄像头发送控制指令，控制车载摄像头接收到指令后采集前、后、左、右各视角的视频流信息，并将视频流信息发送给车端控制器a，所述车载控制器c与车载摄像头连接，车载控制器c通过网关与车端控制器a连接；所述车端控制器a对视频流信息与超声波信息进行融合处理生成准确的障碍物轮廓，并将该障碍物轮廓拟合到视频流中，车端控制器a将拟合后的视频流进行压缩处理，并上传至服务器，所述移动终端实时读取服务器中的实时视频流并展示；

车载控制器b，用于反馈电池电量和检测环境光，完成系统启动并获取到视频监控的任务后将反馈电池电量发送给车端控制器a，该车载控制器b通过网关与车端控制器a连接。

在自动泊车过程中，使用车载摄像头与车载波雷达采集周边环境信息；车载摄像头采集到的信息通过实时视觉三维点云重建技术，建立视觉3d点云地图，车载雷达采集到信息建立超声波2d点云，通过融合算法融合3d点云地图与2d点云地图，生成高精度的障碍物边界，并将该信息拟合到实时视频中，实现各类复杂泊车场景的有效识别；同时使用实时视频流技术将该视频通过服务器实时发送到用户的移动终端，使得车主能够远程实时查看车辆，实现了对车辆四周环境的判断，能够辅助实现用户对自动泊车功能的远程操作。