本发明涉及vr应用技术领域,尤其是一种基于全景vr直播的汽车远程诊断与维修系统。
背景技术:
一般情况下汽车主机厂技术中心的技师技术能力强,4s店技师车辆维修力量薄弱,所以对某些汽车故障的维修需要汽车主机厂技术中心的技师远程协助,但目前的远程视频诊断系统不足以让技师达到“身如其境”的效果,影响远程维修的效果。
技术实现要素:
本发明提供一种基于全景vr直播的汽车远程诊断与维修系统,目的是解决能力强的维修技师远程协助异地维修现场技师进行车辆故障诊断和维修工作,其包括修车现场端和远程维修端,所述修车现场端与所述远程维修端通过互联网协议tcp/ip建立网络通讯,其中,
所述修车现场端包括蓝牙诊断头、智能手机及全景摄像头,所述蓝牙诊断头连接到汽车的obd标准诊断接口上,所述蓝牙诊断头通过蓝牙协议与所述智能手机通讯,所述全景摄像头连接到所述智能手机上;
所述远程维修端为vr眼镜,所述vr眼镜通过互联网与所述智能手机连接。
作为优选,所述全景摄像头采用insta360或gopro全景摄像头。
作为优选,所述全景摄像头通过type-c接口或mini-usb或苹果lightning接口接到所述智能手机上。
作为优选,所述修车现场端的智能手机上设有手机端app,所述vr眼镜上设有vr端app。
作为优选,所述手机端app包括用户登录模块、蓝牙连接模块、远程诊断模块和直播推流模块,其中,
所述用户登录模块用于匹配服务器存储的用户名或密码错误并支持修改密码;
所述蓝牙连接模块用于蓝牙搜索、蓝牙主动连接、蓝牙自动连接及关闭蓝牙;
所述远程诊断模块用于将通过蓝牙获取到的数据上传到服务器,远端诊断专家带上vr眼镜后可实时观察到汽车数据的变化;
所述直播推流模块将现场画面上传到服务器,远程vr眼镜端通过拉流解码播放才能看到现场实时画面。
作为优选,所述vr端app包括专家登录模块、数据选择模块、全景视频播放模块及数据显示模块,其中,
所述专家登录模块用于匹配服务器存储的用户名或密码并支持修改密码;
所述数据选择模块用于选择你查看的数据,然后在全景视频播放时实时显示你选中的数据;
所述全景视频播放模块借助ffmpeg对流媒体进行接收和解码,分离出视频帧,再通过vr眼镜来显示全景视频帧;
所述数据显示模块用于观察汽车数据。
作为优选,所述数据显示模块数据表格模块与数据折线图模块,所述表格模块显示具体的汽车数据条目,包括ecu、名称、数值;所述数据折线图模块为选中左侧表格中条目后相对应的数据的折线图,可以清楚地看到汽车数据的变化。
本发明提供的一种基于全景vr直播的汽车远程诊断与维修系统,其有益效果在于:采集并推送维修现场的立体视频、音频和ecu测量值数据流;异地维修技师通过vr眼镜可以呈现现场立体情景并远程操作诊断设备读取数据流,并通过蓝牙读取的ecu故障信息或者测量值数据流。
附图说明
图1是汽车远程诊断与维修系统的硬件连接框图;
图2是汽车远程诊断与维修系统的软件模块框图;
图3是汽车远程诊断与维修系统远程交互流程图。
具体实施方式
为进一步说明各实施例,本发明提供有附图。这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
如图1所示,本实施例提供的基于全景vr直播的汽车远程诊断与维修系统,包括修车现场端和远程维修端,修车现场端与所述远程维修端通过互联网协议tcp/ip建立网络通讯,其中,修车现场端包括蓝牙诊断头、智能手机及全景摄像头,蓝牙诊断头连接到汽车的obd标准诊断接口上,蓝牙诊断头通过蓝牙4.0协议与智能手机通讯,全景摄像头可以采用insta360或gopro全景摄像头,通过连接到type-c接口或mini-usb或苹果lightning接口接到智能手机上;远程维修端采用vr眼镜
在修车现场端的智能手机上设有手机端app,vr眼镜上设有vr端app,如图2所述,手机端app包括用户登录模块、蓝牙连接模块、远程诊断模块和直播推流模块,vr端app包括专家登录模块、数据选择模块、全景视频播放模块及数据显示模块,其中,
用户登录模块用于匹配服务器存储的用户名或密码,如果匹配成功则进入系统,如果匹配失败则提示用户名或密码错误,无法进入系统,同时还支持修改密码;
蓝牙连接模块与插在汽车obd接口上的obd蓝牙诊断头建立连接,包括蓝牙搜索、蓝牙主动连接、蓝牙自动连接及关闭蓝牙等功能;
远程诊断模块,当用户遇到问题无法自行解决时,可以发起远程诊断请求,远程诊断模块将通过蓝牙获取到的数据上传到服务器,远端诊断专家带上vr眼镜后可实时观察到汽车数据的变化,发起远程诊断请求时,若远程vr客户端不在线,会反馈不在线的提示;若vr客户端在线,会自动与其建立连接;
直播推流模块,当用户需要请求远程协助前,需要在手机端插上全景摄像头,开启直播推流功能,将现场画面上传到服务器,远程vr眼镜端通过拉流解码播放才能看到现场实时画面,直播推流模块可以调整推流的参数,例如推流视频的分辨率以及推流的码率;
专家登录模块,远程诊断专家进入vr端app同样需要登录系统,登录系统前同样需要输入用户名与密码,服务器上的数据进行校验,只有通过了校验才能进入系统;
数据选择模块,由于汽车的数据过多,如果将获取到的数据全部展示在全景播放模块中,数据将会充满整个观察视野,显得错乱复杂,缺乏用户体验,远程诊断专家也无法进行准确的判断,所以需要对数据进行选择展示,在数据选择模块中选择你需要查看的数据,然后在全景视频播放时实时显示你选中的数据;
全景视频播放模块,借助ffmpeg对流媒体进行接收和解码,分离出视频帧,再通过vr眼镜来显示全景视频帧;
数据显示模块用于观察汽车数据。
数据显示模块,戴上vr眼镜后,为了在观看全景视频的同时还能观察汽车数据,需要增加数据显示模块,数据显显示模块分为两个部分,数据表格模块与数据折线图模块,数据表格模块显示具体的汽车数据条目,包括ecu、名称、数值等;数据折线图模块为选中左侧表格中条目后相对应的数据的折线图,可以清楚地看到汽车数据的变化。
本实施例的汽车远程诊断与维修系统数据交互分为两条线路:汽车诊断数据传输和音视频数据流传输,整个交互流程如图3所示,其中,
汽车诊断数据的传输过程为:将obd蓝牙诊断头插在汽车的obd接口上,安装有手机端app的智能手机就可以通过蓝牙与obd蓝牙诊断头建立蓝牙通道,从而获取汽车obd系统的实时数据信息。智能手机接收到蓝牙数据后对数据进行解析处理,当用户看不懂数据或无法判断汽车存在的问题时请求远程协助,此时手机端app将汽车数据上传给远端服务器。vr眼镜中装有的vr端app通过网络便可获取远程服务器上的实时数据,最后通过在vr眼镜中的数据展示模块将数据显示。
音视频数据流传输过程为:装有全景摄像头的智能手机将汽车现场实时画面推流上传到远端流媒体服务器,通过vr端app的播放模块便可将远端流媒体服务器的数据解码,然后在vr眼镜中进行全景播放,在vr眼镜中呈现的是汽车数据与汽车现场全景画面的叠加;远程汽车诊断专家带上vr眼镜后,仿佛置身于汽车维修现场,通过观察汽车实时数据,结合现场画面,便可对汽车状况进行准确分析,从而实现vr远程汽车诊断。
尽管结合优选实施方案具体展示和介绍了本发明,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本发明的精神和范围内,在形式上和细节上可以对本发明做出各种变化,均为本发明的保护范围。