远程查看和控制车辆的装置的制作方法

1.本技术涉及测量控制技术领域，尤其涉及一种远程查看和控制车辆的装置。


背景技术：

2.本装置可以实现远程查看和控制车辆，例如驾照考试时，教练或者考官不需要在车上，通过远程即可实现对驾考车辆的查看和控制。既保证了教练人身安全，又可以通过本装置跟学员交流和指导。考官也可以对考生的动作行为及时进行监控和判断，给出考试成绩。


技术实现要素：

3.本技术实施例提供了一种远程查看和控制车辆的装置，不需要对场端进行特殊的处理和改造，就可以完成原先需要相关人员在车上或者现场才能完成的工作，既保证了车辆控制的实时性，又保证了人员和车辆的安全性。
4.本技术提供的一种远程查看和控制车辆的装置，包括：
5.摄像模块，用于采集车辆的外部场景视频信息和车辆的内部场景信息，得到车辆外围场景视频数据和车辆内部视频数据；
6.语音模块，用于采集车内音频信息，得到车内音频数据；
7.雷达模块，用于获取车载雷达的雷达探测信息，得到雷达探测数据；
8.控制模块，用于处理所述车辆外围场景视频数据，得到全景影像数据；还用于处理所述车辆内部视频数据、所述车内音频数据、所述全景影像数据，得到流媒体数据；还用于获取车辆系统运行信息，得到车辆系统运行数据；
9.传输模块，用于通过网络向外传输所述流媒体数据、所述车辆系统运行数据、所述雷达探测数据；
10.服务端，用于实时接收所述流媒体数据、所述车辆系统运行数据、所述雷达探测数据，得到服务端流媒体数据、服务端车辆系统运行数据、服务端雷达探测数据；
11.客户端，用于调用所述服务端流媒体数据、服务端车辆系统运行数据、服务端雷达探测数据，得到客户端车辆展示数据；还用于接收用户输入的车辆控制数据，生成并发送远程控制指令；
12.其中，所述服务端还用于转发所述远程控制指令至所述传输模块，所述传输模块还用于将所述远程控制指令发送至所述控制模块，所述控制模块还用于将所述远程控制指令发送至车辆控制系统，所述车辆控制系统根据所述远程控制指令执行对车辆的控制操作。
13.进一步的，所述摄像模块包括第一摄像单元、第二摄像单元、第三摄像单元；
14.所述外部场景视频信息包括四周场景视频信息和车底影像信息；
15.所述车辆外围场景视频数据包括车辆四周场景视频数据和车辆车底影像数据；
16.所述第一摄像单元用于采集车辆四周的所述四周场景视频信息，得到所述车辆四
周场景视频数据；
17.所述第二摄像单元用于采集车辆车底的所述车底影像信息，得到所述车辆车底影像数据；
18.所述第三摄像单元用于采集车辆的所述内部场景信息，得到所述车辆内部视频数据。
19.进一步的，所述全景影像数据通过以下步骤得到：
20.实时接收所述车辆四周场景视频数据，得到初始车辆四周场景视频数据；
21.畸变校正所述初始车辆四周场景视频数据中的视频帧图像，得到矫正视频数据；
22.对所述矫正视频数据中的视频图像进行影像拼接，得到拼接影像数据；
23.融合所述车辆车底影像数据和所述拼接影像数据，得到车辆外围场景影像数据；
24.对所述车辆外围场景影像数据进行亮度调整，得到全景影像数据。
25.进一步的，所述车辆系统包括dms系统；
26.所述车辆系统运行数据包括所述dms系统的驾驶人员检测数据。
27.进一步的，所述传输模块包括车载t-box。
28.进一步的，所述服务端还用于保存所述服务端流媒体数据、服务端车辆系统运行数据、服务端雷达探测数据。
29.进一步的，所述服务端还用于根据所述服务端雷达探测数据，标识所述服务端流媒体数据中障碍物的位置信息。
30.进一步的，所述服务端流媒体数据包括车辆全景影像服务端数据、车内音频服务端数据、车辆内部视频服务端数据。
31.进一步的，所述客户端还用于接收用户输入的语音数据，得到远程语音数据，并向所述服务端发送所述远程语音数据；
32.所述服务端还用于接收并转发所述远程语音数据至所述传输模块；
33.所述传输模块还用于将所述远程语音数据传输至所述控制模块；
34.所述控制模块还用于将所述远程语音数据传输至所述语音模块；
35.所述语音模块还用于播放所述远程语音数据。
36.进一步的，所述用户输入车辆控制数据的输入方式包括语音输入方式、手势输入方式、按键输入方式。
37.本技术提供的实施例至少具有以下有益效果：
38.通过摄像模块、语音模块、雷达模块分别采集车辆的外部场景视频信息和车辆的内部场景信息、采集车内音频信息、获取车载雷达的雷达探测信息，得到车辆外围场景视频数据、车辆内部视频数据、车内音频数据、雷达探测数据，从多个维度获取车辆的相关数据，有助于远程用户精准掌握车辆的各个状态，为远程控制车辆提供数据支持。通过控制模块将车辆外围场景视频数据转换为全景影像数据，有助于远程用户更直观地查看车辆的状态，提高体验感。将车辆内部视频数据、车内音频数据、全景影像数据转换为流媒体数据，有助于远程用户实时查看车辆的现场场景，满足实时性要求。客户端通过调用服务端流媒体数据、服务端车辆系统运行数据、服务端雷达探测数据，可以全方位了解车辆的运行状况，为生成远程控制指令提供更为准确的数据支持，提高远程控制的准确性。
附图说明
39.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
40.图1为本技术实施例提供的一种远程查看和控制车辆的装置的结构示意图；
41.图2为本技术实施例提供的一种获取全景影像数据的流程图；
42.图3为本技术实施例提供的一种全景影像的实车效果图。
43.100、远程查看和控制车辆的装置；11、摄像模块；12、语音模块；13、雷达模块；14、控制模块；15、传输模块；16、服务端；17、客户端。
具体实施方式
44.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.请参照图1，本技术提供的一种远程查看和控制车辆的装置100，包括：
46.摄像模块11，用于采集车辆的外部场景视频信息和车辆的内部场景信息，得到车辆外围场景视频数据和车辆内部视频数据；
47.语音模块12，用于采集车内音频信息，得到车内音频数据；
48.雷达模块13，用于获取车载雷达的雷达探测信息，得到雷达探测数据；
49.控制模块14，用于处理所述车辆外围场景视频数据，得到全景影像数据；还用于处理所述车辆内部视频数据、所述车内音频数据、所述全景影像数据，得到流媒体数据；还用于获取车辆系统运行信息，得到车辆系统运行数据；
50.传输模块15，用于通过网络向外传输所述流媒体数据、所述车辆系统运行数据、所述雷达探测数据；
51.服务端16，用于实时接收所述流媒体数据、所述车辆系统运行数据、所述雷达探测数据，得到服务端流媒体数据、服务端车辆系统运行数据、服务端雷达探测数据；
52.客户端17，用于调用所述服务端流媒体数据、服务端车辆系统运行数据、服务端雷达探测数据，得到客户端车辆展示数据；还用于接收用户输入的车辆控制数据，生成并发送远程控制指令；
53.其中，所述服务端16还用于转发所述远程控制指令至所述传输模块15，所述传输模块15还用于将所述远程控制指令发送至所述控制模块14，所述控制模块14还用于将所述远程控制指令发送至车辆控制系统，所述车辆控制系统根据所述远程控制指令执行对车辆的控制操作。
54.需要说明的是，这里的语音模块12可以由麦克风和扬声器组成，可以通过麦克风对车内进行音频采集，通过扬声器进行语音播放，以此实现远程交互，及时对学员的错误动作或行为进行阻止和指导。这里的雷达模块13可以采用超声雷达、毫米波雷达等，获取的雷达探测数据可以用于确定障碍物的方位和距离等信息。这里的车辆系统运行信息可以理解为通过esp、eps、ipb等获取的车身信号。esp表示车身电子稳定系统。eps(electric power steering)表示为电动助力转向系统。ipb表示为智能集成制动系统。这里的车辆系统运行
信息还包括车辆can总线数据如方向盘转角，油门、刹车等信息。通过控制模块 14获取车辆系统运行信息，得到车辆系统运行数据。可以理解的是，客户端17 得到的客户端车辆展示数据包括车辆can总线数据如方向盘转角，油门、刹车等信息，用户可以通过客户端17对考生驾驶车辆的平稳性以及紧急情况反应的及时性等对学员进行指导和考试评分。在获取流媒体数据时，控制模块14 可以采用流媒体协议对采集的车辆内部视频数据、车内音频数据、全景影像数据进行压缩编码处理，从而得到流媒体数据。这里的流媒体协议可以为rtsp、rtmp等。最终的流媒体数据可以通过传输模块15通过网络实时推送到服务器，并通过服务器上布置的服务端16实时接收。显而易见的是，只有经过认证的用户才可以通过客户端17访问服务器中的服务端16。这里的客户端17可以理解为客户端app。服务端16的服务端流媒体数据中包括与控制模块14中的全景影像数据对应的全景影像。用户通过客户端app调取服务端16的全景影像查看鸟瞰图，可以对车辆的周围环境进行实时监控，在倒车和行车过程中还可以查看车辆是否压线和是否有障碍物等，也可以通过对全景影像进行相关处理对压线和障碍物等进行语音或者视频显示报警或者评分。
55.进一步的，所述摄像模块11包括第一摄像单元、第二摄像单元、第三摄像单元；
56.所述外部场景视频信息包括四周场景视频信息和车底影像信息；
57.所述车辆外围场景视频数据包括车辆四周场景视频数据和车辆车底影像数据；
58.所述第一摄像单元用于采集车辆四周的所述四周场景视频信息，得到所述车辆四周场景视频数据；
59.所述第二摄像单元用于采集车辆车底的所述车底影像信息，得到所述车辆车底影像数据；
60.所述第三摄像单元用于采集车辆的所述内部场景信息，得到所述车辆内部视频数据。
61.需要指出的是,这里的第一摄像单元可以采用全景环视摄像头实时查看车辆周围情况，如障碍物、行人等的情况，以此获取车辆四周场景视频数据。这里的第二摄像单元可以采用普通摄像头或者红外摄像头等对车辆车底的情况进行拍摄，以此获取车辆车底影像数据。这里的第三摄像单元可以采用普通摄像头或者红外摄像头等对乘客或者监事人员进行监控，实现对车辆的内部场景信息的采集，以此得到车辆内部视频数据。
62.进一步的，请参考图2，所述全景影像数据通过以下步骤得到：
63.s401：实时接收所述车辆四周场景视频数据，得到初始车辆四周场景视频数据；
64.s402：畸变校正所述初始车辆四周场景视频数据中的视频帧图像，得到矫正视频数据；
65.s403：对所述矫正视频数据中的视频图像进行影像拼接，得到拼接影像数据；
66.s404：融合所述车辆车底影像数据和所述拼接影像数据，得到车辆外围场景影像数据；
67.s405：对所述车辆外围场景影像数据进行亮度调整，得到全景影像数据。
68.可以理解的是，在正式使用摄像头进行全景影像数据的获取前，需要先对摄像头进行摄像头标定操作，以实现摄像头的初步矫正。这里的全景影像数据可以理解为鸟瞰图。全景影像数据中对车底和车身进行透明化处理，请参考图 3，为一种全景影像的实车效果图，可以理解为全景影像数据的实车效果图。
69.进一步的，所述车辆系统包括dms系统；
70.所述车辆系统运行数据包括所述dms系统的驾驶人员检测数据。
71.需要说明的是，dms系统表示驾驶疲劳检测系统(driver monitor system)，用于检测驾驶员在行车过程中的状态。dms系统包括faceid、疲劳检测、分心检测、表情识别、手势识别、危险动作识别、视线追踪等。本技术可以通过dms 系统和乘客监控摄像头对车辆内部状态进行实时视频采集和监控，如，是否正确佩戴安全带、驾驶姿势是否正确、注意力是否集中等。这里的乘客监控摄像头为摄像模块11的组成部分之一，用于采集车辆的内部场景信息，得到车辆内部视频数据。
72.进一步的，所述传输模块15包括车载t-box。
73.需要指出的是，车载t-box可以理解为telematics box。车载t-box是车联网系统的一部分。本技术中的车载t-box主要用于通过4g或5g和服务端 16通信，并通过客户端17显示车辆信息并通过客户端17实现对车辆的远程控制。
74.进一步的，所述服务端16还用于保存所述服务端流媒体数据、服务端车辆系统运行数据、服务端雷达探测数据。
75.需要指出的是，服务端16在保存服务端流媒体数据、服务端车辆系统运行数据、服务端雷达探测数据时，可以采用dvr功能进行音视频的录制，即采用dvr功能对服务端流媒体数据进行录制，以此实现对车辆历史驾驶情况的复盘。比如：在驾驶考试过程中，可以在服务端16通过dvr功能进行视频和音频的录制，用户可以在需要的时候进行查看和复盘，例如考生对结果有异议时，可以复查考试过程。
76.进一步的，所述服务端16还用于根据所述服务端雷达探测数据，标识所述服务端流媒体数据中障碍物的位置信息。
77.可以理解的是，雷达模块13获取的雷达探测数据可以用于确定障碍物的方位和距离等。这里的服务端雷达探测数据来源于初始的雷达模块13获取的雷达探测数据。根据服务端雷达探测数据标识服务端流媒体数据中障碍物的位置信息，可以让获取的障碍物的位置信息更加精准。
78.进一步的，所述服务端流媒体数据包括车辆全景影像服务端数据、车内音频服务端数据、车辆内部视频服务端数据。
79.需要说明的是，将服务端流媒体数据分为车辆全景影像服务端数据、车内音频服务端数据、车辆内部视频服务端数据，有助于客户端17根据需要调取不同的多媒体数据，节约系统资源。客户端17在调用服务端流媒体数据时，可以根据需要选择调用车辆全景影像服务端数据、车内音频服务端数据、车辆内部视频服务端数据中的一种或多种。客户端17调用车辆全景影像服务端数据时，可以基于全景影像查看车辆的鸟瞰图。客户端17调用车内音频服务端数据，可以播放在车内采集到的音频信息。客户端17调用车辆内部视频服务端数据，可以查看在车辆内部拍摄的视频信息。
80.进一步的，所述客户端17还用于接收用户输入的语音数据，得到远程语音数据，并向所述服务端16发送所述远程语音数据；
81.所述服务端16还用于接收并转发所述远程语音数据至所述传输模块15；
82.所述传输模块15还用于将所述远程语音数据传输至所述控制模块14；
83.所述控制模块14还用于将所述远程语音数据传输至所述语音模块12；
84.所述语音模块12还用于播放所述远程语音数据。
85.可以理解的是，使用客户端17的用户需要和车辆内部的驾驶人员进行语音交互时，可以在客户端17输入语音数据。这里的语音数据可以是通过客户端 17获取的用户的语音输入数据，也可以是客户端17在用户的操作指令下自动生成的语音数据。
86.进一步的，所述用户输入车辆控制数据的输入方式包括语音输入方式、手势输入方式、按键输入方式。
87.需要说明的是，这里的车辆控制数据可以理解为远程控制指令。用户可以通过远程控制指令远程控制车辆，如控制车辆进行泊入、泊出、刹车等操作。这里的输入方式可以理解为远程控制指令的生成方式，具体可以采用语音、手势、按键等方式。通过远程控制指令可以对学员进行远程指导，也可以远程处理紧急情况。
88.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
89.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
90.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。