通过移动设备控制车载摄像头的方法、设备和系统与流程

文档序号:20839972发布日期:2020-05-22 17:22阅读:438来源:国知局
通过移动设备控制车载摄像头的方法、设备和系统与流程

本方案涉及智能车领域,具体涉及一种通过移动设备控制车载摄像头的方法、设备和系统。



背景技术:

随着智能汽车数字化智能化,汽车正被赋予全新的功能。其中的一个变化是车载摄像头,车载摄像头会不止一个并且多功能化、全方位化,驾驶者可以通过中控台或方向盘控制摄像头的切换、显示方位等。

虽然,汽车摄像头的控制对驾驶者来说操控相对方便,但是对乘客特别是后排乘客而言几乎没有提供控制方法和空间。对此乘客体验不好。



技术实现要素:

本方案实施例提供了一种控制车辆控制装置操作的方法、移动设备和车辆控制装置,旨在实现在移动设备端对车辆控制装置的操作控制体验。

第一方面,本方案实施例提供一种控制车辆控制装置操作的方法。所述方法由移动设备实施,所述车辆控制装置位于车辆上;所述方法包括:与所述车辆控制装置通信连接;接收所述车辆控制装置的至少一个车载摄像头的摄像头信息;根据所述摄像头信息配置至少一个虚拟摄像头;其中,所述至少一个虚拟摄像头与所述至少一个车载摄像头一一对应;启用所述至少一个虚拟摄像头,获取与所述至少一个虚拟摄像头对应的车载摄像头拍摄的视频信号。

结合第一方面,在一个可能的实施例中,所述与车辆控制装置通信连接包括利用近场通信实现与所述车辆控制装置通信连接。

结合第一方面,在一个可能的实施例中,所述启用所述至少一个虚拟摄像头,获取与所述至少一个虚拟摄像头中各虚拟摄像头所对应的车载摄像头的视频信号之后,所述方法包括,显示所述视频信号。

结合第一方面,在一个可能的实施例中,所述方法还包括:当移动设备的旋转角度在所述车载摄像头的拍摄范围内变化时,发送第一指令到所述车辆控制装置,所述第一指令指示所述车辆控制装置根据所述旋转角度调整所述车载摄像头的角度;其中,所述第一指令携带所述旋转角度。

结合第一方面,在一个可能的实施例中,所述方法还包括:当移动设备从第一车载摄像头的拍摄范围旋转或移动到第二车载摄像头的拍摄范围时,控制所述移动设备从第一虚拟摄像头切换到第二虚拟摄像头;其中所述第一车载摄像头和所述第一虚拟摄像头对应,所述第二车载摄像头和所述第二虚拟摄像头对应;获取所述第二车载摄像头拍摄的视频信号。

结合第一方面,在一个可能的实施例中,所述方法还包括:在所述启用所述至少一个虚拟摄像头获取与所述至少一个虚拟摄像头对应的车载摄像头拍摄的视频信号之前,在所述移动设备的屏幕上呈现用户界面,所述用户界面显示所述移动设备的摄像头获取的视频数据,所述用户界面用于提示用户调整所述移动设备的方向和所述车辆的方向保持一致,以便完成对所述移动设备的方向的校正。

结合第一方面,在一个可能的实施例中,所述启用所述至少一个虚拟摄像头,获取与所述至少一个虚拟摄像头对应的车载摄像头的视频信号包括,通过所述至少一个虚拟摄像头获取与所述至少一个虚拟摄像头对应的车载摄像头的视频信号,所述视频信号中携带用户的手势信息;根据所述手势信息,发送第三指令给所述车辆控制装置,以便所述车辆控制装置对车辆上的车载设备进行控制,其中,所述第三指令根据所述手势确定。

结合第一方面,在一个可能的实施例中,所述方法还包括:接收来自所述车辆控制装置的至少一个车控类别;获取至少一个手势/姿势;存储至少一个手势/姿势和至少一个车控类别之间的关联关系。

第二方面,本方案实施例提供一种控制车辆控制装置操作的方法。所述方法由位于车辆上的车辆控制装置实施,所述车辆控制装置包括至少一个车载摄像头,所述方法包括:与移动设备建立通信连接;向所述移动设备发送所述至少一个车载摄像头的摄像头信息,以便所述移动设备根据所述摄像头信息配置至少一个虚拟摄像头;其中,所述至少一个虚拟摄像头与所述至少一个车载摄像头一一对应;根据所述移动设备的第一指令,启用所述至少一个车载摄像头并且向所述移动设备发送所述至少一个车载摄像头拍摄的视频信号,所述视频信号作为所述至少一个虚拟摄像头的视频信号。

结合第二方面,在一个可能的实施例中,所述方法还包括:接收所述移动设备的第二指令,所述第二指令包括至少一个所述车载摄像头的标识和旋转角度;所述第二指令指示根据所述旋转角度调整至少一个所述车载摄像头的拍摄角度;向所述移动设备发送至少一个所述车载摄像头调整拍摄角度后拍摄的视频数据。

结合第二方面,在一个可能的实施例中,所述至少一个车载摄像头包括第一车载摄像头和第二车载摄像头;所述方法还包括:接收所述移动设备的第三指令,所述第三指令包括所述第二车载摄像头的标识,所述第三指令指示所述车辆控制装置将所述第一车载摄像头切换为所述第二车载摄像头;所述根据移动设备的第一指令启用至少一个车载摄像头并且向移动设备发送至少一个车载摄像头拍摄的视频信号包括,向移动设备发送利用所述第二车载摄像头拍摄的视频信号。

结合第二方面,在一个可能的实施例中,所述至少一个车载摄像头包括位于所述车辆内的第三摄像头;所述车辆还包括车载设备;所述根据移动设备的第一指令启用所述至少一个车载摄像头并且向移动设备发送至少一个车载摄像头拍摄的视频信号包括,获取所述第三摄像头的视频信号,所述视频信号中携带用户的手势信息;所述方法包括接收所述移动设备的第四指令,并且根据所述第四指令对所述车载设备进行控制;所述第四指令根据所述手势信息确定。

第三方面,本方案实施例提供了一种移动设备,包括处理器、存储器、通信模块;其中,所述存储器用于存储计算机执行指令;通信模块用于建立移动设备和车辆控制装置的连接;所述处理器用于执行所述计算机执行指令,使得所述移动设备执行:与所述车辆控制装置通信连接;接收所述车辆控制装置的至少一个车载摄像头的摄像头信息;根据所述摄像头信息配置至少一个虚拟摄像头;其中,所述至少一个虚拟摄像头与所述至少一个车载摄像头一一对应;启用所述至少一个虚拟摄像头,获取与所述至少一个虚拟摄像头对应的车载摄像头拍摄的视频信号。

结合第三方面,在一个可能的实施例中,所述处理器执行所述计算机执行指令,使得所述移动设备执行:利用近场通信实现与车辆控制装置通信连接。

结合第三方面,在一个可能的实施例中,所述处理器执行所述计算机执行指令,使得所述移动设备执行:在启用所述至少一个虚拟摄像头,获取与所述至少一个虚拟摄像头中各虚拟摄像头所对应的车载摄像头的视频信号之后,显示所述视频信号。

结合第三方面,在一个可能的实施例中,所述处理器执行所述计算机执行指令,使得所述移动设备执行:当移动设备的旋转角度在所述车载摄像头的拍摄范围内变化时,发送第一指令到所述车辆控制装置,所述第一指令指示所述车辆控制装置根据所述旋转角度调整所述车载摄像头的角度;其中,所述第一指令携带所述旋转角度。

结合第三方面,在一个可能的实施例中,所述处理器执行所述计算机执行指令,使得所述移动设备执行:当移动设备从第一车载摄像头的拍摄范围旋转或移动到第二车载摄像头的拍摄范围时,控制所述移动设备从第一虚拟摄像头切换到第二虚拟摄像头;其中所述第一车载摄像头和所述第一虚拟摄像头对应,所述第二车载摄像头和所述第二虚拟摄像头对应;获取所述第二车载摄像头拍摄的视频信号。

结合第三方面,在一个可能的实施例中,所述处理器执行所述计算机执行指令,使得所述移动设备执行:在所述启用所述至少一个虚拟摄像头获取与所述至少一个虚拟摄像头对应的车载摄像头拍摄的视频信号之前,在所述移动设备的屏幕上呈现用户界面,所述用户界面显示所述移动设备的摄像头获取的视频数据,所述用户界面用于提示用户调整所述移动设备的方向和所述车辆的方向保持一致,以便完成对所述移动设备的方向的校正。

结合第三方面,在一个可能的实施例中,所述处理器执行所述计算机执行指令,使得所述移动设备执行:通过所述至少一个虚拟摄像头获取与所述至少一个虚拟摄像头对应的车载摄像头的视频信号,所述视频信号中携带用户的手势信息;根据所述手势信息,发送第三指令给所述车辆控制装置,以便所述车辆控制装置对车辆上的车载设备进行控制,其中,所述第三指令根据所述手势确定。

结合第三方面,在一个可能的实施例中,所述处理器执行所述计算机执行指令,使得所述移动设备执行:接收来自所述车辆控制装置的至少一个车控类别;获取至少一个手势/姿势;存储至少一个手势/姿势和至少一个车控类别之间的关联关系。

第四方面,本方案实施例提供了一种车辆控制装置,包括处理器、存储器、通信模块和至少一个车载摄像头;其中,所述存储器用于存储计算机执行指令;所述处理器执行所述计算机执行指令,使得所述车辆控制装置执行:与移动设备建立通信连接;向所述移动设备发送所述至少一个车载摄像头的摄像头信息,以便所述移动设备根据所述摄像头信息配置至少一个虚拟摄像头;其中,所述至少一个虚拟摄像头与所述至少一个车载摄像头一一对应;根据所述移动设备的第一指令,启用所述至少一个车载摄像头并且向所述移动设备发送所述至少一个车载摄像头拍摄的视频信号,所述视频信号作为所述至少一个虚拟摄像头的视频信号。

结合第四方面,在一个可能的实施例中,所述处理器执行所述计算机执行指令,使得所述车辆控制装置执行:接收所述移动设备的第二指令,所述第二指令包括至少一个所述车载摄像头的标识和旋转角度;所述第二指令指示根据所述旋转角度调整至少一个所述车载摄像头的拍摄角度;向所述移动设备发送至少一个所述车载摄像头调整拍摄角度后拍摄的视频数据。

结合第四方面,在一个可能的实施例中,所述至少一个车载摄像头包括第一车载摄像头和第二车载摄像头;所述处理器执行所述计算机执行指令,使得所述车辆控制装置执行:接收所述移动设备的第三指令,所述第三指令包括所述第二车载摄像头的标识,所述第三指令指示所述车辆控制装置将所述第一车载摄像头切换为所述第二车载摄像头;向移动设备发送利用所述第二车载摄像头拍摄的视频信号。

结合第四方面,在一个可能的实施例中,所述至少一个车载摄像头包括位于所述车辆内的第三摄像头;所述车辆还包括车载设备;所述处理器执行所述计算机执行指令,使得所述车辆控制装置执行:获取所述第三摄像头的视频信号,所述视频信号中携带用户的手势信息;接收所述移动设备的第四指令,并且根据所述第四指令对所述车载设备进行控制;所述第四指令根据所述手势信息确定。

第五方面,本方案实施例提供一种移动设备,所述移动设备包括:通信连接模块,用于与所述车辆控制装置通信连接;接收模块,用于接收所述车辆控制装置的至少一个车载摄像头的摄像头信息;配置模块,用于根据所述摄像头信息配置至少一个虚拟摄像头;其中,所述至少一个虚拟摄像头与所述至少一个车载摄像头一一对应;获取模块,用于启用所述至少一个虚拟摄像头,获取与所述至少一个虚拟摄像头对应的车载摄像头拍摄的视频信号。

结合第五方面,在一个可能的实施例中,所述通信连接模块利用近场通信实现与车辆控制装置通信连接。

结合第五方面,在一个可能的实施例中,在所述获取模块启用所述至少一个虚拟摄像头,获取与所述至少一个虚拟摄像头中各虚拟摄像头所对应的车载摄像头的视频信号之后,所述获取模块显示所述视频信号。

结合第五方面,在一个可能的实施例中,所述移动设备还包括:发送模块,用于当移动设备的旋转角度在所述车载摄像头的拍摄范围内变化时,发送第一指令到所述车辆控制装置,所述第一指令指示所述车辆控制装置根据所述旋转角度调整所述车载摄像头的角度;其中,所述第一指令携带所述旋转角度。

结合第一方面,在一个可能的实施例中,切换模块,用于当移动设备从第一车载摄像头的拍摄范围旋转或移动到第二车载摄像头的拍摄范围时,控制所述移动设备从第一虚拟摄像头切换到第二虚拟摄像头;其中所述第一车载摄像头和所述第一虚拟摄像头对应,所述第二车载摄像头和所述第二虚拟摄像头对应;获取模块,用于获取所述第二车载摄像头拍摄的视频信号。

结合第五方面,在一个可能的实施例中,所述移动设备还包括:呈现模块,用于在所述启用所述至少一个虚拟摄像头获取与所述至少一个虚拟摄像头对应的车载摄像头拍摄的视频信号之前,在所述移动设备的屏幕上呈现用户界面,所述用户界面显示所述移动设备的摄像头获取的视频数据,所述用户界面用于提示用户调整所述移动设备的方向和所述车辆的方向保持一致,以便完成对所述移动设备的方向的校正。

结合第五方面,在一个可能的实施例中,所述获取模块通过所述至少一个虚拟摄像头获取与所述至少一个虚拟摄像头对应的车载摄像头的视频信号,所述视频信号中携带用户的手势信息;根据所述手势信息,发送第三指令给所述车辆控制装置,以便所述车辆控制装置对车辆上的车载设备进行控制,其中,所述第三指令根据所述手势确定。

结合第五方面,在一个可能的实施例中,所述移动设备还包括:接收模块,接收来自所述车辆控制装置的至少一个车控类别;获取模块,获取至少一个手势/姿势;存储模块,用于存储至少一个手势/姿势和至少一个车控类别之间的关联关系。

第六方面,本方案实施例提供车辆控制装置,所述车辆控制装置包括至少一个车载摄像头,所述车辆控制装置包括:通信连接模块,以通信方式连接移动设备;发送模块,向所述移动设备发送所述至少一个车载摄像头的摄像头信息,以便所述移动设备根据所述摄像头信息配置至少一个虚拟摄像头;其中,所述至少一个虚拟摄像头与所述至少一个车载摄像头一一对应;启用模块,根据所述移动设备的第一指令,启用所述至少一个车载摄像头并且向所述移动设备发送所述至少一个车载摄像头拍摄的视频信号,所述视频信号作为所述至少一个虚拟摄像头的视频信号。

结合第六方面,在一个可能的实施例中,所述车辆控制装置还包括:接收模块,接收所述移动设备的第二指令,所述第二指令包括至少一个所述车载摄像头的标识和旋转角度;所述第二指令指示根据所述旋转角度调整至少一个所述车载摄像头的拍摄角度;发送模块,向所述移动设备发送至少一个所述车载摄像头调整拍摄角度后拍摄的视频数据。

结合第六方面,在一个可能的实施例中,所述至少一个车载摄像头包括第一车载摄像头和第二车载摄像头;所述车辆控制装置还包括:接收模块,接收所述移动设备的第三指令,所述第三指令包括所述第二车载摄像头的标识,所述第三指令指示所述车辆控制装置将所述第一车载摄像头切换为所述第二车载摄像头;所述发送模块向移动设备发送利用所述第二车载摄像头拍摄的视频信号。

结合第六方面,在一个可能的实施例中,所述至少一个车载摄像头包括位于所述车辆内的第三摄像头;所述车辆还包括车载设备;所述发送模块获取所述第三摄像头的视频信号,所述视频信号中携带用户的手势信息;所述车辆控制装置包括接收模块,接收所述移动设备的第四指令,并且根据所述第四指令对所述车载设备进行控制;所述第四指令根据所述手势信息确定。

第七方面,本方案实施例提供了一种计算机存储介质,所述计算机存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行第一方面或第二方面所述的方法。

第八方面,本方案实施例提供了一种计算机程序产品,所述计算机程序产品包含的程序代码被电子设备中的处理器执行时,实现第一方面或第二方面所述的方法。

附图说明

图1是根据本方案实施例的控制车辆控制装置操作的系统的示意图;

图2是本方案实施例的手机侧和车辆控制装置侧进行交互的示意图;

图3是通过菜单选项显示车辆控制装置模式的示意图;

图4是引导用户界面ui的示意图;

图5是手机的屏幕界面呈现正前方摄像头所摄取的图像或视频的示意图;

图6是本方案又一实施例的手机侧和车辆控制装置侧进行交互的示意图;

图7是下拉菜单显示切换车载摄像头的切换快捷按钮的示意图;

图8是在视频应用界面悬浮切换车载摄像头的切换按钮的示意图;

图9是本方案又一实施例的手机侧和车辆控制装置侧进行交互的方法的示意图;

图10是根据本方案实施例的控制车辆控制装置操作的方法的流程图;

图11是根据本方案又一实施例的控制车辆控制装置操作的方法的流程图;

图12示意了系统界面ui切换摄像头的结构示意图;

图13是本方案实施例的一种移动设备示意图;

图14是本方案实施例的一种车辆控制装置示意图。

具体实施方式

下面将结合附图,对本发明实施例中的技术方案进行描述。显然,所描述的实施例仅是本方案一部分实施例,而不是全部的实施例。

在本方案的描述中“一个实施例”或“一些实施例”等意味着在本方案的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本方案中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。

其中,在本方案的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,在本方案实施例的描述中,“多个”是指两个或多于两个。

在本方案的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。

在本方案中,提供了一种控制车辆控制装置操作的方法、设备和系统。在至少一个实施例中,移动设备通过与车辆控制装置连接,将车辆控制装置的至少一个车载摄像头注册对应数量的虚拟摄像头;移动设备上运行的应用可以通过启用一个或数个虚拟摄像头,获取与虚拟摄像头对应的车载摄像头的视频信号。

车辆是指陆地上用轮子转动的交通工具,包括但不限于汽车,电动车、卡车、客车等。

车辆控制装置与安装在车辆里的信息娱乐产品有关,车辆控制装置在功能上实现人对车载娱乐设施和相关设备的控制,也可以用于实现车与外界的信息通讯。车辆控制装置通常简称为车机。

移动设备包括但不限于手机、平板电脑、数码相机、个人数字助理(personaldigitalassistant,pda)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。

在一个实施例中,移动设备上的应用可以显示基于与虚拟摄像头对应的车载摄像头的视频信号。应用可以是相机应用、视频或图像应用或者采用视频/图像应用场景的应用中的一个。

在一个实施例中,移动设备可以预先获知车载摄像头的信息并且建立移动设备和车辆控制装置所在车辆的对应关系。车载摄像头的信息包括但不限于位置信息、视角信息和方位信息。当监测到移动设备的旋转角度在某个车载摄像头的拍摄角度范围中或者对应于车载摄像头所在方位或所覆盖的视角时,移动设备控制车载摄像头根据旋转角度调整自身的角度。所述拍摄角度范围可以表征所述至少一个摄像头中各车载摄像头捕捉图像时的视角相对所述车辆控制装置所在汽车的允许变化范围。

在一个实施例中,移动设备可以预先获知车载摄像头的方位信息。当移动设备从第一车载摄像头的拍摄范围旋转或移动到第二车载摄像头的拍摄范围时,移动设备控制车辆控制装置进行车载摄像头切换。

在一个实施例中,移动设备应用可以预先建立姿势、车控类别之间的对应关系。当移动设备应用检测到车载摄像头的视频信号中携带用户的手势;移动设备根据手势,控制车辆控制装置对车载设备进行和姿势对应的车控。

为叙述方便,下文以手机与车辆控制装置之间的互动为例,以多个实施例对本发明展开叙述。显然,这样的实施例可以扩展到各种移动设备和车辆控制装置类型,因此扩展后的实施例也应当纳入本方案的范围。

图1是根据本方案实施例的控制车辆控制装置操作的系统的示意图。如图1所示,系统分为手机110和车辆控制装置150。系统包括两个近场通信模块,分为手机侧模块118和车辆控制装置侧模块156。近场通信模块用于手机发现、连接车辆控制装置,同时用于手机和车辆控制装置传输数据(摄像头数据、控制数据)。在一个实施例中,手机110和车辆控制装置150中的至少一个采用安卓操作系统,近场通信模块118和156实现为应用架构组件,例如api。当然,本领域的技术人员意识到,采用其它类型的通信单元,例如电连接/有线无线,网络连还是蓝牙/nfc短距离来实现手机和车辆控制装置之间的连接,也是可行的。

车辆控制装置150可以包括车内娱乐应用168,比如听书、上网、在线音乐、在线电台、网络电视、在线影视等等。车内娱乐应用168可以支持车窗显示屏,利用投影技术将影片投影在车窗上,便于乘车时观影。

车辆控制装置150可以包括人机接口(humanmachineinterface,hmi)166,用于在人与车辆控制装置之间建立联系、交换信息的输入/输出设备的接口。hmi166包括但不限于触摸屏、键盘、图像识别、语音识别系统等等。hmi166可以支持多媒体后视镜,内含雷达和摄像头,进行人脸识别。

车辆控制装置150可以包括控制台169。控制台169可以利用中控台屏幕进行车辆状况的显示;可以支持娱乐多媒体的播放;可以支持身体机能感知系统,可随身体机能调节座舱内氛围灯以及座椅状态;可以支持多媒体侧视镜和其它类型摄像头,对路况进行监控和录像。

车辆控制装置150可以包括摄像头控制模块156,根据用户在中控台的操作和/或手机端下发的车载摄像头切换指令和/或旋转角度,完成对车载摄像头的控制操作。

车辆控制装置150的上述应用和应用模块在车辆硬件152(包括麦克风mic、扬声器spk、屏幕和车载摄像头)和操作系统os154的支持下开展工作和实施功能。有关车辆硬件152和操作系统os154的细节在本方案中不另行展开。

手机110在利用近场通信模块建立和车辆控制装置150的连接之后,可以允许不同的应用实现对车辆控制装置的利用和控制。

手机110可以包括虚拟设备管理模块114。在一个例子中,虚拟设备管理模块114位于应用框架层,可以实现为应用编程接口api,构建各应用程序时可以采用该api调用其管理下的各个虚拟设备。在近场通信模块118发现车辆控制装置150后,车辆控制装置150通过车辆控制装置端的近场通信模块156将车辆控制装置的摄像头个数、位置、视角、方位等参数上报给手机110,手机110通过虚拟设备管理模块114将车辆控制装置的各摄像头虚拟化为手机外设。在上层应用使用虚拟化外设时,虚拟设备管理模块激活相应模块,并实时获取虚拟摄像头上报的图像数据。

手机110可以包括传感器数据计算模块116。该模块116可以基于传感器数据,实时监测当前手机的旋转角度和/或朝向;并基于车辆控制装置上报的虚拟摄像头信息以及手机方向与汽车方向之间的对应关系,实时计算出当前需激活的与当前手机方向一致的摄像头,并且,在需要的情况下,计算摄像头的调整角度;并通过近场通信模块实时下发数据给车辆控制装置端,完成摄像头的切换和调整控制。在一个例子中,可以采用陀螺仪来测量手机的转动、偏转的动作,由此精确分析判断出手机的实际变动方向。

手机110可以包括相机应用122。该系统相机模块可以提供车辆控制装置模式。在进入车辆控制装置模式后,相机应用122可以调用虚拟摄像头管理模块,启用其管理的虚拟摄像头驱动,由此获取车载摄像头之一的视频流或图像帧并且基于该视频流或图像帧完成拍摄。

手机110可以包括系统界面ui模块128。ui模块128提供第三方相机应用(通常包括视频类应用和社交类应用124,比如抖音和微信)的视频流切换ui模块。第三方应用可以基于该系统提供的ui,从自身的摄像头模块切换到车载摄像头,不需要三方应用修改代码。

手机110可以包括智能车控应用126。智能车控应用126通过调用虚拟摄像头管理模块,启用其管理的虚拟摄像头驱动,由此利用车载摄像头中的车内摄像头拍摄用户动作的视频流或图像帧;然后可以基于车辆控制装置的摄像头模块,实时分析用户动作是否计算检测当前用户预设置的姿势、手势。当检测到用户的指定动作后,智能车控应用126下发对应的车控指令给车辆控制装置端,完成自动车控。

手机110的上述应用和应用模块在车辆硬件112(包括麦克风mic、扬声器spk、屏幕、陀螺仪、车载摄像头等等)和操作系统os114的支持下开展工作和实施功能。有关车辆硬件112和操作系统os114的细节在本方案中不另行展开。

需要说明,上文的讨论中涉及了多个软件模块。本领域的技术人员理解,软件模块的划分因操作系统的不同而可能有所不同,上述涉及软件模块的讨论仅为理解之用,本方案无意因此而受限。

图2是本方案实施例的手机侧和车辆控制装置侧进行交互的示意图。图2的各交互流程可以由图1中的相应模块执行和实施。本实施例适用于用户通过相机应用获取车外视频或图像的场景。

如图2所示,在步骤202,当手机靠近车辆控制装置时,近场通信模块工作而彼此发现。车辆控制装置的主要功能组件通常安装在中控台里面,因此,当手机靠近中控台时,近场通信模块工作而彼此发现。

在步骤204,车辆控制装置侧的近场通信模块向手机侧近场通信模块上报摄像头设备能力。在一个例子中,摄像头设备能力信息包括位置信息、视角信息和方位信息中的一个或多个属性。位置信息可以包括车内、车外、前排、后排。视角信息可以包括以车头正前方为0度,各个摄像头各自可以覆盖的角度信息。方位信息可以为左前、正前、右前、左后、正后、右后。

在步骤206,手机侧近场通信模块向虚拟设备管理模块申请配置虚拟设备。

在步骤208,手机侧近场通信模块查询是否可连接?如果可连接,则在步骤210完成设备连接。

在步骤212,手机侧近场通信模块向相机模块发送设备连接通知。在一个例子中,相机模块可预先订阅此类通知。

在步骤214,手机侧近场通信模块向传感器计算模块发送设备连接通知。在一个例子中,传感器计算模块可以预先订阅此类通知。

在步骤216,打开相机应用。然后,在步骤218,向虚拟设备管理模块查询当前是否有车载摄像头,如果有的话,则在相机应用的配置中添加车辆控制装置模式并且在步骤220显示车辆控制装置(可简称为车机)模式图标。如图3所示,在菜单选项(例如,“更多”选项)里显示车辆控制装置模式。

在步骤222,如果用户点击车辆控制装置模式的图标,则在步骤224相机模块切换到车辆控制装置模式。在车辆控制装置模式下,可以采用前后置的方式显示多个摄像头,前置对应于车内摄像头,后置对应于车外摄像头。通过切换前后置的方式分别显示车内摄像头和车外摄像头,方便用户选择。

在相机模块进入车辆控制装置模式后,通常需要进行手机方向的校正,以使手机方向和车辆控制装置的设置方向一致。在步骤226,用户旋转手机,以便完成手机-车辆控制装置角度同步与校正。

在步骤230,相机模块获取当前手机方向。

在步骤232,通过手机侧和车辆控制装置侧的近场通信模块从车辆控制装置控制模块获取当前汽车的方向。

在步骤234,显示引导用户界面ui。ui可以是如图4所示的用户界面ui。ui提示用户上下左右调整手机方向直到与汽车方向一致,完成手机方向的校正。此时,可以记录手机的方向数据。在一个例子中,手机的方向数据为陀螺仪读数。

手机方向校正完成之后,可以将镜头切换到车辆控制装置的正前方摄像头,摄像头角度正前方(0度)。手机的屏幕界面呈现正前方摄像头所摄取的图像或视频,如图5所示。

如果在步骤240,传感器计算模块确定手机发生旋转或方向变化,那么在步骤242,传感器计算模块计算旋转角度。在一个例子中,通过陀螺仪检测手机的旋转角度。

在一个例子中,仅需要读取手机相对汽车的方向读数即可。当用户确定手机正对汽车正前方向时,通过用户界面ui确认,手机读取此时手机的方向读数。当手机偏移/转动时,读取手机方向读数的偏转值,便是手机的转动角度。

然后,在步骤244,发送摄像头调整指令发送给车辆控制装置,调整指令包括旋转角度或调整角度。在步骤246,车辆控制装置控制模块根据用户手机的旋转角度调整车载摄像头的角度或者切换车载摄像头。

在一个例子中,指令包括信息头、cameraid(即摄像头id号)和rotation(即旋转角度)。其中,信息头可以为字符串,用于标识当前的命令类型,比如:setcamerarotation;旋转角度可以采取负值表示左转,正值表示右转。

如此一来,车辆控制装置可以自动感知用户手机朝向以及自动感知手机旋转或移动;根据手机方向变化信息,控制车载摄像头的切换与角度调整。例如,手机朝左,切换到左侧摄像头;朝右,切换到右侧摄像头。当手机旋转时,可以控制车载摄像头旋转。

在一个例子中,可以在手机上显示一个关于汽车的虚拟图片,其中示意摄像头的分布。通过用户的点击,可以选择多个摄像头中的一个摄像头。

根据本实施例,用户可以基于车载摄像头实现手机拍照,其体验与控制手机摄像头别无二致。通过手机自动化控制车载摄像头,监控用户对手机的旋转来选择摄像头。

图6是本方案又一实施例的手机侧和车辆控制装置侧进行交互的示意图。图6的各交互步骤可以由图1中的相应模块执行和实施。本实施例适用于用户通过视频应用(例如抖音)拍摄小视频或者通过社交应用(例如微信)视频通话等第三方应用使用相机的场景。下文以视频app为例对实施例展开说明。

在步骤602,视频app打开相机模块,以拍摄小视频。

在步骤604,系统ui模块监测到视频app打开相机模块。

在步骤606,系统ui模块向虚拟设备管理模块查询当前是否有车载摄像头,如果有则显示切换图标,提示用户可以切换到车载摄像头。切换图标的方式可以是在下拉菜单中显示切换快捷按钮(参见图7)或者在视频app的界面悬浮切换按钮(图8在右侧偏下方,汽车图标)。有关系统界面ui切换摄像头的描述参见下文。

在步骤610,用户点击切换按钮后,在步骤612,系统ui模块通过近场通信模块指示车辆控制装置控制模块打开车载摄像头。

在步骤614,车载摄像头的视频流返回抖音应用。

在步骤616,抖音应用将其视频流切换到车载摄像头的视频流。

在本实施例中,针对第三方相机应用、小视频应用、视频通话应用等使用摄像头的应用app,提供系统ui可切换到车辆控制装置模式,切换后数据流自动切换到车载摄像头,无需三方应用适配。

图9是本方案又一实施例的手机侧和车辆控制装置侧进行交互的方法的示意图。图9的各交互步骤可以由图1中的相应模块执行和实施。本实施例适用于乘客(例如后排乘客)进行车控的场景。车控是指用户对汽车内设施进行控制的简称,包括但不限于车内音响、音乐播放、视频、网络连接、空调调节、门窗调节、座椅调节等等。

如图9所示,在步骤902,手机侧和车辆控制装置侧的近场通信模块彼此发现并且建立连接。

在步骤904,车辆控制装置控制模块通过近场通信模块向智能车控应用上报可手势/姿势控制的车控类别列表。车控类别包括但不限于音量、空调、车窗、歌曲、拨打电话等。

在步骤906,用户首次打开手机智能车控应用;在步骤908显示车控列表。

在步骤910,智能车控应用提供手势/姿势录入界面。针对各车控类别,可以通过车内摄像头录入对应的手势、姿势,用于控制对应的车控类别。比如,录入‘剪刀手’控制下一首歌曲,‘滑动手指’控制调节音量等动作。当然,也可以采用手机摄像头录取相关手势、姿势。

在步骤912,保存姿势信息和车控类别之间的对应关系。在一个例子中,还同时保存用户人脸信息,以区别操作者。

当用户需要通过手机进行车控时,在步骤920,打开智能车控应用,开启智能车控模式。

在步骤922,通过虚拟设备管理模块,打开车辆控制装置前置(车内)摄像头。由此,在步骤924,车内摄像头向智能车控应用上报每帧图像。在一个例子中,可以预先为智能车控应用配置好车内摄像头。在另一个例子中,也可以通过用户界面让用户从多个备选的摄像头选择一个。

所谓前置后置摄像头,是相对智能车控应用界面而言。在一个例子中,将车内摄像头作为前置摄像头显示在界面上。可以通过切换界面,使得在切换后的界面上显示车外摄像头。如此做法,便利于用户对车内车外摄像头的选择。当然,其它类型的摄像头界面排列方法也是可行的。

在步骤926,智能车控应用从图像中检测姿势信息。在一个例子中,为了限定使用人群,可以同步或者异步获取人脸信息,以区别不同的使用者。

在步骤928,当人脸、姿势信息和预设的信息匹配时,智能车控应用确定触发对应的车控类别。

在步骤930,智能车控应用发送车控指令到车辆控制装置控制模块。由此,在步骤932,车辆控制装置控制模块根据指令完成车控。车控指令可以包括信息头和carcontrolmode(预先定义的车控模式)。其中,以音量调节为例,车控模式可以预先定义如下:

car_control_mode_music_up=0;(上一首)

car_control_mode_music_down=1;(下一首)

car_control_mode_music_pause=2;(暂停)

car_control_mode_music_start=3;(继续)

car_control_mode_volume_up=4;(提高音量)

car_control_mode_volume_down=5;(降低音量)

本实施例可以基于手机计算能力的手势、姿势识别,实现基于用户手势的车控。在一些场景下,后排乘客可以通过手势调节空调、音量、电台等;或者,通过后排乘客姿势、人脸识别后排乘客是否正在睡觉,可以自动调节音量等。

图10是根据本方案实施例的控制车辆控制装置操作的方法的流程图。该方法可以由图1所示手机110实施。如图10所示,在步骤1002,与车辆控制装置连接,所述车辆控制装置包括至少一个车载摄像头。

在步骤1004,接收车辆控制装置的至少一个车载摄像头的摄像头信息并且根据至少一个车载摄像头的摄像头信息配置至少一个虚拟摄像头;至少一个虚拟摄像头中的各虚拟摄像头分别与至少一个车载摄像头对应。

在步骤1006,移动设备上运行的应用启用至少一个虚拟摄像头,获取与至少一个虚拟摄像头对应的车载摄像头的视频信号。对至少一个虚拟摄像头的启用,可以独立进行,也可以并行进行,还可以分时进行等等。

该实施例方法的实施细节可以参照前文结合图2、图6和/或图9的描述。此处不再赘述。

图11是根据本方案又一实施例的控制车辆控制装置操作的方法的流程图。该方法可以由图1所示车辆控制装置150实施。

如图11所示,在步骤1102,连接移动设备。

在步骤1104,向移动设备发送至少一个车载摄像头的摄像头信息,以便移动设备根据至少一个车载摄像头的摄像头信息配置至少一个虚拟摄像头。

在步骤1106,根据移动设备的指令,启用至少一个车载摄像头拍摄视频或图像并且向移动设备发送视频或图像信号。

该实施例方法的实施细节可以参照前文结合图2、图6和/或图9的描述。此处不再赘述。

图12示意了系统界面ui切换摄像头的结构示意图。如图12所示,当视频应用(例如抖音)1304需要获取视频流时,视频应用1304向摄像头服务1306发出请求。系统界面ui模块1302检测到该请求,然后根据设定或者用户的选择,经cameradeviceadapter打开物理摄像头1312(手机自带)和虚拟摄像头1310中的至少一个提供视频流。

图13是本方案实施例的一种移动设备示意图。如图13所示,移动设备包括处理器1310、存储器1320、通信单元1340。

所述存储器1320用于存储计算机执行指令。当移动设备运行时,处理器1310执行所述存储器1320存储的所述计算机执行指令,以使所述电子设备执行图10所示的方法。通信单元1340可以用于移动设备和车辆控制装置建立连接。

在一个例子中,移动设备还包括显示屏1330,所获取的视频流可以在显示屏1330上显示。所述显示屏1330可以是触摸屏或可折叠显示屏。

在一个例子中,通信单元1340可以是近场通信单元1340。

图14是本方案实施例的一种车辆控制装置示意图。如图14所示,车辆控制装置包括处理器1410、存储器1420、车载摄像头1440。

所述存储器1420用于存储计算机执行指令。当所述电子设备运行时,所述处理器1410执行所述存储器1420存储的所述计算机执行指令,以使所述电子设备执行图11所示的方法。通信单元1430可以用于移动设备和车辆控制装置建立连接。

在一个例子中,通信单元1430可以是近场通信单元。

本方案的实施例中的方法步骤可以通过硬件的方式来实现,也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块(例如图1所示的应用层软件,虚拟摄像头管理模块,近场通信模块)组成,软件模块可以被存放于随机存取存储器(randomaccessmemory,ram)、闪存、只读存储器(read-onlymemory,rom)、可编程只读存储器(programmablerom,prom)、可擦除可编程只读存储器(erasableprom,eprom)、电可擦除可编程只读存储器(electricallyeprom,eeprom)、寄存器、硬盘、移动硬盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本方案实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘(solidstatedisk,ssd))等。

可以理解的是,在本方案的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本方案的实施例的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1