应用于车辆的智能摄像方法、摄像系统、以及车辆与流程

1.本发明涉及摄像技术领域，尤其涉及一种应用于车辆的智能摄像方法、摄像系统、以及车辆。


背景技术：

2.随着汽车智能化的发展，大量传感器技术被应用到汽车中。各式各样的传感器，如激光雷达、毫米波雷达、超声波雷达、摄像装置等被安装在汽车上，使得汽车的智能化程度越来越高。其中，摄像装置不仅可以作为行车记录仪，对汽车周围的物体进行拍摄，还可以在驾驶过程中对汽车内外的环境进行检测。然而，在驾驶过程中，不免会产生一些摄像需求。比如说，当行驶到风景优美的路段上，驾驶员想立刻把此刻的风景拍下，但鉴于行驶的安全性，以及囿于安装于汽车的摄像装置的安装位置或者拍摄方向一般是固定不变的，因此拍摄的角度也相应受到限制，无法做到拍摄实时所见的景物，即无法实现所摄即所见。


技术实现要素：

3.本发明提供了一种应用于车辆的智能摄像方法、摄像系统、以及车辆，可以在驾驶过程中根据驾驶员的视线自动调整摄像装置的拍摄视角。
4.第一方面，本发明实施例提供一种应用于车辆的智能摄像方法，所述智能摄像方法包括：
5.控制第一摄像装置对所述车辆的内部进行拍摄以获取调整信息，其中，所述第一摄像装置设置于所述车辆的内部，用于眼球追踪；
6.根据所述调整信息调整第二摄像装置的第一拍摄参数，其中，所述第二摄像装置设置于所述车辆的外部，用于摄像；
7.判断是否接收到拍摄指令；
8.当接收到所述拍摄指令时，基于所述第一拍摄参数调整所述第二摄像装置的第二拍摄参数；以及
9.控制所述第二摄像装置基于所述第二拍摄参数进行拍摄。
10.第二方面，本发明实施例提供一种摄像系统，所述摄像系统包括第一摄像装置、第二摄像装置、分别与所述第一摄像装置和所述第二摄像装置电连接的主控设备、以及与所述主控设备电连接的显示装置，所述显示装置用于显示所述第一摄像装置和/或所述第二摄像装置拍摄的摄像信息，所述主控设备包括：
11.存储器，用于存储计算机程序；以及
12.处理器，用于执行所述计算机程序以实现如上所述的应用于车辆的智能摄像方法。
13.第三方面，本发明实施例提供一种车辆，所述车辆包括本体、以及设置于所述本体的如上所述的摄像系统。
14.上述应用于车辆的智能摄像方法、摄像系统、以及车辆，采用两个摄像装置，通过
第一摄像装置对驾驶员进行眼球追踪，实时调整第二摄像装置的第一拍摄参数，即拍摄视角，保证第二摄像装置的拍摄视角和驾驶员的视线相同，以使得第二摄像装置拍摄的图像与驾驶员看到的场景一致。再通过拍摄指令控制第二摄像装置进行拍摄，以实现在驾驶过程中，无需停车也能够对沿途感兴趣的风景、人物、场景等进行摄像，从而在确保驾驶安全的同时，驾驶员能够拍摄到感兴趣的图像。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
16.图1为本发明实施例提供的智能摄像方法的流程图。
17.图2为本发明实施例提供的智能摄像方法的第一子流程图。
18.图3为本发明实施例提供的智能摄像方法的第二子流程图。
19.图4为图1所示的智能摄像方法的应用场景示意图。
20.图5为本发明实施例提供的摄像系统的结构示意图。
21.图6为本发明实施例提供的车辆的示意图。
22.元件符号说明
23.标号
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
名称
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
标号
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
名称
24.1000
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
车辆
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
32
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
25.100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摄像系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
40
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显示装置
26.10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一摄像装置
ꢀꢀꢀꢀꢀꢀ
200
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
本体
27.20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二摄像装置
ꢀꢀꢀꢀꢀꢀ
201
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
车顶
28.30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
主控设备
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
202
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
车头
29.31
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
驾驶员
30.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
31.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的规划对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
34.请结合参看图1和图4，图1为本发明实施例提供的智能摄像方法的流程图，图4为本发明实施例提供的智能摄像方法的应用场景示意图。智能摄像方法应用于车辆1000，用于对车辆1000的外部进行拍摄。以图4所示的应用场景为例，驾驶员x驾驶车辆1000行驶于路上。应用于车辆的智能摄像方法包括如下步骤。
35.步骤s102，控制第一摄像装置对车辆的内部进行拍摄以获取调整信息。其中，第一摄像装置10设置于车辆1000的内部，用于眼球追踪。第一摄像装置10对位于车辆内部的驾驶员x或者乘客(图未示)进行拍摄以获取调整信息。在本实施例中，第一摄像装置10设置于车辆1000的驾驶室。本实施例控制第一摄像装置10对位于车辆内部的驾驶员x进行眼球追踪，并生成追踪信息。优选地，第一摄像装置10的拍摄视角与驾驶员x的视线方向相对。其中，第一摄像装置10为双目摄像头。追踪信息包括但不限于驾驶员x视线的方向信息、角度信息等。在一些可行的实施例中，第一摄像装置10还可以替换为其它可以实现眼球追踪的装置，如多目摄像头、以及红外摄像设备等，在此不做限定。本实施例分析追踪信息可以得到调整信息。第一摄像装置10对驾驶员x进行眼球追踪的具体过程将在下文进行详细描述。
36.在一些可行的实施例中，第一摄像装置10可以对位于副驾驶室的乘客进行拍摄，也可以对位于后排的乘客进行拍摄，以获取关于乘客的调整信息，在此不做限定。
37.步骤s104，根据调整信息调整第二摄像装置的第一拍摄参数。其中，分析追踪信息得到的调整信息包括但不限于与水平方向之间的夹角、与垂直方向之间的夹角等。根据调整信息调整第二摄像装置20的第一拍摄参数，使第二摄像装置20的拍摄视角与水平方向之间的夹角跟驾驶员x的视线与水平方向之间的夹角保持一致，第二摄像装置20的拍摄视角与垂直方向之间的夹角跟驾驶员x的视线与垂直方向之间的夹角保持一致。其中，第一拍摄参数为第二摄像装置20的外参，外参包括但不限于拍摄视角、旋转向量、平移向量等。优选地，第一拍摄参数为拍摄视角。则，根据调整信息调整第二摄像装置20的拍摄视角，以使得第二摄像装置20的拍摄视角与驾驶员x的视线相同。其中，第二摄像装置20设置于车辆1000的外部，用于摄像。在本实施例中，第二摄像装置20设置于车辆1000的车顶201或车头202。优选地，第二摄像装置20设置于车顶201上靠近车头202的位置，且第二摄像装置20的初始拍摄视角与车辆1000的行驶方向相同。可以理解的是，驾驶员x的视线方向不断发生改变，第二摄像装置20的第一拍摄参数也相应地实时调整，以确保第二摄像装置20的拍摄视角一直保持与驾驶员x的视线相同。
38.步骤s106，判断是否接收到拍摄指令。在本实施例中，判断是否接收到拍摄指令具体为：判断追踪信息中是否存在预设眨眼信息。当追踪信息中存在预设眨眼信息时，判断接收到拍摄指令。其中，预设眨眼信息为快速眨眼两次。在一些可行的实施例中，快速眨眼的次数可以根据实际情况进行设置；预设眨眼信息可以是仅眨左眼或者仅眨右眼，预设眨眼信息还可以根据驾驶员x的习惯进行设置，在此不做限定。
39.在一些可行的实施例中，判断是否接收到拍摄指令还可以是：判断是否接收到第一语音信息。当接收到第一语音信息时，判断接收到拍摄指令。其中，第一语音信息包括但不限于“请拍照”、“拍照”、“照相”等。驾驶员x或者乘客可以通过设置于车辆内部的语音装置(图未示)输入第一语音信息。
40.步骤s108，当接收到拍摄指令时，基于第一拍摄参数调整第二摄像装置的第二拍摄参数。在本实施例中，控制第二摄像装置20基于第一拍摄参数获取环境信息，再根据环境信息调整第二拍摄参数。其中，环境信息包括但不限于环境光的光强、环境光的投射方向等，第二拍摄参数为第二摄像装置20的内参，内参包括但不限于白平衡、曝光、焦距等。
41.步骤s110，控制第二摄像装置基于第二拍摄参数进行拍摄。在本实施例中，第二摄像装置20对车辆1000的外部进行拍摄，获取关于车辆外部的图像。可以理解的是，当第二摄像装置20的第一拍摄参数，即拍摄视角不同时，获取的环境信息不相同。当第二摄像装置20进行拍摄时，环境信息对图像的亮度、清晰度等均有影响。因此，基于第一拍摄参数调整第二摄像装置20的第二拍摄参数可以获得亮度合适且清晰的图像。
42.在一些可行的实施例中，第二摄像装置20拍摄得到的图像可以发送至显示装置40(如图5所示)进行显示。其中，显示装置40包括但不限于驾驶员x的手机、设置于车辆1000的显示屏等。
43.上述实施例中，采用两个摄像装置，通过第一摄像装置对驾驶员进行眼球追踪，实时调整第二摄像装置的第一拍摄参数，即拍摄视角，保证第二摄像装置的拍摄视角和驾驶员的视线相同，以使得第二摄像装置拍摄的图像与驾驶员看到的场景一致。再通过拍摄指令控制第二摄像装置进行拍摄，以实现在驾驶过程中，无需停车也能够对沿途感兴趣的风景、人物、场景等进行摄像，从而在确保驾驶安全的同时，驾驶员能够拍摄到感兴趣的图像。
44.请结合参看图2，其为本发明实施例提供的智能摄像方法的第一子流程图。控制第一摄像装置10对位于车辆内部的驾驶员x进行眼球追踪具体包括如下步骤。
45.步骤s202，构建坐标系。在本实施例中，选定坐标原点进行坐标系的建立。其中，坐标原点可以是车辆内部某一物体的其中一点，如座椅的顶点、车窗的四个角等，也可以是车辆内部空间的任意一点。优选地，当第一摄像装置10开启时，选定驾驶员x的眼球虹膜中心作为坐标原点，构建相应的坐标系。其中，坐标系包括与水平方向平行的x轴、与垂直方向平行的y轴、以及与车辆1000行驶方向相同的z轴。
46.步骤s204，获取当前时刻驾驶员的眼球虹膜在坐标系的坐标。在本实施例中，获取驾驶员x的虹膜中心在坐标系的坐标。可以理解的是，当坐标系构建完成后，驾驶员x虹膜中心的位置可能发生了改变。因此，实时获取驾驶员x的虹膜中心在坐标系的具体坐标。
47.步骤s206，根据坐标计算追踪信息。在本实施例中，根据坐标可以计算驾驶员x视线的方向、角度等，以获得追踪信息。
48.在一些可行的实施例中，第一摄像装置10还可以根据驾驶员x的面部方向获取追踪信息。
49.上述实施例中，通过构建坐标系，获取驾驶员虹膜中心在坐标系中的坐标来对驾驶员进行眼球追踪，可以快速、便捷地计算出相应的追踪信息。
50.请结合参看图3，其为本发明实施例提供的智能摄像方法的第二子流程图。应用于车辆的智能摄像方法还包括如下步骤。
51.步骤s302，判断是否接收到启动指令。在本实施例中，判断是否接收到启动指令具体为：判断是否接收到第二语音信息。当接收到第二语音信息时，判断接收到启动指令。其中，第二语音信息包括但不限于“请启动”、“启动”、“开启拍照”等。驾驶员x或者乘客可以通过语音装置输入第二语音信息。
52.步骤s304，当接收到启动指令时，控制第一摄像装置和第二摄像装置开启。
53.在一些可行的实施例中，还可以通过关闭指令控制第一摄像装置10和第二摄像装置20关闭。其中，关闭指令可以通过按钮、触摸屏、语音装置等输入，在此不做限定。
54.上述实施例中，当需要进行智能拍摄时才开启相关指令流程，以控制第一摄像装置和第二摄像装置进行拍摄，能够极大节省功耗。
55.请结合参看图5，其为本发明实施例提供的摄像系统的结构示意图。摄像系统100包括第一摄像装置10、第二摄像装置20、主控设备30、以及显示装置40。其中，主控设备30分别与第一摄像装置10和第二摄像装置20电连接，显示装置40与主控设备30电连接，显示装置40用于显示第一摄像装置10和/或第二摄像装置20拍摄的摄像信息。可以理解的是，显示装置40可以只显示第一摄像装置10拍摄的摄像信息，如关于驾驶员或乘客的图像、视频等；可以只显示第二摄像装置20拍摄的摄像信息，如关于车辆1000外部的图像、视频等；也可以同时显示第一摄像装置10和第二摄像装置20拍摄的摄像信息，在此不做限定。其中，显示装置40包括但不限于驾驶员或者乘客的手机、以及设置于车辆1000的显示屏等。主控设备30与显示装置40可以分体设置，也可以一体设置，在此不做限定。主控设备30包括存储器31和处理器32。存储器31用于存储计算机程序，处理器32用于执行计算机程序以实现上述应用于车辆的智能摄像方法。
56.其中，处理器32在一些实施例中可以是一中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器或其它数据处理芯片，用于运行存储器31中存储的计算机可读程序指令。
57.存储器31至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器31在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘。存储器31在另一些实施例中也可以是外部计算机设备的存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器31还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器31不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现应用于车辆的智能摄像方法的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
58.在一些可行的实施例中，摄像系统100还可以包括语音装置(图未示)。语音装置可以用于接收来自驾驶员或者乘客的第一语音信息和/或第二语音信息。其中，第一语音信息包括但不限于“请拍照”、“拍照”、“照相”等；第二语音信息包括但不限于“请启动”、“启动”、“开启拍照”等。
59.请结合参看图6，其为本发明实施例提供的车辆的示意图。车辆1000包括本体200、以及设置于本体200的摄像系统100。其中，摄像系统100的具体结构参照上述实施例。由于车辆1000采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
60.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
61.以上所列举的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属于本发明所涵盖的范围。