一种图像拍摄方法和装置、电子设备和存储介质与流程

1.本公开涉及智能汽车领域，尤其是涉及一种图像拍摄方法和装置、电子设备和存储介质。


背景技术：

2.随着科技的发展和人们生活质量的提高，汽车已经逐渐成为生活中不可或缺的一种交通工具。人们可以驾驶汽车进行旅游，上下班代步等，从而提高了交通便捷性。人们驾驶汽车时可能会发生一些交通事故，为了维护自身利益不受损害，可以在汽车中安装行车记录仪以保证自身安全。
3.在车辆行驶过程中，人们可能想将周边环境中的一些特定景象或特定事件记录下来。然而行车记录仪是固定在车辆某个位置上并进行实时拍摄的，因此其记录的是一定时间内某个方向上的影像，而不是用户想要的某个特定时间内某个特定方向上的特定影像。用户只能通过手机进行拍摄，不宜于驾驶安全，也不便于实时记录车外感兴趣影像。


技术实现要素：

4.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像拍摄方法及装置。
5.根据本公开的一个方面，提供了一种图像拍摄方法，包括：
6.响应于用户的拍摄指令，确定用户的关注行为；
7.基于所述用户的关注行为，确定车外摄像头的拍摄角度；
8.确定车辆的每个车外摄像头的拍摄范围，并将拍摄范围中包括所述拍摄角度的车外摄像头确定为目标车外摄像头；
9.控制所述目标车外摄像头基于所述车外摄像头的拍摄角度，对车辆周围的环境进行拍摄。
10.根据本公开的第二方面，提供了一种图像拍摄装置，包括：
11.行为确定模块，被配置为响应于用户的拍摄指令，确定用户的关注行为；
12.角度确定模块，被配置为基于所述用户的关注行为，确定车外摄像头的拍摄角度；
13.目标车外摄像头确定模块，被配置为确定车辆的每个车外摄像头的拍摄范围，并将拍摄范围中包括所述拍摄角度的车外摄像头确定为目标车外摄像头；
14.拍摄模块，被配置为控制所述目标车外摄像头基于所述车外摄像头的拍摄角度，对车辆周围的环境进行拍摄。
15.根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的图像拍摄方法。
16.根据本公开的第四方面，提供了一种电子设备，所述电子设备包括处理器；用于存储所述处理器可执行指令的存储器；
17.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现
本公开上述任一实施例所述的图像拍摄方法。
18.基于本公开上述实施例提供的图像拍摄方法和装置、电子设备和存储介质，响应于用户的拍摄指令，可以确定用户的关注行为；并基于用户的关注行为，确定车外摄像头的拍摄角度，即用户的关注方向。可以将拍摄范围中包括拍摄角度的车外摄像头确定为目标车外摄像头，并控制目标车外摄像头基于拍摄角度，对车辆周围的环境进行拍摄，实现了用户在车内实时、便捷的拍摄车外图像，得到用户想要拍摄的特定图像，提高用户的使用体验。
附图说明
19.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
20.图1为本公开所适用的场景结构示意图。
21.图2为本公开的图像拍摄方法的一个实施例的流程示意图。
22.图3为本公开的获取用户输入的拍摄指令的一个实施例的流程示意图。
23.图4为本公开的显示器中显示拍摄模式确认信息的一个实施例的示意图。
24.图5为本公开的确定用户的关注行为的一个实施例的流程示意图。
25.图6为本公开的确定车外摄像头的拍摄角度的一个实施例的流程示意图。
26.图7为本公开的确定车外摄像头的拍摄角度的一个实施例的流程示意图。
27.图8为本公开的确定目标车外摄像头的一个实施例的流程示意图。
28.图9为为本公开提供的车辆的一个实施例的结构示意图。
29.图10为本公开的对车辆周围的环境进行拍摄的一个实施例的流程示意图。
30.图11为本公开的对车辆周围的环境进行拍摄的一个实施例的流程示意图。
31.图12为本公开的对车辆提示用户是否拍摄的一个实施例的流程示意图。
32.图13为本公开的根据用户权限确定是否拍摄的一个实施例的流程示意图。
33.图14为本公开提供的一种图像拍摄装置的一个实施例的结构示意图。
34.图15是本公开提供的电子设备的一个实施例的结构图。
具体实施方式
35.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
36.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
37.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
38.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指
一个、两个或两个以上。
39.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
40.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
41.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
42.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
43.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
44.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
45.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
46.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
47.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
48.申请概述
49.汽车是人们生活中不可或缺的一种交通工具。一般来说，汽车中都会安装有行车记录仪。行车记录仪可以记录车辆行驶途中的影像及声音等相关资讯，本质上是摄像头。通过将行车记录仪固定在车辆的某个位置，并对某个方向上的周边环境进行拍摄，从而记录汽车行驶过程中的周边环境情况。需要说明的是，行车记录仪在工作时，会对某个固定方向上的影像实时进行拍摄，并将拍摄得到的图像记录保存，其保存的图像时一段时间内拍摄到的所有图像。然而，在车辆行驶过程中，人们可能想将周边环境中的一些特定景象或特定事件记录下来。例如，当人们觉得周边环境比较优美时，可能想要将该景象记录，或者当车辆周边发生一些紧急事件时，人们想将紧急事件进行记录上报。此时，人们想要将记录下某个特定时间内某个特定方向上的特定影像。但是行车记录仪只会对固定方向进行拍摄，可能无法获取到特定方向上的图像，同时行车记录仪会记录一段时间内的所有影像。因此行
车记录仪无法获取到用户想要记录的特定影像，给用户的使用体验较差。
50.基于上述技术问题，本公开提供了一种图像拍摄系统、方法及装置，在汽车行驶过程中，当用户具有拍摄需求时，可以获取到用户在特定时间内特定方向上的想要记录的特定影像，以提高用户的使用体验。
51.示例性系统
52.参见图1，为本公开所适用的一种场景结构示意图。所述系统可以包括：车辆100和服务器200。其中，所述车辆包括但不限于轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车等。
53.车辆100中可以设置有中控电脑110和摄像头组120，摄像头组可以包括若干个车内摄像头和车外摄像头，所有的摄像头可安装在车辆100的不同位置。车内摄像头用于采集车辆中用户的图像，可以确定用户的状态。车外摄像头用于采集车辆100周围环境的图像，可以获取用户想要记录的特定图像。
54.中控电脑110可以和摄像头组中所有的摄像头通信连接，从而可以控制每一个摄像头进行拍摄或者转动等过程，还可以存储摄像头拍摄到的图像，并对图像进行相关处理等。中控电脑110还可以根据用户输入的指令，控制车辆100实现一些功能，例如播放音乐、调节车辆内部灯光等等。
55.服务器200可以是一种网络设备。可选的，所述网络设备还可以是控制器、数据中心、云平台等。
56.中控电脑110与服务器200之间可以通过无线网络进行通信连接，进一步的，中控电脑110与服务器200之间可以交互数据等。
57.所述无线网络可以是任意无线通信系统，比如，长期演进(long term evolution，lte)系统，或第五代移动通信系统(the 5th generation，5g)，此外还可以应用于以后的通信系统，比如第六代、第七代移动通信系统等。
58.例如：中控电脑110通过基站与服务器200通信。
59.所述基站包括但不限于(base station，bs)或者(base transceiver station，bts)，进一步地，所述基站可以是全球移动通信系统(global system for mobile communication，gsm)或码分多址(code division multiple access，cdma)中的基站(base transceiver station，bts)，还可以是lte中的演进型基站(evolutional nodeb，enb/e-nodeb)，或者下一代lte中的演进型基站(next generation enb，ng-enb)，或者nr中的基站(gnb)。
60.在一些实施例中，车辆100中还可以设置有语音模块，该语音模块可以和中控电脑110连接。用户可以向语音模块中输入语音指令，语音模块识别出用户指令后可以发送给中控电脑110，从而令中控电脑110能够执行用户的指令。
61.在一些实施例中，车辆100中还可以设置有控制装置，控制装置可以是遥控器或终端设备，例如手机等。控制装置可以和中控电脑110通信连接，用户可以操控控制装置对中控电脑110进行控制，例如输入指令等。
62.在一些实施例中，车辆100中还可以设置有行车记录仪。行车记录仪可以固定在车辆100中的某个预设位置，例如，固定设置在车辆的前挡风玻璃处，位于后视镜的下方。此时，行车记录仪可以对车辆100前方的环境实时进行拍摄，并记录下图像。需要说明的是，本
公开实施例中的行车记录仪和前述的车内摄像头以及车外摄像头并不是一个设备。行车记录仪是保持一个固定角度，对一个方向的环境实时进行拍摄。而车内摄像头以及车外摄像头则是在行车记录仪的基础上，另外设置的摄像头，可以拍摄一些特定图像。
63.需要注意的是，上述应用场景仅是为了便于理解本公开的原理而示出，本公开的实施例并不限于此。相反，本公开的实施例可以应用于可能适用的任何场景。
64.本实施例提供的技术方案可通过软件、硬件、软硬件结合的任意方式实现。其中，硬件可提供声音和图像的输入，软件则可通过c++程序设计语言、java等实现，视频通话功能则可通过基于python程序设计语音的进行开发、实现，或者还可以通过其他软硬件来实现，本公开对具体实现的硬件、软件结构、功能不做限制。
65.示例性方法
66.图2是本公开图像拍摄方法的一个实施例的流程示意图。本实施例可应用在电子设备上，执行主体可以是图1中的中控电脑。如图2所示，本公开一示例性实施例提供的图像拍摄方法至少包括如下步骤：
67.步骤101，响应于用户的拍摄指令，确定用户的关注行为。
68.当用户位于车辆中时，可以观察车辆外部的周围环境。对于周围环境中的一些特定的景象或者事件，用户可能比较感兴趣，从而想要记录下这些特定的景象或者事件。因此，用户可以向车辆发出拍摄指令，具体可以是向车辆中的中控电脑发出拍摄指令。
69.拍摄指令可以包括语音指令、手势指令、用户触控中控电脑输入的指令、用户触控车辆按钮输入的指令以及用户通过控制装置输入的指令等。车辆可以预先设置好和用户的交互方式，从而确定出用户是否输入了拍摄指令。例如，可以设置为：基于检测到用户输入了预设的语音指令和/或行为动作，确定为用户输入了拍摄指令。
70.响应于用户输入的拍摄指令，中控电脑可以控制车外摄像头对这些特定的景象或者事件进行拍摄，得到相应的特定图像，以满足用户的需求。
71.在一些实施例中，为了能够拍摄到用户需要的特定图像，当接收到用户输入的拍摄指令时，可以先确定出用户的关注行为。本公开实施例中，用户的关注行为指的是：用户对车辆周围环境感兴趣时产生的行为。例如，当用户对车辆周围环境感兴趣时，可能会一直进行观察，因此，用户对周围环境的观察行为可以看作用户的关注行为。对于用户的观察行为，可以通过用户的人眼区域体现，例如用户的视线关注行为；也可以通过用户的姿态动作体现出来，例如人脸姿态、头部姿态以及肢体姿态等动作行为。
72.当用户观察某个区域时，视线会看向该区域，同时人脸、头部以及肢体也会不同程度的朝向该区域。因此，用户的人眼区域对应的视线关注行为，人脸姿态、头部姿态以及肢体姿态对应的动作行为，均可以作为用户的关注行为。本公开实施例中，将人脸姿态、头部姿态以及肢体姿态统称为人体姿态。
73.中控电脑可以根据用户当前的状态确定出用户的关注行为。考虑到人眼视线更能体现出用户正在观察的方向，可以控制车内摄像头优先检测用户的人眼区域，基于检测到用户的人眼区域，可以将人眼区域对应的视线关注行为确定为用户的关注行为；基于没有检测到用户的人眼区域，可以将人体姿态对应的行为确定为用户的关注行为。
74.在一些实施例中，也可以根据人眼区域对应的视线关注行为和人体姿态对应的行为确定用户的关注行为。
75.例如，可以将人眼区域对应的视线关注行为和人体姿态对应的行为共同确定为用户的关注行为，综合考虑用户的视线关注行为以及人脸姿态的行为确定用户的观察方向，进而控制车外摄像头进行拍摄。
76.在一些实施例中，也可以不根据用户当前的状态确定出用户的关注行为，而是直接将视线关注行为和/或人体姿态对应的行为，设定为用户的关注行为。
77.具体的，可以不通过检测用户当前的状态再确定关注行为，而是预先将某种行为直接设定为用户的关注行为。例如，考虑到人眼视线更能体现出用户正在观察的方向，可以是仅仅将视线关注行为确定为用户的关注行为，而不会考虑人体姿态。此时，无论车内摄像头是否检测到用户的人眼区域，用户的关注行为都仅仅是视线关注行为。基于车内摄像头没有检测到用户的人眼区域时，例如用户可能将头伸出车窗外，中控电脑可以控制语音模块播放预设指令，以提示未检测到用户的人眼区域，从而令用户能够将人眼区域展示给车内摄像头。
78.又例如，可以预先将视线关注行为和人体姿态对应的行为全部设定为用户的关注行为。即使车内摄像头没有同时检测到两种行为，用户的关注行为也会同时包括两种行为。
79.步骤102，基于所述用户的关注行为，确定车外摄像头的拍摄角度。
80.在确定了用户的关注行为后，可以了解用户的一个整体行为动向，例如确定出用户一直在观察着某个特定方向的周围环境。此时，可以进一步确定出用户的关注方向，可以是用户正在观察的方向。对于该关注方向，是用户感兴趣的方向，想要进行拍摄。因此，可以将该关注方向进一步确定为车外摄像头的拍摄角度。
81.用户的关注行为是人眼区域对应的视线关注行为时，中控电脑可以控制车内摄像头获取用户的人眼区域图像序列，并根据该图像序列确定用户的视线方向。该视线方向是用户正在观察的方向，可以认为是用户的关注方向。因此，可以将该视线方向确定为车外摄像头的拍摄角度。
82.用户的关注行为是人体姿态对应的行为时，中控电脑可以控制车内摄像头获取用户的人体区域图像序列，并根据该人体区域图像序列确定人体姿态对应的朝向方向。可以将该朝向方向确定为车外摄像头的拍摄角度。
83.在一些实施例中，用户的关注行为同时包括视线关注行为和人体姿态对应的行为时，可以分别确定出用户的视线方向和人体姿态对应的朝向方向。可以结合两个方向，确定出用户的关注方向。可以对两个方向分别赋予权重，并加权计算，从而确定出最终的关注方向。可以将该关注方向确定为车外摄像头的拍摄角度；也可以先确定出两个方向的置信度，并根据置信度的结果将某个方向确定为用户的关注方向，例如将置信度大的方向确定为最终的用户关注方向。
84.在一些实施例中，基于确定出用户的关注行为，可以确定用户正在关注某个区域，想要对某个区域进行拍摄。此时，中控电脑可以直接向用户询问想要进行拍摄的关注方向。
85.具体的，中控电脑可以控制语音模块播放预设的询问语音，该询问语音用于获取用户的关注方向。例如，询问语音可以是“请问要拍摄哪个方向”。用户接收到询问语音后，可以输入方向指令。该方向指令用于指示用户确认的关注方向。用户可以采用语音形式输入语音指令，从而指示出某个具体方向。用户也可以采用手势的方式输入手势指令，例如用手指指向某个方向，中控电脑可以控制车内摄像头确定出用户指向的方向。因此，中控电脑
可以根据该方向指令确定出用户的关注方向。通过中控电脑控制车载设备和用户的主动交互来确认用户具有拍摄意图，进而确定关注方向，可以减少图像拍摄的误触发，提升用户拍摄的用户体验。
86.在一些实施例中，中控电脑可以根据用户的关注方向确定车外摄像头的拍摄角度。根据用户的关注方向确定出用户的关注区域，并根据该关注区域可以确定车外摄像头的拍摄角度。
87.在一些实施例中，车外摄像头的拍摄角度可以是一个具体的角度，指的是摄像头的中心位置对应的角度。中控电脑可以直接将用户的关注方向确定为车外摄像头的拍摄角度，即车外摄像头的中心位置的角度。
88.步骤103，确定车辆的每个车外摄像头的拍摄范围，并将拍摄范围中包括所述拍摄角度的车外摄像头确定为目标车外摄像头。
89.在确定了车外摄像头的拍摄角度，可以控制车外摄像头沿着该拍摄角度进行拍摄，得到用户想要的特定图像。
90.在一些实施例中，可能车辆只安装了一个车外摄像头，此时，则可以直接将该车外摄像头确定为目标车外摄像头。
91.在一些实施例中，车辆中可能会设置有多个车外摄像头，但这些车外摄像头中。由于摄像头本身的拍摄范围存在一定限制，有的车外摄像头可以拍摄到特定图像，有的车外无法拍摄到特定图像。因此，需要确定出能够拍摄到特定图像的车外摄像头。
92.具体的，可以对所有车外摄像头的拍摄范围进行确定。每个摄像头都有一定的拍摄角度范围，例如摄像头可以拍摄到90
°
的范围，作为摄像头的内参可以直接确定。中控电脑可以先确定摄像头的中心位置的方向，根据该方向结合摄像头的拍摄角度范围，可以确定出摄像头的拍摄范围，拍摄范围是一个角度范围，例如以正北方向为0
°
，角度范围可以是0-90
°
。
93.中控电脑可以检测上述拍摄角度是否处于每个摄像头的拍摄范围中，从而筛选出拍摄范围中包括拍摄角度的车外摄像头。对于这种车外摄像头，可以拍摄到特定图像，因此将其确定为目标车外摄像头。
94.步骤104，控制所述目标车外摄像头基于所述车外摄像头的拍摄角度，对车辆周围的环境进行拍摄。
95.在确定出能够拍摄到特定图像的目标车外摄像头后，可以控制目标车外摄像头，通过拍摄角度，即用户的关注方向，对车辆周围的环境进行拍摄，从而得到用户需要的特定图像。
96.中控电脑可以控制目标车外摄像头进行转动，从而令目标车外摄像头的中心位置的角度为上述拍摄角度。此时，摄像头可以较为完整地拍摄到用户关注的区域。
97.中控电脑也可以控制目标车外摄像头对待拍摄区域进行放大处理，再进行拍摄，从而得到用户的关注区域的较为清晰的图像。
98.在本实施例中，当接收到用户的拍摄指令时，可以确定用户的关注行为。并通过用户的关注行为确定用户的关注方向，可以根据用户的关注方向确定车外摄像头的拍摄角度。将拍摄范围中包括拍摄角度的车外摄像头确定为目标车外摄像头，从而保证目标车外摄像头能够拍摄到该拍摄角度。通过目标车外摄像头，沿着拍摄角度对车辆周围的环境进
行拍摄，实现了用户在车内实时、便捷的拍摄车外图像，从而提高了用户的使用体验。
99.图3为本公开的获取用户输入的拍摄指令的一个实施例的流程示意图。
100.如图3所示，在上述图2所示实施例的基础上，本公开一些实施例中，在步骤101之前，还可以包括以下步骤：
101.步骤001-1：响应于用户指示的唤醒指令，控制车辆进入拍摄模式，所述唤醒指令包括预设的唤醒语音和/或预设的唤醒手势。
102.为了满足用户想要记录下特定时间内特定方向上的特定图像的需求，车辆可以具有拍摄特定图像的功能。当用户想要拍摄特定图像时，车辆中的中控电脑可以控制车外摄像头进行拍摄。
103.具体的，车辆可以具有智能拍摄功能，能够记录下用户需要的特定图像。车辆可以设置有拍摄模式。当车辆处于拍摄模式时，根据用户输入的拍摄指令，中控电脑可以控制车外摄像头进行拍摄，得到特定图像。用户可以向车辆输入唤醒指令，具体可以向中控电脑输入唤醒指令，以控制车辆进入拍摄模式。本公开实施例中，唤醒指令指的是拍摄模式指令，用于控制车辆进入拍摄模式。
104.用户可以通过控制装置控制车辆进入拍摄模式。在一些实施例中，用户可以操作遥控器的指定按键，向车辆发送拍摄模式指令。基于检测到控制装置发送的拍摄模式指令时，中控电脑可以控制车辆进入拍摄模式。其中，拍摄模式指令为控制装置基于检测到用户触控了指定按键发送的。在实际应用的过程中预先绑定拍摄模式指令与遥控器按键之间的对应关系。例如，在遥控器上设置一个拍摄模式按键，当用户触控该按键时，遥控器发送拍摄模式指令至中控电脑，此时中控电脑控制车辆进入拍摄模式。当用户再次触控该按键时，中控电脑可以控制车辆退出拍摄模式。
105.在一些实施例中，也可以预先绑定拍摄模式指令与多个遥控器按键之间的对应关系，当用户触控与拍摄模式指令绑定的多个按键时，遥控器发出拍摄模式指令。在一可行性实施例中，拍摄模式指令绑定的按键依次为方向键(左、下、左、下)，即当用户在预设时间内连续触控按键(左、下、左、下)的情况下，遥控器才发送拍摄模式指令至中控电脑。采用上述绑定方法，可以避免拍摄模式指令由于用户的误操作而发出。本公开实施例仅是示例性的提供几种拍摄模式指令与按键之间的绑定关系，在实际应用的过程中可以根据用户的习惯设定拍摄模式指令与按键之间的绑定关系，在此不做过多的限定。
106.在一些实施例中，当用户使用终端设备控制车辆时，例如使用手机时，也可以向车辆发送拍摄模式指令。基于检测到用户对终端设备的特定触控操作，终端设备可以发送拍摄模式指令至中控电脑，中控电脑控制车辆进入拍摄模式。在实际应用的过程中，可以在手机中设置一个控件，可以通过该控件选择控制车辆进入拍摄模式，从而发送拍摄模式指令至中控电脑，此时中控电脑可以控制车辆进入拍摄模式。
107.在一些实施例中，基于检测到用户向终端设备输入了连续点击指令，终端设备可以发送拍摄模式指令至中控电脑，中控电脑控制车辆进入拍摄模式。在实际应用的过程中，当用户使用手机控制车辆时，可以对手机发出连续点击指令。连续点击指令指的是：在预设的周期内，用户对手机触摸屏的同一区域进行点击的次数超过预设阈值。例如：当用户在1s内对手机触摸屏的某个区域连续点击3次，则视为一次连续点击指令。手机接收到连续点击指令后，可以向车辆发送拍摄模式指令，以使中控电脑控制车辆进入拍摄模式。在一些实施
例中，当用户使用手机控制车辆时，也可以设置为：当检测到用户对手机触摸屏的某一区域的触控压力值超过预设的压力阈值时，手机可以向车辆发送拍摄模式指令。
108.在一些实施例中，用户也可以使用车辆的语音模块，控制车辆进入拍摄模式。具体的，车辆中可以设置有声音采集器，例如麦克风。用户可以通过麦克风，利用语音输入的方式，向中控电脑发送拍摄模式指令，以控制车辆进入拍摄模式。在用户输入语音后，语音模块可以对用户的语音进行识别，以提取用户输入的指令内容。语音模块可以将用户输入的指令发送给中控电脑，中控电脑进一步对用户输入的指令做出响应。
109.用户可以通过预设的唤醒语音，控制车辆进入拍摄模式。例如，用户可以通过麦克风先输入预设的唤醒词，从而启动语音模块，并在一定时间内输入拍摄模式指令，使得车辆进入拍摄模式。例如，用户可以输入“某某同学”，以启动语音模块。再输入“进入拍摄模式”，实现向车辆发送拍摄模式指令。
110.在一些实施例中，基于检测到用户输入了预设的唤醒手势，确定为用户输入了拍摄模式指令。用户还可以通过预设的唤醒手势向车辆发送拍摄模式指令。具体的，中控电脑可以控制图像采集器，可以是车内摄像头，实时检测用户的行为。当用户做出预设的唤醒手势时，可以认为用户向车辆发送了拍摄模式指令。例如，可以设置为：当检测到用户划出v字时，判定为用户向车辆输入了拍摄模式指令。用户还可以通过预设的唤醒动作向车辆发送拍摄模式指令。例如，可以设置为：当检测到用户同时抬起左手和右手时，判定为用户向车辆输入了拍摄模式指令。
111.在一些实施例中，用户还可以利用中控电脑直接输入拍摄模式指令。具体的，用户可以在中控电脑的显示器中调出各种ui界面。可以在车辆设置界面中设置拍摄模式选项，当用户点击该选项时，可以控制车辆进入或退出拍摄模式。
112.在一些实施例中，为防止用户误触发拍摄模式，响应于用户输入的拍摄模式指令，中控电脑可以控制显示器显示拍摄模式确认信息，从而使得用户进行二次确认，是否要控制车辆进入拍摄模式。图4为本公开的显示器中显示拍摄模式确认信息的一个实施例的示意图。中控电脑也可以控制语音模块播放预设的确认语音，例如“请确认是否进入拍摄模式”。用户听到该确认语音后，可以通过麦克风回答是或否，从而控制车辆是否进入拍摄模式。
113.在一些实施例中，基于检测到用户输入的拍照模式指令或录像模式指令，中控电脑可以控制车辆进入相应的拍摄模式。考虑到摄像头可以进行拍照，得到单张图像，也可以进行录像，得到多张图像形成的视频流。因此，对于拍照和录像两种过程，可以分别设置一种拍摄模式，分别为：拍照模式和录像模式。用户可以选择控制车辆进入拍照模式和录像模式中的任意一种模式。拍照模式下，车辆可以进行拍照，得到特定的单张图像。录像模式下，车辆可以进行录像，得到特定的视频。用户通过输入预设的拍照模式指令，控制车辆进入拍照模式；输入预设的录像模式指令，控制车辆进入录像模式。
114.用户利用预设的唤醒语音以及唤醒手势控制车辆进入拍照模式或录像模式。需要说明的是，对于拍照模式和录像模式来说，二者分别对应不同的唤醒语音以及唤醒手势，以便能够准确地确定出用户想让车辆进入哪一种模式。例如，用户可以通过预设语音“进入拍照模式”，控制车辆进入拍照模式；或者通过预设手势划出z字，控制车辆进入拍照模式。用户可以通过预设语音“进入录像模式”，控制车辆进入录像模式；或者通过预设手势划出l
字，控制车辆进入录像模式。
115.步骤001-2：检测到车辆进入拍摄模式，获取用户输入的拍摄指令。
116.基于检测到车辆进入拍摄模式，中控电脑可以获取用户输入的拍摄指令。响应于获取到的拍摄指令，中控电脑可以控制车外摄像头对周围环境进行拍摄，得到特定图像。
117.在一些实施例中，可以设置为：基于检测到车辆进入拍摄模式，可以获取特定图像。也即，只有车辆进入拍摄模式后，可以响应用户输入的拍摄指令，并获取特定图像。
118.因此，当检测到用户输入了拍摄指令时，中控电脑可以检测当前车辆是否已经进入了拍摄模式。如果车辆进入了拍摄模式，则中控电脑可以响应该拍摄指令，获取特定图像。如果车辆没有进入拍摄模式，则中控电脑不会响应该拍摄指令，可以将该拍摄指令忽略删除，此时车辆也不会获取特定图像。
119.需要说明的是，车辆设置拍摄模式，可以防止用户在驾驶车辆过程中误触发拍摄指令。在车辆进入拍摄模式后，用户输入的拍摄指令才会被车辆响应，从而避免拍摄到用户不需要的图像。
120.在一些实施例中，当车辆进入拍摄模式后，为了使车辆能够拍摄到用户需要的特定图像，用户可以向车辆，可以是向中控电脑输入拍摄指令。用户可以通过预设的语音指令或者预设动作，实现向车辆输入拍摄指令。
121.考虑到拍摄模式包括拍照模式和录像模式。对于两种模式，可分别设置对应的预设语音指令以及预设动作。当车辆处于拍照模式时，用户的拍摄指令为拍照指令。当车辆处于录像模式时，用户的拍摄指令为录像指令。
122.在一些实施例中，进入拍摄模式的指令和拍摄指令可以是不同的指令。考虑到用户需要向车辆先输入拍摄模式指令，再输入拍摄指令，可以设定两种指令为不同的指令。例如，检测到用户输入第一类语音指令或者第一类动作指令，控制车辆进入拍摄模式。检测到用户输入第二类语音指令或者第二类动作指令，确定为用户输入拍摄指令。通过预先将拍摄模式指令和拍摄指令设定为不同的指令，可以令车辆能够区分开两种指令，避免识别错误。
123.在一些实施例中，进入拍摄模式的指令和拍摄指令可以是相同的指令。当拍摄模式为录像模式的时候，录像过程中需要摄像头一直工作，用户只需要输入一次录像指令控制摄像头开始工作即可。具体的，针对录像场景可以设置为：控制车辆进入录像模式的拍摄模式指令，和具体进行录像的拍摄指令，可以是相同的指令，即录像模式指令和录像指令可以是一个指令。响应于用户输入的录像模式指令，中控电脑控制车辆进入录像模式，同时，中控电脑控制车外摄像头进行录像过程。
124.在一些实施例中，用户可以利用预设语音指令控制车辆进行拍照或者录像。用户可以通过麦克风输入预设语音，可以是“进行拍照”或者“进行录像”。
125.中控电脑控制语音模块检测用户的语音指令。基于检测到用户输入了预设语音，语音模块可以将预设语音转换为拍摄指令，包括拍照指令或录像指令，并发送给中控电脑。响应于拍照指令或录像指令，中控电脑可以控制车外摄像头进行拍照或录像。
126.在一些实施例中，为了响应用户的拍摄指令，中控电脑可以控制语音模块实时检测用户输入的语音指令。基于检测到用户输入预设语音指令，语音模块可以将预设语音转换为指令发送给中控电脑，中控电脑可以确定为用户输入了拍摄指令。响应于该预设语音
指令，中控电脑可以获取特定图像，具体的，中控电脑可以先执行确定用户的关注行为的步骤。
127.在一些实施例中，响应于用户输入的准备指令，中控电脑控制车辆进入准备拍摄状态。基于检测到车辆处于准备拍摄状态，响应于用户输入的拍摄指令，控制车外摄像头实时进行拍摄。
128.用户可以对拍照或录像的时间进行缓冲。用户在当前时间可能不想拍照或录像，但有预感，在一段时间后可能相对周围环境进行拍照或录像。此时，用户可以先输入准备指令，例如语音指令“准备拍照”或“准备录像”，以通知中控电脑即将发出拍照指令或录像指令。中控电脑可以控制车辆进入准备拍摄状态。在该状态下，一旦接收到用户的拍摄指令，中控电脑可以迅速控制车外摄像头拍摄，实现实时响应的效果。当用户想要捕捉某一刻的环境情况时，可以输入拍照指令或录像指令，车辆可以对该时刻的周围环境进行拍摄，得到特定影像。
129.在一些实施例中，基于检测到用户输入了第一预设动作，中控电脑控制车外摄像头进行拍照；基于检测到用户输入了第二预设动作，中控电脑控制车外摄像头进行录像。
130.用户可以利用预设动作控制车辆进行拍照或者录像。拍照和录像对应的预设动作是不同的。用户可以利用手势摆出数字8，从而输入拍照指令。也可以利用手势摆出数字1，从而输入录像指令。当车内摄像头检测到用户的手势动作，在确定用户输入了的预设动作时，可以认为用户输入了拍摄指令，中控电脑可以获取特定图像。
131.在一些实施例中，基于检测到用户输入了预设动作，中控电脑控制语音模块播放预设语音，预设语音用于提示用户是否进行拍摄。响应于用户输入的确认指令，控制车外摄像头进行拍摄。
132.考虑到手势动作相比于语音，可能会被用户误触发。因此，当检测到预设动作时，中控电脑可以控制语音模块播放语音“是否拍照”或者“是否录像”。用户可以回答“是”，从而输入确认指令，以控制车辆获取特定图像。也可以用手势动作输入确认指令，例如：可以将食指向下指一次，从而利用手势输入确认指令。
133.在一些实施例中，中控电脑控制车内摄像头实时拍摄用户图像。基于预设的检测模型对用户图像进行处理。基于检测到预设动作，确定为用户输入了拍摄指令，中控电脑控制车外摄像头进行拍摄。
134.为了响应用户的拍摄指令，中控电脑可以控制车内摄像头实时检测用户的行为动作。车内摄像头可以拍摄得到用户的行为图像并发送给中控电脑。中控电脑可以基于人手检测框模型、人手关键点模型检测出人手框和人手关键点，从而对手部进行目标跟踪。同时可以对人手框和人手关键点进行序列建模，识别出“手势摆出数字”和“食指向下指”等事件。基于检测到用户的预设动作，确定为用户输入了拍摄指令。响应于该预设动作，中控电脑可以获取特定图像，具体的，中控电脑可以先执行确定用户的关注行为的步骤。
135.在一些实施例中，响应于用户输入的连续拍照指令，中控电脑确定拍照频率。响应于用户输入的拍照指令，控制车外摄像头基于预设频率进行拍照。响应于用户输入的结束指令，控制车外摄像头停止拍照。
136.当车辆处于拍照模式时，用户还可以控制车辆连续拍照。连续拍照指的是：车外摄像头以预设频率，例如每秒拍摄两次，对周围环境拍摄多张图像。
137.用户可以输入语音“准备连拍”，中控电脑可以确定拍照频率，可以是预设的频率。当用户发出拍照指令时，例如输入语音“开始连拍”，中控电脑可以控制车外摄像头以预设频率进行拍照。当用户输入语音“停止”，可以停止连续拍摄。用户也可以用拖长音的方式，输入拍照指令，例如输入语音“拍”持续一段时间。在这段时间内，中控电脑可以控制车外摄像头以预设频率进行拍照。用户不再发出声音时，可以停止连续拍摄。
138.在一些实施例中，用户也可以采用其他方式输入拍摄指令，可以是前述过程中用户输入拍摄模式指令的方式，具体方案请参考前述内容，此处不再赘述。
139.在一些实施例中，车辆可以不设置有拍摄模式，当检测到用户的拍摄指令，不需要再确定车辆是否进入拍摄模式，可以直接响应用户的拍摄指令，并确定用户的关注行为，从而进行拍摄过程。
140.具体的，中控电脑可以实时检测用户是否输入了拍摄指令，例如检测用户输入的语音指令或者行为动作。基于检测到用户输入预设语音指令或者预设动作，确定为用户输入了拍摄指令。响应于用户输入的预设语音指令或者预设动作，中控电脑可以确定用户的关注行为。
141.用户输入拍摄模式指令的方式请参考前述内容，此处不再赘述。
142.图5为本公开的确定用户的关注行为的一个实施例的流程示意图。
143.如图5所示，在上述图2所示实施例的基础上，本公开一些实施例中，步骤101所示确定用户的关注行为的步骤，具体可以包括如下步骤：
144.步骤101-1：基于车内摄像头确定用户的人眼区域图像序列。如果检测到用户的人眼区域图像序列，则将人眼区域对应的视线关注行为确定为用户的关注行为。
145.具体的，视线关注行为可以是用户通过眼部瞳孔对周围环境的观察行为。当车内摄像头检测到用户的人眼区域时，即可以确定出用户利用眼部瞳孔观察的行为，此时可以根据瞳孔信息确定出用户的观察方向，即关注方向。
146.步骤101-2：基于没有检测到用户的人眼区域图像序列，根据车内摄像头检测用户的人体区域图像序列。基于检测到用户的人体区域图像序列，则将人体姿态对应的行为确定为用户的关注行为。
147.用户在观察车辆周围环境的过程中，可能会转动头部，观察车辆两侧或者后方，或者将头部伸出车窗外，因此车内摄像头将无法拍摄到用户的眼部瞳孔的朝向，此时，摄像头可以检测用户的人体姿态。
148.具体的，人体姿态可以包括人脸姿态、头部姿态以及肢体姿态。人脸姿态为车内摄像头检测到的用户的脸部姿态，主要体现为用户的脸部朝向。由于用户在观察环境时，一般会将脸部朝向环境进行观察，因此根据用户的脸部朝向可以确定出用户当前正在观察的方向。头部姿态主要体现为用户的头部朝向。同面部一样，用户一般会间个头部朝向环境进行观察，因此根据用户的头部朝向可以确定出用户当前正在观察的方向。肢体姿态为用户的肢体状态，例如肩膀、手臂的状态等。用户在观察环境时，肩膀的状态也会发生改变，例如向某一侧倾斜，因此通过肢体姿态也可以间接确定出用户观察的方向。
149.在检测用户的人体姿态时，可以检测人脸姿态、头部姿态以及肢体姿态中的任意一个，也可以检测任意两个或者全部检测，本公开实施例中不做限定。
150.需要说明的是，用户的视线方向，可以是眼部瞳孔的朝向，可以较为直观的表现出
用户的观察方向，因此通过实现方向确定出观察方向的准确性是最高的。由于用户可以转动眼球，从而令瞳孔跟随眼球转动，并进行观察，例如利用眼角余光观察，此时人脸朝向和人头朝向并不能和视线方向完全一致。因此，人脸朝向和头部朝向确定观察方向的准确性会低于视线方向。同时，人脸识别的精准度要大于头部识别，因此人脸朝向确定观察方向的准确性会高于头部朝向。对于肢体姿态来说，用户变换观察方向时，肢体姿态改变的程度可能会很小，通过肢体姿态确定观察方向的准确性是最低的。
151.因此，在确定用户的观察方向上，按照准确性由高到低的顺序依次为：瞳孔视线》人脸姿态》头部姿态》肢体姿态。可以按照该顺序控制车内摄像头进行检测，并将检测到的行为确定为用户的关注行为。
152.在一些实施例中，基于检测到人眼区域图像序列，中控电脑控制车内摄像头确定人体区域图像序列。基于检测到人体区域图像序列，将用户的人眼区域对应的视线关注行为以及用户的人体姿态对应的行为，确定为用户的关注行为。
153.为了提高确定出用户的观察方向的准确性，当检测到用户的人眼区域时，还可以检测用户的人体姿态。将人眼区域对应的视线关注行为以及人体姿态对应的行为一同确定为用户的关注行为。并综合考虑两种关注行为，获取用户的观察方向。
154.在一些实施例中，中控电脑预先设定关注行为。响应于用户的拍摄指令，将预设的关注行为确定为用户的关注行为。
155.在确定用户的关注行为时，也可以不使用车内摄像头对用户的人眼区域或者人体姿态进行检测，可以直接设定好用户的关注行为。
156.具体的，可以不通过检测用户当前的状态再确定关注行为，而是预先将某种行为直接设定为用户的关注行为。例如，考虑到人眼视线更能体现出用户正在观察的方向，利用瞳孔视线确定用户的观察方向的准确性最高，可以是仅仅将视线关注行为确定为用户的关注行为，而不会考虑人体姿态。此时，无论车内摄像头是否检测到用户的人眼区域，用户的关注行为都仅仅是视线关注行为。基于车内摄像头没有检测到用户的人眼区域时，例如用户可能将头伸出车窗外，中控电脑可以控制语音模块播放预设指令，以提示未检测到用户的人眼区域，从而令用户能够将人眼区域展示给车内摄像头。
157.又例如，可以预先将视线关注行为和人体姿态对应的行为全部设定为用户的关注行为。即使车内摄像头没有同时检测到两种行为，用户的关注行为也会同时包括两种行为。
158.具体的关注行为可以由用户自行设定，本公开实施例不做限定。
159.图6为本公开的确定车外摄像头的拍摄角度的一个实施例的流程示意图。
160.如图6所示，在上述图2所示实施例的基础上，本公开一些实施例中，步骤102所示确定车外摄像头的拍摄角度的步骤，具体如下：
161.需要说明的是，根据用户的关注行为的不同，车外摄像头的拍摄角度的确定方法也是不同的。在一些实施例中，当确定出用户的关注行为是用户的人眼区域对应的视线关注行为时，步骤102可以包括：
162.步骤102-01：基于车内摄像头获取包括用户的图像序列，确定用户的人眼区域图像序列。
163.人眼区域图像序列能够体现出人眼区域的状态，包括用户的眼部瞳孔的观察状态，能够表征出用户是否正在观察周边环境以及观察方向等。
164.具体的，中控电脑可以控制车内摄像头获取用户的图像序列，对所述图像序列的各帧图像进行图像识别处理获取用户的眼部区域图像，所述各帧图像的眼部区域图像组成人眼区域图像序列。
165.步骤102-02：基于所述人眼区域图像序列确定用户的视线方向，并根据视线方向确定所述车外摄像头的拍摄角度。
166.中控电脑可以基于视线追踪技术对人眼区域图像序列进行处理，得到视线方向。
167.具体的，可以采用视线追踪技术(eyetracking/gazetracking)确定出用户正在观察的方向。其中，视线追踪技术也称为眼动追踪技术，是测量人眼凝视点和相对于头部运动程度的技术。通过对人眼的关键点进行检测，实现对用户视线的追踪，从而能够确定出用户正在观察的方向，即用户的视线方向，需要说明的是，视线追踪技术是一种较为成熟的现有技术，本公开实施例不做过多介绍。可以通过构建视线追踪模型，进而利用视线追踪模型对人眼区域图像序列进行处理，得到视线方向。
168.用户的视线方向可以认为是用户感兴趣的关注方向，因此可以对车辆在该方向上的周围环境进行拍摄，得到特定图像。具体的，可以将用户的视线方向确定为车外摄像头的拍摄角度，从而能够准确的获取用户需要的特定图像。
169.图7为本公开的确定车外摄像头的拍摄角度的一个实施例的流程示意图。
170.如图7所示，在一些实施例中，当确定出用户的关注行为同时包括用户的人眼区域对应的视线关注行为，以及用户的人体姿态对应的行为时，步骤102可以包括：
171.步骤102-11：基于车内摄像头获取包括用户的图像序列，确定用户的人眼区域图像序列和人体区域图像序列。
172.对于人体区域图像序列，可以包括人脸区域图像序列、头部区域图像序列以及肢体区域图像序列。其中，人脸区域图像序列能够体现出用户的人脸朝向状态；头部区域图像序列可以体现出用户的头部朝向状态；肢体区域图像序列可以体现出用户的肢体朝向状态。进一步的，根据人体区域图像序列能够确定出每种人体姿态所朝向的方向。
173.确定用户的人眼区域图像序列的过程可以和前述方法内容相同。确定人脸区域图像序列、头部区域图像序列以及肢体区域图像序列的方法和确定人眼区域图像序列的方法相似，此处不再赘述。
174.步骤102-12：基于所述人眼区域图像序列确定用户的视线方向，并基于所述人体区域图像序列确定用户的人体姿态信息。人体姿态信息指的是人体姿态朝向，包括：人脸朝向，头部朝向和肢体朝向。
175.在确定用户的视线方向时，可以对用户的人眼图像进行视线追踪，得到视线方向。对于人体姿态信息来说，人脸姿态对应的信息可以是人脸朝向，头部姿态对应的信息可以是头部朝向，肢体姿态对应的信息可以是肢体朝向。可以根据人体区域图像序列确定出相应的信息。
176.具体的，中控电脑可以利用人脸特征检测技术(facelandmarksdetection)，对用户的人脸图像进行处理。人脸特征检测技术可以对人脸图像中的人脸关键点进行检测，从而确定出人脸朝向。中控电脑可以利用人头姿态估计技术(headposeestimation)，对用户的头部图像进行处理。人头姿态估计技术可以检测头部图像中的头部关键点，从而确定出头部朝向。中控电脑还可以利用人体姿态估计技术(humanposeestimation)，对用户的肢体
图像进行处理，得到肢体朝向。
177.需要说明的是，人脸特征检测技术、人头姿态估计技术和人体姿态估计技术都是较为成熟的现有技术，本公开实施例不做过多介绍。
178.中控电脑可以确定出人体姿态信息，包括：人脸朝向、头部朝向和肢体朝向。
179.步骤102-13：基于所述视线方向和所述人体姿态信息，确定用户的关注方向，并根据所述关注方向确定所述车外摄像头的拍摄角度。
180.中控电脑对视线方向和人体姿态朝向分别赋予权重，并对视线方向和人体姿态朝向进行加权计算处理，得到用户的关注方向。
181.在确定用户的关注方向时，可以综合考虑用户的视线方向、人脸朝向、头部朝向和肢体朝向。需要说明的是，视线方向可以最为准确的表现出用户的关注方向，其次是人脸朝向，再然后是头部朝向，肢体朝向的准确性最低。因此，可以考虑四种方向的准确性来设定权重。用户的关注方向的确定方法可以如公式(1)所示：
182.f＝a*f1+b*f2+c*f3+d*f4(1)
183.其中：f表示用户的关注方向；
184.f1表示用户的视线方向，a为视线方向的权重；f2表示用户的人脸方向，b为人脸方向的权重；f3表示用户的头部方向，c为头部方向的权重；f4表示用户的肢体方向，d为肢体方向的权重。
185.a+b+c+d＝1，并且a》b》c》d。可以设定为a为0.6，b为0.3，c为0.2，d为0.1。
186.根据上述公式，可以确定出用户的关注方向。
187.在一些实施例中，由于用户可能会转动头部来观察车辆周围的环境，利用视线追踪技术确定视线方向的精度也会随之改变。当用户的面部朝向车内摄像头时，用户的眼部瞳孔可以完全被摄像头拍摄到，此时可以较为精准的获取到用户的实现方向。随着头部进行转动，面部朝向远离车内摄像头，能够拍摄到的眼部瞳孔的区域面积会减小，导致视线追踪技术的精度下降。因此，本公开实施例在利用上述公式确定用户的关注方向时，还可以按照如下方式设定四种方向的权重。
188.以用户的面部完全朝向车内摄像头的方向作为中心方向0
°
，确定用户的头部左右转动角度，即用户当前面部朝向和中心方向0
°
之间的夹角。
189.基于检测到用户的头部左右转动角度《45
°
，认为视线追踪技术的精度准确，此时可以完全采用视线追踪结果确定用户的关注方向。即a＝1，b＝c＝d＝0。
190.基于检测到用户的头部左右转动角度》45
°
且《90
°
，此时视线追踪技术的精度较低，可以不考虑用户的视线方向，权重设定为：a＝0，b＝0.5，c＝0.25，d＝0.25。
191.基于检测到用户的头部左右转动角度》90
°
，则无法获取到视线方向和面部朝向，权重设定为：a＝0，b＝0，c＝0.5，d＝0.5。
192.基于检测到用户的检测到用户将头伸出车窗外，此时无法获取到视线方向、面部朝向和头部朝向，只能依靠肢体朝向估计结果，权重设定为：a＝b＝c＝0，d＝1。
193.在一些实施例中，中控电脑可以对每个方向设置优先级，考虑到准确性，可以设定优先级为：视线方向》面部朝向》头部朝向》肢体朝向。可以按照该优先级确定出用户的关注方向，具体的，可以将获取到的多个方向中，优先级最高的方向确定为用户的关注方向。例如，中控电脑获取到了面部朝向、头部朝向和肢体朝向，没有获取到视线方向，此时可以将
优先级最高的面部朝向确定为用户的关注方向。
194.在一些实施例中，也可以先确定出视线方向和人体姿态对应的朝向的置信度，并根据置信度的结果确定用户的关注方向。人体姿态对应的朝向包括：人脸朝向、头部朝向和肢体朝向。
195.考虑到在一些场景下，由于图像质量或者用户姿态的影响，某些获取到的方向可能准确性较低，因此在获取视线方向和三个朝向的时候，对于这四个方向，还可以确定出每个方向的置信度。中控电脑可以综合考虑优先级和置信度，确定出用户的关注方向。可以对每个方向设置一个优先级阈值。中控电脑可以将置信度高于相应的置信度阈值的方向中，优先级最高的方向确定为用户的关注方向。
196.需要说明的是，置信度可以表征出获取到的方向的准确性。例如，对于视线方向来说，如果人眼图像的图像质量较高，比如画面清晰的、人眼无遮挡时，获取到的视线方向的准确性较高，置信度也较高。又例如，对于人脸朝向来说，如果人脸图像画面清晰、人脸无遮挡、同时用户没有大幅度转动人脸，则获取到的人脸朝向的准确性较高；反之，如果人脸被遮挡，例如用户戴口罩而遮挡住人脸的情况，或者大角度侧脸等情况，会导致人脸图像质量较低，会导致人脸朝向的准确性较低，即置信度较低。因此，可以对每个方向设置一个置信度阈值，如果获取到的方向高于置信度阈值，则认为该方向的准确性较高，如果低于置信度阈值，则认为该方向的准确性较差，可以不予考虑。
197.具体的，对于获取到的多个方向，基于确定出优先级最高的第一方向时，中控电脑可以判断该第一方向的置信度是否高于第一方向对应的优先级阈值。检测到满足条件，则可以将第一方向确定为用户的关注方向，检测到不满足条件，则不再考虑该第一方向。可以确定出其余的方向中优先级最高的第二方向，并继续判断第二方向的置信度是否高于第一方向对应的优先级阈值。直到获取到满足条件的方向。
198.例如，如果获取到了视线方向、人脸朝向、头部朝向和肢体朝向。可以检测视线方向的置信度是否满足其相应的置信度阈值，如果满足，则直接将视线方向确定为用户的关注方向。如果不满足，则检测人脸朝向，知道获取到满足条件的方向。
199.中控电脑也可以先筛选出置信度高于相应的置信度阈值的所有方向，并将满足条件的方向中优先级最高的方向确定为用户的关注方向。
200.在一些实施例中，在获取到视线方向和人体姿态对应的朝向时，可以先检测视线方向的置信度是否高于相应的置信度阈值。如果满足，则将视线方向确定为用户的关注方向。如果不满足，可以在剩下的方向中检测是否存在两个及以上的方向相同或者方向的差值在预设的角度范围内。如果是，则可以将其中一个方向，可以是优先级高的方向或者随机一个方向，确定为用户的关注方向。如果不是，则可以基于置信度阈值和优先级，确定出最终的方向。
201.在一些实施例中，还可以综合利用置信度和权重确定用户的关注方向。用户的关注方向可以采用上述公式(1)获取，利用置信度可以确定每种方向的权重。
202.具体的，中控电脑可以对视线方向进行检测，判断视线方向的置信度是否大于对应的置信度阈值。基于检测到视线方向满足条件，则认为视线追踪技术的精度准确，此时可以完全采用视线追踪结果确定用户的关注方向。即a＝1，b＝c＝d＝0。
203.基于检测到视线方向不满足条件，则认为视线追踪的精度较低，可以不考虑用户
的视线方向。中控电脑可以检测人脸朝向、头部朝向和肢体朝向，三个方向中是否存在两个及以上的方向相同或者方向的差值在预设的角度范围内。如果是，则可以将其中一个方向确定为用户的关注方向。
204.基于检测到视线方向不满足条件，中控电脑也可以分别判断人脸朝向、头部朝向和肢体朝向，三个方向的置信度是否大于各自对应的置信度阈值。基于检测到三个方向均满足条件，可以设定权重为：a＝0，b＝0.5，c＝0.25，d＝0.25。
205.基于检测到人脸朝向不满足置信度阈值的条件，而头部朝向和肢体朝向满足条件，则可以设定权重为：a＝0，b＝0，c＝0.5，d＝0.5。
206.基于检测到人脸朝向和头部朝向均不满足条件，可能是用户将头伸出车窗外，导致视线方向、人脸朝向和头部朝向均不准确，则需要利用肢体朝向确定最终的结果，可以设定权重为：a＝b＝c＝0，d＝1。
207.在获取到用户的关注方向后，可以将该关注方向确定为车外摄像头的拍摄角度。
208.图8为本公开的确定目标车外摄像头的一个实施例的流程示意图。
209.如图8所示，在上述图2所示实施例的基础上，本公开一些实施例中，步骤103所示确定目标车外摄像头的步骤，具体包括以下步骤：
210.步骤103-1：确定车辆的每个车外摄像头的拍摄范围。
211.车辆的外部可以配置有多个车外摄像头，用于拍摄周围环境。每个车外摄像头都具有一定拍摄范围，在配置车外摄像头时，不限制摄像头的数量，以所有的摄像头能够拍摄的范围覆盖360
°
，从而可以拍摄到车辆周围所有的环境为准。图9为本公开提供的车辆的结构示意图，其中，黑色的原点代表车外摄像头在车辆外部的位置，车辆的外部可以配置有6个车外摄像头，不同的摄像头配置于车辆的不同位置上，所有车外摄像头的总拍摄范围可以覆盖车辆周围的360
°
全范围。
212.在确定了车外摄像头的拍摄角度后，中控电脑可以确定车辆的每个车外摄像头的拍摄范围，每个车外摄像头的拍摄范围是固定的并且提前设置好的。
213.步骤103-2：根据拍摄角度确定目标车外摄像头。
214.根据每个车外摄像头的拍摄范围，可以确定出拍摄范围中包括拍摄角度的所有车外摄像头，这些摄像头均可以拍摄到特定图像。
215.考虑到多个车外摄像头共同拍摄会造成资源浪费，因此可以在这些摄像头中选取一个目标车外摄像头进行拍摄工作。
216.在一些实施例中，可以确定这些符合条件的车外摄像头的当前角度。进一步的，可以确定每个摄像头的当前角度和拍摄角度的夹角，并可以将夹角最小的车外摄像头确定为目标车外摄像头。在一些实施例中，还可以采用其他方式确定目标车外摄像头，例如对每个车外摄像头设置优先级，采用优先级最高的摄像头作为目标车外摄像头。或者可以随机选取一个车外摄像头作为目标车外摄像头。
217.图10为本公开的对车辆周围的环境进行拍摄的一个实施例的流程示意图。
218.如图10所示，在上述图2所示实施例的基础上，本公开一些实施例中，步骤104所示对车辆周围的环境进行拍摄的步骤，具体包括以下步骤：
219.步骤104-01：根据所述拍摄角度确定待拍摄范围。其中，所述待拍摄范围指的是：以所述拍摄角度为中心，大小为预设角度的角度范围。待拍摄范围可以是用户自行设定的
一个拍摄范围。在该待拍摄范围内的周围环境，认为是用户较为关注的区域。
220.步骤104-02：控制所述目标车外摄像头对所述待拍摄范围进行放大处理，并进行拍摄。
221.具体的，目标车外摄像头可以自动聚焦到关注区域。通过将待拍摄范围进行放大处理后，可以得到更为清楚的关注区域图像。中控电脑可以控制目标车外摄像头进行拍摄，得到用户想要的特定图像。
222.图11为本公开的对车辆周围的环境进行拍摄的一个实施例的流程示意图。在一些实施例中，步骤104可以包括以下步骤：
223.需要说明的是，有些车外摄像头是可以转动的，从而改变当前的拍摄区域。
224.因此步骤104-11：中控电脑可以检测目标车外摄像头是否能够转动。
225.步骤104-12：如果检测到目标车外摄像头能够转动，可以控制目标车外摄像头进行转动。目标车外摄像头在转动后，其中心位置的角度为拍摄角度。进一步的，中控电脑可以控制目标车外摄像头进行拍摄，得到特定图像。
226.如果检测到目标车外摄像头不能转动，则直接控制目标车外摄像头进行拍摄。
227.在一些实施例中，可以将目标车外摄像头进行转动，使其中心位置的角度为拍摄角度。同时还可以将待拍摄范围进行放大处理，再控制目标车外摄像头进行拍摄。
228.在一些实施例中，目标车外摄像头对车辆周围的环境进行拍摄后，中控电脑可以控制语音模块播放模拟快门声，以提示用户拍摄成功。
229.在一些实施例中，当目标车外摄像头在进行录像过程或者连续拍摄时，用户还可以控制摄像头停止拍摄。具体的，用户可以向中控电脑输入结束拍摄的指令。
230.用户可以直接输入预设的结束语音，例如“停止拍摄”，控制摄像头停止拍摄。用户也可以做出预设的结束手势，例如握拳手势，以控制摄像头停止拍摄。
231.图12为本公开的对车辆提示用户是否拍摄的一个实施例的流程示意图。
232.如图12所示，在上述图2所示实施例的基础上，本公开一些实施例中，车辆还可以根据用户行为，提示用户是否进行拍摄，具体步骤如下：
233.步骤201：实时检测用户的情绪状态。
234.车辆中还可以设置有检测模块，能够检测用户的心率情况。同时车内摄像头可以检测到用户瞳孔的变化情况。用户的心率和瞳孔状态可以体现出用户的情绪状态。例如，用户关注车外事件时，可能用户的心率会突然升高，或者瞳孔的大小发生变化，此时可以认为用户的情绪状态发生了变化。中控电脑可以通过预先设定的心率检测算法、瞳孔检测算法确定用户的心率情况和瞳孔变化情况，从而检测出用户的情绪状态是否发生了变化以及发生了什么变化。
235.步骤202：基于检测到用户发生预定情绪状态变化，控制车辆的语音模块向用户播放预设的提示语音。其中，预设的提示语音用于使用户确定是否控制车外摄像头进行拍摄。
236.当检测到用户的预定的情绪状态变化时，可以认为用户正在关注车辆周围的环境，会有拍摄图像的需求。因此，中控电脑可以控制语音模块播放提示语音，例如“是否进行拍摄”，当用户回答“是”，则认为用户输入了拍摄指令，可以执行步骤101。如果用户回答“否”，则不需要进行处理，可以继续检测用户的情绪状态。因此，通过主动提示用户是否拍摄，可以省去用户主动确认发出拍摄指令的操作，提高了用户的使用体验。
237.图13为本公开的根据用户权限确定是否拍摄的一个实施例的流程示意图。
238.如图13所示，在上述图2所示实施例的基础上，本公开一些实施例中，步骤101所示确定用户的关注行为的步骤前，还可以包括以下步骤：
239.步骤01：响应于用户的拍摄指令，确定所述用户的操作权限。
240.对于车辆中的用户，可以赋予不同的权限。以控制车辆拍摄特定图像为例，可以赋予驾驶员该权限，但对于其他座位的用户不赋予权限。
241.因此，当某个用户输入了拍摄指令时，中控电脑可以检测该用户是否具有操作权限。
242.步骤02：基于所述用户具有操作权限，确定所述用户的关注行为。当用户具有操作权限时，可以拍摄该用户需要的特定图像，具体可以先确定该用户的关注行为。
243.步骤03：基于所述用户不具有操作权限，控制车辆的语音模块播放预设语音。响应于获取所述具有操作权限的用户的确认指令，确定所述用户的关注行为。其中，预设语音用于向具有操作权限的用户请求操作权限。
244.具体的，当该用户不具有操作权限时，中控电脑可以令语音模块播放预设语音，询问具有操作权限的用户，例如驾驶员，是否可以给该用户操作权限。当驾驶员输入确认指令时，可以认为该用户也具有了操作权限，此时可以拍摄该用户需要的特定图像，具体可以先确定该用户的关注行为。
245.在一些实施例中，当获取到用户需要的特定图像时，中控电脑可以将该图像发送至服务器。服务器中可以有用户的云存储空间，中控电脑可以将特定图像发送至用户的云存储空间，实现记录。
246.示例性装置
247.参见图14，为本公开提供的一种图像拍摄装置的结构示意图，该装置用于实现前述方法实施例的全部或部分功能。具体地，所述视频通话装置包括行为确定模块111、角度确定模块112、目标车外摄像头确定模块113和拍摄模块114等，此外，该装置还可以包括其他更多模块，比如存储模块、发送模块等，本实施例对此不予限制。
248.具体的，行为确定模块111用于：响应于用户的拍摄指令，确定用户的关注行为。
249.角度确定模块112用于：基于所述用户的关注行为，确定车外摄像头的拍摄角度。
250.目标车外摄像头确定模块113用于：确定车辆的每个车外摄像头的拍摄范围，并将拍摄范围中包括所述拍摄角度的车外摄像头确定为目标车外摄像头。
251.拍摄模块114用于：控制所述目标车外摄像头基于所述车外摄像头的拍摄角度，对车辆周围的环境进行拍摄。
252.可选的，在本实施例的一种实现方式中，在拍摄模块114对车辆周围的环境进行拍摄时，包括：控制所述目标车外摄像头进行转动，以使所述目标车外摄像头的中心位置的角度为所述拍摄角度，并控制所述目标车外摄像头进行拍摄。
253.可选的，在本实施例的一种实现方式中，在拍摄模块114对车辆周围的环境进行拍摄时，还包括：根据所述拍摄角度确定待拍摄范围。控制所述目标车外摄像头对所述待拍摄范围进行放大处理，并进行拍摄；所述待拍摄范围指的是：以所述拍摄角度为中心，大小为预设角度的角度范围。
254.可选的，在本实施例的一种实现方式中，行为确定模块111确定出的用户的关注行
为包括用户的人眼区域对应的视线关注行为。在角度确定模块112确定车外摄像头的拍摄角度时，包括：基于车内摄像头确定用户的人眼区域图像序列；基于所述人眼区域图像序列确定用户的视线方向，并根据所述视线方向确定所述车外摄像头的拍摄角度。
255.可选的，在本实施例的一种实现方式中，行为确定模块111确定出的用户的关注行为包括用户的人眼区域对应的视线关注行为以及用户的人体姿态对应的行为，所述人体姿态包括人脸姿态和/或头部姿态和/或肢体姿态。在角度确定模块112确定车外摄像头的拍摄角度时，包括：
256.基于车内摄像头确定用户的人眼区域图像序列和人体区域图像序列。基于所述人眼区域图像序列确定用户的视线方向；基于所述人体区域图像序列确定用户的人体姿态信息。基于所述视线方向和所述人体姿态信息，确定用户的关注方向，并根据所述关注方向确定所述车外摄像头的拍摄角度。
257.可选的，在本实施例的一种实现方式中，图像拍摄装置还包括拍摄模式确认模块115，用于：响应于用户指示的唤醒指令，控制车辆进入拍摄模式，所述唤醒指令包括预设的唤醒语音和/或预设的唤醒手势。
258.行为确定模块111还用于：检测到车辆进入拍摄模式，响应于用户的拍摄指令，执行所述确定用户的关注行为的步骤。
259.可选的，在本实施例的一种实现方式中，图像拍摄装置还包括结束确认模块116，用于：响应于用户指示的结束拍摄的指令，控制所述目标车外摄像头停止拍摄，所述结束拍摄的指令包括预设的结束语音和/或预设的结束手势。
260.可选的，在本实施例的一种实现方式中，图像拍摄装置还包括情绪确认模块117，用于：实时检测用户的情绪状态；基于检测到用户发生预定情绪状态变化，控制车辆的语音模块向用户播放预设的提示语音，所述预设的提示语音用于使用户确定是否控制所述车外摄像头进行拍摄。
261.可选的，在本实施例的一种实现方式中，在行为确定模块111确定用户的关注行为时，包括：响应于用户的拍摄指令，确定所述用户的操作权限；基于所述用户具有操作权限，确定所述用户的关注行为；基于所述用户不具有操作权限，控制车辆的语音模块播放预设语音，所述预设语音用于向具有操作权限的用户请求操作权限；响应于获取所述具有操作权限的用户的确认指令，确定所述用户的关注行为。
262.可选的，在本实施例的一种实现方式中，在行为确定模块111确定用户的关注行为时，包括：实时检测用户输入的语音指令；基于检测到用户输入预设语音指令，确定为用户输入了拍摄指令；响应于所述预设语音指令，确定用户的关注行为。
263.可选的，在本实施例的一种实现方式中，在行为确定模块111确定用户的关注行为时，包括：基于车内摄像头实时检测用户的行为动作；基于检测到用户的预设动作，确定为用户输入了拍摄指令；响应于所述预设动作，确定用户的关注行为。
264.示例性电子设备
265.下面，参考图15来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
266.图15为本公开实施例提供的电子设备的框图。
267.如图15所示，电子设备10包括一个或多个处理器11和存储器12。
268.处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
269.存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的声源定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
270.在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
271.例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
272.此外，该输入设备13还可以包括例如键盘、鼠标等等。
273.该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
274.当然，为了简化，图15中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
275.示例性计算机程序产品和计算机可读存储介质
276.除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的声源定位方法中的步骤。
277.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
278.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的声源定位方法中的步骤。
279.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
280.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
281.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
282.还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
283.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
284.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。