视频处理方法与电子设备与流程

本技术涉及视频处理领域，具体地，涉及一种视频处理方法与电子设备。

背景技术：

1、电子设备在录像或者视频通话的场景中，经常会面临镜头转换的需求，需要对拍摄模式进行切换；例如，前置镜头与后置镜头的切换、多镜头录像或者单镜头录像的切换；目前，电子设备的镜头切换依赖于用户手动操作，因此需要拍摄者在拍摄过程中与电子设备之间的距离较近；若用户与电子设备之间的距离较远，则需要基于蓝牙技术实现电子设备的镜头切换；基于蓝牙技术实现电子设备的镜头切换时，需要通过控制设备对电子设备的镜头进行相应的操作，一方面操作较复杂；另一方面控制设备容易暴露在视频中，影响视频的美感，从而导致用户体验较差。

2、因此，在视频场景中，电子设备如何基于用户需求自动切换镜头成为一个亟需解决的问题。

技术实现思路

1、本技术提供了一种视频处理方法与电子设备，能够在无需用户切换电子设备的拍摄模式的情况下完成视频的录制，提高用户的拍摄体验。

2、第一方面，提供了一种视频处理方法，应用于电子设备，所述电子设备包括至少两个拾音装置，所述视频处理方法包括：

3、运行所述电子设备中的相机应用程序；

4、显示第一图像，所述第一图像为所述电子设备处于第一拍摄模式时采集的图像；

5、获取音频数据，所述音频数据为所述至少两个拾音装置采集的数据；

6、基于所述音频数据得到切换指令，所述切换指令用于指示所述电子设备从所述第一拍摄模式切换至第二拍摄模式；

7、显示第二图像，所述第二图像为所述电子设备处于所述第二拍摄模式时采集的图像。

8、在本技术的实施例中，电子设备可以通过至少两个拾音装置(例如，麦克风)采集拍摄环境中的音频数据；基于音频数据生成切换指令，电子设备基于切换指令自动从当前的第一拍摄模式切换至第二拍摄模式，显示在第二拍摄模式采集的第二图像；在无需用户切换电子设备的拍摄模式的情况下，电子设备能够自动切换拍摄模式完成视频的录制，提高用户的拍摄体验。

9、应理解，在本技术的实施例中，由于电子设备需要对音频数据进行方向性判断，因此在本技术的实施例中电子设备中至少包括两个拾音装置，对拾音装置的具体数量不作任何限定。

10、在一种可能的实现方式中，第一拍摄模式可以是指单摄模式，或者多摄模式中的任意一种；其中，单摄模式可以包括前置单摄模式或者后置单摄模式；多摄模式可以包括前/后双摄模式、后/前双摄模式、画中画前置主画模式，或者画中画后置主画模式。

11、例如，在前置单摄模式下，采用电子设备中的一个前置摄像头进行视频拍摄；在后置单摄模式下，采用电子设备中的一个后置摄像头进行视频拍摄；在前后双摄模式下，采用一个前置摄像头和一个后置摄像头进行视频拍摄；在画中画前置模式下，采用一个前置摄像头和一个后置摄像头进行视频拍摄，且将后置摄像头拍摄的画面置于前置摄像头拍摄的画面之中，前指摄像头拍摄的画面为主画面；在画中画后置模式下，采用一个前置摄像头和一个后置摄像头进行视频拍摄，且将前置摄像头拍摄的画面置于后置摄像头拍摄的画面之中，后指摄像头拍摄的画面为主画面。

12、可选地，多摄模式还可以包括前置双摄模式、后置双摄模式、前置画中画模式或者后置画中画模式等。

13、应理解，第一拍摄模式与第二拍摄模式可以是指相同的拍摄模式或者不同的拍摄模式；若切换指令为默认当前拍摄模式，则第二拍摄模式与第一拍摄模式可以为相同的拍摄模式；在其他情况下，第二拍摄模式与第一拍摄模式可以为不同的拍摄模式。

14、结合第一方面，在第一方面的某些实现方式中，所述电子设备包括第一摄像头与第二摄像头，所述第一摄像头与所述第二摄像头位于所述电子设备的不同方向，所述基于音频数据得到切换指令，包括：

15、识别所述音频数据中是否包括目标关键词，所述目标关键词为所述切换指令对应的文本信息；

16、在所述音频数据中识别到所述目标关键词的情况下，基于所述目标关键词得到所述切换指令；

17、在所述音频数据中未识别所述目标关键词的情况下，对所述音频数据进行处理，得到第一方向的音频数据和/或第二方向的音频数据，所述第一方向用于表示所述第一摄像头对应的第一预设角度范围，所述第二方向用于表示所述第二摄像头对应的第二预设角度范围；基于所述第一方向的音频数据和/或所述第二方向音频数据，得到所述切换指令。

18、在本技术的实施例中，可以先识别音频数据中是否包括目标关键词；若音频数据中包括目标关键词，则电子设备将拍摄模式切换至目标关键词对应的第二拍摄模式；若音频数据中不包括目标关键词，则电子设备可以基于第一方向的音频数据和/或第二方向的音频数据得到切换指令；例如，若用户在电子设备的前方，则一般通过前置摄像头采集图像；若电子设备的前向方向存在用户的音频信息，则可以认为用户在电子设备的前向方向，此时可以开启前置摄像头；若用户在电子设备的后方，则一般通过后置摄像头采集图像；若电子设备的后向方向存在用户的音频信息，则可以认为用户在电子设备的后向方向，此时可以开启后置摄像头。

19、结合第一方面，在第一方面的某些实现方式中，所述对所述音频数据进行处理，得到第一方向的音频数据和/或第二方向的音频数据，包括：

20、基于声音方向概率计算算法对所述音频数据进行处理，得到所述第一方向的音频数据和/或所述第二方向的音频数据。

21、在本技术的实施例中，可以计算音频数据在各个方向的概率大小，从而将音频数据进行方向分离，得到第一方向的音频数据与第二方向的音频数据；基于第一方向的音频数据和/后第二方向的音频数据可以得到切换指令；电子设备基于切换指令可以自动实现拍摄模式的切换。

22、结合第一方面，在第一方面的某些实现方式中，所述基于所述第一方向的音频数据和/或所述第二方向音频数据，得到所述切换指令，包括：

23、基于第一幅度谱的能量和/或第二幅度谱的能量，得到所述切换指令，所述第一幅度谱为所述第一方向的音频数据的幅度谱，所述第二幅度谱为所述第二方向的音频数据的幅度谱。

24、应理解，在录制视频场景中，通常可以认为音频数据的能量越大的方向(例如，音频信息的音量越大的方向)为主要拍摄方向；可以基于不同方向的音频数据的幅度谱的能量得到主要拍摄方向；比如，若第一方向的音频数据的幅度谱的能量大于第二方向的音频数据的幅度谱的能量，则可以认为第一方向为主要拍摄方向；此时，可以开启电子设备中第一方向对应的摄像头。

25、结合第一方面，在第一方面的某些实现方式中，所述切换指令包括当前拍摄模式、第一画中画模式、第二画中画模式、第一双景模式、第二双景模式、所述第一摄像头的单摄模式或者所述第二摄像头的单摄模式，所述基于第一幅度谱的能量和/或第二幅度谱的能量，得到所述切换指令，包括：

26、若所述第一幅度谱的能量与所述第二幅度谱的能量均小于第一预设阈值，得到所述切换指令为保持所述当前拍摄模式；

27、若所述第一幅度谱的能量大于第二预设阈值，且所述第二幅度谱的能量小于或者等于所述第二预设阈值，所述切换指令为切换为所述第一摄像头的单摄模式；

28、若所述第二幅度谱的能量大于第二预设阈值，且所述第一幅度谱的能量小于或者等于所述第二预设阈值，所述切换指令为切换为所述第二摄像头的单摄模式；

29、若所述第一幅度谱的能量大于第二预设阈值，且所述第二幅度谱的能量大于或者等于第一预设阈值，所述切换指令为切换为所述第一画中画模式；

30、若所述第二幅度谱的能量大于第二预设阈值，且所述第一幅度谱的能量大于或者等于第一预设阈值，所述切换指令为切换为所述第二画中画模式；

31、若所述第一幅度谱的能量与所述第二幅度谱的能量均大于或者等于第二预设阈值，且所述第一幅度谱的能量大于所述第二幅度谱的能量，所述切换指令为切换为所述第一双景模式；

32、若所述第一幅度谱的能量与所述第二幅度谱的能量均大于或者等于第二预设阈值，且所述第二幅度谱的能量大于所述第一幅度谱的能量，所述切换指令为切换为所述第二双景模式；

33、其中，所述第二预设阈值大于所述第一预设阈值，所述第一画中画模式是指所述第一摄像头采集的图像为主画面的拍摄模式，所述第二画中画模式是指所述第二摄像头采集的图像为主画面的拍摄模式，所述第一双景模式是指所述第一摄像头采集的图像位于所述电子设备的显示屏的上侧或者左侧的拍摄模式，所述第二双景模式是指所述第二摄像头采集的图像位于所述电子设备的显示屏的上侧或者左侧的拍摄模式。

34、结合第一方面，在第一方面的某些实现方式中，所述第一幅度谱为所述第一方向的音频数据中各个频点对应的幅度谱取平均得到的第一平均幅度谱；和/或，

35、所述第二幅度谱为所述第二方向的音频数据中各个频点对应的幅度谱取平均得到的第二平均幅度谱。

36、在本技术的实施例中，对第一方向的音频数据中的不同频点的幅度谱取平均值后得到的幅度谱可以称为第一平均幅度谱；对第二方向的音频数据中的不同频点的幅度谱取平均值后得到的幅度谱可以称为第二平均幅度谱；由于第一平均幅度谱和/或第二平均幅度谱是对不同频点的幅度谱取均值得到的幅度谱；因此，可以提高第一方向的音频数据和/或第一方向的音频数据中信息的准确性。

37、结合第一方面，在第一方面的某些实现方式中，所述第一幅度谱为对第一平均幅度谱进行第一放大处理和/或第二放大后得到的幅度谱，所述第一平均幅度谱为对所述第一方向的音频数据中各个频点对应的幅度谱取平均得到的。

38、结合第一方面，在第一方面的某些实现方式中，所述视频处理方法还包括：

39、对所述第一方向的音频数据进行语音检测，得到第一检测结果；

40、对所述至少两个拾音装置采集的数据进行波达方向估计，得到预测角度信息；

41、若所述第一检测检测指示所述第一方向的音频数据包括用户的音频信息，对所述第一方向的音频数据的幅度谱进行所述第一放大处理；和/或

42、若所述预测角度信息包括所述第一预设角度范围中的角度信息，对所述第一方向的音频数据的幅度谱进行所述第二放大处理。

43、结合第一方面，在第一方面的某些实现方式中，所述第二幅度谱为对第二平均幅度谱进行第一放大处理和/或第二放大后得到的幅度谱，所述第二平均幅度谱为对所述第二方向的音频数据中各个频点对应的幅度谱取平均得到的。

44、结合第一方面，在第一方面的某些实现方式中，所述视频处理方法还包括：

45、对所述第二方向的音频数据进行语音检测，得到第二检测结果；

46、对所述至少两个拾音装置采集的数据进行波达方向估计，得到预测角度信息；

47、若所述第二检测检测指示所述第二方向的音频数据包括用户的音频信息，对所述第二方向的音频数据的幅度谱进行所述第一放大处理；和/或

48、若所述预测角度信息包括所述第二预设角度范围中的角度信息，对所述第二方向的音频数据的幅度谱进行所述第二放大处理。

49、应理解，在录制视频场景中，通常可以认为用户所在的方向为主要拍摄方向；若检测结果中指示该方向包括用户的音频信息，则可以认为用户在该方向；此时，可以对该方向的音频数据进行第一放大处理，通过第一放大处理能够提高获取的用户音频信息的准确性。

50、其中，波达方向估计是指将接收的信号进行空间傅里叶变换，进而取模的平方得到空间谱，估计出信号的到达方向的算法。

51、应理解，在录制视频场景中，通常可以认为用户所在的方向为主要拍摄方向；若检测结果中指示该方向包括用户的音频信息，则可以认为用户在该方向；此时，可以对该方向的音频数据进行第一放大处理，通过第一放大处理能够提高获取的用户音频信息的准确性；当预测角度信息包括第一预设角度范围和/或第二预设角度范围，则可以说明电子设备的第一方向和/后第二方向存在音频信息；通过第二放大处理，能够提高第一幅度谱或者第二幅度谱的准确性；在幅度谱与用户音频信息的准确性提升的情况下，能够准确地得到切换指令。

52、结合第一方面，在第一方面的某些实现方式中，所述识别所述音频数据中是否包括目标关键词，包括：

53、基于盲信号分离算法对所述音频数据进行分离处理，得到n个音频信息，所述n个音频信息为不同用户的音频信息；

54、对所述n个音频信息中的每个音频信息进行识别，确定所述n个音频信息中是否包括所述目标关键词。

55、在本技术的实施例中，可以先将至少两个拾音装置采集的音频数据进行分离处理，得到n个不同源的音频信息；在n个音频信息中分别识别是否包括目标关键词，从而能够提高识别目标关键词的准确性。

56、结合第一方面，在第一方面的某些实现方式中，所述第一图像为所述电子设备处于多镜录像时采集的预览图像。

57、结合第一方面，在第一方面的某些实现方式中，所述第一图像为所述电子设备处于多镜录像时采集的视频画面。

58、结合第一方面，在第一方面的某些实现方式中，所述音频数据是指在所述电子设备所处的拍摄环境中所述拾音装置采集的数据。

59、第二方面，提供了一种电子设备，所述电子设备包括一个或多个处理器、存储器、至少两个拾音装置；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

60、运行所述电子设备中的相机应用程序；

61、显示第一图像，所述第一图像为所述电子设备处于第一拍摄模式时采集的图像；

62、获取音频数据，所述音频数据为所述至少两个拾音装置采集的数据；

63、基于所述音频数据得到切换指令，所述切换指令用于指示所述电子设备从所述第一拍摄模式切换至第二拍摄模式；

64、显示第二图像，所述第二图像为所述电子设备处于所述第二拍摄模式时采集的图像。

65、结合第二方面，在第二方面的某些实现方式中，所述电子设备包括第一摄像头与第二摄像头，所述第一摄像头与所述第二摄像头位于所述电子设备的不同方向，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

66、识别所述音频数据中是否包括目标关键词，所述目标关键词为所述切换指令对应的文本信息；

67、在所述音频数据中识别到所述目标关键词的情况下，基于所述目标关键词得到所述切换指令；

68、在所述音频数据中未识别所述目标关键词的情况下，对所述音频数据进行处理，得到第一方向的音频数据和/或第二方向的音频数据，所述第一方向用于表示所述第一摄像头对应的第一预设角度范围，所述第二方向用于表示所述第二摄像头对应的第二预设角度范围；基于所述第一方向的音频数据和/或所述第二方向音频数据，得到所述切换指令。

69、结合第二方面，在第二方面的某些实现方式中，所述对所述音频数据进行处理，得到第一方向的音频数据和/或第二方向的音频数据，包括：

70、基于声音方向概率计算算法对所述音频数据进行处理，得到所述第一方向的音频数据和/或所述第二方向的音频数据。

71、结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

72、基于第一幅度谱的能量和/或第二幅度谱的能量，得到所述切换指令，所述第一幅度谱为所述第一方向的音频数据的幅度谱，所述第二幅度谱为所述第二方向的音频数据的幅度谱。

73、结合第二方面，在第二方面的某些实现方式中，所述切换指令包括当前拍摄模式、第一画中画模式、第二画中画模式、第一双景模式、第二双景模式、所述第一摄像头的单摄模式或者所述第二摄像头单摄模式，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

74、若所述第一幅度谱的能量与所述第二幅度谱的能量均小于第一预设阈值，得到所述切换指令为保持所述当前拍摄模式；

75、若所述第一幅度谱的能量大于第二预设阈值，且所述第二幅度谱的能量小于或者等于所述第二预设阈值，所述切换指令为切换为所述第一摄像头的单摄模式；

76、若所述第二幅度谱的能量大于第二预设阈值，且所述第一幅度谱的能量小于或者等于所述第二预设阈值，所述切换指令为切换为所述第二摄像头的单摄模式；

77、若所述第一幅度谱的能量大于第二预设阈值，且所述第二幅度谱的能量大于或者等于第一预设阈值，所述切换指令为切换为所述第一画中画模式；

78、若所述第二幅度谱的能量大于第二预设阈值，且所述第一幅度谱的能量大于或者等于第一预设阈值，所述切换指令为切换为所述第二画中画模式；

79、若所述第一幅度谱的能量与所述第二幅度谱的能量均大于或者等于第二预设阈值，且所述第一幅度谱的能量大于所述第二幅度谱的能量，所述切换指令为切换为所述第一双景模式；

80、若所述第一幅度谱的能量与所述第二幅度谱的能量均大于或者等于第二预设阈值，且所述第二幅度谱的能量大于所述第一幅度谱的能量，所述切换指令为切换为所述第二双景模式；

81、其中，所述第二预设阈值大于所述第一预设阈值，所述第一画中画模式是指所述第一摄像头采集的图像为主画面的拍摄模式，所述第二画中画模式是指所述第二摄像头采集的图像为主画面的拍摄模式，所述第一双景模式是指所述第一摄像头采集的图像位于所述电子设备的显示屏的上侧或者左侧的拍摄模式，所述第二双景模式是指所述第二摄像头采集的图像位于所述电子设备的显示屏的上侧或者左侧的拍摄模式。

82、结合第二方面，在第二方面的某些实现方式中，所述第一幅度谱为所述第一方向的音频数据中各个频点对应的幅度谱取平均得到的第一平均幅度谱；和/或，

83、所述第二幅度谱为所述第二方向的音频数据中各个频点对应的幅度谱取平均得到的第二平均幅度谱。

84、结合第二方面，在第二方面的某些实现方式中，所述第一幅度谱为对第一平均幅度谱进行第一放大处理和/或第二放大后得到的幅度谱，所述第一平均幅度谱为对所述第一方向的音频数据中各个频点对应的幅度谱取平均得到的。

85、结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

86、对所述第一方向的音频数据进行语音检测，得到第一检测结果；

87、对所述至少两个拾音装置采集的数据进行波达方向估计，得到预测角度信息；

88、若所述第一检测检测指示所述第一方向的音频数据包括用户的音频信息，对所述第一方向的音频数据的幅度谱进行所述第一放大处理；和/或

89、若所述预测角度信息包括所述第一预设角度范围中的角度信息，对所述第一方向的音频数据的幅度谱进行所述第二放大处理。

90、结合第二方面，在第二方面的某些实现方式中，所述第二幅度谱为对第二平均幅度谱进行第一放大处理和/或第二放大后得到的幅度谱，所述第二平均幅度谱为对所述第二方向的音频数据中各个频点对应的幅度谱取平均得到的。

91、结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

92、对所述第二方向的音频数据进行语音检测，得到第二检测结果；

93、对所述至少两个拾音装置采集的数据进行波达方向估计，得到预测角度信息；

94、若所述第二检测检测指示所述第二方向的音频数据包括用户的音频信息，对所述第二方向的音频数据的幅度谱进行所述第一放大处理；和/或

95、若所述预测角度信息包括所述第二预设角度范围中的角度信息，对所述第二方向的音频数据的幅度谱进行所述第二放大处理。

96、结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

97、基于盲信号分离算法对所述音频数据进行分离处理，得到n个音频信息，所述n个音频信息为不同用户的音频信息；

98、对所述n个音频信息中的每个音频信息进行识别，确定所述n个音频信息中是否包括所述目标关键词。

99、结合第二方面，在第二方面的某些实现方式中，所述第一图像为所述电子设备处于多镜录像时采集的预览图像。

100、结合第二方面，在第二方面的某些实现方式中，所述第一图像为所述电子设备处于多镜录像时采集的视频画面。

101、结合第二方面，在第二方面的某些实现方式中，所述音频数据是指在所述电子设备所处的拍摄环境中所述拾音装置采集的数据。

102、第三方面，提供了一种电子设备，包括用于执行第一方面或者第一方面中任一种视频处理方法的模块/单元。

103、第四方面，提供一种电子设备，所述电子设备包括一个或多个处理器、存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任一种方法。

104、第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种方法。

105、第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中的任一种方法。

106、第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一面中的任一种方法。

107、在本技术的实施例中，电子设备可以通过至少两个拾音装置(例如，麦克风)采集拍摄环境中的音频数据；基于音频数据生成切换指令，电子设备基于切换指令自动从当前的第一拍摄模式切换至第二拍摄模式，显示在第二拍摄模式采集的第二图像；在无需用户切换电子设备的拍摄模式的情况下，电子设备能够自动切换拍摄模式完成视频的录制，提高用户的拍摄体验。