一种同步帧的筛选方法、装置、电子设备及存储介质与流程

【】本技术实施例涉及图像处理，尤其涉及一种同步帧的筛选方法、装置、电子设备及存储介质。

背景技术

0、
背景技术：

1、目前移动终端中常采用双摄方案来解决不同场景下的拍照问题。而在对双摄各自所采集的图像进行处理时，需要确保来自双摄的图像是同步的，即用于处理的双摄图像应尽量保证是同一时刻产生的，从而才可以使上述处理过程得到较好的效果。

2、相关技术中，通过新增额外的硬件来从双摄各自所采集的图像筛选出同步帧，这种方式存在两个方面问题，第一成本较高，第二，基于硬件来筛选同步帧仅适用于图像帧率固定的情况，一旦图像帧率变化，便无法进行筛选，即不适用于动态帧率场景。

技术实现思路

0、
技术实现要素：

1、本技术实施例提供了一种同步帧的筛选方法、装置、电子设备及存储介质，能够在动态帧率场景下较为准确地从双摄各自采集的图像中筛选出同步帧，从而确保后续对同步帧处理的可靠性。

2、第一方面，本技术实施例提供了一种同步帧的筛选方法，适用于终端之中，所述终端包括用户层、驱动层以及硬件层，所述方法包括：

3、所述用户层向所述驱动层发送第一拍照指令，其中，所述第一拍照指令中携带有基准摄像头标识与同步帧筛选开启时刻；

4、所述驱动层响应所述第一拍照指令，从所述硬件层的存储器中获取所述基准摄像头标识所对应的基准摄像头在生成目标基准图像标识对应的目标基准图像时的第一时间戳；

5、响应于所述第一时间戳晚于所述同步帧筛选开启时刻，所述驱动层从所述硬件层的存储器中获取非基准摄像头标识所对应的非基准摄像头在生成多个待匹配图像标识所对应的待匹配图像时各自的第二时间戳；

6、所述驱动层基于所述第一时间戳与多个第二时间戳确定所述目标基准图像与多个所述待匹配图像在生成时刻上的最大接近程度；

7、所述驱动层响应于所述最大接近程度超过设定程度，确定超过所述设定程度的所述最大接近程度所对应的目标基准图像以及目标待匹配图像作为同步帧。

8、本技术实施例中，硬件层中的基准摄像头与非基准摄像头可以认为均在实时生成图像，驱动层在接收到用户层的第一拍照指令之后，便可以将基准摄像头在同步帧筛选开启时刻之后生成的目标基准图像作为基准，然后在非基准摄像头所生成的多个待匹配图像中筛选出生成时刻上与目标基准图像之间的最大接近程度超过设定程度的目标待匹配图像，从而将上述目标基准图像与目标待匹配图像作为同步帧。与相关技术中基于硬件来筛选同步帧相比，该方法中，在确保筛选同步帧准确性的前提下，无需新增硬件，从而节省成本，同时也不会受限于帧率固定的场景，从而可以广泛适用于动态帧率场景。

9、可选的，所述驱动层基于所述第一时间戳与多个第二时间戳确定所述目标基准图像与多个所述待匹配图像在生成时刻上的最大接近程度，包括：

10、所述驱动层分别计算所述第一时间戳与多个所述第二时间戳之间的时间差值，获得多个时间差值；

11、从所述多个时间差值中确定出最小时间差值；

12、所述驱动层响应于所述最大接近程度超过设定程度，确定所述最大接近程度对应的目标基准图像以及目标待匹配图像作为同步帧，包括：

13、所述驱动层判断所述最小时间差值是否小于所述第二时间戳之间间隔时长的二分之一；若是，则确定所述最小时间差值对应的所述目标基准图像与所述目标待匹配图像为同步帧。

14、本技术实施例中，通过计算目标基准图像与多个待匹配图像在生成时刻上的时间差值，并在多个时间差值中确定出最小时间差值，该最小时间差值可以认为指示的是目标基准图像与上述多个待匹配图像中目标待匹配图像在生成时刻上的最大接近程度，若该最小时间差值小于了待匹配图像之间生成时间间隔的一半，则认为目标基准图像的生成时刻与目标待匹配图像的生成时刻是较为接近的，此时便可以较为准确地确定出目标基准图像与目标待匹配图像为同步帧。

15、可选的，在所述驱动层判断所述最小时间差值是否小于所述第二时间戳之间间隔时长的二分之一之后，所述方法还包括：

16、若否，所述驱动层将位于所述多个待匹配图像标识之后的首个待匹配图像标识所对应的待匹配图像作为与所述目标基准图像的同步帧。

17、本技术实施例中，若当前多个待匹配图像与目标基准图像在生成时刻上都相差较大，即当前多个待匹配图像均不能作为目标基准图像的同步帧时，则将晚于上述多个待匹配图像生成的首个待匹配图像作为目标基准图像的同步帧。

18、可选的，在所述驱动层响应所述第一拍照指令，从所述硬件层的存储器中获取所述基准摄像头标识所对应的基准摄像头在生成目标基准图像标识对应的目标基准图像时的第一时间戳之前，所述方法还包括：

19、所述用户层向所述驱动层发送针对所述非基准摄像头的第二拍照指令；

20、在所述驱动层响应于所述最大接近程度超过设定程度，确定所述最大接近程度对应的目标基准图像以及目标待匹配图像作为同步帧之后，所述方法还包括：

21、所述驱动层确定未接收到所述第二拍照指令，基于建立的待匹配图像标识与待匹配图像存储地址的对应关系，确定所述目标待匹配图像标识对应的目标待匹配图像存储地址；

22、所述驱动层向所述硬件层的存储器发送加锁命令，所述加锁命令中携带有所述目标待匹配图像存储地址；

23、所述硬件层的存储器响应所述加锁命令，对所述目标待匹配图像存储地址对应的所述目标待匹配图像进行加锁处理。

24、本技术实施例中，用户层除了向驱动层发送针对基准摄像头的第一拍照指令以外，还会向驱动层发送针对非基准摄像头的第二拍照指令，该第二拍照指令用于指示非基准摄像头所采集的待匹配图像可以输入到硬件层的图像处理器进行对应的图像处理，那么在驱动层在为目标基准图像匹配到同步的目标待匹配图像之后，若还未接收到上述第二拍照指令，可以将目标待匹配图像进行加锁处理，避免目标待匹配图像被其他待匹配图像覆盖，从而确保在接收到第二拍照指令后，目标待匹配图像处于可用状态。

25、可选的，所述第二拍照指令中携带有非基准摄像头标识，在所述驱动层确定未接收到所述第二拍照指令，向所述硬件层的存储器发送加锁命令之后，所述方法还包括：

26、所述驱动层响应于所述第二拍照指令，判断所述第二拍照指令所携带的非基准摄像头标识与所述非基准摄像头所对应的非基准摄像头标识是否匹配；响应于匹配，基于建立的基准图像标识与基准图像存储地址的对应关系，确定出所述目标基准图像标识对应的目标基准图像存储地址，以及基于建立的待匹配图像标识与待匹配图像存储地址的对应关系，确定所述目标待匹配图像标识对应的目标待匹配图像存储地址；

27、所述驱动层向所述硬件层的存储器发送图像处理命令，所述图像处理命令中携带有所述目标基准图像存储地址，以及所述目标待匹配图像存储地址；

28、所述硬件层的存储器响应所述图像处理命令，将所述目标基准图像存储地址对应的所述目标基准图像，以及所述目标待匹配图像存储地址对应的所述目标待匹配图像同步输入硬件层的图像处理器。

29、本技术实施例中，驱动层需要验证来自用户层的第二拍照指令是否指示的是需要利用非基准摄像头所采集的图像，若是，则控制硬件层中的存储器将目标基准图像与目标待匹配图像同步输入到图像处理器中进行图像处理，从而获得用户特定效果的图像。

30、可选的，所述驱动层响应所述第一拍照指令，从所述硬件层的存储器中获取所述基准摄像头标识所对应的基准摄像头在生成目标基准图像标识对应的目标基准图像时的第一时间戳，包括：

31、所述驱动层响应所述第一拍照指令，基于建立的基准摄像头标识与基准图像标识之间的第一对应关系，确定所述基准摄像头标识对应的多个基准图像标识；

32、所述驱动层基于基准图像标识与时间戳存储地址的第二对应关系，确定出所述多个基准图像标识中目标基准图像标识对应的第一目标时间戳存储地址；

33、所述驱动层向所述硬件层中的存储器发送第一查询指令，所述查询指令中携带有所述第一目标时间戳存储地址；

34、所述驱动层中的存储器响应所述第一查询指令，查找并向所述驱动层发送所述第一目标时间戳存储地址对应的所述第一时间戳。

35、本技术实施例中，驱动层可以认为建立有基准摄像头标识与基准图像标识之间的第一对应关系，那么基于基准摄像头标识便可以查找到多个基准图像标识，即可以查找出哪些图像是基准摄像头所生成的，然后再基于基准图像标识与时间戳存储地址的对应关系，查找出基准摄像头所生成的多个基准图像中的目标基准图像在硬件层的存储器中的第一目标时间戳存储地址，然后便可以基于上述第一目标时间戳存储地址从存储器中准确地获取到目标基准图像对应的第一时间戳。

36、可选的，响应于所述第一时间戳晚于所述同步帧筛选开启时刻，基于建立的非基准摄像头标识与待匹配图像标识之间的第三对应关系，确定所述非基准摄像头标识对应的多个待匹配图像标识；

37、所述驱动层基于待匹配图像标识与时间戳存储地址的第四对应关系，确定出所述多个待匹配图像标识中每个待匹配图像标识对应的第二目标时间戳存储地址；

38、所述驱动层向所述硬件层中的存储器发送第二查询指令，所述查询指令中携带有所述第二目标时间戳存储地址；

39、所述硬件层中的存储器响应所述第二查询指令，查找并向所述驱动层发送所述第二目标时间戳存储地址对应的所述第二时间戳。

40、本技术实施例中，驱动层可以认为建立有非基准摄像头标识与待匹配图像标识之间的第三对应关系，那么基于非基准摄像头标识便可以查找到多个待匹配图像标识，即可以查找出哪些待匹配图像是非基准摄像头所生成的，然后再基于待匹配图像标识与时间戳存储地址的第四对应关系，查找出非基准摄像头所生成的多个待匹配图像中的目标待匹配图像在硬件层的存储器中的第二目标时间戳存储地址，然后便可以基于上述第二目标时间戳存储地址从存储器中准确地获取到每个待匹配图像各自对应的第二时间戳。

41、可选的，所述硬件层的存储器中至少包括第一缓存队列与第二缓存队列，所述第一缓存队列用于存储设定数量的第二时间戳，所述第二缓存队列用于承接所述第一缓存队列中超出所述设定数量后流转来的第二时间戳，所述驱动层中的存储器响应所述第二查询指令，查找并向所述驱动层发送所述第二目标时间戳存储地址对应的所述第二时间戳，包括：

42、所述驱动层中的存储器响应所述第二查询指令，在所述第一缓存队列中查找并向所述驱动层发送所述第二目标时间戳存储地址对应的所述第二时间戳。

43、本技术实施例中，第一缓存队列中所存储的第二时间戳可以认为是与第一时间戳较为接近的时间戳，而第二缓存队列中所存储的第二时间戳可以认为是与第一时间戳间隔较远的时间戳，那么仅从第一缓存队列中获取第二时间戳来与第一时间戳进行对比，从而更为快速的筛选出与目标基准图像在生成时刻上最为接近的目标待匹配图像，从而减少筛选过程的耗时。

44、第二方面，本技术实施例提供了一种同步帧的筛选装置，所述装置包括：用户层、驱动层以及硬件层，其中，

45、所述用户层，用于向所述驱动层发送第一拍照指令，其中，所述第一拍照指令中携带有基准摄像头标识与同步帧筛选开启时刻；

46、所述驱动层，用于响应所述第一拍照指令，从所述硬件层的存储器中获取所述基准摄像头标识所对应的基准摄像头在生成目标基准图像标识对应的目标基准图像时的第一时间戳；

47、所述驱动层，还用于响应于所述第一时间戳晚于所述同步帧筛选开启时刻，从所述硬件层的存储器中获取非基准摄像头标识所对应的非基准摄像头在生成多个待匹配图像标识所对应的待匹配图像时各自的第二时间戳；

48、所述驱动层，还用于基于所述第一时间戳与多个第二时间戳确定所述目标基准图像与多个所述待匹配图像在生成时刻上的最大接近程度；

49、所述驱动层，还用于响应于所述最大接近程度超过设定程度，确定超过所述设定程度的所述最大接近程度所对应的目标基准图像以及目标待匹配图像作为同步帧。

50、可选的，所述驱动层具体用于：

51、分别计算所述第一时间戳与多个所述第二时间戳之间的时间差值，获得多个时间差值；

52、从所述多个时间差值中确定出最小时间差值；

53、判断所述最小时间差值小于所述第二时间戳之间间隔时长的二分之一；若是，则确定所述最小时间差值对应的所述目标基准图像与所述目标待匹配图像为同步帧。

54、可选的，所述驱动层还用于：

55、若所述最小时间差值不小于所述第二时间戳之间间隔时长的二分之一，将位于所述多个待匹配图像标识之后的首个待匹配图像标识所对应的待匹配图像作为与所述目标基准图像的同步帧。

56、可选的，所述用户层还用于：

57、向所述驱动层发送针对所述非基准摄像头的第二拍照指令；

58、所述驱动层还用于：

59、未接收到所述第二拍照指令，基于建立的待匹配图像标识与待匹配图像存储地址的对应关系，确定所述目标待匹配图像标识对应的目标待匹配图像存储地址；

60、向所述硬件层的存储器发送加锁命令，所述加锁命令中携带有所述目标待匹配图像存储地址；

61、所述硬件层的存储器，还用于：

62、响应所述加锁命令，对所述目标待匹配图像存储地址对应的所述目标待匹配图像进行加锁处理。

63、可选的，所述驱动层还用于：

64、响应于所述第二拍照指令，判断所述第二拍照指令所携带的非基准摄像头标识与所述非基准摄像头所对应的非基准摄像头标识是否匹配；响应于匹配，基于建立的基准图像标识与基准图像存储地址的对应关系，确定出所述目标基准图像标识对应的目标基准图像存储地址，以及基于建立的待匹配图像标识与待匹配图像存储地址的对应关系，确定所述目标待匹配图像标识对应的目标待匹配图像存储地址；

65、向所述硬件层的存储器发送图像处理命令，所述图像处理命令中携带有所述目标基准图像存储地址，以及所述目标待匹配图像存储地址；

66、所述硬件层的存储器还用于：

67、响应所述图像处理命令，将所述目标基准图像存储地址对应的所述目标基准图像，以及所述目标待匹配图像存储地址对应的所述目标待匹配图像同步输入硬件层的图像处理器。

68、可选的，所述驱动层具体用于：

69、响应所述第一拍照指令，基于建立的基准摄像头标识与基准图像标识之间的第一对应关系，确定所述基准摄像头标识对应的多个基准图像标识；

70、基于基准图像标识与时间戳存储地址的第二对应关系，确定出所述多个基准图像标识中目标基准图像标识对应的第一目标时间戳存储地址；

71、向所述硬件层中的存储器发送第一查询指令，所述查询指令中携带有所述目标时间戳存储地址；

72、所述硬件层中的存储器具体用于：

73、响应所述第一查询指令，查找并向所述驱动层发送所述第一目标时间戳存储地址对应的所述第一时间戳。

74、可选的，所述驱动层具体用于：

75、响应于所述第一时间戳晚于所述同步帧筛选开启时刻，基于建立的非基准摄像头标识与待匹配图像标识之间的第三对应关系，确定所述非基准摄像头标识对应的多个待匹配图像标识；

76、基于待匹配图像标识与时间戳存储地址的第四对应关系，确定出所述多个待匹配图像标识中每个待匹配图像标识对应的第二目标时间戳存储地址；

77、向所述硬件层中的存储器发送第二查询指令，所述查询指令中携带有所述第二目标时间戳存储地址；

78、所述硬件层的存储器具体用于：

79、响应所述第二查询指令，查找并向所述驱动层发送所述第二目标时间戳存储地址对应的所述第二时间戳。

80、可选的，所述硬件层的存储器中至少包括第一缓存队列与第二缓存队列，所述第一缓存队列存储设定数量的第二时间戳，所述第二缓存队列用于承接所述第一缓存队列中超出所述设定数量后流转来的第二时间戳，所述硬件层的存储器具体用于：

81、响应所述第二查询指令，在所述第一缓存队列中查找并向所述驱动层发送所述第二目标时间戳存储地址对应的所述第二时间戳。

82、第三方面，本发明实施例提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如第一方面任一实施例所述方法的步骤。

83、第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一实施例所述方法的步骤。

84、应当理解的是，本发明实施例的第二～四方面与本发明实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。