图像帧存储方法、拍照方法及电子设备与流程

文档序号:30171741发布日期:2022-05-26 10:40阅读:214来源:国知局
图像帧存储方法、拍照方法及电子设备与流程

1.本技术涉及电子技术领域,特别涉及图像帧存储方法、拍照方法及电子设备。


背景技术:

2.随着摄像头技术的进步,摄像头的规格越来越高,拍摄图像的图像质量也越来越高,图像占用的存储空间也越来越大;当前在一些场景中,电子设备需要实时开启摄像头并实时存储拍摄的图像,使得电子设备的存储空间将会在一段时间内被占满;若电子设备想要继续拍摄并存储图像,则需要删除较早存储到电子设备中的图像;但会导致用户无法查看较早拍摄的图像。


技术实现要素:

3.第一方面,本技术提供一种图像帧存储方法,应用于电子设备,所述电子设备的第一存储空间允许存储的图像帧的最大帧数为n,n是正整数,该方法包括:在第一时长内采集第一图像帧,所述第一时长内每连续采集到的m帧第一图像帧为一组图像帧;将所述第一图像帧中满足图像质量条件的第二图像帧保存至所述第一存储空间中,所述图像质量条件包括:所述第二图像帧的图像质量高于第一图像质量,且相邻的所述第二图像帧之间图像内容的差异值大于第一值;k为正整数,当k等于1时,属于第k组图像帧的第二图像帧的数量等于1;当k大于等于2时,属于第k组图像帧的第二图像帧的数量小于等于(k-1);或,所述第二图像帧的图像质量为所述第一图像帧所在组中图像质量最高的图像帧;其中,m是根据所述第一时长内采集到图像帧的总数量f和所述最大帧数n确定出的,所述总数量f是所述电子设备在所述第一时长内采用第一帧率能采集的图像帧数量;所述总数量f大于所述最大帧数n。
4.其中,电子设备可以根据拍摄过程中实际的参数配置确定出一帧图像帧占用的最大存储容量,进而根据一帧图像帧占用的最大存储容量和第一存储空间的大小计算得到最大帧数n。
5.其中,第一时长可以是预先设置的时长值,举例来说,第一时长可以是1秒钟,1分钟,1小时等。
6.其中,第一值为预设的数值;电子设备可以根据两帧图像帧的图像内容之间的差异程度计算得到两帧图像帧之间的差异值;进而判断差异值是否大于第一数值。第一图像质量可以是预先设置的图像质量的评估标准/图像帧的各项参数的数值(如分辨率,色彩饱和度,色彩动态范围,噪点数量等);电子设备可以根据预设的维度(如分辨率,色彩饱和度,动态范围,噪点数量等)确定出图像帧的图像质量,进而判断图像帧的图像质量是否大于第一图像质量。第k组图像帧指的是在第一时长内,时间顺序位于第k顺位的一组图像帧。
7.其中,电子设备在第一时长内按照第一帧率采集第一图像帧。
8.可见,电子设备可以将第一时长内满足图像质量条件的图像帧存储至第一存储空间中,同时,有利于延长存储的图像帧的时间跨度。
9.结合第一方面,在一种可能的实现方式中,所述将所述第一图像帧中满足图像质量条件的第二图像帧保存至所述第一存储空间中,具体包括:当采集到每组图像帧中的图像帧f1时,将所述图像帧f1存储至所述第一存储空间中,所述图像帧f1为所述每组图像帧中最早采集到的图像帧。
10.结合第一方面,在一种可能的实现方式中,第三图像帧是所述每组图像帧中已存储至所述第一存储空间中,且与图像帧fh为属于同一组图像帧;所述采集到每组图像帧中的图像帧f1之后,该方法还包括:当采集到所述每组图像帧中的所述图像帧fh时,若所述图像帧fh的图像质量高于所述第三图像帧,则以所述图像帧fh覆盖存储所述第三图像帧;若所述图像帧fh的图像质量低于所述第三图像帧,则不执行操作;所述图像帧fh是所述每组图像帧中采集时间顺序位于第h顺位的图像帧,2≤h≤m。
11.其中,覆盖存储可以指,删除原有的第三图像帧,并将图像帧fh存储到第一存储空间中。
12.可以理解的是,若图像帧fh覆盖存储了第三图像帧后,则该组图像帧对应的第三图像帧则更新为图像帧fh。可见,通过上述方法可以在每采集到一帧图像帧时比较该图像帧与已存储的同组图像帧的质量,进而将图像质量相对较高的图像帧存储至第一存储空间中;使得在该组图像帧全部采集完成时,一组图像帧中图像质量最高的图像帧存储在第一存储空间中。
13.结合第一方面,在一种可能的实现方式中,图像帧f
kh
与表示第k组图像帧中的第h帧图像帧,k为正整数,h为正整数且h≤m;所述第k组图像帧指的是在所述第一时长内采集时间顺序位于第k顺位的一组图像帧;所述第h帧图像帧指的是在所述第k组图像帧中采集时间顺序位于第h顺位的图像帧;

表示所述图像帧f
kh
与第四图像帧之间的差异值,所述第四图像帧表示在所述第一时长内最后存储到所述第一存储空间中的图像帧,所述

的数值越大,所述图像帧f
kh
与所述第四图像帧所呈现的图像内容差异越大;

thrd
为所述第一值;q
fkh
表示所述图像帧f
kh
的图像质量;q
thrd
为所述第一图像质量;q
last
表示所述第四图像帧的图像质量;整数值x的初始化数值为w,w为整数。
14.结合第一方面,在一种可能的实现方式中,所述将所述第一图像帧中满足图像质量条件的第二图像帧保存至所述第一存储空间中,该方法具体包括:当采集到图像帧f
11
时,将所述图像帧f
11
存储至所述第一存储空间中。
15.结合第一方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时:若所述图像帧f
kh
与所述第四图像帧不属于同一组图像帧,且所述

>所述

thrd
,所述q
fkh
>所述q
thrd
,将所述图像帧f
kh
存储至所述第一存储空间。
16.可见,在图像帧f
kh
与第四图像帧的差异值达到预设的第一值

thrd
,且图像帧f
kh
的图像质量q
fkh
大于第一图像质量q
thrd
的情况下,电子设备将图像帧f
kh
存储至第一存储空间;在延长了存储的图像帧的时间跨度的同时,有利于提升存储的图像帧的图像质量和存储的图像帧之间的差异程度,避免了重复存储图像内容差异小或无差异的图像帧,有效的利用了第一存储空间的存储容量。
17.结合第一方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时:若所述图像帧f
kh
与所述第四图像帧不属于同一组图像帧,h=m,



thrd
或q
fkh
≤q
thrd
,则更新所述x=x+1。
18.结合第一方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时,若所述图像帧f
kh
与所述第四图像帧属于同一组图像帧,且



thrd
,q
fkh
>q
thrd
,x>w,则更新x=x-1;将所述图像帧f
kh
存储至所述第一存储空间。
19.可以理解的是,当采集到所述图像帧f
kh
时,在x>w的情况下,则表示当前已存储的图像帧的数量小于k,即在第k组图像帧之前有至少一组图像帧未存储图像帧,且该至少一组图像帧原应该占用的存储空间且未被其他图像帧占用;在上述情况下,将差异值和图像质量均满足图像质量条件的图像帧f
kh
存储到第一存储空间中。
20.结合第一方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时,若所述图像帧f
kh
与第四图像帧属于同一组图像帧,且



thrd
,q
fkh
>q
last
,x>w,则在所述第一存储空间中以所述图像帧f
kh
覆盖存储所述第四图像帧。
21.可见,在图像帧之间的差异值较小的情况下,将图像帧之间图像质量最高的图像帧存储到第一存储空间中。
22.结合第一方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,所述方法还包括:当采集到所述图像帧f
kh
时,若所述图像帧f
kh
与所述第四图像帧属于同一组图像帧,且x=w,q
fkh
>q
last
,则在所述第一存储空间中以所述图像帧f
kh
覆盖存储所述第四图像帧。
23.可见,在x=w,电子设备可比较同一组图像帧中图像帧之间的图像质量,将图像质量较高的图像帧存储到第一存储空间中。
24.第二方面,本技术提供另一种拍照方法,应用于无线通信系统,所述无线通信系统包括第一电子设备和第二电子设备,所述第一电子设备和所述第二电子设备通信连接,所述第一电子设备设置有摄像头;所述第一电子设备的第一存储空间允许存储的图像帧的最大帧数为n,n是正整数,该方法包括:在第一时长内采集第一图像帧,所述第一时长内每连续采集到的m帧第一图像帧为一组图像帧;将所述第一图像帧中满足图像质量条件的所述第二图像帧保存至所述第一存储空间中,所述图像质量条件包括:所述第二图像帧的图像质量高于第一图像质量,且相邻的所述第二图像帧之间图像内容的差异值大于第一值;k为正整数,当k等于1时,属于第k组图像帧的第二图像帧的数量等于1;当k大于等于2时,属于第k组图像帧的第二图像帧的数量小于等于(k-1);或,所述第二图像帧的图像质量为所述第一图像帧所在组中图像质量最高的图像帧;其中,m是根据所述第一时长内采集到图像帧的总数量f和所述最大帧数n确定出的,所述总数量f是所述第一电子设备在所述第一时长内采用第一帧率能采集的图像帧数量;所述总数量f大于所述最大帧数n;所述第二电子设备检测到第一操作,响应于所述第一操作,生成拍照指令;所述第二电子设备向所述第一电子设备发送第一数据包,所述第一数据包中包括所述拍照指令;所述第一电子设备接收所述第二电子设备发送的第一数据包;所述第一电子设备根据所述拍照指令从保存至所述第一存储空间中的所述第二图像帧中确定出z帧第二图像帧,z为正整数;所述第一电子设备向所述第二电子设备发送所述z帧第二图像帧;所述第二电子设备接收所述z帧第二图像帧;所述第二电子设备显示和/或存储所述z帧第二图像帧。
25.其中,第一操作可以是语音操作,触控操作,手势操作。
26.结合第二方面,在一种可能的实现方式中,所述将所述第一图像帧中满足图像质量条件的第二图像帧保存至所述第一存储空间中,具体包括:当采集到每组图像帧中的图
像帧f1时,将所述图像帧f1存储至所述第一存储空间中,所述图像帧f1为所述每组图像帧中最早采集到的图像帧。
27.结合第二方面,在一种可能的实现方式中,第三图像帧是所述每组图像帧中已存储至所述第一存储空间中,且与图像帧fh为属于同一组图像帧;所述采集到每组图像帧中的图像帧f1之后,该方法还包括:当采集到所述每组图像帧中的所述图像帧fh时,若所述图像帧fh的图像质量高于所述第三图像帧,则以所述图像帧fh覆盖存储所述第三图像帧;若所述图像帧fh的图像质量低于所述第三图像帧,则不执行操作;所述图像帧fh是所述每组图像帧中采集时间顺序位于第h顺位的图像帧,2≤h≤m。
28.结合第二方面,在一种可能的实现方式中,图像帧f
kh
与表示第k组图像帧中的第h帧图像帧,k为正整数,h为正整数且h≤m;所述第k组图像帧指的是在所述第一时长内采集时间顺序位于第k顺位的一组图像帧;所述第h帧图像帧指的是在所述第k组图像帧中采集时间顺序位于第h顺位的图像帧;

表示所述图像帧f
kh
与第四图像帧之间的差异值,所述第四图像帧表示在所述第一时长内最后存储到所述第一存储空间中的图像帧,所述

的数值越大,所述图像帧f
kh
与所述第四图像帧所呈现的图像内容差异越大;

thrd
为所述第一值;q
fkh
表示所述图像帧f
kh
的图像质量;q
thrd
为所述第一图像质量;q
last
表示所述第四图像帧的图像质量;整数值x的初始化数值为w,w为整数。
29.结合第二方面,在一种可能的实现方式中,所述将所述第一图像帧中满足图像质量条件的第二图像帧保存至所述第一存储空间中,具体包括:当采集到图像帧f
11
时,将所述图像帧f
11
存储至所述第一存储空间中。
30.结合第二方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时:若所述图像帧f
kh
与所述第四图像帧不属于同一组图像帧,且所述

>所述

thrd
,所述q
fkh
>所述q
thrd
,将所述图像帧f
kh
存储至所述第一存储空间。
31.结合第二方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时:若所述图像帧f
kh
与所述第四图像帧不属于同一组图像帧,h=m,



thrd
或q
fkh
≤q
thrd
,则更新所述x=x+1。
32.结合第二方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时,若所述图像帧f
kh
与所述第四图像帧属于同一组图像帧,且



thrd
,q
fkh
>q
thrd
,x>w,则更新x=x-1;将所述图像帧f
kh
存储至所述第一存储空间。
33.结合第二方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时,若所述图像帧f
kh
与第四图像帧属于同一组图像帧,且



thrd
,q
fkh
>q
last
,x>w,则在所述第一存储空间中以所述图像帧f
kh
覆盖存储所述第四图像帧。
34.结合第二方面,在一种可能的实现方式中,所述采集到图像帧f
11
之后,该方法还包括:当采集到所述图像帧f
kh
时,若所述图像帧f
kh
与所述第四图像帧属于同一组图像帧,且x=w,q
fkh
>q
last
,则在所述第一存储空间中以所述图像帧f
kh
覆盖存储所述第四图像帧。
35.结合第二方面,在一种可能的实现方式中,该方法还包括:所述第一电子设备针对所述第一时长内采集到的第一图像帧进行图像处理,得到第五图像帧,所述第五图像帧占用的存储容量低于所述第一图像帧占用的存储容量;所述第五图像帧的至少一项参数低于所述第一图像帧。
36.其中,至少一项参数可以包括以下一项或多项:分辨率,色彩饱和度,图像动态范围等。可选的,第五图像帧的噪点的数量多于第一图像帧。
37.可见,第一电子设备可将占用存储容量较低的第五图像帧发送给第二电子设备进行预览,节省了数据传输量,降低了第一电子设备和第二电子设备的功耗。
38.结合第二方面,在一种可能的实现方式中,所述第二电子设备检测到第一操作之前,该方法还包括:所述第一电子设备向所述第二电子设备发送所述第五图像帧;所述第二电子设备根据接收到的所述第五图像帧显示图像。
39.结合第二方面,在一种可能的实现方式中,所述拍照指令中包括第一时间点,所述z帧第二图像帧为所述第一电子设备存储的图像帧中采集时间点与所述第一时间点最近的z帧图像帧。
40.第一时间点为第二电子设备根据第一时延计算得到,第一时延包括由第二时延和/或第三时延构成;所述第二时延指的是所述第二电子设备和所述第一电子设备之间的数据传输时延;所述第三时延指的是第二时间和第三时间点之间的时延,所述第二时间点指的是发起所述第一操作的时间点,所述第三时间点指的是所述第二电子设备检测到所述第一操作的时间点。第一时间点等于第三时间点减去第二时延和第三时延。可选的,本技术实施例在实际场景中可以不考虑第三时延,则第一时间点等于第二时间点减去第二时延,此时第二时间点既是发起第一操作的时间点也是检测到第一操作的时间点。
41.结合第二方面,在一种可能的实现方式中,所述拍照指令中包括第一时延,所述第一时延由第二时延和/或第三时延构成;所述第二时延指的是所述第二电子设备和所述第一电子设备之间的数据传输时延;所述第三时延指的是第二时间和第三时间点之间的时延,所述第二时间点指的是发起所述第一操作的时间点,所述第三时间点指的是所述第二电子设备检测到所述第一操作的时间点。
42.其中,第三时延可以是根据数据统计预设的;例如第一操作为触控操作,执行第一操作的是用户,根据数据统计可确定出用户从发起触控操作到电子设备检测到用户触控操作的时间大概率是0.3秒,则第三时延可以设置为0.3秒。
43.结合第二方面,在一种可能的实现方式中,所述第一时长t≥2*t2,或者,t≥2*t2+t3,t2表示所述第二时延,t3表示所述第三时延。
44.可见,电子设备可将第一时长与第二时延和第三时延进行关联,进而确定出第一时长。
45.第三方面,本技术提供另一种一种拍照方法,应用于第二电子设备,该方法包括:检测到第一操作,响应于所述第一操作,生成拍照指令;向所述第一电子设备发送第一数据包,所述第一数据包中包括所述拍照指令;接收所述第一电子设备发送的所述z帧第二图像帧,所述z帧第二图像帧是所述第一电子设备根据所述拍照指令确定出的,z为正整数;显示和/或存储所述z帧第二图像帧;其中,所述第二电子设备检测到所述第一操作的时间点为第三时间点;所述z帧第二图像帧中包括第六图像帧,所述第六图像帧的数据中包括第一时间戳,所述第一时间戳中包括第一时间点;所述第一时间点和所述第三时间点的之间的时长大于或等于第一时延,所述第一时延等于第二时延,或者,所述第一时延等于第二时延和第三时延之和;所述第二时延指的是所述第一电子设备和所述第二电子设备之间的数据传输时延;所述第三时延指的是第二时间点和所述第三时间点之间的时延,所述第二时间点
指的是发起所述第一操作的时间点。
46.其中,第一电子设备采用的图像帧的存储方法为第一方面提供的图像帧存储方法。可见,采用上述方法,第二电子设备接收到的z帧第二图像帧中包含第六图像帧,第六图像帧的第一时间点与第三时间点之间的时长大于或等于第一时延;可见,第一电子设备存储的图像帧的时间跨度较大,可以大于或等于第一时延。
47.第四方面,一种电子设备,其特征在于,该电子设备包括:一个或多个处理器和存储器;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如第一方面及其任一种可能的实现方式,或第二方面及其任一种可能的实现方式,或第三方面及其任一种可能的实现方式。
48.第五方面,本技术提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如第一方面及其任一种可能的实现方式,或第二方面及其任一种可能的实现方式,或第三方面及其任一种可能的实现方式。
49.第六方面,本技术提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如第一方面及其任一种可能的实现方式,或第二方面及其任一种可能的实现方式,或第三方面及其任一种可能的实现方式。
附图说明
50.为了更清楚地说明本技术实施例中的技术方案,下面将对本技术实施例中所需要使用的附图进行说明。
51.图1a至图1b是本技术实施例提供的一组拍照场景的示意图;
52.图2是本技术实施例提供的一种电子设备的硬件结构的示意图;
53.图3a是本技术实施例提供的一种图像帧存储方法的流程示意图;
54.图3b至图3c是本技术实施例提供的一组图像帧存储过程的示意图;
55.图3d是本技术实施例提供的另一种图像帧存储方法的流程示意图;
56.图3e至图3g是本技术实施例提供的另一组图像帧存储过程的示意图;
57.图4a至图4b是本技术实施例提供的一组可能的场景示例图;
58.图5a至图5b是本技术实施例提供的一组拍照过程的交互意图;
59.图5c是本技术实施例提供的一种拍照方法的流程示意图;
60.图5d至图5e是本技术实施例提供的一组可能的拍照场景示例图;
61.图5f是本技术实施例提供的一种拍照过程的交互意图;
62.图5g至图5i是本技术实施例提供的一组可能的场景示例图;
63.图6是本技术实施例提供的一种拍照方法的流程示意图;
64.图7是本技术实施例提供的一种电子设备的模块化示意图。
具体实施方式
65.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样,单数表达
形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本技术中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
66.以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本技术实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
67.下面介绍本技术实施例所适用的一种应用场景。
68.请参阅图1a,图1a是本技术实施例提供的一种拍照场景的示意图。图1a中包括电子设备101和摄像机102。电子设备101和摄像机102通信连接。摄像机102在拍摄得到第一图像帧后,可将第一图像帧进行处理,得到第五图像帧,并发送给电子设备101。电子设备101可以根据第五图像帧在显示屏上显示摄像机102拍摄得到的图像。
69.本技术实施例中,第五图像帧占用的存储容量低于第一图像帧占用的存储容量;第五图像帧的至少一项参数低于第一图像帧;至少一项参数可以是以下一项或多项:分辨率,色彩饱和度,图像动态范围。可选的,第五图像帧的噪点数量多于第一图像帧。
70.在一些实施例中,用户在电子设备101上查看到想要拍摄的图像时,用户可以点击电子设备101上的拍摄按钮,进而将对应的图像帧存储到本地。摄像机102实时传输给电子设备101的是经图像处理后的第五图像帧,由于第五图像帧的至少一项参数低于第一图像帧,第五图像帧呈现的图像质量相较于第一图像帧呈现的图像质量较低;因此,当用户点击拍摄按钮后,电子设备101需向摄像机102发送拍照指令,摄像机102根据拍照指令将第二图像帧发送至电子设备101,使得电子设备101存储第二图像帧,使得最终电子设备101存储的图像帧为图像质量较高的图像帧;第二图像帧是摄像机102从采集到的第一图像帧中筛选并保存的满足图像质量条件的第一图像帧。但由于电子设备101和摄像机102之间具有通信时延;用户看到想要存储的图像到用户点击拍摄按钮之间也会有一定的时间差,因此,需要摄像机102提前存储并保留一定数量的图像帧。举例来说,对于通信时延可参阅图1b;由图1b可以看出,电子设备101显示的画面与摄像机102并不是同步的,且电子设备101显示的画面落后于摄像机102拍摄的画面。
71.在一些实施例中,摄像机102的主要功能是拍摄高清图像,摄像机102的存储空间配置较小;且摄像机102在拍摄过程中帧率较高(例如每秒拍摄60帧图像帧),若将每一帧图像帧均存储至存储空间中,则摄像机102的存储空间将会很快被占满;导致摄像机102在接收到电子设备101的拍照指令时,可能已经由于存储空间已满而将满足条件的图像帧删除,无法向电子设备101发送满足条件的图像帧。为解决上述问题,摄像机102可以每隔几帧图像帧存储一帧图像帧;但每隔几帧图像帧存储的图像帧可能是图像质量较差的,也可能是一些场景画面重复的图像帧,导致不能有效的利用存储空间。
72.本技术实施例提供一种图像帧的存储方法,可以有效的提升摄像机102存储的图像帧的质量。同时,在一些实施例中,摄像机102可在场景画面变化较小时减小图像帧的存储频率;在场景画面变化较大时增加图像帧的存储频率;使得最终存储在摄像机102中的图像帧为相互之间差异值较大的图像帧。可见,采用本技术实施例提供的方法,在摄像机102存储空间较小的情况下,可提升存储到存储空间中的图像质量,减小重复存储同一场景画
面的图像帧的概率。
73.下面,介绍本技术实施例提供的电子设备。
74.该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,ar)/虚拟现实(virtual reality,vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本、个人数字助理(personaldigital assistant,pda)或专门的照相机(例如单反相机、卡片式相机)等,本技术对该电子设备的具体类型不作任何限制。
75.图2示例性示出了该电子设备100的结构。需要说明的是,电子设备100在不同情况下可以具体指图1a中所说明的电子设备101,或图1a中所说明的摄像机102。如图2所示,电子设备100可具有至少一个摄像头193,例如前置摄像头、广角摄像头、超广角摄像头、长焦摄像头等。此外,电子设备100还可包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。
76.其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。
77.可以理解的是,本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
78.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processingunit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
79.在一些实施例中,控制器或gpu等处理器110,在拍照场景下,可以用于根据至少一个摄像头193采集到的数据生成第二图像帧,并针对第二图像帧进行处理,将经图像处理后的第五图像帧发送给与电子设备100通信连接的其他电子设备上,进而有利于减小数据传输量,使得用户可以在其他电子设备上实时查看电子设备100拍摄的图像。
80.在另一些实施例中,控制器或gpu等处理器110,还可以用于对图像帧的图像质量进行评估,进而确定出图像质量的高低。
81.在另一些实施例中,控制器或gpu等处理器110,还可以用于比较任意两帧图像帧之间的差异,确定出两帧图像帧之间的差异值,电子设备100可根据差异值判断两帧图像帧之间的差异大小。
82.其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
83.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。在拍照的场景下,电子设备100为拍摄设备,电子设备100拍摄得到的图像帧存储在高速缓冲存储器中,以便于电子设备100接收到与其通信连接的第二电子设备的拍照指令时,电子设备100可快速的从高速缓冲存储器中读取图像帧,并将图像帧发送给第二电子设备。
84.电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
85.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
86.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
87.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
88.在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(codedivision multiple access,cdma),宽带码分多址(wideband code division multipleaccess,wcdma),时分码分多址(time-division code division multiple access,td-scdma),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidounavigation satellite system,bds),准天顶卫星系统(quasi-zenith satellitesystem,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
89.内部存储器121可以包括一个或多个随机存取存储器(random access memory,ram)和一个或多个非易失性存储器(non-volatile memory,nvm)。
90.随机存取存储器可以包括静态随机存储器(static random-access memory,sram)、动态随机存储器(dynamic random access memory,dram)、同步动态随机存储器(synchronous dynamic random access memory,sdram)、双倍速率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,ddr sdram,例如第五代ddr sdram一般称为ddr5 sdram)等;
91.非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。
92.快闪存储器按照运作原理划分可以包括nor flash、nand flash、3d nand flash等,按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,slc)、多阶存储单元(multi-level cell,mlc)、三阶储存单元(triple-level cell,tlc)、四阶储存单元(quad-level cell,qlc)等,按照存储规范划分可以包括通用闪存存储(英文:universal flash storage,ufs)、嵌入式多媒体存储卡(embedded multi media card,emmc)等。
93.随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。
94.非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。
95.外部存储器接口120可以用于连接外部的非易失性存储器,实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
96.在一些实施例中,内部存储器121可用于存储图像帧,电子设备100可在内部存储器121中标记多个存储位,进而根据存储位确定最大帧存储量,以便于电子设备100合理的配置存储策略,存储满足条件的图像帧,进而满足不同场景下用户对于图像的查看和浏览需求。
97.压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180a检测触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。
98.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测电子设备100是否在口袋里,以防误触。
99.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
100.触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触
摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
101.按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
102.电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
103.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。不限于集成于处理器110中,isp也可以设置在摄像头193中。
104.在本技术实施例中,摄像头193将电信号传递给isp处理后,isp进行优化处理后生成图像帧。
105.在一些实施例中,电子设备100可以具体指图1a中的摄像机102;isp可在图像帧上打上时间戳,使得电子设备100将经图像处理后的第五图像帧发送给电子设备101,电子设备101向电子设备100回传包含上述时间戳的拍照指令后,电子设备100可根据时间戳确定出至少一帧第二图像帧,进而电子设备100可将的至少一帧第二图像帧发送给电子设备101。
106.摄像头193包括镜头和感光元件(又可称为图像传感器),用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号,如标准的rgb,yuv等格式的图像信号,最终以图像帧的形式存储或发送。
107.摄像头193的硬件配置以及物理位置可以不同,因此,摄像头采集到的图像的大小、范围、内容或清晰度等可能不同。
108.摄像头193的出图尺寸可以不同,也可以相同。摄像头的出图尺寸是指该摄像头采集到的图像的长度与宽度。该图像的长度和宽度均可以用像素数来衡量。摄像头的出图尺寸也可以被叫做图像大小、图像尺寸、像素尺寸或图像分辨率。常见的摄像头的出图比例可包括:4:3、16:9或3:2等等。出图比例是指摄像头所采集图像在长度上和宽度上的像素数的大致比例。
109.摄像头193可以对应同一焦段,也可以对应不同的焦段。该焦段可以包括但不限于:焦长小于预设值1(例如20mm)的第一焦段;焦长大于或者等于预设值1,且小于或者等于预设值2(例如50mm)的第二焦段;焦长大于预设值2的第三焦段。对应于第一焦段的摄像头可以被称为超广角摄像头,对应第二焦段的摄像头可以被称为广角摄像头,对应于第三焦段的摄像头可以被称为长焦摄像头。摄像头对应的焦段越大,该摄像头的视场角(field of view,fov)越小。视场角是指光学系统所能够成像的角度范围。
110.摄像头193可以设置于电子设备的两面。和电子设备的显示屏194位于同一平面的摄像头可以被称为前置摄像头,位于电子设备的后盖所在平面的摄像头可以被称为后置摄
像头。前置摄像头可用于采集面对显示屏194的拍摄者自己的图像,后置摄像头可用于采集拍摄者所面对的拍摄对象(如人物、风景等)的图像。
111.在一些实施例中,摄像头193可以用于采集深度数据。例如,摄像头193可以具有(time of flight,tof)3d感测模块或结构光(structured light)3d感测模块,用于获取深度信息。用于采集深度数据的摄像头可以为前置摄像头,也可为后置摄像头。
112.视频编解码器用于对数字图像压缩或解压缩。电子设备100可以支持一种或多种图像编解码器。这样,电子设备100可以打开或保存多种编码格式的图片或视频。
113.电子设备100可以通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
114.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emittingdiode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,amoled),柔性发光二极管(flex light-emittingdiode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot lightemitting diodes,qled)等。在一些实施例中,电子设备100可以包括一个或多个显示屏194。
115.在一些实施例中,电子设备可以间隔一段时长或者间隔一定帧数存储一帧图像帧,以延长电子设备存储的全部图像帧对应的时间跨度;举例来说,若电子设备将拍摄得到的每一帧图像帧均存储在电子设备中,电子设备在一天的时间内将本地的存储介质存满,即电子设备存储的全部图像帧对应的时间跨度为一天;若电子设备每间隔一帧图像帧存储一帧图像帧,则电子设备在两天的时间内将本地的存储介质存满,即电子设备存储的全部图像帧对应的时间跨度为两天。当电子设备采取间隔一定时长或者间隔一定帧数存储一帧图像帧的策略时,由于电子设备在某些时间点拍摄的图像帧质量较差,在某些时间点拍摄的图像帧质量较好,可能导致电子设备将质量较差的图像帧存储到电子设备中,而未将质量较好的图像帧存储到电子设备中;使得最终根据图像帧呈现给用户观看浏览的图像质量较差,进而造成用户体验较差。
116.下面实施例介绍本技术实施例提供的一种图像帧存储方法。如图3a所示,该方法可以包括:
117.s101,电子设备获取拍照配置信息和电子设备的第一存储空间的可用存储容量。
118.其中,拍照配置信息可以包括以下信息:图像分辨率,格式,拍照帧率。
119.其中,电子设备的第一存储空间可以是缓存,内部存储器和外部存储器,具体的,本技术实施例中可用存储容量可以表示具体应用场景中上述任意一种存储介质中可以使用的容量。例如,可用存储容量可以表示电子设备的缓存中可以使用的容量。
120.s102,电子设备根据拍照配置信息和可用存储容量确定最大帧数n。
121.其中,电子设备可根据拍照配置信息中图像分辨率和格式计算出一帧图像帧占用存储容量的预估值,具体的,预估值可以等于一帧图像帧最多占用存储容量的数值,例如,电子设备在当前的配置条件下一帧图像帧最多占用10mb的容量,则电子设备可设置预估值等于10mb;之后,电子设备根据预估值和可用存储容量确定出第一存储空间允许存储的最
大帧数n;具体的,最大帧数等于可用存储容量除以预估值。
122.s103,电子设备根据拍照配置信息中的第一帧率r和第一时长t确定总数量f。
123.其中,第一帧率r可以是预先设置的采集图像帧的帧率。
124.其中,第一时长t可以是用户在电子设备上设定的,例如用户可以设置第一时长为一天,即表示用户查看电子设备上的图像时,希望可以查看到一天内电子设备拍摄的图像。则电子设备在存储图像帧时,存储当前时间点之前的一天时长内的图像帧。
125.具体的,总数量f表示在第一时长内电子设备采用第一帧率采集并生成的图像帧的总数量;具体的,总数量f等于第一帧率r与第一时长t的乘积,f=t
×
r。例如电子设备在开启拍照模式时,若电子设备的第一帧率r为30(frames per second,fps),即电子设备每秒钟采集并生成的图像帧的数量为30;当前第一时长t为10秒,则f=t
×
r=10
×
30=300。
126.s104,电子设备根据最大帧数n和总数量f确定第一数值m。
127.具体的,第一数值m的具体计算公式可以是:m=f
÷
n,m为大于等于2的整数。
128.s105,电子设备设置m帧第一图像帧为一组图像帧。
129.具体的,请参阅图3b,图3b是本技术实施例提供的一种图像帧存储过程的示意图,图3b示意了时间轴和随时间推移第一存储空间中图像帧的存储情况,为便于更好的理解图3a所示的图像帧存储方法,图3b中将第一存储空间划分为n个存储位,即c1,c2,c3……c(n-1)
,cn;需要说明的是,电子设备在执行本技术实施例的图像帧存储方法时,针对第一存储空间中存储位的标记不是必要的,图中的标记是为了更好的解释说明本技术实施例。本技术实施例中存储位的个数等于最大帧数n。在图3b所示的示例中,m=4,即每4帧第一图像帧为一组。
130.可选的,由于电子设备的拍照帧率是固定的,电子设备可以设置一段时间内的第一图像帧为一组,如图3b所示,电子设备可以设置每tj时长内的图像帧为一组第一图像帧,tj=t
n-t
(n-1)
,n为正整数且n大于等于1。可以看出,在电子设备的帧率不变的情况下,电子设备设置一段时间内的第一图像帧为一组相当于设置m帧第一图像帧为一组图像帧,因此两种方式只是设置的形式不同,核心思想相同,均属于本技术实施例所保护的范围。
131.s106,电子设备在处于拍摄模式时,确定每组图像帧中满足图像质量条件的第二图像帧,将第二图像帧存储至第一存储空间中。
132.其中,一组图像帧包括m帧第一图像帧,即一组图像帧包括:f1,f2,
……fm
,m为大于等于2的整数;电子设备确定每组图像帧中满足图像质量条件的第二图像帧,具体包括:针对每组图像帧执行预设操作,确定出第二图像帧。
133.其中,图像质量条件为电子设备预先设定的,或者用户录入电子设备的筛选条件,具体的,图像质量条件可以是:确定出每组图像帧中图像质量最高的图像帧。
134.具体的,预设操作包括s11-s12的步骤:
135.s11:将每组图像帧中的图像帧f1存储至第一存储位。
136.其中,第一存储位为图像帧f1所在的每组图像帧对应的存储位。图像帧f1为每组图像帧中电子设备最早拍摄得到的图像帧。
137.s12:当电子设备拍摄得到图像帧fh时,若图像帧fh的图像质量第一存储位中存储的图像帧的图像质量,则更新第一存储位中存储的图像帧为图像帧fh;其中,2≤h≤m;若图像帧fh的图像质量小于等于第一存储位中存储的图像帧的图像质量,则不执行任何操作。
138.具体的,电子设备可生成图像帧的质量评价值,电子设备可比较质量评价值的大小,图像帧的质量评价值越大,则图像质量越高;图像帧的质量评价值越小,则对应的图像质量越低。需要说明的是,对于图像质量的评估标准,需要根据具体的电子设备和实际使用场景从至少一个维度进行设定,例如从图像的分辨率,色彩饱和度,图像动态范围,噪点数等维度进行是设定;因此,本技术实施例不对图像质量的评估标准进行限定。
139.下面结合图3b和图3c针对图3a所示的图像帧存储方法进行举例说明。
140.电子设备首先根据当前的拍照配置信息计算得到一帧图像帧占用存储容量的预估值,之后电子设备根据预估值和第一存储空间的大小计算得到最大帧存储量n,具体的,若一帧图像帧占用的存储容量的预估值为10mb,电子设备的第一存储空间的大小为9000mb,则最大帧存储量n=9000
÷
10=900,即电子设备最大存储900帧图像帧;若拍照配置信息中的帧率r=60fps,第一时长t=60s,则电子设备确定总数量f=60
×
60=3600;电子设备计算m=3600
÷
900=4;电子设备确定4帧图像帧为一组图像帧。如图3b所示,若f1,f2,f3,f4为一组图像帧,电子设备首先将图像帧f1存入存储介质中的c1存储位中,当图像帧f2到来时,电子设备比较图像帧f2与c1存储位中存储的图像帧f1的图像质量,若图像帧f2与比c1存储位中存储的图像帧f1的图像质量高,则电子设备更新c1存储位中存储的图像帧为图像帧f2,若图像帧f2与比c1存储位中存储的图像帧f1的图像质量低,则电子设备不执行任何操作;当图像帧f3到来时,同理,比较图像帧f3与c1存储位中存储的图像帧的图像质量,并根据比较结果判断是否以图像帧f3更新c1存储位中存储图像;同理,图像帧f4到来时,重复如图像帧f2到来和图像帧f3到来时的操作;可见,通过上述操作,最终电子设备可将f1,f2,f3,f4中图像质量最高的图像帧存储到c1存储位中。
141.请参阅图3c,图3c是图3b所示的一组图像帧在存储过程中图像帧f1,f2到来时的可能的示意图;当图像帧f1到来时,电子设备将图像帧f1存入存储介质中的c1存储位中,当图像帧f2到来时,电子设备可生成图像帧f1对应的图像质量q
f1
和图像帧f2对应的图像质量q
f2
,之后,电子设备判断q f2
是否大于q f1
,若q f2
>q f1
,则将图像帧f2覆盖写入c1存储位中;若q f2
≤q f1
,则不执行任何操作;同理,针对图像帧f3和图像帧f4执行上述操作,即可筛选出该组图像帧中图像质量最高的图像帧。
142.可见,上述操作可筛选出一组图像帧中图像质量最高的图像帧,并将图像质量最高的图像帧存储到c1存储位中,重复上述操作,即可将每组图像帧中图像质量最高的一帧图像帧存储到存储介质中,使得电子设备在延长存储的图像帧的时间跨度的同时(具体的,在上述示例中若电子设备将每一帧拍摄得到的图像帧存储到存储介质中,则电子设备只可以存储15s内的图像帧,实施本技术实施例中的方法,电子设备可以存储60s内的图像帧),提升了存储的图像帧的图像质量,进而有利于提升用户通过电子设备浏览图像的体验。
143.下面实施例介绍本实施例提供的另一种图像帧存储方法。如图3d所示,该方法可以包括:
144.s201,电子设备获取拍照配置信息和电子设备的第一存储空间的可用存储容量。
145.其中,拍照配置信息的解释说明可以参考s101的相关描述,这里不再赘述。
146.s202,电子设备根据拍照配置信息和可用存储容量确定最大帧数n。
147.其中,电子设备可以设置有缓存,内部存储器,外部存储器,具体的,本技术实施例中的可用存储容量可以根据应用场景表示上述任意一种存储介质中可以使用的容量,例如
可用存储容量可以表示电子设备的缓存中可以使用的容量。
148.s203,电子设备根据拍照配置信息中的第一帧率r和第一时长t确定总数量f。
149.其中,总数量f的解释说明可以参考s103的相关描述,这里不再赘述。
150.s204,电子设备根据最大帧存储量n和总数量f确定第一数值m。
151.其中,第一数值的解释说明可以参考s104。
152.s205,电子设备设置第一时长t内每m帧图像帧为一组,得到n组图像帧,电子设备在第一存储空间中标记n个存储位。
153.s206,电子设备处于拍摄模式时,初始化整数值x=w;x的数值在一组图像帧均未存储至存储位中时,更新x=x+1;w可以取任意整数。具体的,w可取0。
154.具体的,“x=x+1”表示更新后的x的数值是在更新前x的数值上加1。
155.举例来说,第一组图像帧有图像帧存储到存储位中,则x保持不变,x=w;第二组图像帧中没有图像帧存储到存储位中,则更新x=x+1=w+1。对于x减小的情况后续进行说明。
156.s207,电子设备拍摄得到图像帧f
11
后,将图像帧f
11
存储至c1存储位,设置c
last
=c1,q
last
表示c
last
存储位中存储的图像帧对应的质量评价值。
157.其中,图像帧f
11
表示第1组图像帧中的第1帧图像帧,n个存储位为c1,c2,c3……c(n-1)
,cn。
158.s208,电子设备拍摄得到图像帧f
kh
后,计算图像帧f
kh
的质量评价值q
fkh
和图像帧f
kh
与第三图像帧的差异值

,其中,差异值

用于表示图像帧f
kh
与第三图像帧之间的差异程度;第三图像帧为c
last
存储位中存储的图像帧。
159.本技术实施例中,若两帧图像帧的差异值

越大,则根据两帧图像帧的图像内容的相似度越小。
160.其中,图像帧f
kh
表示第k组图像帧中的第h帧图像帧。
161.具体的,电子设备包括图像质量评价模块和图像差异比较模块;当电子设备将图像帧输入至图像质量评价模块后,图像质量评价模块可输出图像帧的质量评价值,质量评价值越高,则根据图像帧所呈现图像的质量越高;当电子设备将两帧图像帧输入图像差异比较模块后,图像差异比较模块可输出两帧图像帧之间的差异值,两帧图像帧之间的差异值越大,则表明两帧图像帧之间的差异越大。
162.s209,若第三图像帧与图像帧f
kh
不属于同一组图像帧,且



thrd
,q
fkh
>q
thrd
,则更新last=last+1,将图像帧f
kh
存储至c
last
存储位。
163.其中,

thrd
为预设的差异值对应的阈值,q
thrd
为预设的图像质量值对应的阈值。
164.其中,更新last=last+1,即电子设备同时对c
last
和q
last
进行了更新,即c
last
=c
last+1
,q
last
=q last+1
=q
fkh

165.举例来说,请参阅图3e,图3e是本技术实施例提供的一种可能的图像帧存储过程的示意图;图3e中,在图像帧f
31
到来之前,c1存储位存储了图像帧f
13
,此时c
last
=c1,第三图像帧为图像帧f
13
,由于电子设备在t1至t2之间生成的一组图像帧均未存储至存储介质中,此时x=w+1;当图像帧f
31
到来时,电子设备确定出图像帧f
31
与c1中存储的图像帧f
13
不属于同一组;则电子设备计算图像帧f
31
的质量评估值q
f31
,以及图像帧f
31
与图像帧f
13
的差异值

;之后电子设备判断

和q
f31
是否满足



thrd
,q
f31
>q
thrd
;在满足上述条件的情况下,电子设备更新last=2,即c
last
=c2;将图像帧f
31
存储至c2存储位。请参阅图4a,图4a是上述
示例中一种可能的场景示例,图4a中包括图像p1和图像p2,图像p1可以是上述图像帧f
13
对应的图像,图像p2可以是上述图像帧f
31
对应的图像帧;图像p2中的人物相较于图像p1中的人物移动了较大的距离,因此p2相较于p1的差异较大,且图像p2的图像质量满足预设的图像质量标准,因此电子设备将图像p2对应的图像帧f
31
存储至c2存储位。
166.s210,若第三图像帧与图像帧f
kh
属于同一组图像帧,且



thrd
,q
fkh
>q
thrd
,x>w,则更新last=last+1,x=x-1;将图像帧f
kh
存储至c
last
存储位。
167.其中,“x=x-1”表示更新后的x的数值是在更新前x的数值上减1。
168.举例来说,请参阅图3f,图3f是本技术实施例提供的一种可能的图像帧存储过程的示意图;承接图3e所示的示例;当图像帧f
32
到来时,电子设备首先确定出图像帧f
32
与c2中存储的图像帧f
31
属于同一组图像帧;之后,电子设备检测x的数值,此时x=w+1>w,电子设备计算图像帧f
32
与图像帧f
31
之间的差异值

和图像帧f
32
的质量评估值q
f32
,之后,电子设备判断

和q
f32
是否满足



thrd
,q
f32
>q
thrd
,在



thrd
,q
f32
>q
thrd
的情况下,电子设备更新x=x-1=w-1=w,last=3,即c
last
=c3;同时将图像帧f
32
存储至c3存储位。请参阅图4a,图4a是上述示例中一种可能的场景示例,图4a中包括图像p1和图像p2,图像p1可以对应上述图像帧f
31
,图像p2可以对应上述图像帧f
32
,图像p2相较于图像p1差异较大且图像p2的图像质量满足预设的图像质量标准,因此,在x>w的情况下,可将图像帧f
32
存储至c3存储位。
169.s211,若第三图像帧与图像帧f
kh
属于同一组图像帧,且x=w,q
fkh
>q
last
,则电子设备将图像帧f
kh
覆盖存储至c
last
存储位。
170.举例来说,请参阅图3g,图3g是本技术实施例提供的一种可能的图像帧存储示例,承接图3f所示的示例,当图像帧f
33
到来时,电子设备首先确定图像帧f
33
与c3存储位中存储的图像帧f
32
属于同一组图像帧,之后,电子设备检测x的数值,此时x=w,电子设备计算得到图像帧f
33
的质量评估值q
f33
和图像帧f
32
的质量评估值q
f32
,之后判断q
f33
是否大于q
f32
,若是,则将图像帧f
33
覆盖写入c3存储位。请参阅图4b,图4b是上述示例中一种可能的场景示例,图4b中包括图像p1和图像p2,图像p1可以是上述图像帧f
32
呈现的图像,图像p2可以是上述图像帧f
33
呈现的图像,由于图像p1出现了人物的模糊,电子设备可以确定出图像p2的图像质量高于图像p1的图像质量,因此,电子设备可将c3存储位中存储的图像p1更新为图像p2。
171.可选的,若第三图像帧与图像帧f
kh
属于同一组图像帧,且



thrd
,q
fkh
>q
last
,x>w,则电子设备将图像帧f
kh
覆盖存储至c
last
存储位。
172.可见,图3a所示的图像帧存储方法在提升电子设备存储的图像帧的时间跨度的同时,有利于提升存储的图像帧的质量。图3b所示的图像帧存储方法在实现了图3a所示方法的优点的同时,有利于降低差异值较小时图像帧的存储频率,提升了差异值较大时图像帧的存储频率,进而更多的存储电子设备在拍摄时场景变化过程中的细节,避免重复的存储同一场景对应的图像帧,有利于提升存储空间的有效使用。上述方法可应用于超市,街道等需要将拍摄图像存储至本端的电子设备。例如,在偏僻的街道安装摄像头,由于条件的限制摄像头仅能将图像帧存储至本端的存储器中,由于当前摄像头拍摄的画质均为高清画质,若摄像头持续采集图像帧,并将图像帧存储至存储其中,则在一周内便可将存储器存满;若用户希望延长存储图像帧的时间跨度,有效利用摄像头的存储空间,存储更多高质量的图
像帧,则可以根据具体情况采用本技术实施例提供的图3a或图3b所示的方法。
173.在一些实施例中,第一电子设备可以与第二电子设备通信连接,第一电子设备为具有摄像头的电子设备;第一电子设备可以通过摄像头获取数据信息,生成第一图像帧,之后,针对第一图像帧进行图像处理得到第五图像帧,将第五图像帧实时发送给第二电子设备,同时第一电子设备将满足条件的第一图像帧存储至本端的存储空间中,在本端的缓存存满的情况下删除缓存中存入时间最早的图像帧。下面结合图5a进行说明,用户可以在第二电子设备上查看第一电子设备实时传输的,经图像处理得到的第五图像帧;当用户在t1时刻想要保存显示界面上显示的第五图像帧f1对应的第一图像帧f1时,用户可以点击第二电子设备上的拍照键,第二电子设备响应于用户的点击操作,生成拍照指令,并向第一电子设备发送拍照指令,第一电子设备在t2时刻接收到第二电子设备发送的拍照指令,之后第一电子设备根据拍照指令确定出t0时刻存储的第一图像帧f1时,将第一图像帧f1发送给第二电子设备,使得第二电子设备可以存储未经图像处理的第一图像帧f1。但在实际场景中,第二电子拍摄的高质量较高,拍摄得到的图像帧占用的存储容量较大,且由于第一电子设备的主要功能为拍摄图像,设置的存储空间较小,导致第一电子设备在接收到拍照指令时有可能已经从存储空间中删除了第一图像帧f1,导致第一电子设备无法向第二电子设备发送第一图像帧f1,使得第二电子设备无法接收并保存未经图像处理的、高质量的第一图像帧,影响用户体验;下面结合图5b针对第二电子设备和第一电子设备的交互过程进行说明,如图5b所示,在t2时刻,第二电子设备在显示屏上显示由第一图像帧f1经图像处理后的第五图像帧f1呈现的图像,当t2时刻第二电子设备检测到用户的第一操作时,第二电子设备向第一电子设备发送拍照指令,第一电子设备在t3时刻接收到拍照指令;在t3时刻第一电子设备中缓存有t1时刻至t3时刻之间的图像帧,t1时刻之前缓存的图像帧由于存储介质中可用存储容量不足已经删除;第一图像帧f1是在t0时刻第一电子设备存储到存储介质中的,因此,第一电子设备无法向第二电子设备发送第一图像帧f1,第一电子设备只能将t1时刻对应的第八图像帧f2发送给第二电子设备,由于第二图像帧f1和第八图像帧f2之间存在一定的时间差,因此可能导致第第八图像帧f2无法满足用户查看浏览的需求。
174.下面实施例介绍本技术实施例提供的一种拍照方法。请参阅图5c,图5c是本技术实施例提供的一种拍照方法的流程示意图,应用于第二电子设备;第二电子设备与第一电子设备通信连接;第一电子设备设置有摄像头,第一电子设备在开启拍摄功能且与第二电子设备通信连接的情况下,拍摄得到第第一图像帧,将第一图像帧经图像处理后得到第五图像帧,将第五图像帧实时传输给第二电子设备,第五图像帧占用的存储容量低于第二图像帧占用的存储容量;第五图像帧的至少一项参数低于第二图像帧;至少一项参数可以包括以下一项或多项:分辨率,色彩饱和度,图像动态范围;第一电子设备可以将第二图像帧存储到第一电子设备的第一存储空间中,第二图像帧是满足图像质量条件的第一图像帧;该方法包括:
175.s301,第二电子设备检测到用户的第一操作,响应于第一操作,生成拍照指令。
176.其中,第二电子设备根据第一电子设备发送的压缩后的图像帧在显示屏上实时显示图像;当用户查看到想要拍摄的图像时,可以执行第一操作,使得第二电子设备生成拍照指令;具体的,第一操作可以是触摸显示屏,语音控制,执行的手势操作;第一操作用于保存当前显示图像对应的图像帧。
177.s302,第二电子设备向第一电子设备发送第一数据包,第一数据包中包括拍照指令。
178.其中,第一电子设备可根据拍照指令确定出至少一帧第二图像帧。
179.可选的,第一数据包中还可以包括第一时延,第一时延包括第二时延和第三时延,第二时延表示第二电子设备和第一电子设备之间的整个数据传输过程的时延,具体的,第二时延表示设备之间的数据传输时延,第三时延表示第二时间点和第三时间点之间的时长,第二时间点表示发起第一操作的时间点,第三时间点表示电子设备检测到第一操作的时间点;电子设备可以将第三时间点减去第二时延和第三时延,计算得到第一时间点;确定第一存储空间中存储的距离第一时间点最近的至少一帧图像帧为至少一帧第二图像帧。请参阅图5d,图5d可以表示第二时间点,即用户发起第一操作的时间点,此时附图中左边的手与终端有一定的距离;请参阅图5e,图5e可以表示第三时间点,附图中左边的手已经移动到第二电子设备的显示屏上,实现了触控操作;具体的,第二时延需要根据电子设备之间的具体情况进行计算,具体计算方法可以是:第二电子设备向第一电子设备发送带有时间戳的数据包或者第一电子设备向第二电子设备发送带有时间戳的数据包,第一电子设备或第二电子设备根据接收到数据包的时间点和数据包中的时间戳确定出相互之间的数据传输时延;第三时延需要根据大量的数据统计确定出第一操作对应的经验值,第一操作的类型不同对应的经验值不同,例如图5d和图5e中第一操作为触控操作,若经过大量的数据统计,在用户看到想要存储的图像帧到电子设备检测到用户的触控操作之间的时间为0.3秒的概率大于预设概率阈值(预设概率阈值可以根据实际情况设定,例如预设概率阈值可以设置为0.5),则此时触控操作对应的经验值为0.3秒,确定第三时延等于0.3秒;在第一操作为语音控制的情况下,若经过大量的数据统计,在用户发出语音指令到电子设备检测到语音指令之间的时间为1秒的概率大于预设概率阈值,则语音控制的经验值是1秒,第三时延等于1秒。请参阅图5f,图5f中,t0为上述说明的第一时间点,即表示第一电子设备拍摄并存储满足图像质量条件的第一图像帧(即第二图像帧f2)的时间点,t0还可表示第一电子设备第二图像帧f2进行图像处理得到第五图像帧f2,并向第二电子设备发送第五图像帧f2的时间点;t1表示上述说明的第二时间点,即用户发起第一操作的时间点;t2表示上述说明的第三时间点,即第二电子设备检测到第一操作的时间点;t3表示第一电子设备接收到第一数据包,以及第一电子设备向第二电子设备发送至少一帧第二图像帧的时间点;可以理解的是,实际场景中,由于第一电子设备需要处理解析第一数据包,因此第一电子设备接收到第一数据包和第一电子设备向第二电子设备发送至少一帧第二图像帧的时间点并不是同一个时间点;但由于整个解析和处理的过程耗费时长极短,本示例在计算过程中将其忽略,若引入此部分的传输时延,也应当属于本技术实施例所保护的范围;t4表示第二电子设备接收到至少一帧第二图像帧的时间点;t0与t1之间的时长,t2与t3之间的时长,t3与t4之间的时长,均可以视为第二时延,即第二电子设备和第一电子设备之间的数据传输时延;t1与t2之间的时长,则可以视为第三时延,即发起第一操作的时间点到第二电子设备检测到第一操作的时间点。
180.s303,第二电子设备接收第一电子设备发送的至少一帧第二图像帧。
181.需要说明的是,第一电子设备可根据第一数据包中的第一时延确定出第四图像帧,至少一帧第二图像帧可以由第七图像帧,第七图像帧之前和/或之后的y帧图像帧共同
构成,y为正整数。请参阅图5f,图5f中第一电子设备根据第一数据包中的数据确定出用户想要存储的图像帧最可能是t0时刻存储的第七图像帧f2;之后,第一电子设备可确定第七图像帧f2以及第七图像帧f2之前和之后的图像帧f1和f3共同构成三帧第二图像帧;之后,第一电子设备向第二电子设备发送三帧第二图像帧。
182.s304,若至少一帧第二图像帧的图像帧数量等于一,则第二电子设备显示和/或存储至少一帧第二图像帧。
183.s305,若至少一帧第二图像帧的图像帧数量大于一,则第二电子设备在显示屏上显示至少一帧第二图像帧;检测到用户的第二操作,响应于第二操作,显示和/或存储至少一帧第二图像帧中的第九图像帧。
184.其中,第二操作用于从至少一帧第二图像帧中选择出第九图像帧,具体的,第二操作是电子设备检测到的交互操作,可以是手势操作,语音控制指令,触控操作等,此处不做限定。
185.举例来说,请参阅图5g-图5i,图5g-图5i是一组可能的场景示意图;图5g中,第二电子设备接收到第一电子设备发送的三帧图像帧,并在显示屏上显示上述三帧图像帧;图5h中,用户触控三帧图像帧中的第九图像帧;图5i中,第二电子设备在显示屏上显示用户触控的第九图像帧。
186.下面实施例介绍本技术实施例提供的另一种拍照方法。请参阅图6,图6是本技术实施例提供的另一种拍照方法的流程示意图,该方法应用于第一电子设备,第一电子设备与第二电子设备通信连接,第一电子设备设置有摄像头,第一电子设备在开启拍摄功能且与第二电子设备通信连接的情况下,可将拍摄得到的第二图像帧进行处理,得到第五图像帧,并将第五图像帧实时发送给第二电子设备,第五图像帧占用的存储容量低于第二图像帧占用的存储容量;第五图像帧的至少一项参数低于第二图像帧;至少一项参数可以是以下一项或多项:分辨率,色彩饱和度,图像动态范围;第一电子设备可以将第二图像帧存储到第一电子设备的第一存储空间中,第二图像帧是满足图像质量条件的第一图像帧;该方法包括:
187.s401,第一电子设备接收第二电子设备发送的第一数据包,第一数据包中包括拍照指令。
188.s402,第一电子设备根据第一数据包确定至少一帧第二图像帧。
189.具体的,第一电子设备可以是摄像机,第一电子设备将拍摄得到第一图像帧经过图像处理后得到第五图像帧,将第五图像帧发送给第二电子设备,同时,第一电子设备可将拍摄得到的第二图像帧存储到缓存中,以便于接收到第二电子设备的拍照指令时,将满足条件的第二图像帧发送给第二电子设备;具体的,第一电子设备对于第二图像帧的采用的存储方法可以是图3a或图3d所示的图像帧存储方法。需要说明的是,本示例中,在第一电子设备采用图3a或图3d所示的图像帧存储方法,第一时长t可以大于等于第一时间点与第四时间点之间的时长,第一时间点为第一电子设备采集得到第二图像帧的时间点,第一时间点可以为图5f所示的t0时间点;第四时间点为第一电子设备接收到第一数据包的时间点,第四时间点可以为图5f所示的t3时间点。
190.下面结合图5f说明确定至少一帧第二图像帧的主体思想。第一电子设备发送给第二电子设备的第五图像帧中包括时间戳,第五图像帧由第二图像帧经图像处理得到,时间
戳表示拍摄第二图像帧的第一时间点,第一时间点可以为图5f所示的t0时间点;第一数据包中包括时间戳和第三时延;第三时延的解释说明请参阅步骤s302;发起第一操作的时间点为第二时间点,第二时间点可以为图5f所示的t1时间点;第二电子设备检测到用户的第一操作的时间点为第三时间点,第三时间点可以为图5f所示的t2时间点;电子设备(第一电子设备或第二电子设备)可根据第三时间点和第三时延计算得到第二时间点,结合图5f,t1=t
2-l1;其中,l1表示第三时延;电子设备(第一电子设备或第二电子设备)根据第二时间点和第二时间点接收到的第五图像帧中的时间戳确定出第一时间点t0;之后,第一电子设备根据第一时间点t0确定出至少一帧第二图像帧;具体的,第一电子设备可首先确定出存储时间点距离t0时间点最近的第七图像帧;之后,第一电子设备确定第七图像帧,第七图像帧之前和/或之后的y帧图像帧共同构成至少一帧第二图像帧,y为正整数。
191.可选的,第一数据包中包括第一时延,第一时延包括第二时延和第三时延;第一时延,第二时延和第三时延的解释说明请参阅步骤s302;第一电子设备采集第二图像帧的时间点为第一时间点,第一时间点可以为图5f所示的t0时间点;第一电子设备接收到第一数据包的时间点为第四时间点,第四时间点可以为图5f所示的t3时间点;第一电子设备可根据第四时间点t3,第二时延和第三时延确定出采集到第二图像帧的时间点t0,具体的,结合图5f,t0=t
3-l
1-2*l2;其中,l1表示第三时延,l2表示第二时延;具体的,参阅图5f,l1表示t1与t2之间的时长,l2可以表示t0与t1之间的时长或t2与t3之间的时长。
192.可选的,结合图5f,第一数据包中包括第一时延(第一时延由第二时延和第三时延构成)和第二电子设备检测到用户第一操作的第三时间点t2;第一电子设备可根据第一时延和第三时间点确定出电子设备拍摄第二图像帧的时间点为第一时间点,第一时间点可以为图5f所示的t0时间点,具体的,t0=t
2-l
1-l2,其中,l1表示第三时延,l2表示第二时延。
193.可选的,结合图5f,第一数据包中包括上述说明的第一时间点t0;即第二电子设备根据检测到用户第一操作的触控时间点t2,第二时延和第三时延计算得到第一时间点t0,之后将第一时间点t0打包至第一数据包中,使得第一电子设备在接收到第一数据包时无需进一步进行计算。
194.s403,第一电子设备向第二电子设备发送至少一帧第二图像帧。
195.可见,上述示例中,第一电子设备可根据:时延,触控时间点,接收到第一数据包的时间点,图像帧中时间戳对应的时间点,以上一种或几种数据确定出至少一帧第二图像帧,并将至少一帧第二图像帧发送给第二电子设备,以满足在第二电子设备中查看高质量图像的需求。
196.下面结合图7说明上述实施例中第一电子设备存储图像帧的流程。如图7所示,首先第一电子设备的摄像头采集数据,生成图像帧;之后输出图像帧到图像信号处理器(image signal processor,isp),isp针对图像帧进行处理,具体可以包括自动曝光、自动白平衡、自动对焦(auto exposure,auto white balance,auto focus,3a)处理,还可以对图像的噪点,亮度,肤色等进行算法优化;图像帧经isp处理后,经图像质量评价模块可生成该图像帧的质量评价值,经图像差异比较模块可生成该图像帧相较于另外一帧图像帧的差异值;之后,在图像质量评价值和差异值均满足图像质量条件的情况下将图像帧存储至存储介质中;其中,图像质量条件的具体内容请参考图3a和图3d实施例中所说明的存储图像帧的条件,这里不再赘述;存储介质可以是第一电子设备的缓存。需要说明的是,在图3a所
示的实施例中,第一电子设备仅根据质量评价值判断是否将图像帧存储至存储介质中,因此在该实施例中,第一电子设备不设置图像差异比较模块。
197.需要说明的是,图7中图像质量评价模块与图像差异比较模块以并列的形式呈现的,其仅仅为一种可能的呈现形式,在本技术实施例的具体实现过程中,图像质量评价模块与图像差异比较模块是为了得到图像帧的质量评价值和图像帧之间的差异值,以便于电子设备根据质量评价值和差异值判断图像帧是否满足存储条件,进而在满足条件时针对图像帧进行存储。因此,本技术实施例不对图像质量评价模块与图像差异比较模块的呈现形式进行限定;例如,图像质量评价模块与图像差异比较模块可以是以串联的形式存在于线路中的。
198.通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
199.在本技术实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
200.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
201.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1