图像处理方法、设备和系统与流程

文档序号:27316111发布日期:2021-11-09 23:54阅读:128来源:国知局
图像处理方法、设备和系统与流程

1.本公开涉及一种图像处理领域,特别涉及对图像传感器感测的图像进行处理以在显示屏上显示的图像处理方案。


背景技术:

2.随着智能家庭技术的发展,一些设备添加了家庭场景实时查看功能,家庭内现场设置的摄像头拍摄的图像可以在家庭现场设置的显示屏上呈现,也可以通过网络发送给电子设备,例如智能手机,以便在电子设备上呈现。
3.这种场景下使用的摄像头的景深往往较大,例如可以对几十厘米到几十米范围内的物体清晰成像。所使用的图像传感器往往也具有较高的分辨率,能够感测采集非常清晰的图像。
4.另外,为了呈现更宽视角范围的实时图像,一般采用广角摄像头。这样,可以采集较大范围内的实时图像。
5.然而,对于离摄像头具有一定距离的对象而言,其图像在显示屏上呈现给用户的整个实时图像中相对较小。此时,所显示的对象图像的细节表现力较差。
6.即使摄像头支持高分辨力,图像传感器采集了高清晰度的图像,对于较远距离对象,也只能在显示屏上呈现较小的对象图像。例如,所关注对象的图像可能占显示屏上呈现的整个实时图像的十分之一甚至更小。这种情况下,会非常影响用户体验。
7.这种情况下,如果能够实现局部变焦,将关注对象的图像放大,会给客户带来更好的用户体验。
8.常规变焦方式有数字变焦方式和光学变焦方式。
9.数字变焦方式本身无法提升物体细节表现能力。
10.光学变焦方式会有更好的效果,但是光学变焦需要高额的光学成本。例如,需要添置具有光学变焦能力的镜头设备。
11.因此,仍然需要一种能够方便地实现变焦的图像处理方案。


技术实现要素:

12.本公开要解决的一个技术问题是提供一种图像处理方案,其能够在不增加额外的硬件投入成本的情况下,方便地实现清晰的变焦效果。
13.根据本公开的第一个方面,提供了一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏或显示屏所属设备的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n,该方法包括:从图像传感器读取对应于第一区域的第一图像数据,第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n;将第一图像数据转换为第二图像数据,第二图像数据的像素数为r
×
s;将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示;响应于变焦指令,从图像传感器读
取对应于第二区域的第三图像数据,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1;将第三图像数据转换为第四图像数据,第四图像数据的像素数为r
×
s;以及将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
14.根据本公开的第二个方面,提供了一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏或显示屏所属设备的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n,该方法包括:从图像传感器读取传感器图像数据,并存储在存储器中;从存储器上的传感器图像数据中提取对应于第一区域的第一图像数据,第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n;将第一图像数据转换为第二图像数据,第二图像数据的像素数为r
×
s;将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示;响应于变焦指令,从存储器上的传感器图像数据中提取对应于第二区域的第三图像数据,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1;将第三图像数据转换为第四图像数据,第四图像数据的像素数为r
×
s;以及将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
15.可选地,第二区域的中心与第一区域的中心重合;或者第二区域为第一区域中的指定区域或指定对象所在区域。
16.可选地,该方法还可以包括:根据变焦指令确定第二区域的中心。
17.可选地,该方法还可以包括:接收来自显示屏所属设备和/或服务器的变焦指令。
18.可选地,该方法还可以包括:从第二图像数据中识别指定对象;响应于在第二图像数据中识别到指定对象,发出变焦指令,第二区域是指定对象所在区域。
19.可选地,该方法还可以包括:随着指定对象的移动,移动第二区域。
20.可选地,该方法还可以包括:响应于第二区域的部分或全部移动超出第一区域的范围,扩大和/或移动图像传感器上第一区域的范围,以使得扩大和/或移动后的第一区域包括第二区域。
21.可选地,该方法还可以包括:响应于第二区域的部分或全部移动超出第一区域的范围,转动图像传感器所属成像设备的拍摄方向,以使得转动后图像传感器上的第一区域包括第二区域。
22.可选地,指定对象是人脸图像,使用人脸识别功能来从第二图像数据中识别指定对象。
23.可选地,该方法还可以包括:响应于用户的设置,开启或关闭人脸识别功能。
24.可选地,响应于在第二图像数据中识别到指定对象发出变焦指令的步骤包括:在指定对象到图像传感器所属成像设备的距离大于或等于第一距离阈值的情况下,发出变焦指令;以及/或者在指定对象到图像传感器所属成像设备的距离小于第一距离阈值的情况下,不发出变焦指令。
25.可选地,该方法还可以包括:在发送第四图像数据之后,响应于指定对象到图像传感器所属成像设备的距离变为小于第二距离阈值,重新将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
26.可选地,该方法还可以包括:基于指定对象相对于第一区域的画面占比和第一图像数据的像素数m1
×
n1,确定第三图像数据的像素数m2
×
n2。
27.可选地,响应于在第二图像数据中识别到指定对象发出变焦指令的步骤包括:在指定对象相对于第一区域的画面占比小于或等于第一占比阈值的情况下,发出变焦指令;以及/或者在指定对象相对于第一区域的画面占比大于第一占比阈值的情况下,不发出变焦指令。
28.可选地,该方法还可以包括:在发送第四图像数据之后,响应于指定对象相对于第一区域的画面占比变为大于第二占比阈值,重新将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
29.可选地,该方法还可以包括:基于第四图像数据,使用人脸识别功能来识别指定对象的身份信息。
30.可选地,该方法还可以包括:基于所识别出的身份信息,授予指定对象对应的用户执行预定操作的权限;以及/或者基于所识别出的身份信息,对指定对象对应的用户进行安全检查。
31.可选地,第二区域是第一区域的一部分,响应于变焦指令,在将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示之前,还包括:基于第二图像数据,通过数码变焦处理,在显示屏上呈现从显示对应于第一区域的图像到显示对应于第二区域的图像的动态变化过程。
32.可选地,该方法还可以包括:响应于显示屏或显示屏所属设备接收到第四图像数据,结束动态变化过程显示,并基于第四图像数据进行图像显示。
33.可选地,显示屏与图像传感器设置在同一设备上。
34.可选地,显示屏与图像传感器设置在不同设备上,通过网络将第二图像数据和第四图像数据发送给显示屏所属设备。
35.可选地,该方法还可以包括:接收来自显示屏所属设备的图像;在本地显示屏上显示所接收的图像。
36.可选地,图像传感器实时感测现场图像。
37.根据本公开的第三个方面,提供了一种图像处理方法,包括:响应于交互请求,从图像数据中识别指定对象;以及在指定对象在图像数据中的画面占比小于预定占比阈值的情况下,执行变焦处理,以增大指定对象在变焦处理之后的图像数据中的画面占比。
38.可选地,指定对象是人脸图像,使用人脸识别功能来从第二图像数据中识别指定对象。
39.可选地,该方法还可以包括:响应于用户的设置,开启或关闭人脸识别功能。
40.根据本公开的第四个方面,提供了一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n。该方法包括:进行图像转换,得到对应于图像传感器上第一区域的第一图像数据且用于在显示屏上显示的第二图像数据,第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n,第二图像数据的像素数为r
×
s;在指定对象到图像传感器所属成像设备的距离大于或等于第一距离阈值的情况下,发出变焦指令;以及响应
于变焦指令,进行图像转换,得到对应于图像传感器上第二区域的第三图像数据且用于在显示屏上显示的第四图像数据,第二区域是指定对象所在区域,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1,第四图像数据的像素数为r
×
s。
41.可选地,该方法还可以包括:在将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示之后,响应于指定对象到图像传感器所属成像设备的距离变为小于第二距离阈值,重新将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
42.根据本公开的第五个方面,提供了一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n。该方法包括:进行图像转换,得到对应于图像传感器上第一区域的第一图像数据且用于在显示屏上显示的第二图像数据,第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n,第二图像数据的像素数为r
×
s;在指定对象相对于第一区域的画面占比小于或等于第一占比阈值的情况下,发出变焦指令;以及响应于变焦指令,进行图像转换,得到对应于图像传感器上第二区域的第三图像数据且用于在显示屏上显示的第四图像数据,第二区域是指定对象所在区域,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1,第四图像数据的像素数为r
×
s。
43.可选地,该方法还可以包括:在将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示之后,响应于指定对象相对于第一区域的画面占比变为大于第二占比阈值,重新将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
44.可选地,该方法还可以包括:基于指定对象相对于第一区域的画面占比和第一图像数据的像素数m1
×
n1,确定第三图像数据的像素数m2
×
n2。
45.根据本公开的第六个方面,提供了一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n,该方法包括:进行图像转换,得到对应于图像传感器上第一区域的第一图像数据且用于在显示屏上显示的第二图像数据,第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n,第二图像数据的像素数为r
×
s;从第二图像数据中识别指定对象;响应于变焦指令,进行图像转换,得到对应于图像传感器上第二区域的第三图像数据且用于在显示屏上显示的第四图像数据,第二区域是指定对象所在区域,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1,第四图像数据的像素数为r
×
s;以及响应于指定对象的移动,移动第二区域。
46.可选地,该方法还可以包括:响应于第二区域的部分或全部移动超出第一区域的范围,扩大和/或移动图像传感器上第一区域的范围,以使得扩大和/或移动后的第一区域包括第二区域;以及/或者响应于第二区域的部分或全部移动超出第一区域的范围,转动图像传感器所属成像设备的拍摄方向,以使得转动后图像传感器上的第一区域包括第二区域。
47.根据本公开的第七个方面,提供了一种图像处理方法,用于处理图像传感器感测
的图像以在显示屏上显示,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n。该方法包括:进行图像转换,得到对应于图像传感器上第一区域的第一图像数据且用于在显示屏上显示的第二图像数据,第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n,第二图像数据的像素数为r
×
s;从第二图像数据中识别指定对象;进行图像转换,得到对应于图像传感器上第二区域的第三图像数据且用于在显示屏上显示的第四图像数据,第二区域是指定对象所在区域,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1,第四图像数据的像素数为r
×
s;以及基于第四图像数据,使用人脸识别功能来识别指定对象的身份信息。
48.可选地,该方法还可以包括:基于所识别出的身份信息,授予指定对象对应的用户执行预定操作的权限;以及/或者基于所识别出的身份信息,对指定对象对应的用户进行安全检查。
49.根据本公开的第八个方面,提供了一种图像处理装置,用于处理图像传感器感测的图像以在显示屏上显示,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏或显示屏所属设备的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n,该方法包括:第一读取装置,用于从图像传感器读取对应于第一区域的第一图像数据,第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n;第一转换装置,用于将第一图像数据转换为第二图像数据,第二图像数据的像素数为r
×
s;第一发送装置,用于将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示;第二读取装置,用于响应于变焦指令,从图像传感器读取对应于第二区域的第三图像数据,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1;第二转换装置,用于将第三图像数据转换为第四图像数据,第四图像数据的像素数为r
×
s;以及第二发送装置,用于将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
50.根据本公开的第九个方面,提供了一种图像处理装置,用于处理图像传感器感测的图像以在显示屏上显示,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,发送给显示屏或显示屏所属设备的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n,该方法包括:读取装置,用于从图像传感器读取传感器图像数据,并存储在存储器中;第一提取装置,用于从存储器上的传感器图像数据中提取对应于第一区域的第一图像数据,第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n;第一转换装置,用于将第一图像数据转换为第二图像数据,第二图像数据的像素数为r
×
s;第一发送装置,用于将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示;第二提取装置,用于响应于变焦指令,从存储器上的传感器图像数据中提取对应于第二区域的第三图像数据,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1;第二转换装置,用于将第三图像数据转换为第四图像数据,第四图像数据的像素数为r
×
s;以及第二发送装置,用于将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
51.根据本公开的第十个方面,提供了一种图像处理设备,包括:摄像装置,用于在其
图像传感器上实时感测现场图像,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,m为像素行数,n为像素列数;显示屏,用于显示图像传感器上感测的现场图像,提供给显示屏的图像数据的像素数为r
×
s,r为像素行数,且r<m,s为像素列数,且s<n;以及处理器,用于对来自图像传感器的图像数据进行处理,以便在显示屏上显示,其中,处理器从图像传感器读取对应于第一区域的第一图像数据,将第一图像数据转换为第二图像数据,并将第二图像数据发送给显示屏以便进行图像显示,其中,第一图像数据的像素数为m1
×
n1,第二图像数据的像素数为r
×
s,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n;响应于变焦指令,处理器从图像传感器读取对应于第二区域的第三图像数据,将第三图像数据转换为第四图像数据,并将第四图像数据发送给显示屏以便进行图像显示,其中,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1,第四图像数据的像素数为r
×
s。
52.根据本公开的第十一个方面,提供了一种图像处理设备,包括:摄像装置,用于在其图像传感器上实时感测现场图像,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,m为像素行数,n为像素列数;显示屏,用于显示图像传感器上感测的现场图像,提供给显示屏的图像数据的像素数为r
×
s,r为像素行数,且r<m,s为像素列数,且s<n;存储器,用于存储从图像传感器读取的传感器图像数据;以及处理器,用于对传感器图像数据进行处理,以便在显示屏上显示,其中,处理器从存储器上的传感器图像数据中提取对应于第一区域的第一图像数据,将第一图像数据转换为第二图像数据,并将第二图像数据发送给显示屏以便进行图像显示,其中,第一图像数据的像素数为m1
×
n1,第二图像数据的像素数为r
×
s,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n;响应于变焦指令,处理器从存储器上的传感器图像数据中提取对应于第二区域的第三图像数据,将第三图像数据转换为第四图像数据,并将第四图像数据发送给显示屏以便进行图像显示,其中,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1,第四图像数据的像素数为r
×
s。
53.根据本公开的第十二个方面,提供了一种图像处理设备,包括:摄像装置,用于在其图像传感器上实时感测现场图像,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,m为像素行数,n为像素列数;处理器,用于对来自图像传感器的图像数据进行处理,以便在显示屏上显示;以及网络模块,用于连接到网络,其中,处理器从图像传感器读取对应于第一区域的第一图像数据,将第一图像数据转换为第二图像数据,并经由网络模块将第二图像数据发送给具有显示屏的外部设备以便进行图像显示,其中,第一图像数据的像素数为m1
×
n1,第二图像数据的像素数为r
×
s,m1和r分别为像素行数,且r≤m1≤m,n1和s分别为像素列数,且s≤n1≤n;响应于变焦指令,处理器从图像传感器读取对应于第二区域的第三图像数据,将第三图像数据转换为第四图像数据,并经由网络模块将第四图像数据发送给具有显示屏的外部设备以便进行图像显示,其中,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1,第四图像数据的像素数为r
×
s。
54.根据本公开的第十三个方面,提供了一种图像处理设备,包括:摄像装置,用于在其图像传感器上实时感测现场图像,其中,图像传感器感测的传感器图像数据的像素数为m
×
n,m为像素行数,n为像素列数;存储器,用于存储从图像传感器读取的传感器图像数据;
处理器,用于对传感器图像数据进行处理,以便在显示屏上显示;以及网络模块,用于连接到网络,其中,处理器从存储器上的传感器图像数据中提取对应于第一区域的第一图像数据,将第一图像数据转换为第二图像数据,并经由网络模块将第二图像数据发送给具有显示屏的外部设备以便进行图像显示,其中,第一图像数据的像素数为m1
×
n1,第二图像数据的像素数为r
×
s,m1和r分别为像素行数,且r≤m1≤m,n1和s分别为像素列数,且s≤n1≤n;响应于变焦指令,处理器从存储器上的传感器图像数据中提取对应于第二区域的第三图像数据,将第三图像数据转换为第四图像数据,并经由网络模块将第四图像数据发送给具有显示屏的外部设备以便进行图像显示,其中,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1,第四图像数据的像素数为r
×
s。
55.根据本公开的第十四个方面,提供了一种图像处理系统,包括:根据上述第七或第八方面的图像处理设备;以及具有显示屏的电子设备,从图像处理设备接收第二图像数据和第四图像数据,并相应地进行图像显示。
56.可选地,图像处理设备还可以包括本地显示屏,图像处理设备经由网络模块接收来自电子设备的图像,并在本地显示屏上显示所接收的图像。
57.根据本公开的第十五个方面,提供了一种计算设备,包括:处理器;以及存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如上述第一方面所述的方法。
58.根据本公开的第十六个方面,提供了一种非暂时性机器可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上述第一方面所述的方法。
59.由此,通过截取对应于图像传感器上不同区域范围内的像素数据,在不需要额外增加硬件成本的情况下,方便地实现了显示屏上的清晰的变焦显示效果。
附图说明
60.通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
61.图1示意性地示出了本公开的图像处理设备。
62.图2示意性地示出了本公开的传感器变焦方案中的图像数据处理过程。
63.图3是根据本公开一个实施例的图像处理方法的示意性流程图。
64.图4是根据本公开一个实施例的图像处理装置的示意性框图。
65.图5是根据本公开另一个实施例的图像处理方法的示意性流程图。
66.图6是根据本公开另一个实施例的图像处理装置的示意性框图。
67.图7示出了根据本发明一实施例可用于实现上述图像处理方法的计算设备的结构示意图。
具体实施方式
68.下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开
的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
69.目前,很多设备具有摄像头等能够实时拍摄现场图像(包括静态图像和/或动态视频)的摄像装置。摄像装置拍摄的图像经处理后,可以由设备自带的显示屏或其它设备的显示屏显示。
70.在本公开的图像处理方案中,借助于传感器裁切(sensor crop)或者图像信号处理裁切(isp crop),实现了视角范围的裁切,从而实现了变焦(zoom)功能。区别于传统的“光学变焦”和“数码变焦”,可以将这种变焦方式称为“传感器变焦”。
71.图1示意性地示出了本公开的图像处理设备。一些情况下,也可以称为“图像处理系统”。
72.如图1所示,该图像处理设备/系统可以包括摄像装置2、处理器4以及显示屏7。在一些实施例中,该图像处理设备/系统还可以包括存储器6和网络模块5。
73.摄像装置2,例如可以是摄像头等成像设备,可以实时拍摄现场图像。这里的图像可以是静态图片,也可以是包括一帧帧图像的动态视频。
74.人或各种可能的拍摄对象或关注对象,例如用户1,可以处于拍摄现场中而被摄像装置2拍摄。
75.本公开采用的摄像装置2例如可以采用广角镜头,能够对较大视角范围内的现场空间中的对象清晰成像。
76.作为示例,图1中以虚射线示意性地示出了摄像装置2的拍摄视角范围界限20。拍摄视角范围大小例如可以用该界限围成的圆锥的顶角。例如,摄像装置2的拍摄视角范围可以为120
°
,或者,在设备允许的情况下,还可以具有更大的拍摄视角范围。
77.摄像装置2具有图像传感器3,在图像传感器3上例如实时感测现场图像。为简化视图和下文的描述,可以视为图1中所示为图像传感器3的感光区域。
78.图1中,在左下角放大显示了图像传感器3(的感光区域)以及对象1在图像传感器3上形成的图像10(例如以对应于各个传感器像素的数据形式存在)。
79.图1中,在左下角以与图像传感器3(的感光区域)相接的虚线圆示出了拍摄视角范围界限20在图像传感器3所在平面上的成像区域界限200,对应于左上角部分以虚射线示出的拍摄视角范围界限20。
80.应当明白,成像区域界限200的虚线圆也可以不与图像传感器3(的感光区域)相接。或者,成像区域可以更大而完全涵盖图像传感器3。这样,图像传感器3(的感光区域)均可以感测得到对现场进行感测拍摄得到的传感器图像数据30。
81.或者,在一些情况下,成像区域也可以较小,成像区域界限200与图像传感器3(的感光区域)的边缘相交,图像传感器3的四个角落部位将不会落在成像区域范围内,不能接受摄像装置2所采集的现场光线,不能用于形成现场的传感器图像数据30。换言之,感测得到的传感器图像数据30对应的尺寸可以小于图像传感器3的完整感光区域尺寸。
82.图像传感器3的分辨率可以选择为与镜头的分辨率相匹配。
83.镜头的分辨率定义为在像面处镜头在单位毫米内能够分辨开的黑白相间的条纹对数。
84.图像传感器3的分辨率取决于其感光区域尺寸(芯片尺寸)和单像素尺寸。可以以图像传感器的有效像素数来表示图像传感器的分辨率。
85.随着镜头技术和图像传感器技术的发展,目前,图像传感器的有效像素数已经能够达到数百万像素,例如500像素,即每行和每列的像素数均可以在2000像素上下,例如可以为2592
×
1944或者2560
×
1920。
86.一般地,为便于描述,可以将图像传感器3感测的传感器图像数据30的像素数为m
×
n,m为像素行数,n为像素列数。
87.处理器4对来自图像传感器3的图像数据进行处理,以便在显示屏7上显示。
88.处理器4可以按照下文中将描述的本公开的方案,直接从图像传感器3读取全部或部分图像数据,以进行处理,从而送至显示屏7进行显示。在这种情况下,从图像传感器3读取的全部或部分图像数据也可以存储于存储器6中以便于进行处理。
89.或者,处理器4也可以先将图像传感器3上的图像数据全都读取再写入到存储器6中,然后再按照下文中将描述的本公开的方案,从存储器6读取全部或部分图像数据,以进行处理,从而送至显示屏7进行显示。
90.显示屏7基于处理器4发来的图像数据,显示图像传感器3上感测的现场图像300。现场图像300中可以包括对象1的显示图像100。
91.虽然目前已经有了很多大尺寸高清晰度的显示屏,例如4k显示屏,分辨率能够达到3840
×
2160或4096
×
2160,但是常用设备的显示屏并没有这样高的分辨率。特别是用于呈现实时现场图像的显示屏,往往具有较小的尺寸及较低的分辨率。例如,很多场景下所采用的显示屏仅具有640
×
480或800
×
600的分辨率。而且,很多时候,显示屏7上并非全部显示区域都用于显示实时现场图像300,而是仅在显示屏7上一部分显示区域显示实时现场图像300。
92.这样,显示屏7显示实时现场图像300所需要的像素数往往会明显小于图像传感器3上感测得到的像素数。
93.需要提供给显示屏7或显示屏7所属设备的图像数据的像素数只要等于或多于显示屏7上用于显示该实时现场图像300的那部分显示区域的像素数即可。
94.在提供给显示屏7的图像数据的像素数多于显示屏7上用于显示该实时现场图像300的那部分显示区域的像素数的情况下,显示屏7自带的图像处理装置或与显示屏7关联的图像处理装置可以对图像数据进行缩放处理,得到像素数等于显示区域像素数的图像数据,从而由显示屏7的该部分显示区域进行显示。
95.如果要基于像素数较少的图像数据,在像素数较多的显示屏7显示区域上进行显示,则需要通过图像插值等处理增加像素数量。这会降低所显示图像的清晰度,可能导致一些模糊的轮廓线等。
96.而基于像素数较多的图像数据,在像素数较少的显示屏7显示区域上进行显示,则能够充分利用显示屏的显示能力,在显示屏的分辨率允许的范围内不会降低所显示图像的清晰度。
97.采用具有较高分辨率(像素数较大)的图像传感器3和具有较低分辨率的显示屏7,为图像处理提供了操作空间。
98.一般地,为便于描述,可以将要提供给显示屏7或显示屏7所属设备的图像数据的
像素数表示为r
×
s,r为像素行数,s为像素列数。
99.如上文所述,要提供给显示屏7的图像数据的像素行数r小于图像传感器3的像素行数m,要提供给显示屏7的图像数据的像素列数s小于图像传感器3的像素列数n。
100.摄像装置2(及其图像传感器3)、处理器4、存储器6以及显示屏7可以集成在同一个设备上。或者,也可以作为分离的设备分别设置,或者分别设置在不同的设备上,从而构成一个实时现场图像处理/显示系统。
101.显示屏7可以设置在摄像装置2所拍摄的现场(可以称为“本地”)附近,例如供现场的用户1或其他人查看。
102.或者,显示屏7也可以远离摄像装置2的拍摄现场,可以称该显示屏7处于“异地”,即“异地显示屏”。
103.此时,摄像装置2(及其图像传感器4)、处理器4、网络模块5以及存储器6可以分别设置为分离的设备,或者,其中任意两个或更多个也可以包含于同一个设备,例如可以称为“图像处理设备”。该图像处理设备和异地显示屏7或异地显示屏7所属的设备结合可以称为“图像处理系统”。
104.同样地,这种情况下,显示屏7可以是单独的设备,也可以属于其它设备,一般地可以为电子设备,例如智能移动电话等。
105.经由网络模块5,例如路由器,通过网络,向显示屏7或显示屏7所属设备发送图像数据。
106.另外,异地显示屏7所关联的摄像装置,或者异地显示屏7所属设备的摄像装置还可以拍摄其附近的图像,例如可以包括相应用户的图像,并通过网络,经由拍摄现场附近的网络模块5,发送回本地(本地图像处理设备),例如由处理器4接收,必要时存储在存储器6上。
107.本地还可以设置有本地显示屏(不同于上述显示屏7,图1中未示出)。可以在本地显示屏上显示异地显示屏7所关联的摄像装置或异地显示屏7所属设备的摄像装置拍摄的图像。
108.这样,异地用户可以在其显示屏7上查看本地现场的图像。或者,异地用户可以本地用户进行视频通话。
109.图1所示各个部件可以以各种方式组合。
110.例如,摄像装置2(及其图像传感器3)、显示屏7以及处理器4可以集成于一个图像处理设备中。处理器4从图像传感器3读取图像数据并进行根据本公开的图像处理,并在显示屏7上显示经过处理的图像。
111.或者,摄像装置2(及其图像传感器3)、显示屏7、存储器6以及处理器4可以集成于一个图像处理设备中。从图像传感器3读取的图像数据被存储在存储器6中。处理器4从存储器6提取相应图像数据,并进行根据本公开的图像处理,并在显示屏7上显示经过处理的图像。
112.或者,摄像装置2(及其图像传感器3)、处理器4以及网络模块5可以集成于一个图像处理设备中。处理器4从图像传感器3读取图像数据并进行根据本公开的图像处理。处理后的图像数据可以经由网络模块5发送给具有显示屏的外部设备,以进行图像显示。该图像处理设备和该外部设备可以合称为一个图像处理系统。
113.或者,摄像装置2(及其图像传感器3)、存储器6、处理器4以及网络模块5可以集成于一个图像处理设备中。从图像传感器3读取的图像数据被存储在存储器6中。处理器4从存储器6提取相应图像数据,并进行根据本公开的图像处理。处理后的图像数据可以经由网络模块5发送给具有显示屏的外部设备,以进行图像显示。该图像处理设备和该外部设备可以合称为一个图像处理系统。
114.下面参考图2至图6描述根据本公开用于实现上述“传感器变焦”的图像处理方法。该图像处理方法可以由上述处理器4执行。
115.图2示意性地示出了本公开的传感器变焦方案中的图像数据处理过程。
116.可以基于图像传感器3上对应于视角范围210的第一区域310中的像素数据,显示(右侧的)图像315,其中包括对象1的显示图像110。
117.这里,第一区域310可以是图像传感器3的全部有效区域,也可以是其中一部分。在第一区域310是图像传感器3的全部有效区域或较大部分区域时,对象1的显示图像110在所显示的整个图像315中占比可能比较小,不便于观看对象1的细节。
118.响应于变焦指令,可以重新基于图像传感器3上对应于视角范围220的第二区域320中的像素数据,显示(下侧的)图像325,其中包括对象1的显示图像120。
119.在变焦指令是希望将对象1的显示图像放大,则可以选择第二区域320小于第一区域310。或者说,视角范围220小于视角范围210。例如,视角范围210对应于120
°
视角范围的情况下,视角范围220的范围可以对应于60
°
视角范围。
120.这样,对象1的显示图像120在所显示的整个图像325中占比增大。当以与图像315同样的尺寸显示图像325时,与显示图像110相比,对象1的显示图像120可以增大,实现变焦效果。
121.缩放的倍率可以根据变焦指令来确定,或者也可以设定为固定的缩放倍率,例如,视角范围缩小为原来的一半,或者显示内容的尺寸放大为原来的两倍。
122.图像传感器3的像素数m
×
n可以显著大于显示屏7显示实时现场图像所需的像素数(或需要发送给显示屏7或其所属设备的像素数)r
×
s。这样,可以使得不论是在第一区域310,还是在第二区域320中,像素数都大于显示屏7实现清晰显示所需的像素数r
×
s。
123.下面参考图3和图4描述根据本公开一个实施例的图像处理方法。
124.图3是根据本公开一个实施例的图像处理方法的示意性流程图。
125.图4是根据本公开一个实施例的图像处理装置的示意性框图。
126.如图4所示,该图像处理装置400可以包括第一读取装置410、第一转换装置420、第一发送装置430、第二读取装置440、第二转换装置450、第二发送装置460。
127.在步骤s310,例如可以通过第一读取装置410,从图像传感器3读取对应于第一区域310的第一图像数据。
128.应当理解,在显示静态图片的情况下,图像传感器3上的第一图像数据可以不随时间变化。
129.而在显示动态视频的情况下,图像传感器3上的第一图像数据可以随时根据现场情形变化而变化。在显示动态视频的情况下,图像传感器3感测一帧一帧的图像,处理器4从图像传感器3获取一帧一帧的图像数据,然后在显示屏7上显示一帧一帧的图像,从而显示动态视频。只是如下文所述,在需要变焦显示时,可以改变从图像传感器3读取像素数据的
区域范围。
130.如上所述,第一区域310可以是图像传感器3或其全部有效像素区域,也可以是图像传感器3上的一部分区域。
131.如果是初始显示,可以选择包括尽可能大的区域。例如,第一区域310可以包括整个图像传感器3或其全部有效像素区域。
132.第一图像数据(对应于第一区域310)的像素数可以记为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n。换言之,第一图像数据(对应于第一区域310)的像素行数m1、像素列数n1分别介于图像传感器3的像素行数m、像素列数n和需要提供给显示屏7或其所述设备的图像数据的像素行数r、像素列数s之间。在m1<m,n1<n的情况下,这样的操作可以称为“传感器裁切(sensorcrop)”。
133.这样,为后面的图像处理提供了充足的像素数据,使得能够在充分利用显示屏7的显示能力的情况下进行图像显示。
134.在步骤s320,例如可以通过第一转换装置420,将第一图像数据(对应于第一区域310)转换为第二图像数据315,第二图像数据315的像素数为上述要提供给显示屏7或其所述设备的像素数r
×
s。
135.这里的图像缩放转换处理已为本领域所公知,在此不再赘述。
136.由于在本公开的技术方案中,第一图像数据(310)的像素数m1
×
n1不小于第二图像数据315的像素数为r
×
s,相对于显示屏7的显示能力,具有充足的像素数据,所以这里可以只进行“缩小”处理,而不进行插值等“放大”处理。在步骤s320的图像转换之后,仍然能够充分利用显示屏7的显示能力,在显示屏7的分辨率允许的范围内不会降低所显示图像315的清晰度。
137.然后,在步骤s330,例如可以通过第一发送装置430,将第二图像数据315发送给显示屏7或显示屏7所属设备以便进行图像显示。相应地,在所显示的图像中,可以显示对象1的图像110。
138.应当理解,在第一图像数据为动态视频数据的情况下,对于一帧一帧的第一图像数据都要进行步骤s320的转换处理和步骤s330的发送。换言之,这里,发送第二图像数据315是指持续发送基于动态变化的第一图像数据获得的动态变化的第二图像数据。
139.在显示图像110的过程中,可能发出变焦指令。
140.变焦指令可能是响应于用户的操作而发出的,例如用户在触控显示屏上的缩放操作,或者用户对缩放倍率控制条的拖动操作。
141.这样,可以从显示器所属设备和/或服务器接收变焦指令。
142.或者,变焦指令也可能是自动生成的。例如,可以响应于识别到指定对象而触发变焦指令。例如,指定对象可以是图像传感器3对指定物体所感测形成的图像,例如人脸图像。
143.具体说来,例如,可以从第二图像数据315中识别指定对象(例如对象1的图像110)。响应于在第二图像数据315中识别到指定对象,发出变焦指令。
144.在指定对象是人脸图像时,可以使用人脸识别功能来从第二图像数据中识别指定对象。
145.考虑到用户隐私保护需求,可以设置功能开关,响应于用户的设置,开启或关闭上述人脸识别功能。
146.当人脸图像在第二图像数据315中画面占比较小时,虽然不一定能够人脸图像对应的身份信息,但是一般能够识别出是人脸图像。
147.可以在指定对象例如人脸图像到图像传感器所属成像设备的距离大于或等于第一距离阈值的情况下,发出变焦指令。
148.另一方面,在指定对象例如人脸图像到图像传感器所属成像设备的距离小于第一距离阈值的情况下,则可以不发出变焦指令。
149.第一距离阈值可以根据经验和/或成像设备(摄像装置)的参数来设定。例如,第一距离阈值可以设置为,当距离大于或等于第一距离阈值时,指定对象的图像将会变得较小不易观察,于是需要进行变焦操作以将指定对象的图像放大。
150.例如,在家用摄像头的情况下,第一距离阈值例如可以是3米或5米。
151.变焦的倍率可以为预先设定的值,也可以根据例如指定图像在第二图像数据315中所占据的尺寸比例等来自动确定。
152.换言之,可以基于指定对象相对于第一区域的画面占比和第一图像数据的像素数m1
×
n1,确定第三图像数据的像素数m2
×
n2,也即确定变焦倍率。
153.另外,可以在指定对象例如人脸图像相对于第一区域的画面占比小于或等于第一占比阈值的情况下,发出变焦指令。
154.另一方面,在指定对象例如人脸图像相对于第一区域的画面占比大于第一占比阈值的情况下,则可以不发出变焦指令。
155.第一画面占比例如可以根据经验和/或显示屏的参数来设定。例如,第一画面占比可以设置为,当指定对象相对于第一区域的画面占比小于或等于第一占比阈值时,指定对象的图像较小不易观察,于是需要进行变焦操作以将指定对象的图像放大。
156.在步骤s340,响应于变焦指令,例如可以通过第二读取装置440,从图像传感器3读取对应于第二区域320的第三图像数据。
157.第二区域320的中心可以与第一区域310的中心重合。
158.或者,第二区域320的中心位置还可以相对于第一区域310的中心位置发生变化。
159.例如,可以根据变焦指令确定第二区域320的中心位置。
160.例如,当响应于触控显示屏上的手指缩放操作而发出变焦指令时,基于多个手指操作的中心位置确定第二区域320的中心位置。或者,通过接收用户的点击操作来确定第二区域320的中心位置。
161.第二区域320可以为第一区域310中的指定区域。或者,在一些情况下,第二区域320也可以是与第一区域310重叠的区域。或者,第二区域320页可以包含第一区域310的更大区域(例如当第一区域310已经是根据本公开的传感器变焦方案裁切的图像传感器3上较小的范围时)。
162.或者,例如在上述响应于识别到指定对象而触发变焦指令的情况下,也可以将该指定对象所在区域设置为第二区域320。
163.另外,还可以随着指定对象的移动,相应地移动第二区域320。
164.当第二区域的部分或全部移动超出第一区域的范围时,如果第一区域的范围小于图像传感器总的像素范围,可以扩大和/或移动图像传感器上第一区域的范围,以使得扩大和/或移动后的第一区域包括第二区域。
165.或者,当第二区域的部分或全部移动超出第一区域的范围时,还可以朝着第二区域移动的方向转动图像传感器所属成像设备的拍摄方向,以使得转动后图像传感器上的第一区域包括第二区域。
166.第三图像数据的像素数可以记为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1。换言之,响应于变焦指令,需要从图像传感器3读取的像素数据的区域范围与之前不同。
167.在变焦指令表示期望放大所显示对象时,第三图像数据的像素数小于第一图像数据的像素数,即m2<m1,n2<n1。
168.在变焦指令表示期望缩小所显示对象时,第三图像数据的像素数大于第一图像数据的像素数,即m2>m1,n2>n1。
169.与第一图像数据同样地,第三图像数据(对应于第二区域320)的像素行数m2、像素列数n2分别介于图像传感器3的像素行数m、像素列数n和需要提供给显示屏7或其所述设备的图像数据的像素行数r、像素列数s之间。
170.与上述步骤s320一样地,在步骤s350,例如可以通过第二转换装置450,将第三图像数据(对应于第二区域320)转换为第四图像数据325,第四图像数据325的像素数为上述要提供给显示屏7或其所述设备的像素数r
×
s。
171.然后,在步骤s360,例如可以通过第二发送装置460,将第四图像数据325发送给显示屏7或显示屏7所属设备以便进行图像显示。相应地,在所显示的图像中,可以显示对象1的图像120。
172.这样,由于提供给显示屏7的第四图像数据325在图像传感器3上对应的第二区域320的范围,与先前的第一区域310的范围发生了变化,对象1在图像传感器3上所成的图像10在所截取的区域(第一区域310/第二区域320)的占比也相应发生了变化。
173.例如在进行变焦操作以放大对象1的图像显示的情况下,先前在显示屏7上以一定的显示区域(整个显示屏或其部分)显示对应于第一区域310的第二图像数据315时,对象1的显示图像110较小,而进行上述传感器变焦操作之后,在显示屏7上以同样的显示区域显示对应于第二区域320的第四图像数据325时,对象1的显示图像115可以相对放大。
174.应当理解,在第三图像数据为动态视频数据的情况下,对于一帧一帧的第三图像数据都要进行步骤s350的转换处理和步骤s360的发送。换言之,这里,发送第四图像数据325是指持续发送基于动态变化的第三图像数据获得的动态变化的第四图像数据。
175.例如,可以通过上面的变焦操作,确定相应的参数,然后对于后续每一帧图像都以相同的参数对图像传感器上的像素进行处理。即,对于图像传感器上每一帧原始图像数据,读取同样范围内的第三图像数据,进行同样比例的缩放处理,得到对应于第二区域的同样像素数的第四图像数据。
176.由此,在需要变焦处理时,通过截取图像传感器3上不同区域范围内的像素数据,实现了显示屏7上的清晰的变焦显示效果。
177.如上所述,在第二图像数据中,有可能由于指定对象例如人脸图像的画面占比较小,虽然能够识别出是人脸,但是不足以通过人脸识别进行身份分析。
178.在通过上述变焦处理之后,第四图像数据中指定对象例如人脸图像的画面占比增大,人脸图像放大。而在根据本公开的上述放大过程中,人脸图像信息量(图像细节),也即
人脸图像部分的像素数,也同时增多。
179.于是,可以基于第四图像数据,使用人脸识别功能来识别指定对象的身份信息。
180.这样,所识别出的身份信息可用于各种应用场景。
181.例如,可以基于所识别出的身份信息,授予指定对象例如人脸图像所对应的用户执行预定操作的权限。例如,登录某个系统,获得某个信息或内容,进入某个物理空间等等。
182.又例如,还可以基于所识别出的身份信息,对指定对象例如人脸图像所对应的用户进行安全检查。例如,可以进行身份比对等等。
183.之后,如果需要再次进行变焦处理,可以再次执行上述步骤s340至步骤s360的操作。
184.另外,在发送第四图像数据之后,换言之,使用变焦后的参数来进行图像处理,发送和显示图像数据之后,响应于指定对象到图像传感器所属成像设备的距离变为小于第二距离阈值,还可以重新将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示。即还原到变焦之前的显示状态,使用变焦处理之前的参数来进行图像处理,发送和显示图像数据。
185.或者,在发送第四图像数据之后,换言之,使用变焦后的参数来进行图像处理,发送和显示图像数据之后,响应于指定对象相对于第一区域的画面占比变为大于第二占比阈值,还可以重新将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示。即还原到变焦之前的显示状态,使用变焦处理之前的参数来进行图像处理,发送和显示图像数据。
186.上面描述了执行裁切操作时,直接从图像传感器3读取裁切后部分区域的像素数据的技术方案。
187.在另一个实施例中,也可以从图像传感器3读取完整的、或者包括全部有效像素的图像数据,将其保存在存储器6中。然后在后面的处理中,从存储器6中提取对应于相应区域的图像数据,即相应范围内的像素数据。
188.下面参考图5和图6描述根据本公开另一个实施例的图像处理方法。
189.图5是根据本公开另一个实施例的图像处理方法的示意性流程图。
190.图6是根据本公开另一个实施例的图像处理装置的示意性框图。
191.如图6所示,该图像处理装置600可以包括第一读取装置610、第一转换装置620、第一发送装置630、第二读取装置640、第二转换装置650、第二发送装置660。
192.与图3所示图像处理方法相比,图5所示图像处理方法多了一个数据读取并存储的步骤s505。相应地,在步骤s510和s540,从存储器提取对应于相应区域的图像数据。其它步骤s520、s530、s550、s560可以与上文中参考图3描述的s320、s330、s350、s360大致相同。一些相似之处在此不再赘述。
193.在步骤s505,例如可以通过读取装置605,从图像传感器3读取传感器图像数据,并存储在存储器6中。这里,可以将整个图像传感器3所感测的图像数据,或者包括所有有效像素的像素数据的图像数据,从凸窗传感器3中读取出来,存储到存储器6中。
194.在实时呈现动态视频的情况下,图像传感器3每形成一帧图像,就读取该帧图像并存储到存储器6中,然后从存储器6中读取相应区域范围内的像素数据,由处理器4处理后发送给显示屏7进行显示。由此实现实时动态视频的显示。
195.在步骤s510,例如可以通过第一提取装置610,从存储器6上的传感器图像数据中提取对应于第一区域310的第一图像数据,第一图像数据的像素数可以记为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n。
196.在步骤s520,例如可以通过第一转换装置620,将第一图像数据转换为第二图像数据315,第二图像数据315的像素数为上述要提供给显示屏7或其所述设备的像素数r
×
s。
197.在步骤s530,例如可以通过第一发送装置630,将第二图像数据315发送给显示屏7或显示屏7所属设备以便进行图像显示。相应地,在所显示的图像中,可以显示对象1的图像110。
198.在步骤s540,响应于变焦指令,例如可以通过第二提取装置640,从存储器6上的传感器图像数据中提取对应于第二区域320的第三图像数据,第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1。
199.在步骤s550,将第三图像数据转换为第四图像数据325,第四图像数据325的像素数为r
×
s。
200.将第四图像数据325发送给显示屏7或显示屏7所属设备以便进行图像显示。相应地,在所显示的图像中,可以显示对象1的图像120。
201.由此,通过在从存储器6提取图像数据时,改变所提取的像素数据所对应的图像传感器区域的范围,实现了显示屏7上的清晰的变焦显示效果。
202.另外,例如在第二区域是第一区域的一部分的情况下,响应于变焦指令,在执行上述步骤s340至s360的同时,或者说,在步骤s360将第四图像数据325发送给显示屏7或显示屏7所属设备之前,还可以基于在显示屏7一侧先前已经接收到的第二图像数据315,通过数码变焦处理,在显示屏7上呈现从显示对应于第一区域310的图像到显示对应于第二区域320的图像的动态变化过程。
203.在此动态变化过程中,显示屏7上显示的图像对应的图像传感器3的区域范围从较大的第一区域310逐渐向较小的第二区域320缩小。所显示的图像中的各个内容,例如对象1的图像逐渐放大。
204.在接收到步骤s360发送的、对应于第二区域320、像素数m2
×
n2不小于显示屏7进行图像显示所需要的像素数r
×
s的第四图像数据325之前,显示屏7或其所述设备具有对应于第一区域310的第二图像数据315。其中也包括了对应于第二区域320的图像数据,只是这部分图像数据的像素数量小于显示屏7进行图像显示所需要的像素数r
×
s。可以通过例如插值等图像数据处理方法,通过数码变焦的方法,放大所显示的图像,呈现上述变焦放大显示的动态变化过程。
205.另外,在第二区域320大于第一区域310,或者第二区域320的部分区域超出第一区域310的情况下,也可以在显示屏7上呈现上述动态变化过程。这样,在显示上述动态变化过程时,可以在超出第一区域310的部分填充预定像素数据,例如空白像素数据,或者,也可以填充按照预定规则基于第一区域310中的部分或全部像素的像素数据计算得到的像素数据。
206.然后,响应于在步骤s360显示屏7或显示屏7所属设备接收到第四图像数据325,结束上述动态变化过程显示,并基于第四图像数据325进行图像显示。
207.之后,如果需要再次进行变焦处理,可以再次执行上述步骤s540至步骤s560的操
作。
208.上文中重点描述了根据本公开的“传感器变焦”方案。
209.然而,本领域技术人员在阅读上述描述内容之后,还可以得到一些其它实施方式。下文中描述的内容的一些细节可以与上文中描述的相应内容的细节类似或相同。
210.例如,在一些实施例中,可以提供一种图像处理方法,其中,响应于交互请求,从图像数据中识别指定对象;以及在指定对象在图像数据中的画面占比小于预定占比阈值的情况下,执行变焦处理,以增大指定对象在变焦处理之后的图像数据中的画面占比。
211.指定对象可以是人脸图像。可以使用人脸识别功能来从第二图像数据中识别指定对象。
212.此外,还可以响应于用户的设置,开启或关闭人脸识别功能。
213.另外,在一些实施例中,还可以提供一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示。
214.这里,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n。
215.首先,进行图像转换,得到对应于图像传感器上第一区域的第一图像数据且用于在显示屏上显示的第二图像数据。第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n。第二图像数据的像素数为r
×
s。
216.在指定对象到图像传感器所属成像设备的距离大于或等于第一距离阈值的情况下,发出变焦指令。
217.然后,响应于变焦指令,进行图像转换,得到对应于图像传感器上第二区域的第三图像数据且用于在显示屏上显示的第四图像数据。第二区域是指定对象所在区域。第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1。第四图像数据的像素数为r
×
s。
218.此外,在将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示之后,还可以响应于指定对象到图像传感器所属成像设备的距离变为小于第二距离阈值,重新将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
219.另外,在一些实施例中,还可以提供一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示。
220.同样地,这里,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n。
221.首先,进行图像转换,得到对应于图像传感器上第一区域的第一图像数据且用于在显示屏上显示的第二图像数据。第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n。第二图像数据的像素数为r
×
s。
222.在指定对象相对于第一区域的画面占比小于或等于第一占比阈值的情况下,发出变焦指令。
223.然后,响应于变焦指令,进行图像转换,得到对应于图像传感器上第二区域的第三图像数据且用于在显示屏上显示的第四图像数据。第二区域是指定对象所在区域。第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1。第四图像数据的像素数为r
×
s。
224.此外,在将第四图像数据发送给显示屏或显示屏所属设备以便进行图像显示之后,响应于指定对象相对于第一区域的画面占比变为大于第二占比阈值,重新将第二图像数据发送给显示屏或显示屏所属设备以便进行图像显示。
225.可选地,该方法还可以包括:基于指定对象相对于第一区域的画面占比和第一图像数据的像素数m1
×
n1,确定第三图像数据的像素数m2
×
n2。
226.另外,在一些实施例中,还可以提供一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示。
227.同样地,这里,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n。
228.首先,进行图像转换,得到对应于图像传感器上第一区域的第一图像数据且用于在显示屏上显示的第二图像数据。第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n。第二图像数据的像素数为r
×
s。
229.接着,可以从第二图像数据中识别指定对象。
230.然后,响应于变焦指令,进行图像转换,得到对应于图像传感器上第二区域的第三图像数据且用于在显示屏上显示的第四图像数据。第二区域是指定对象所在区域。第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1。第四图像数据的像素数为r
×
s。
231.指定对象有可能在移动中,例如在家中或办公场所中走动。可以响应于指定对象的移动,移动第二区域,保持指定对象的图像位于第二区域中。
232.随着指定对象的移动,第二区域也可能移动超出第一区域的范围。
233.响应于第二区域的部分或全部移动超出第一区域的范围,可以扩大和/或移动图像传感器上第一区域的范围,以使得扩大和/或移动后的第一区域包括第二区域。
234.或者,响应于第二区域的部分或全部移动超出第一区域的范围,还可以转动图像传感器所属成像设备的拍摄方向,以使得转动后图像传感器上的第一区域包括第二区域。
235.另外,在一些实施例中,还可以提供一种图像处理方法,用于处理图像传感器感测的图像以在显示屏上显示。
236.同样地,这里,图像传感器感测的传感器图像数据的像素数为m
×
n,提供给显示屏的图像数据的像素数为r
×
s,r和m分别为像素行数,且r<m,s和n分别为像素列数,且s<n。
237.首先,进行图像转换,得到对应于图像传感器上第一区域的第一图像数据且用于在显示屏上显示的第二图像数据。第一图像数据的像素数为m1
×
n1,m1为像素行数,且r≤m1≤m,n1为像素列数,且s≤n1≤n。第二图像数据的像素数为r
×
s。
238.接着,可以从第二图像数据中识别指定对象。
239.然后,可以进行图像转换,得到对应于图像传感器上第二区域的第三图像数据且用于在显示屏上显示的第四图像数据。第二区域是指定对象所在区域。第三图像数据的像素数为m2
×
n2,m2为像素行数,且r≤m2≤m,n2为像素列数,且s≤n2≤n,m2≠m1,n2≠n1。第四图像数据的像素数为r
×
s。
240.这样,可以基于第四图像数据,使用人脸识别功能来识别指定对象的身份信息。
241.由此,可以基于所识别出的身份信息,授予指定对象对应的用户执行预定操作的权限。
242.或者,还可以基于所识别出的身份信息,对指定对象对应的用户进行安全检查。
243.图7示出了根据本发明一实施例可用于实现上述图像处理方法的计算设备的结构示意图。
244.参见图7,计算设备700包括存储器710和处理器720。
245.处理器720可以是一个多核的处理器,也可以包含多个处理器。在一些实施例中,处理器720可以包含一个通用的主处理器以及一个或多个特殊的协处理器,例如图形处理器(gpu)、数字信号处理器(dsp)等等。在一些实施例中,处理器720可以使用定制的电路实现,例如特定用途集成电路(asic,application specific integrated circuit)或者现场可编程逻辑门阵列(fpga,field programmable gate arrays)。
246.存储器710可以包括各种类型的存储单元,例如系统内存、只读存储器(rom),和永久存储装置。其中,rom可以存储处理器720或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器710可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(dram,sram,sdram,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器710可以包括可读和/或写的可移除的存储设备,例如激光唱片(cd)、只读数字多功能光盘(例如dvd-rom,双层dvd-rom)、只读蓝光光盘、超密度光盘、闪存卡(例如sd卡、min sd卡、micro-sd卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
247.存储器710上存储有可执行代码,当可执行代码被处理器720处理时,可以使处理器720执行上文述及的图像处理方法。
248.上文中已经参考附图详细描述了根据本发明的图像处理方案。
249.此外,根据本发明的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
250.或者,本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本发明的上述方法的各个步骤。
251.应当理解,本公开中的“第一”、“第二”、“第三”、“第四”等仅用于进行区分,而不用于限定顺序或重要性等。
252.本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
253.附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的
逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
254.以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1