一种拍摄方法及设备与流程

1.本技术涉及图像拍摄技术领域，尤其涉及一种拍摄方法及设备。


背景技术：

2.在一些实施方案中，变焦能力是衡量电子设备拍摄能力的一个标准。变焦技术通常用于拍摄距离电子设备较远的被摄物体，使得被摄物体在成像的时候具有放大或拉近的效果。现有技术中，使用数码变焦的电子设备在进行高放大倍数拍摄时成像效果较差。


技术实现要素：

3.本技术的目的在于提供了一种拍摄方法及设备，可以在电子设备使用数码变焦进行高放大倍数拍摄时具有良好的提高成像分辨率的效果。
4.上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。
5.在一种可能的设计中，电子设备响应于第一用户输入，打开第一应用程序；响应于第二用户输入，进入第一拍摄模式，显示第一图像；检测所述第一图像中的第一对象；响应于第三用户输入，输出所述第二图像；对所述第二图像中的所述第一对象使用超分辨率重构网络。
6.例如，手机响应于用户点击相机图标的操作，打开相机应用程序。手机响应于用户拖动放大倍数控件的操作，进入高放大倍数拍照模式，并在取景界面中显示预览图像。手机检测预览图像中包括人像。手机检测到用户点击拍照控件的操作，将预览图像输出到图库中，并对图库中的图像使用超分辨率重构网络，获得具有高分辨率的成像。
7.在一种可能的设计中，所述第一拍摄模式为所述电子设备进行10倍及以上放大倍数进行拍摄。
8.例如，手机在低放大倍数(5倍及以下)时使用光学变焦，在中放大倍数(5倍到10 倍)使用混合变焦，在高放大倍数(10倍及以上)使用数码变焦。数码变焦的成像效果较差。本技术提供的拍摄方法，能够在任一放大倍数实现，但对高放大倍数处理效果更为明显，能够显著提升高放大倍数下拍摄出的图像的分辨率。
9.在一种可能的设计中，所述第一对象为下列项中的至少一项：人像，文本，建筑，月亮，沙滩，蓝天，绿植，或通用对象。
10.在一种可能的设计中，所述超分辨率重构网络包括下列项中的至少一项：人像超分辨率重构网络，文本超分辨率重构网络，建筑超分辨率重构网络，月亮超分辨率重构网络，沙滩超分辨率重构网络，蓝天超分辨率重构网络，绿植超分辨率重构网络，或通用超分辨率重构网络。
11.可以理解的是，用户在进行拍摄时，希望对一些常见的、具有区分性的被摄物体进行优化，人像，文本，建筑，月亮，沙滩，蓝天，绿植等是较为常见的拍摄对象，且具有一定的区分性。通用对象指包括不具有区分性的被摄物体。通过这种设计，能够对一些具有区分性
的被摄物体进行特定优化，满足用户对于常见拍摄对象成像优化的需求。因此这些具有区分性的被摄物体建立特定的超分辨率网络，对不具有区分性的被摄物体建立通用超分辨率重构网络，提升处理效果。
12.在一种可能的设计中，所述超分辨率重构网络的训练数据集包括至少一组训练数据，所述训练数据包括第一训练图像和第二训练图像，所述第一训练图像通过单反相机拍摄，所述第二训练图像通过手机拍摄。
13.通过这种设计，能够使得训练数据集训练出的超分辨率重构网络更适用于手机拍摄。
14.在一种可能的设计中，所述对所述训练数据集的处理还包括：所述训练数据集按照所述第一对象分类；所述训练数据转换格式；所述训练数据配准；所述训练数据集用于训练所述超分辨率重构网络。
15.通过对训练数据的格式转换，将rgb格式转换为yuv格式，并将y通道中的内容输入网络进行训练，能够提升超分辨率重构网络的训练效率。
16.在一种可能的设计中，电子设备响应于第三用户输入，输出所述第二图像前，还包括：检测所述第一图像中的第二对象。
17.在一种可能的设计中，电子设备响应于第三用户输入，输出所述第二图像后，还包括：对所述第二图像的所述第一对象使用所述超分辨率重构网络；或对所述第二图像的所述第二对象使用所述超分辨率重构网络；对所述第二图像的所述第一对象和所述第二对象使用所述超分辨率重构网络。
18.通过这种设计，使得本技术提供的拍摄方法能够处理当被摄物体包括多个具有具有区分性的被摄物体的情况。
19.在一种可能的设计中，电子设备响应于第二用户输入，进入第一拍摄模式前，还包括：响应于第四用户输入，进入第二拍摄模式，显示第三图像；响应于第五用户输入，开始拍摄第一视频；响应于第六用户输入，结束拍摄并输出所述第一视频；检测所述第一视频中的第三对象；对所述第三图像中的所述第三对象使用超分辨率重构网络。
20.例如，第四用户输入为作用于拍摄模式控件的滑动手势以及调整放大倍数控件的操作，相机进入高放大倍数录像模式，并显示预览图像。当手机检测到用户点击拍摄控件的操作，手机开始拍摄视频。一段时间后，手机检测到用户再次点击拍摄控件的操作，手机停止拍摄视频并输出视频至图库。手机对图库中的视频使用超分辨率重构网络。
21.在一种可能的设计中，本技术提供一种电子设备，所述电子设备包括：一个或多个处理器；一个或多个存储器；其中，所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行本技术提供的一种拍摄方法。
22.在一种可能的设计中，本技术提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-9任一所述的方法。
23.在一种可能的设计中，本技术提供一种程序产品，包括指令，当所述指令在计算机上运行时，使得所述计算机执行本技术提供的一种拍摄方法。
24.在一种可能的设计中，本技术提供一种电子设备上的图形用户界面，其特征在于，
所述电子设备具有一个或多个存储器、以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序，所述图形用户界面包括所述电子设备执行本技术提供的一种拍摄方法时显示的图形用户界面。
附图说明
25.图1示出了本技术实施例提供的电子设备的硬件结构示意图；
26.图2示出了本技术实施例提供的电子设备的软件结构示意图；
27.图3示出了本技术实施例提供的电子设备的用户界面示意图；
28.图4a示出了本技术实施例提供的作用于电子设备用户界面的手势示意图；
29.图4b示出了本技术实施例提供的电子设备拍摄时的界面示意图；
30.图5a-图5d示出了本技术实施例提供的对人像使用超分辨率重构网络进行处理的界面示意图；
31.图6a-图6d示出了本技术实施例提供的对文本使用超分辨率重构网络进行处理的界面示意图；
32.图7a-图7d示出了本技术实施例提供的对建筑使用超分辨率重构网络进行处理的界面示意图；
33.图8示出了本技术实施例提供的图库的界面示意图；
34.图9示出了本技术实施例提供的电子设备录像时使用超分辨率重构网络的界面示意图；
35.图10示出了本技术实施例提供的超分辨率重构网络的训练流程图；
36.图11示出了本技术实施例提供的一种使用超分辨率重构网络的流程图；
37.图12示出了本技术实施例提供的另一种使用超分辨率重构网络的流程图。
具体实施方式
38.下面将结合本技术以下实施例中的附图，对本技术实施例中的技术方案进行详尽描述。
39.在一些实施方案中，变焦能力是衡量电子设备拍摄能力的一个标准。变焦技术通常用于拍摄距离电子设备较远的被摄物体，使得被摄物体在成像的时候具有放大或拉近的效果。常见的变焦技术包括光学变焦，数码变焦和混合变焦。其中光学变焦通过改变镜头的焦距实现被摄物体的放大，这种方式对成像画质不会有太大的影响。数码变焦不改变镜头的焦距，而是通过选取需要放大区域的像素点，通过例如插值法/放大像素点的方法放大被摄物体，这种方式对成像画质会有较大的影响。混合变焦是对两种技术的综合，成像的画质也介于光学变焦和数码变焦之间。
40.可以理解的是，被摄物体和电子设备间的距离、电子设备需要对被摄物体的放大倍数在一定程度上影响变焦方式的选择。在一些实施方案中，对于低放大倍数(示例性的低放大倍数为1倍-5倍)通常采用光学变焦，获得更好的成像效果。对于更高的放大倍数，光学变焦因为镜头模组体积较大，不适用于一些电子设备，例如手机，平板电脑，可穿戴设备等。对于中放大倍数(示例性的中放大倍数为5倍-15倍)，这些电子设备可选地使用混合变焦。对于高放大倍数(示例性的高放大倍数为大于15倍)，这些电子设备可选地使用数码变焦技
术。
41.本技术提供了一种拍摄方法及设备，能够在电子设备进行高放大倍数的长焦拍摄的时候获得较好的成像效果，可以应用于诸如手机、平板电脑、可穿戴设备(例如，手表、手环、头盔、耳机、项链等)、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtualreality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等电子设备上，这些电子设备包括至少一个摄像头。本技术实施例对电子设备的具体类型不作任何限制。
42.示例性的，图1示出了电子设备100的结构示意图。如图1所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus， usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏 194，以及用户标识模块(subscriber identification module，sim)卡接口195等。
43.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器 (application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110 中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
44.usb接口130是符合usb标准规范的接口，具体可以是mini usb接口，micro usb 接口，usb type c接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
45.电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
46.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对
经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
47.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local areanetworks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
48.在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global systemfor mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multipleaccess，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long termevolution， lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellitesystem，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentationsystems，sbas)。
49.显示屏194用于显示应用的显示界面，例如相机应用的取景界面等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管 (organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体 (active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emittingdiode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantumdot light emittingdiodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
50.电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
51.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
52.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到
dsp 加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
53.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
54.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
55.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
56.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，以及至少一个应用程序(例如华为视频应用，钱包等)的软件代码等。存储数据区可存储电子设备100使用过程中所产生的数据(例如拍摄的图像、录制的视频等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
57.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将图片，视频等文件保存在外部存储卡中。
58.电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
59.其中，传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器 180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m 等。
60.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。陀螺仪传感器180b可以用于确定电子设备100 的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴 (即，x，y和z轴)的角速度。
61.陀螺仪传感器180b可以用于拍摄防抖。气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d 检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态，应用于横竖屏切换，计步器等应用。
62.距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100 使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100 附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。
63.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
64.温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j 检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100 对电池142的输出电压执行升压，以避免低温导致的异常关机。
65.触摸传感器180k，也称“触控面板”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
66.骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。
67.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。sim卡接口195 用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现与电子设备100的接触和分离。
68.可以理解的是，图1所示的部件并不构成对电子设备100的具体限定，电子设备100 还可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。此外，图1中的部件之间的组合/连接关系也是可以调整修改的。
69.图2示出了本技术实施例提供的电子设备100的软件结构框图。如图2所示，电子设备100的软件结构可以是分层架构，例如可以将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为五层，从上至下分别为应用程序层，应用程序框架层(framework，fwk)，系统库和安卓运行时 (android runtime)，硬件抽象层(hardware abstraction layer，hal)以及内核层。
70.应用程序层可以包括一系列应用程序包。如图2所示，应用程序层可以包括相机、设置、皮肤模块、用户界面(user interface，ui)、三方应用程序等。其中，三方应用程序可以包括图库，日历，通话，地图，导航，wlan，蓝牙，华为音乐，华为视频，短信等。
71.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，api)和编程框架。应用程序框架层可以包括一些预先定义的函数。如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
72.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
73.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
74.电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
75.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
76.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备100振动，指示灯闪烁等。
77.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
78.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
79.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(medialibraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
80.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
81.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库
可以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。
82.三维图形处理库用于实现三维图形绘图，图像渲染，合成和图层处理等。
83.2d图形引擎是2d绘图的绘图引擎。
84.硬件抽象层为硬件层的硬件提供标准接口，硬件抽象层可选地包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
85.内核层是硬件和软件之间的层。内核层可选地包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
86.硬件层可选地包括各类硬件设备，例如传感器模块180中提供的各功能的传感器。
87.在电子设备100调用硬件层的传感器，可选地访问硬件抽象层提供的传感器接口，还可选地使用内核层提供的传感器驱动。
88.下面结合本技术实施例的一种拍摄方法及设备，示例性说明电子设备100的软件以及硬件的工作流程。
89.当触摸传感器180k接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层驱动/硬件抽象层接口启动摄像头193，通过摄像头193捕获静态图像或视频。
90.以下实施例将以图1或图2所示的电子设备100是手机为例，结合附图介绍本技术实施例提供的技术方案。
91.图3示出了根据一些实施方案的手机的示例性用户界面301，该用户界面301可以显示在手机的显示屏194上。
92.在一些实施方案中，用户界面301可选地包括以下元件或其子集或其超集：
93.●
固定在顶部状态栏且用于指示本机状态的图标，包括：一个或多个信号强度(例如移动网络，wi-fi)指示符303，当前时间305，用于指示电池142电量的电量指示符307；
94.●
主界面及主界面上的应用程序图标，包括：时钟309，日历311，图库313，备忘录 315，文件管理317，电子邮件319，音乐321，钱包323，华为视频325，运动健康327，天气329，浏览器331，智慧生活333，设置335，录音机337，应用商城339；
95.●
固定在底部的应用程序图标：相机341，通讯录343，电话345，信息347；
96.●
指示当前所在界面的指示符349。
97.可以理解的是，主界面包括时钟309，日历311，图库313，备忘录315，文件管理317，电子邮件319，音乐321，钱包323，华为视频325，运动健康327，天气329，浏览器331，智慧生活333，设置335，录音机337，应用商城339。当用户界面301显示其他用于显示应用程序图标的界面(非主界面)，指示当前所在界面的指示符349可选地指向切换后的界面，固定在顶部状态栏的图标可选地不变，固定在底部的应用程序图标可选地不变。
98.可以理解的是，上述图标仅仅是应用程序的一些示例，还可以为这些示例性应用程序的其他表现形式，还可以为其他应用程序对应的图标。
99.图4a示出了在手机上启动相机341的操作示意图。手机检测到用户点击用户界面301 中的相机341的操作401，示出了图4b中相机341启动后的用户界面403。
100.图4b中的用户界面403包括取景界面405。该取景界面405是拍照模式下的取景界面。此时摄像头193已经启动，摄像头193将捕捉的画面呈现在取景界面405中。
101.用户界面403还包括拍摄模式控件407，控件中可选地包括光圈模式，夜景模式，人像模式，拍照模式，录像模式，专业模式和更多模式。手机能够接收用户作用于模式控件405 上的滑动手势，实现拍摄模式的切换。
102.用户界面403还包括拍摄模式指示符409，用于指示手机当前的拍摄模式，指示符409 可选地固定不动。如图4b中的指示符409说明手机当前处于拍照模式。
103.用户界面403还包括摄像头切换控件411，当手机包含至少两个摄像头193时，摄像头切换控件411能够接收用户的点击操作，在取景界面405中显示其他摄像头193采集到的画面。
104.用户界面403还包括拍照控件413，当手机检测到用户点击拍照控件413的操作，手机根据取景界面405中的预览图像生成最终成像。最终成像可选地通过点击用户界面403中的图库控件415查看，还可选地通过点击图3中用户界面301的图库应用313查看。
105.用户界面403还包括放大倍数控件417，用于显示取景界面中405中被摄物体的放大倍数。示例性地用x表示放大倍数，如1x表示一倍放大，2x表示2倍放大，30x表示30倍放大。
106.在一些实施方案中，放大倍数控件417只具有显示功能，显示被摄物体的放大倍数，检测用户作用于所述取景界面405的捏合手势(pinch)，调整被摄物体的放大倍数。
107.在一些实施方案中，放大倍数控件417能够检测用户的点击操作，实现放大倍数的调整，例如放大倍数控件417显示1x放大倍数(1倍放大)，在检测到用户的点击操作后，放大倍数控件417显示2x放大倍数(2倍放大)，用来调整被摄物体的当大倍数。
108.在一些实施方案中，放大倍数控件417检测到用户的拖动手势，出现放大倍数显示条，根据用户手指在放大倍数显示条上的位置，调整被摄物体的放大倍数。
109.在一些实施方案中，放大倍数控件417可以为上述实施方案的组合，还可以为上述实施方案外的其他可选实施方案。调整放大倍数可以为上述实施方案的组合，还可以为上述实施方案外的其他可选实施方案。
110.用户界面403还包括场景识别控件419，应用场景分类算法，识别被摄物体的类型，并根据被摄物体的类型自动调节取景界面405中被摄物体的色彩和亮度。本技术示例性的场景识别控件419为华为技术有限公司(huawei technologies co.,ltd)提供的ai摄影大师，能够识别舞台，沙滩，蓝天，绿植，文本，人像等场景。在一些实施方案中，场景识别控件419始终开启。在另一些实施方案中，场景识别控件419能够接收用户操作，实现手动启动/关闭，场景识别控件419可选地在用户界面403中显示(如图4b)，还可选地在设置控件421中显示，还可选地在其他用户界面示出。
111.用户界面419还包括设置控件421，用于对相机341进行设置。
112.本技术提供了一种拍摄方法及设备，使用超分辨率成像(super-resolution imaging)技术，使得电子设备100在进行长焦拍摄(高放大倍数)时获得更好的成像效果。
113.1、构建超分辨率重构网络的训练数据集
114.在一些实施方案中，训练数据集的常用构建手段为使用第一图像作为高分辨率图像，然后对第一图像进行处理，获得低分辨率的第二图像。最后将第一图像和第二图像作为
一组图像加入训练数据集。其中，处理的方式可选地为使用退化算子对第一图像进行处理，并将处理后的图像与噪声/模糊叠加。常见的图像退化方式包括线性移动降质，散焦降质，高斯降质，离焦模糊等。
115.其中，第一图像可选地为非实际拍摄所得的图像。通过这种方法得到的训练数据集对于非实拍图像的超分辨率重构可以起到一定的效果，但由于实拍图像的成像结果更为复杂，使用非实拍训练数据集训练得到的超分辨率重构网络，在对实拍图像进行超分辨率重构时，不能够很好地处理实拍图像的噪声和模糊，在丰富图像细节的同时会产生较多的伪纹理，影响成像质量，降低用户的视觉感受。
116.在另一些实施方案中，第一图像为实拍所得，如通过具有长焦镜头的数码相机拍摄，使用退化算子对第一图像进行处理，并叠加噪声/模糊，得到第二图像。最后将第一图像和第二图像作为一组训练数据加入训练数据集。这种实施方案能够在一定程度上提高超分辨率重构网络对实拍图像的处理效果，一定程度上提高用户的视觉感受。但是这种方法的第一图像是由带有长焦镜头的数码相机拍摄获得，且数码相机和手机的成像方式/效果不同。该训练数据集训练出的超分辨率重构网络对手机长焦拍摄的处理效果有限。
117.本技术提出了一种获得训练数据集的方法，其中高分辨率图像由具有大尺寸长焦镜头的电子设备(例如单反相机，微单相机等)拍摄，低分辨率图像由不具有大尺寸长焦镜头的电子设备(例如手机)拍摄(步骤1001)。将高分辨率图像和低分辨率图像作为一组训练数据加入训练数据集。通过这种方法得到的训练数据集，能够使得训练出的超分辨率重构网络更适用于手机的长焦拍摄。
118.本技术还提出了针对不同类型的被摄物体采用不同的超分辨率重构网络，对一些特殊被摄物体，例如人像、文本、建筑、月亮等分别使用人像超分辨率重构网络、文本超分辨率重构网络、建筑超分辨率重构网络、月亮超分辨率重构网络。针对不同的被摄物体建立不同的超分辨率重构网络，每种被摄物体能够获得更好的、具有针对性的重构效果。例如人像超分辨率重构网络使用人像作为训练数据集进行训练，能够注重人脸的五官恢复；又例如文本超分辨率重构网络能够针对文本进行恢复，锐化文本，去除噪声；又例如建筑超分辨率重构网络，能够对弧形、线性的外观进行较好的训练。对于一些不存在特殊类型的被摄物体，可选地使用通用超分辨率重构网络，实现被摄物体的重构。
119.在一些实施方案中，针对文本超分辨率重构网络进行训练的时候，为了获得更优的训练数据集，可以选择捕捉电子设备100的显示屏194上显示的文本作为高分辨率图像，选择手机拍摄的图像作为低分辨率图像。这种方式使得高分辨率图像更趋近于实际图像。能够有效提升训练效果。
120.下面将说明对训练数据集进行处理的过程。
121.首先根据被摄物体的类型对训练数据集中的图像进行分类(步骤1003)，将分类后的图像根据被摄物体类型放入该类型对应的训练数据集，重新规范化命名训练数据，并为每个类型的训练数据集设定标签。
122.其次，转换训练数据的图像格式(步骤1005)。根据上面所述方法得到的高分辨率图像和低分辨率图像，均为rgb格式。为了提高超分辨率网络的训练效率，可以先将训练数据集中的图像从rgb格式转化为yuv格式，再提取yuv格式图像中的y通道中的图像，将提取出的结果作为训练数据，添加到训练数据集中。此时超分辨率重构网络使用图像的y 通道
中的图像进行训练。在实际使用中，在取景界面405中的预览图像首先从rgb转为yuv格式，再将y通道中的图像输出超分辨率重构网络，然后将超分辨率重构网络输出的结果与u通道、v通道进行合并，得到yuv格式的图像，最后将yuv格式的图像转换为 rgb格式，将最终的图像以rgb的格式输出。
123.然后，需要对图像进行配准(步骤1007)。由于视场角变化，漂移，曝光时长和光学畸变等因素的影响，手机拍摄的低分辨率和数码相机拍摄的高分辨率图像最终成像效果有较大差别，需要对图像进行配准。在进行畸变校正时，在一些实施方案中，可以通过标定板确定手机和数码相机的内参矩阵和外参矩阵，并通过内参矩阵和外参矩阵对图像进行畸变校正；在一些实施方案中，当被摄物体为文本时，可以在文本的周围添加规则图形(例如矩形)，在进行畸变校正的时候通过检测图像中的这些规则图形，得到规则图形间的映射函数，并通过该映射函数进行畸变校正。在进行配准时，在一些实施方案中，可以检测两张图像的特征，实现图像间特性的匹配，并根据特性区域的尺寸大小裁剪图像，获得两张尺寸相同的高分辨率图像和低分辨率图像；在另一些实施方案中，由于数码相机拍摄图像的尺寸会大于手机拍摄图像的尺寸，可以在查看手机图像的尺寸，然后在数码相机拍摄时通过人为调整使得被摄物体成像后经过裁剪具有相同的尺寸。
124.2、搭建超分辨率重构网络
125.在得到了训练数据集后，下面将进行超分辨率重构网络的搭建。超分辨率网络具有多种网络形态，本技术示例性地说明文本超分辨率重构网络和人像超分辨率重构网络。可以理解的是，本技术未对超分辨率网络的网络结构进行限制，还可以使用本技术外的其他网络结构搭建超分辨率重构网络。
126.首先是针对文本的超分辨率重构网络。本技术针对文本的超分辨率重构采用两阶段网络设计，第一阶段采用图像细节恢复网络(例如u-net网络)，用于对图像中文字的细节进行恢复。
127.在一些实施方案中，训练数据集中的图像的尺寸m
×
n(m，n表示像素点数，为大于等于1的正整数)，经过一层卷积层后扩展通道；后采用卷积层进行p(p为大于等于1的正整数)次下采样，每次下采样通道数增加一倍；接着使用与下采样卷积对称的反卷积层对特征图进行上采样，每次上采样通道数为上采样前的一半。上采样后经过两个卷积层将通道数降为1并输出结果。每一层下采样得到的特征图都与对应尺度的长采样后的特征图 (feature map)进行相加操作，将提取特征信息传入网络输出层以及前几层。
128.相比于普遍使用的u-net网络，本算法改进点如下：减少上/下采样层后的卷积层数量，旨在保证模型效果前提下提升效率；在对应尺度的特征图采用相加操作，增强神经网络处理器(npu，neural-network processing units)的匹配性与计算效率。
129.第二阶段使用多层残差网络结构，使用高分辨率图像叠加噪声和/或模糊作为低分辨率图像，将高分辨率图像和低分辨率图像作为一组训练数据加入训练数据集。第二阶段网络能够在一定程度上实现文字锐化和背景去噪。
130.然后是针对人像的超分辨率重构网络。该网络有两个生成器和多个判别器组成：两个生成器串行连接，在不同尺度上对图像进行细节增强，同时使用多个判别器对不同尺度的结果进行判别真伪，为生成器提供优化方向。
131.在搭建完针对不同被摄对象的超分辨率重构网络的结构后，使用训练数据集对超
分网络进行训练(1009)，获得超分辨率重构网络模型。
132.3、使用超分辨率重构网络
133.下面将结合图10说明电子设备100进行超分辨率重构的过程。
134.首先说明的是一种实时使用超分辨率重构网络的方案，这种方式计算量大，能够实时供用户查看超分辨率重构网络的处理结果，用户体验好。
135.电子设备100响应于第一用户输入，打开(步骤1101)相机应用341，此时电子设备 100调用摄像头193，将摄像头193捕捉的画面在取景界面405中显示。其中第一用户输入可选地为打开相机应用的点击操作。
136.电子设备100响应于第二用户输入，进入(步骤1103)第一拍摄模式，显示第一图像。电子设备100接收用户调整放大倍数控件417的操作，处于高放大倍数拍摄状态，例如10 倍及以上放大倍数。此时取景界面405中呈现摄像头193捕捉的图像。
137.电子设备100检测(步骤1105)所述第一图像中的物体。电子设备100的场景识别控件419处于开启状态，电子设备100的处理器110识别取景界面405中的被摄物体的类型。可以理解的是，场景识别控件419可选地处于默认开启的状态，还可选地接收用户的输入后处于开启状态。可选地，处理器110识别被摄物体中所有物体的类型，例如当被摄物体中包括人像，建筑和文本，处理器110可选地输出被摄物体为人像，建筑和文本。可选地，处理器110按照占据像素点数量输出一个或多个被摄物体，例如被摄物体中人像占据的像素点最多，输出被摄物体为人像，又例如被摄物体中人像占据的像素最多，建筑占据的像素点其次，处理器110输出被摄物体为人像和建筑。可选地，处理器110根据与被摄物体的距离输出被摄物体，例如当电子设备100包括两个及以上的摄像头193，电子设备根据被摄物体在两个摄像头中的视差，测定被摄物体与电子设备100的距离，若人像距离电子设备 100最近，处理器110输出被摄物体为人像。可选地，处理器110根据设定的优先级输出被摄物体，例如当被摄物体中包括人像，建筑和文本，人像的输出优先级高于建筑和文本，处理器110输出被摄物体为人像。可选的，处理器110根据用户的对焦点输出被摄物体，例如当被摄物体中包括人像，建筑和文本，用户手动选择对焦点为人像，处理器110输出被摄物体为人像。
138.电子设备100对所述物体使用(步骤1107)超分辨率重构网络进行处理，显示第二图像。电子设备100首先对所述物体进行格式转换，电子设备将所述图像由rgb格式转换为 yuv格式，并提取y通道中的图像。可选的是，电子设备100实时使用超分辨率重构网络，并将处理后的结果实时显示在取景界面405中。还可选的是，电子设备在用户点击拍照控件413后使用超分辨率重构网络，在图库313中显示处理后的图像。在电子设备100的设别能力足够时，实时显示处理后的图像能够带来更好的用户体验。可以理解的是，电子设备100实时使用超分辨率重构网络时，需要将超分辨率重构网络的y通道输入与u通道和 v通道中的图像结合，并将图像转为rgb格式。
139.在一些实施方案中，当电子设备100通过摄像头193进行高放大倍数拍摄时，处理器 100检测被摄物体的类型。当被摄物体中包括特殊场景时，将使用特殊场景对应的超分辨率重构网络；当被摄物体中不包括特殊场景时，将通用超分辨率重构网络。
140.在一些实施方案中，当电子设备100通过摄像头193进行高放大倍数拍摄时，处理器 100检测被摄物体的类型。当被摄物体中包括特殊场景时，确定特殊场景的区域，使用特殊场景对应的超分辨率重构网络；保留剩余部分。
141.在一些实施方案中，当电子设备100通过摄像头193进行高放大倍数拍摄时，处理器 100检测被摄物体的类型。当被摄物体中包括特殊场景时，确定特殊场景的区域，使用特殊场景对应的超分辨率重构网络；将剩余部分输入超分辨率重构网络。
142.在一些实施方案中，电子设备100将经过超分辨率重构网络处理过后的预览图像显示在取景界面405中。电子设备100响应于第三用户输入，输出(步骤1109)所述第二图像。电子设备100接收到用户作用于拍照控件413的第三用户输入，将预览图像转换为图像后，放入图库313对应的路径中。用户可以在图库313中查看。
143.然后说明的是一种在图库中使用超分辨率重构网络的方案，这种方案的计算量较小，但是不能够供用户实时预览处理后的结果。具体的实现过程在上面的步骤中已经陈述，此时不再赘述。
144.电子设备100响应于第一用户输入，打开(步骤1201)第一应用程序。电子设备100 响应于第二用户输入，进入(步骤1203)第一拍摄模式，显示第一图像。电子设备100检测(步骤1205)第一图像中的第一对象。响应于第三用户输入，电子设备100输出(步骤 1207)所述第一图像至图库313所在的路径。对第一图像中的第一对象使用(步骤1209) 超分辨率重构网络进行处理，得到最终成像。用户在查看图库313中的图像为最终成像。
145.下面结合ui界面说明本技术的进行人像超分辨率重构的一个实施例。
146.图4a示出了电子设备100检测到点击相机应用341的用户操作，打开相机应用341。
147.图5a示出了此时电子设备100调用摄像头193，将摄像头193捕捉的画面在用户界面 501的取景界面405中显示。可以看出，放大倍数控件417显示当前的放大倍数为30x，属于高放大倍数拍摄；场景识别控件419处于打开状态，手机的处理器110正在识别摄像头 193捕捉的显示在取景界面405中的预览图像中是否包括特殊场景。
148.图5b示出了电子设备100识别到被摄物体中包括人像，可选地将检测到的人像通过指示框505在用户界面503示出。电子设备100将指示框505中的人像区域输入人像超分辨率重构网络。当电子设备100得到网络的输出后，将网络的输出结果和剩余部分融合后作为处理后的预览图像显示在图5c的用户界面507的取景界面405中。可以看出，在进行超分辨率重构后，图像的分辨率有了较大的改善，局部地区的噪音和模糊得到了去除。
149.在一些实施方案中，电子设备100检测到用户点击场景识别控件419的操作，场景识别控件419停止工作，处理器110停止识别取景界面405中的预览图像，指示框505停止显示，取景界面405中预览图像从图5c中示出的经过超分辨率重构网络处理的预览图像回到图5b中处理前的预览图像。
150.图5d示出了电子装备100接收到用户点击拍照控件413的操作，将取景界面405中的预览图像转换为图像，放入图库313对应的路径，并在用户界面509的图库控件415中显示图像的缩略图。
151.下面结合ui界面说明本技术的进行文本超分辨率重构的一个实施例。
152.图4a示出了电子设备100检测到点击相机应用341的用户操作，打开相机应用341。
153.图6a示出了此时电子设备100调用摄像头193，将摄像头193捕捉的画面在用户界面 601的取景界面405中显示。可以看出，放大倍数控件417显示当前的放大倍数为30x，属于高放大倍数拍摄；场景识别控件419处于打开状态，手机的处理器110正在识别摄像头 193捕捉的显示在取景界面405中的预览图像中是否包括特殊场景。
154.图6b示出了电子设备100识别到被摄物体中包括文本，可选地将检测到的文本通过指示框605在用户界面603示出，指示框605指示当前识别的特殊场景为文本。电子设备100 可选地将指示框605中的预览图像输入文本超分辨率重构网络。当电子设备100得到文本超分辨率重构网络的输出，将它作为处理后的预览图像显示在图6c的用户界面607的取景界面405中。可以看出，在进行超分辨率重构后，图像的分辨率有了较大的改善，文本的的显示效果得到了增强。
155.在一些实施方案中，电子设备100检测到用户点击场景识别控件419的操作，场景识别控件419停止工作，处理器110停止识别取景界面405中的预览图像，指示框605停止显示，取景界面405中预览图像从图6c中示出的经过超分辨率重构网络处理的预览图像回到图6b中处理前的预览图像。在另一些实施方案中，电子设备100检测到用户点击指示框 605中的
“×”
图标的操作，处理器110停止识别取景界面405中的预览图像，指示框605停止显示，取景界面405中预览图像从图6c中示出的经过超分辨率重构网络处理的预览图像回到图6b中处理前的预览图像。
156.图6d示出了电子装备100接收到用户点击拍照控件413的操作，将取景界面405中的预览图像转换为图像，放入图库313对应的路径，并在用户界面609的图库控件415中显示图像的缩略图。
157.下面结合ui界面说明本技术的进行建筑超分辨率重构的一个实施例。
158.图4a示出了电子设备100检测到点击相机应用341的用户操作，打开相机应用341。
159.图7a示出了此时电子设备100调用摄像头193，将摄像头193捕捉的画面在用户界面 701的取景界面405中显示。可以看出，放大倍数控件417显示当前的放大倍数为30x，属于高放大倍数拍摄；场景识别控件419处于打开状态，手机的处理器110正在识别摄像头 193捕捉的显示在取景界面405中的预览图像中是否包括特殊场景。
160.图7b示出了电子设备100识别到被摄物体中包括建筑，可选地将检测到的建筑通过指示框705在用户界面703示出，指示框705指示当前识别的特殊场景为建筑。电子设备100 可选地将指示框705中的预览图像输入建筑超分辨率重构网络。当电子设备100得到建筑超分辨率重构网络的输出，将它作为处理后的预览图像显示在图7c的用户界面707的取景界面405中。可以看出，在进行超分辨率重构后，图像的分辨率有了较大的改善，被摄建筑的显示效果得到了增强。
161.在一些实施方案中，电子设备100检测到用户点击场景识别控件419的操作，场景识别控件419停止工作，处理器110停止识别取景界面405中的预览图像，指示框705停止显示，取景界面405中预览图像从图7c中示出的经过超分辨率重构网络处理的预览图像回到图7b中处理前的预览图像。在另一些实施方案中，电子设备100检测到用户点击指示框 705中的
“×”
图标的操作，处理器110停止识别取景界面405中的预览图像，指示框705停止显示，取景界面405中预览图像从图7c中示出的经过超分辨率重构网络处理的预览图像回到图7b中处理前的预览图像。
162.图7d示出了电子装备100接收到用户点击拍照控件413的操作，将取景界面405中的预览图像转换为图像，放入图库313对应的路径，并在用户界面709的图库控件415中显示图像的缩略图。
163.图8示出了电子设备100图库的示意图801，图库用于存储拍摄的图片和/或的视
频。图库可以通过点击用户界面403中的图库控件415查看，还可选地通过点击图3中用户界面301的图库313查看。图8示出了经过图5a-图5d过程拍摄的人像图像的缩略图，示出了经过图6a-6d过程拍摄的文本图像的缩略图，示出了经过图7a-图7d过程拍摄的建筑图像的缩略图。
164.图9示出了本技术实施例提供的电子设备录像时使用超分辨率重构网络的界面示意图，用户界面图包括用户界面901。此时拍摄模式控件409显示当前电子设备100处于录像模式，放大倍数控件417显示当前放大倍数为30x。此时处理器110识别被摄物体为人像，将人像通过指示框903标注。此时取景界面905示出人像超分辨率网络实施处理后的结果。
165.在一些方案中，还可以不在录像中实时使用超分辨率重构网络，而是在结束录像后，在图库313中对输出的结果使用超分辨率重构网络。可选地为自动使用超分辨率重构网络，还可选地为接收用户指令使用超分辨率重构网络。
166.以上实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本技术实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，a 和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
167.在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
168.上述本技术提供的实施例中，从电子设备(例如手机)作为执行主体的角度对本技术实施例提供的方法进行了介绍。为了实现上述本技术实施例提供的方法中的各功能，终端设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。
169.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以
是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质 (例如固态硬盘solid state disk(ssd))等。
170.需要指出的是，本专利申请文件的一部分包含受著作权保护的内容。除了对专利局的专利文件或记录的专利文档内容制作副本以外，著作权人保留著作权。