用于使用卷积神经网络的视频超分辨率的方法和设备与流程
本申请要求2017年11月9日在美国专利商标局申请且指定序列号62/583,633的美国临时专利申请和2018年4月5日在美国专利商标局申请且指定序列号15/946,531的美国非临时专利申请的优先权，所述申请的全部内容以引用的方式并入本文中。
本公开大体上涉及视频超分辨率(superresolution；sr)，且更确切地说，涉及一种使用具有二阶段运动补偿的卷积神经网络(convolutionalneuralnetwork；cnn)的视频sr的设备和方法。
背景技术：
视频超分辨率是用于将低分辨率(lowresolution；lr)视频恢复为高分辨率(highresolution；hr)视频的方法。视频超分辨率改进质量且从已用于移动/智能手机相机中的低分辨率视频检索信息。在一些典型视频超分辨率系统之间，使用深度cnn。
由于时间运动信息并未良好使用，因此常规视频sr系统的精度受到限制。常规的视频sr方法仅使用lr域中的运动。
构造基于cnn的视频超分辨率系统的问题涉及使用时间信息以对齐帧。大部分常规方法仅接收lr中的光流，且将图像变形应用于运动补偿。由于仅考虑lr运动，因此性能受到限制。
技术实现要素：
根据一个实施例，本系统和方法经由二阶段运动补偿来构建视频超分辨率系统以改进输出质量。
根据一个实施例，提供一种用于使用卷积神经网络的视频超分辨率的方法。方法包含：接收具有第一多个帧的视频，所述第一多个帧具有第一分辨率；基于第一类型的运动补偿从第一多个帧生成多个变形帧；生成具有第二分辨率的第二多个帧，其中第二分辨率属于比第一分辨率更高的分辨率，其中使用卷积网络从多个变形帧的子组获得具有第二分辨率的第二多个帧中的每一个；以及基于第二类型的运动补偿生成具有第二分辨率的第三多个帧，其中从第二多个帧的子组的融合获得具有第二分辨率的第三多个帧中的每一个。
根据一个实施例，提供一种用于使用卷积神经网络的视频超分辨率的设备。所述设备包含：接收器，配置成接收具有第一多个帧的视频，所述第一多个帧具有第一分辨率；第一分辨率补偿装置，配置成基于第一类型的运动补偿从第一多个帧生成多个变形帧；多图像空间超分辨率(sr)装置，配置成生成具有第二分辨率的第二多个帧，其中第二分辨率属于比第一分辨率更高的分辨率，其中使用卷积网络从多个变形帧的子组获得具有第二分辨率的第二多个帧中的每一个；以及第二分辨率运动补偿装置，配置成基于第二类型的运动补偿生成具有第二分辨率的第三多个帧，其中从第二多个帧的子组的融合获得具有第二分辨率的第三多个帧中的每一个。
附图说明
通过以下结合附图进行的详细描述将更加清楚地了解本公开的某些实施例的上述和其它方面、特性和优点，其中：
图1是根据一个实施例的视频sr系统的框图。
图2是根据一个实施例的具有二阶段运动补偿的本视频sr系统的框图。
图3是根据一个实施例的本hr运动补偿模块的框图。
图4是根据一个实施例的执行本视频sr系统的另一框图。
图5是根据一个实施例的执行本视频sr系统的另一框图。
图6是根据一个实施例的用于说明基于三维(threedimensional；3d)srcnn(srcnn)的多空间sr的示范性示图。
图7是根据一个实施例的用于说明训练用于高效hr运动估计的srcnn的示范性示图。
图8是根据一个实施例的在网络环境中的电子装置的框图。
图9是根据一个实施例的相机模块的框图。
图10是根据一个实施例的显示装置的框图。
图11是根据一个实施例的程序的框图。
图12是根据一个实施例的电子装置的无线通信模块、电源管理模块以及天线模块的框图。
附图标号说明
101、201：lr运动补偿装置；
103、203：多图像空间sr装置；
205：hr运动补偿装置；
301：hr运动估计装置；
303：图像变形装置；
305、411、511：融合装置；
401：第一神经网络装置；
403、503：第一变形装置；
405、505：多图像空间sr装置；
407：第二神经网络装置；
409、509：第二变形装置；
501：神经网络装置；
507：光流超分辨率装置；
800：网络环境；
801：电子装置；
802、804：电子装置/外部电子装置；
808：外部电子装置/服务器；
820：处理器；
821：主处理器；
823：辅助处理器；
830、950、1033：存储器；
832：易失性存储器；
834：非易失性存储器；
836：内部存储器；
838：外部存储器；
840：程序；
842：操作系统；
844：中间件；
846：应用程序；
850：输入装置；
855：声音输出装置；
860：显示装置；
870：音频模块；
876、1076：传感器模块；
877：接口；
878：连接端子
879：触觉模块；
880：相机模块；
888：电源管理模块；
889：电池；
890：通信模块；
892：无线通信模块；
894：有线通信模块；
896：订户识别模块；
897：天线模块；
897-1：mst天线；
897-3：nfc天线；
897-5：无线充电天线；
898：第一网络；
899：第二网络；
910：镜头组合件；
920：闪光灯；
930：图像传感器；
940：图像稳定器；
960：图像信号处理器；
1010：显示器；
1030：显示驱动器集成电路
1031：接口模块；
1035：图像处理模块；
1037：映射模块；
1050：触控电路；
1051：触控传感器；
1053：触控传感器ic；
1101：应用程序管理器；
1103：窗口管理器；
1105：多媒体管理器；
1107：资源管理器；
1109：电源管理器；
1111：数据库管理器；
1113：程序包管理器；
1115：连接管理器；
1117：通知管理器；
1119：位置管理器；
1121：图形管理器；
1123：安全管理器；
1125：电话管理器；
1127：语音识别管理器；
1151：家用应用程序；
1153：拨号器应用程序；
1155：短消息服务/多媒体消息接发服务应用程序；
1157：即时消息应用程序；
1159：浏览器应用程序；
1161：相机应用程序；
1163：告警应用程序；
1165：接触应用程序；
1167：语音识别应用程序；
1169：电子邮件应用程序；
1171：日历应用程序；
1173：媒体播放器应用程序；
1175：个人相册应用程序；
1177：监视应用程序；
1179：健康状况应用程序；
1181：环境信息应用程序；
1210：磁性安全传输通信模块；
1230：近场通信模块；
1250：无线充电模块。
具体实施方式
在下文中，参考附图来详细描述本公开的实施例。应注意，尽管相同元件绘示于不同附图中，但相同元件将由相同参考编号指定。在以下描述中，仅提供如详细配置和组件的具体细节以帮助总体理解本公开的实施例。因此，所属领域的技术人员将明白，在不脱离本公开的范围的情况下可进行对本文中所描述的实施例的各种变化和修改。另外，出于清楚和简洁起见，省略熟知的功能和构造的描述。下文所描述的术语是考虑本公开中的功能所定义的术语，且可根据用户、用户的意图或常规而不同。因此，术语的定义应基于整个说明书中的内容来确定。
本公开可具有各种修改和各种实施例，在本公开中参考附图在下文详细描述实施例。然而，应理解，本公开不限于实施例，但包含本公开的范围内的所有修改、等效物和替代例。
尽管包含如第一和第二等的序数的术语可用于描述各种元件，但结构元件不受术语限制。术语仅用于将一个元件与另一元件区分开来。举例来说，在不脱离本公开的范围的情况下，第一结构元件可称为第二结构元件。类似地，第二结构元件也可称作第一结构元件。如本文中所使用，术语“和/或”包含一或多个相关物品的任何和所有组合。
本文中所用的术语仅用于描述本公开的各种实施例但并不意欲限制本公开。除非上下文另外明确指示，否则单数形式意欲包含复数形式。在本公开中，应理解，术语“包含”或“具有”指示特性、编号、步骤、操作、结构元件、部件或其组合的存在，且排除一或多个其它特性、编号、步骤、操作、结构元件、部件或其组合的存在或可能性。
除非不同定义，否则本文中所使用的所有术语具有与本公开所属的领域的技术人员理解的那些术语相同的含义。如一般所使用的词典中所定义的那些术语的术语将解释为具有与相关技术领域中的上下文含义相同的含义，且除非在本公开中清楚地定义，否则将不解释为具有理想或过度正式的含义。
图1是根据一个实施例的视频sr系统的流程图。视频sr系统包含lr运动补偿装置101和多图像空间sr分辨率装置103。
图2是根据一个实施例的具有二阶段运动补偿的本视频sr系统的框图。本视频sr系统包含lr运动补偿装置201、多图像空间sr分辨率装置203以及hr运动补偿装置205。hr运动补偿装置205接收中间hr输出，所述中间hr输出是作为输入的多图像空间sr装置203的输出，且输出改进的hr帧。
图3是根据一个实施例的本hr运动补偿装置的框图。hr运动补偿装置205包含hr运动估计装置301、图像变形装置303以及融合装置305，其中变形指示改变形状(例如弯曲、扭转)，且其中融合指示汇合(joining)。
hr运动补偿装置205接收由多图像空间sr装置203生成的中间hr帧作为输入，计算hr光流，使用hr光流以使中间hr帧变形，以及将加权融合应用到变形的hr帧以生成改进帧作为输出，其中加权融合指示根据指定权重执行融合。
本系统包含如下文图4和图5中所描述的用于hr运动估计的两种方法。
图4是根据一个实施例的执行本视频sr系统的另一框图。本视频sr系统包含具有二阶段补偿的神经网络(例如cnn)。本hr运动补偿装置包含第一神经网络装置401、第一变形装置403、多图像空间超分辨率装置405、第二神经网络装置407、第二变形装置409以及融合装置411，其中变形发生在融合之前。
第一神经网络装置401和第一变形装置403接收lr视频。第一神经网络装置401可将flownet2.0直接地应用到所接收lr视频的帧以确定lr视频的光流。第一神经网络装置401以增大的计算成本来提供增强精度。此外，为确定中间hr输出的光流，本视频超分辨率系统等待多图像空间sr装置405生成中间hr输出。因此，效率相对低。
第二变形装置409可执行与第一变形装置403相同的变形函数。
融合装置可包含基于图像变形之后的高斯权重(gaussianweights)和运动惩罚的融合方法。视频超分辨率系统包含三个装置：lr运动补偿装置、多图像空间sr装置以及hr运动补偿装置。第一神经网络装置401和第一变形装置403可以是lr运动补偿装置的部分。多图像空间sr装置405可以是多图像空间sr装置的部分。第二神经网络装置407、第二变形装置409以及融合装置411可以是hr运动补偿装置的部分。
图5是根据一个实施例的执行本视频sr系统的另一框图。本视频sr系统包含神经网络(例如cnn)和具有二阶段运动补偿的光流sr。本hr运动补偿装置包含神经网络装置501、第一变形装置503、多图像空间超分辨率装置505、光流超分辨率装置507、第二变形装置509以及融合装置511。
神经网络装置501和第一变形装置503接收lr视频。神经网络装置501可将flownet2.0直接地应用到所接收lr视频的帧以确定lr视频的光流。
光流超分辨率装置507接收由神经网络装置501确定的所接收的lr视频的光流。光流超分辨率装置507基于由神经网络装置501确定的lr光流和超分辨率网络方法来确定hr光流。
相较于如图4中所描述的视频超分辨率系统，如图5中所描述的视频超分辨率系统具有至少两个优点。第一，相较于直接地应用神经网络方法来确定hr光流，基于lr光流来确定sr光流更快(例如快超过10倍)。第二，不需要中间hr输出来确定sr光流。因此，可并行地执行空间sr和光学sr，这提高效率。
相较于上文参看图1所描述的不包含hr运动补偿的常规的视频超分辨率方法，上文参看图4所描述的视频超分辨率方法可以实现约0.2db到0.4db更佳性能，但具有150毫秒/帧的额外计算成本，其中150毫秒/帧是用于分辨率为720×480的视频。对于较大/较小图像，额外计算成本也将较大/较小。相较于上文参看图1所描述的常规的视频超分辨率方法，上文参看图5所描述的视频超分辨率方法可以实现约0.1db到0.2db更佳性能，而无额外计算成本。
第二变形装置509可以执行与第一变形装置503相同的变形函数。
融合装置511可包含基于图像变形之后的高斯权重和运动惩罚的融合方法。上文参看图5所描述的视频超分辨率系统包含三个装置：lr运动补偿装置、多图像空间sr装置以及hr运动补偿装置。神经网络装置501和第一变形装置503可以是lr运动补偿装置的部分。多图像空间超分辨率装置505可以是多图像空间sr装置的部分。光流超分辨率装置507、第二变形装置509以及融合装置511可以是hr运动补偿装置的部分。
返回参看图2，lr运动补偿装置201接收三个连续的lr帧
其中
图6是根据一个实施例的用于说明基于三维(3d)srcnn(srcnn)的多空间sr的示范性示图。
参看图6，多图像空间sr装置203、多图像空间sr装置405或多图像空间sr装置505可以是具有多信道输入和单信道输出的3d卷积网络。多图像空间sr装置203、多图像空间sr装置405或多图像空间sr装置505可接收三个变形lr帧
如图6中所示出，3dsrcnn网络可包含19个层和‘9-5-3-3-...-3-5'架构。第一层“9”可具有9×9×33d内核和64个滤波器，第二层“5”可具有5×5×33d内核和32个滤波器。层“3”中的每一个(例如中间层)含有16个3×3×12d卷积滤波器。最后一层“5”可具有5×5×12d内核。所有内核具有步幅1。将2像素空间零填充(spatialzeropadding；sp)应用于中间层以使得输出特征映射尺寸与输入特征映射相同。第一3d卷积层具有额外2像素时间零填充(temporalzeropadding；tp)。
hr运动补偿装置205可接收三个连续的中间hr帧
可通过确定hr光流
为对lr流
图7是根据一个实施例的用于示出训练srcnn的示范性示图。
参看图7，srcnn分别地在x光流和y光流上训练。在x光流上训练的srcnn中的权重与在y光流上训练的srcnn共用。
在获得hr光流
本系统将变形hr帧
其中wt是具有与
其中z(i,j)是像素(i,j)的光流的量值，δ(sigma)是常数。
如果像素(i,j)中的运动较大，那么对应权重wi,j在融合中将较小。这可以减小输出帧中的运动模糊。
图8是根据一个实施例的网络环境800中的电子装置801的框图。
参看图8，网络环境800中的电子装置801可以经由第一网络898(例如短程无线通信网络)与电子装置802通信，或经由第二网络899(例如远程无线通信网络)与电子装置804或服务器808通信。根据一个实施例，电子装置801可经由服务器808与电子装置804通信。电子装置801可包含处理器820、存储器830、输入装置850、声音输出装置855、显示装置860、音频模块870、传感器模块876、接口877、触觉模块879、相机模块880、电源管理模块888、电池889、通信模块890、订户识别模块(subscriberidentificationmodule；sim)896或天线模块897。在一个实施例中，可从电子装置801中省略所述组件中的至少一个(例如显示装置860或相机模块880)，或可将一或多个其它组件添加到电子装置801。在一个实施例中，可将所述组件中的一些实施为单一集成电路(integratedcircuit；ic)。举例来说，可将传感器模块876(例如指纹传感器、虹膜传感器或照度传感器)嵌入于显示装置860(例如显示器)中。
处理器820可以执行例如软件(例如程序840)以控制与处理器820耦合的电子装置801中的至少一个其它组件(例如硬件或软件组件)，且可执行各种数据处理或计算。根据一个实施例，作为数据处理或计算的至少一部分，处理器820可将从另一组件(例如传感器模块876或通信模块890)接收到的命令或数据加载到易失性存储器832中，处理存储在易失性存储器832中的命令或资料，且将所得数据存储在非易失性存储器834中。根据一个实施例，处理器820可包含主处理器821(例如中央处理单元(centralprocessingunit；cpu)、应用程序处理器(applicationprocessor；ap))以及辅助处理器823(例如图形处理单元(graphicsprocessingunit；gpu)、图像信号处理器(imagesignalprocessor；isp)、传感器集线器处理器或通信处理器(communicationprocessor；cp))，所述辅助处理器可独立于主处理器821操作或结合所述主处理器821操作。另外地或可替代地，辅助处理器823可调适成消耗比主处理器821更少的电源，或执行特定功能。辅助处理器823可与主处理器821分离实施或实施为所述主处理器的一部分。
辅助处理器823可在主处理器821处于未激活(例如睡眠)状态时代替主处理器821，或在主处理器821处于激活状态(例如执行应用程序)时连同主处理器821，来控制与电子装置801中的组件当中的至少一个组件(例如显示装置860、传感器模块876或通信模块890)相关的功能或状态中的至少一些。根据一个实施例，辅助处理器823(例如图像信号处理器或通信处理器)可实施为功能上与辅助处理器823相关的另一组件(例如相机模块880或通信模块890)的部分。
存储器830可存储由电子装置801中的至少一个组件(例如处理器820或传感器模块876)使用的各种数据。各种数据可包含(例如)软件(例如程序840)和用于与其相关的命令的输入数据或输出数据。存储器830可包含易失性存储器832或非易失性存储器834。
程序840可存储于存储器830中作为软件，且可包含(例如)操作系统(operatingsystem；os)842、中间件844或应用程序846。
输入装置850可从电子装置801的外部(例如用户)接收待由电子装置801中的其它组件(例如处理器820)使用的命令或数据。输入装置850可包含(例如)麦克风、鼠标或键盘。
声音输出装置855可以向电子装置801的外部输出声音信号。声音输出装置855可包含(例如)扬声器或接收器。扬声器可用于一般目的，例如播放多媒体或录音，且接收器可用于接收来电呼叫。根据一个实施例，接收器可实施为与扬声器分离，或为扬声器的部分。
显示装置860可以视觉方式向电子装置801的外部(例如用户)提供信息。显示装置860可包含(例如)显示器、全息图装置或投影仪以及控制显示器、全息图装置以及投影仪中的对应一个的控制电路。根据一个实施例，显示装置860可包含触控电路或传感器电路(例如压力传感器)，所述触控电路调适成检测触控，所述传感器电路调适成测量由触控引发的力的强度。
音频模块870可以将声音转化为电信号且反之亦然。根据一个实施例，音频模块870可经由输入装置850获得声音，或经由声音输出装置855或与电子装置801直接地(例如有线)或无线地耦合的外部电子装置(例如电子装置802)的头戴式耳机来输出声音。
传感器模块876可以检测电子装置801的操作状态(例如，电源或温度)或电子装置801外部的环境状态(例如，用户的状态)，且接着生成对应于检测到的状态的电信号或数据值。根据一个实施例，传感器模块876可包含(例如)手势传感器、陀螺仪传感器、大气压传感器、磁传感器、加速度传感器、握持传感器、接近传感器(proximitysensor)、颜色传感器、红外(infrared；ir)传感器、生物识别传感器、温度传感器、湿度传感器或照度传感器。
接口877可以支持一或多个规定协议用于电子装置801与外部电子装置(例如电子装置802)直接地(例如有线)或无线地耦合。根据一个实施例，接口877可包含(例如)高清晰度多媒体接口(highdefinitionmultimediainterface；hdmi)、通用串行总线(universalserialbus；usb)接口、安全数字(securedigital；sd)卡接口或音频接口。
连接端子878可包含连接器，经由所述连接器可将电子装置801与外部电子装置(例如电子装置802)物理地连接。根据一个实施例，连接端子878可包含(例如)hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如头戴式耳机连接器)。
触觉模块879可将电信号转化为机械刺激(例如振动或移动)或电子刺激，所述电子刺激可由用户经由感触感觉或肌肉运动知觉的感觉来辨识。根据一个实施例，触觉模块879可包含(例如)发动机、压电式元件或电子刺激器。
相机模块880可捕获静态图像或移动图像。根据一个实施例，相机模块880可包含一或多个镜头、图像传感器、图像信号处理器或闪光灯。
电源管理模块888可管理供应到电子装置801的电源。根据一个实施例，电源管理模块888可实施为例如电源管理集成电路(powermanagementintegratedcircuit；pmic)的至少一部分。
电池889可向电子装置801的至少一个组件供电。根据一个实施例，电池889可包含(例如)不可充电的初级单元、可充电的次级单元或燃料电池。
通信模块890可支持在电子装置801与外部电子装置(例如电子装置802、电子装置804或服务器808)之间建立直接(例如有线)通信信道或无线通信信道且经由现有通信信道执行通信。通信模块890可包含可独立于处理器820(例如ap)操作的一或多个通信处理器，且支持直接(例如有线)通信或无线通信。根据一个实施例，通信模块890可包含无线通信模块892(例如蜂窝式通信模块、短程无线通信模块或全球导航卫星系统(globalsatellitesystem；gnss)通信模块)或有线通信模块894(例如局域网(localareanetwork；lan)通信模块或电力线通信(powerlinecommunication；plc)模块)。这些通信模块中的对应一个可经由第一网络898(例如短程通信网络，例如bluetoothtm、无线保真(wireless-fidelity；wi-fi)直连或红外数据协会(theinfrareddataassociation；irda)标准)或第二网络899(例如远程通信网络，例如蜂窝式网络、因特网或计算机网络(例如，lan或广域网(wideareanetwork；wan))与外部电子装置通信。这些不同类型的通信模块可实施为单一组件(例如单一ic)，或可实施为彼此分离的多个组件(例如多个ic)。无线通信模块892可使用存储在订户识别模块896中的订户信息(例如，国际移动订户识别码(internationalmobilesubscriberidentity；imsi))来识别且认证例如第一网络898或第二网络899的通信网络中的电子装置801。
天线模块897可将信号或电源传输到电子装置801的外部(例如外部电子装置)或从所述电子装置的外部接收信号或电源。根据一个实施例，天线模块897可包含一或多个天线，且可例如通过通信模块890(例如无线通信模块892)从所述天线中选择适合于通信方案的至少一个天线，所述通信方案用于通信网络，例如第一网络898或第二网络899中。随后可在通信模块890与外部电子装置之间经由选定的至少一个天线来传输或接收信号或电源。
上述组件中的至少一些可彼此耦合且经由外围间通信方案(例如总线、通用输入和输出(generalpurposeinputandoutput；gpio)、串行外围接口(serialperipheralinterface；spi)或移动行业处理器接口(mobileindustryprocessorinterface，mipi))在其间传送信号(例如命令或数据)。
根据一个实施例，可在电子装置801与外部电子装置804之间经由与第二网络899耦合的服务器808来传输或接收命令或数据。电子装置802和电子装置804中的每一个可以是属于与电子装置801相同的类型或不同的类型的装置。根据一个实施例，待在电子装置801处执行的操作中的全部或一些可在外部电子装置802、外部电子装置804或外部电子装置808中的一或多个处执行。举例来说，如果电子装置801应自动地或响应于来自用户或另一装置的请求来执行功能或服务，那么代替执行所述功能或所述服务或除执行所述功能或所述服务以外，电子装置801可请求一或多个外部电子装置以执行所述功能或所述服务的至少一部分。接收请求的一或多个外部电子装置可执行所请求的功能或服务的至少一部分，或与请求相关的额外功能或额外服务，并将执行的结果传递到电子装置801。电子装置801可提供结果(含或不含所述结果的进一步处理)作为对请求的答复的至少一部分。为此，例如可使用云端计算、分布式计算或客户机-服务器计算技术。
根据一个实施例的电子装置可以是不同类型的电子装置中的一个。电子装置可以包含(例如)便携式通信装置(例如智能手机)、计算机、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用设备。根据本公开的一个实施例，电子装置不限于上文所描述的那些。
用于本公开中的术语并不意欲限制本公开，而是希望包含用于对应实施例的各种变化、等效物或替代物。关于附图的描述，类似附图标号可用于指代类似或相关元件。除非相关上下文明确指示，否则对应于物品的名词的单数形式可包含所述事物中的一或多个。如本文中所使用，如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的此类短语中的每一个可包含在所述短语中的对应一个中一起计数的物品的所有可能组合。如本文中所使用，例如“第1”、“第2”、“第一”以及“第二”的术语可用于区分对应组件与另一组件，但并不意欲在其它方面中(例如重要性或顺序)限制组件。希望如果元件(例如第一元件)称作(含或不含术语“以操作方式”或“以通信方式”)与另一元件(例如第二元件)“耦合”、“耦合到”另一元件、与另一元件“连接”或“连接到”另一元件，那么其指示元件可直接地(例如有线)、无线地或经由第三元件与另一元件耦合。
如本文中所使用，术语“模块”可包含以硬件、软件或固件形式实施的单元，且可与其它术语(例如)“逻辑”、“逻辑块”、“部分”以及“电路”互换使用。模块可以是调适成执行一或多个功能的单一集成组件，或最小单元或其部分。举例来说，根据一个实施例，模块可以专用集成电路(application-specificintegratedcircuit；asic)形式实施。
一个实施例可实施为软件(例如程序840)，所述软件包含存储在存储介质(例如，内部存储器836或外部存储器838)中的一或多个指令，所述存储介质可由机器(例如电子装置801)读取。举例来说，机器(例如电子装置801)的处理器(例如，处理器820)可调用存储在存储介质中的一或多个指令中的至少一个，且在使用或在不使用处于处理器的控制下的一或多个其它组件的情况下执行所述一或多个指令中的至少一个。因此，可操作机器以根据所调用的至少一个指令来执行至少一个功能。一或多个指令可包含由编译器(complier)生成的代码或可由解释器(interpreter)执行的代码。可以非暂时性存储介质形式提供机器可读存储介质。术语“非暂时性”指示存储介质是实体装置，且不包含信号(例如电磁波)，但这个术语不在其中数据半永久地存储在存储介质中与其中数据临时存储在存储介质中之间区分。
根据一个实施例，本公开的方法可包括且提供于计算机程序产品中。计算机程序产品可作为产品在卖家与买家之间交易。计算机程序产品可以机器可读存储介质(例如，压缩光盘只读存储器(compactdiscreadonlymemory；cd-rom))形式分布，或经由应用程序商店(例如playstoretm)线上分布(例如下载或上传)，或在两个用户装置(例如智能电话)之间直接地分布。如果线上分布，那么计算机程序产品的至少一部分可临时生成或至少临时存储在机器可读存储介质，例如制造商的服务器的存储器、应用程序商店的服务器或中继服务器中。
根据一个实施例，上述组件中的每一组件(例如，模块或程序)可包含单一实体或多个实体。根据一个实施例，可省略上述组件中的一或多个，或可添加一或多个其它组件。可替代地或另外地，可将多个组件(例如，模块或程序)集成为单一组件。在这种情况下，集成组件仍可以与在集成之前由多个组件中的对应一个的执行一样，以相同或类似的方式来执行多个组件中的每一个的一或多个功能。可依序、并行、反复地或启发式进行由模块、程序或另一组件执行的操作，或可以不同的顺序执行或省略操作中的一或多个，或可添加一或多个其它操作。
图9是根据一个实施例的相机模块880的框图。
参看图9，相机模块880可包含镜头组合件910、闪光灯920、图像传感器930、图像稳定器940、存储器950(例如缓冲存储器)或图像信号处理器960。镜头组合件910可收集从对象发射或反射的光，所述对象的图像是待拍摄的。镜头组合件910可包含一或多个镜头。根据一个实施例，相机模块880可包含多个镜头组合件910。在这种情况下，相机模块880可形成(例如)双相机、360度相机或球面相机。多个镜头组合件910中的一些可具有相同镜头属性(例如，视角、焦距、自动聚焦、f编号或光学变焦)，或至少一个镜头组合件可具有一或多个不同于另一镜头组合件中的那些属性的镜头属性。镜头组合件910可包含(例如)广角镜头或摄远镜头。
闪光灯920可发射光，所述光用于强化从对象反射的光。根据一个实施例，闪光灯920可包含一或多个发光二极管(lightemittingdiodes；led)(例如，红光-绿光-蓝光(red-green-blue，rgb)led、白光led、红外线(ir)led或紫外线(ultraviolet；uv)led)或氙气灯。图像传感器930可通过将从对象发射或反射的光和经由镜头组合件910传输的光转化成电信号来获得对应于对象的图像。根据一个实施例，图像传感器930可选自具有不同属性的图像传感器，例如rgb传感器、黑光白光(black-and-white；bw)传感器、ir传感器或uv传感器；多个具有相同属性的图像传感器；或多个具有不同属性的图像传感器。可使用(例如)电荷耦合装置(chargedcoupleddevice；ccd)传感器或互补金属氧化物半导体(complementarymetaloxidesemiconductor；cmos)传感器来实施包含于图像传感器930中的每一图像传感器。
图像稳定器940可在特定方向上移动图像传感器930或包含于镜头组合件910中的至少一个镜头，或响应于相机模块880或包含相机模块880的电子装置801的移动来控制图像传感器930的操作属性(例如，调节读出时序)。这允许通过所捕获的图像上的移动来补偿至少一部分的负效果(例如图像模糊)。根据一个实施例，图像稳定器940可使用安置于相机模块880的内部或外部的陀螺仪传感器或加速度传感器来感测相机模块880或电子装置801的此类移动。根据一个实施例，图像稳定器940可实施为(例如)光学图像稳定器。
存储器950可存储用于后续图像处理任务的图像。举例来说，如果由于快门迟滞而延迟图像捕获或快速捕获多个图像，那么可将获得的原始图像(例如拜耳模式(bayer-patterned)图像、高分辨率图像)存储于存储器950中，且可经由显示装置860预览其对应的拷贝图像(例如低分辨率图像)。此后，如果符合规定条件(例如通过用户输入或系统命令)，那么可例如通过图像信号处理器960来获得且处理存储于存储器950中的原始图像的至少一部分。根据一个实施例，存储器950可配置为存储器830的至少一部分或为独立于存储器830操作的单独存储器。
图像信号处理器960可对于经由图像传感器930获得的图像或存储于存储器950中图像来执行一或多个图像处理。一或多个图像处理可包含(例如)深度图生成、三维(3d)模型化、全景生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调节、亮度调节、模糊、锐化或软化)。另外地或可替代地，图像信号处理器960可对于包含于相机模块880中的组件中的至少一个(例如图像传感器930)来执行控制(例如曝光时间控制或读出时序控制)。可将由图像信号处理器960处理的图像存储于存储器950中以用于进一步处理，或可提供到相机模块880外部的外部组件(例如存储器830、显示装置860、电子装置802、电子装置804或服务器808)。根据一个实施例，图像信号处理器960可配置为处理器820的至少一部分，或配置为独立于处理器820操作的单独处理器。如果图像信号处理器960配置为来自处理器820的单独处理器，那么可在进一步处理由图像信号处理器960处理的至少一个图像之时或之后通过处理器820、经由显示装置860显示所述至少一个图像。
根据一个实施例，电子装置801可包含具有不同属性或功能的多个相机模块880。在这种情况下，多个相机模块880中的至少一个可形成(例如)广角相机，且多个相机模块880中的至少另一个可形成摄远相机。类似地，多个相机模块880中的至少一个可形成(例如)前置相机，且多个相机模块880中的至少另一个可形成后置相机。
图10是根据一个实施例的显示装置860的框图。
参看图10，显示装置860可包含显示器1010和控制显示器1010的显示驱动器集成电路(displaydriverintegratedcircuit；ddi)1030。ddi1030可包含接口模块1031、存储器1033(例如缓冲存储器)、图像处理模块1035或映射模块1037。ddi1030可经由接口模块1031来接收图像信息，所述图像信息含有图像数据或对应于控制来自电子装置801中的另一组件的图像数据的命令的图像控制信号。举例来说，根据一个实施例，可从处理器820(例如主处理器821(例如ap))或可独立于主处理器821的功能操作的辅助处理器823(例如图形处理单元)接收图像信息。ddi1030可经由接口模块1031(例如)与触控电路1050或传感器模块1076通信。ddi1030还可以例如逐帧的方式将所接收的图像信息的至少一部分存储在存储器1033中。
图像处理模块1035可对于图像数据的至少一部分来执行预处理或后处理(例如调节分辨率、亮度或尺寸)。根据一个实施例，可例如至少部分地基于图像数据的一或多个特征或显示器1010的一或多个特征来执行预处理或后处理。
映射模块1037可生成对应于由图像处理模块1035预处理或后处理的图像数据的电压值或电流值。根据一个实施例，可例如至少部分地基于像素的一或多个属性(例如像素的阵列，例如rgb条或pentile结构，或每一子像素的尺寸)来执行电压值或电流值的生成。显示器1010的至少一些像素可例如至少部分地基于电压值或电流值来驱动，使得可经由显示器1010显示对应于图像数据的视觉信息(例如文本、图像或图标)。
根据一个实施例，显示装置860可进一步包含触控电路1050。触控电路1050可包含触控传感器1051和控制触控传感器1051的触控传感器ic1053。触控传感器ic1053可控制触控传感器1051以感测对于显示器1010上的某一位置的触摸式输入或悬停输入。为了这一目的，例如，触控传感器1051可检测(例如测量)对应于显示器1010上的某一位置的信号(例如，电压、光量、电阻或一或多个电荷的量)的改变。触控电路1050可将指示经由触控传感器1051侦测到的触摸式输入或悬停输入的输入信息(例如位置、区域、压力或时间)提供到处理器820。根据一个实施例，触控电路1050的至少部分(例如触控传感器ic1053)可形成为显示器1010或ddi1030的部分，或形成为安置于显示装置860外部的另一组件(例如辅助处理器823)的部分。
根据一个实施例，显示装置860可进一步包含传感器模块876的至少一个传感器(例如指纹传感器、虹膜传感器、压力传感器或照度传感器)或用于至少一个传感器的控制电路。在这种情况下，可将至少一个传感器或用于至少一个传感器的控制电路嵌入于显示装置860的组件(例如，显示器1010、ddi1030或触控电路1050)的一个部分中。举例来说，当嵌入于显示装置860中的传感器模块876包含生物识别传感器(例如指纹传感器)时，生物识别传感器可获得对应于经由显示器1010的一部分接收的触摸式输入的生物识别信息(例如指纹图像)。举例来说，当嵌入于显示装置860中的传感器模块1076包含压力传感器时，压力传感器可获得对应于经由显示器1010的部分或整个区域接收的触摸式输入的压力信息。根据一个实施例，触控传感器1051或传感器模块1076可安置于显示器1010的像素层中的像素之间，或像素层上方或下方。
图11是根据一个实施例的程序840的框图。
参看图11，程序840可包含控制电子装置801、中间件844或可在os842中执行的应用程序846的一或多个资源的os842。os842可包含(例如)
os842可控制电子装置801的一或多个系统资源(例如处理、存储器或电源)的管理(例如分配或去分配)。另外地或可替代地，os842可包含一或多个驱动器程序，以驱动电子装置801的其它硬件装置，例如输入装置850、声音输出装置855、显示装置860、音频模块870、传感器模块876、接口877、触觉模块879、相机模块880、电源管理模块888、电池889、通信模块890、订户识别模块896或天线模块897。
中间件844可将各种功能提供到应用程序846，使得由电子装置801的一或多个资源提供的功能或信息可由应用程序846使用。中间件844可包含(例如)应用程序管理器1101、窗口管理器1103、多媒体管理器1105、资源管理器1107、电源管理器1109、数据库管理器1111、程序包管理器1113、连接管理器1115、通知管理器1117、位置管理器1119、图形管理器1121、安全管理器1123、电话管理器1125或语音识别管理器1127。
应用程序管理器1101例如可管理应用程序846的生命周期。窗口管理器1103例如可管理在屏幕上使用的一或多个图形用户界面(graphicaluserinterface；gui)资源。多媒体管理器1105例如可识别待用于播放媒体文件的一或多个格式，且可使用适合于选自一或多个格式的对应格式的编解码器来编码或解码媒体文件中的对应一个。资源管理器1107例如可管理应用程序846的源代码或存储器830的存储空间。电源管理器1109例如可管理电池889的容量、温度或电源，且至少部分地基于电池889的容量、温度或电源的对应信息来确定或提供待用于电子装置801的操作的相关信息。根据一个实施例，电源管理器1109可与电子装置801的基本输入/输出系统(basicinput/outputsystem；bios)交互操作。
数据库管理器1111例如可生成、检索或改变待由应用程序846使用的数据库。程序包管理器1113例如可管理以程序包文件形式分布的应用程序的安装或更新。连接管理器1115例如可管理电子装置801与外部电子装置之间的无线连接或直接连接。通知管理器1117例如可提供通知用户出现指定事件(例如来电呼叫、消息或警告)的功能。位置管理器1119例如可管理关于电子装置801的位置信息。图形管理器1121例如可管理待提供给用户的一或多个图形效果，或与一或多个图形效果相关的用户界面。
安全管理器1123例如可提供系统安全或用户认证。电话管理器1125例如可管理由电子装置801提供的语音呼叫功能或视频呼叫功能。语音识别管理器1127例如可将用户的语音数据传输到服务器808，以及从服务器808接收对应于至少部分地基于语音数据来在电子装置801上执行的功能的命令，或至少部分地基于语音数据转换的文本数据。根据一个实施例，中间件844可动态地删除一些现有组件或添加新组件。根据一个实施例，中间件844的至少部分可包含作为os842的部分或可实施于与os842分离的其它软件中。
应用程序846可包含(例如)家用应用程序1151、拨号器应用程序1153、短消息服务(shortmessageservice；sms)/多媒体消息服务(multimediamessagingservice；mms)应用程序1155、即时消息(instantmessage；im)应用程序1157、浏览器应用程序1159、相机应用程序1161、告警应用程序1163、接触应用程序1165、语音识别应用程序1167、电子邮件应用程序1169、日历应用程序1171、媒体播放器应用程序1173、个人相册应用程序1175、监视应用程序1177、健康状况应用程序1179(例如用于测量锻炼程度或生物识别信息，例如血糖)或环境信息应用程序1181(例如用于测量气压、湿度或温度信息)。根据一个实施例，应用程序846可进一步包含信息交换应用程序，其能够支持电子装置801与外部电子装置之间的信息交换。信息交换应用程序例如可包含通知传达应用程序，其调适成将指定的信息(例如呼叫、消息或警告)传递到外部电子装置；或装置管理应用程序，其调适成管理外部电子装置。通知传达应用程序可将对应于在电子装置801的另一应用程序(例如电子邮件应用程序1169)处出现的指定事件(例如接收电子邮件)的通知信息传递到外部电子装置。另外地或可替代地，通知传达应用程序可从外部电子装置接收通知信息并且将通知信息提供到电子装置801的用户。
装置管理应用程序可控制外部电子装置或其一些组件(例如，电子装置的显示装置或相机模块)的电源(例如接通或断开)或功能(例如亮度、分辨率或聚焦的调节)。另外地或可替代地，装置管理应用程序可支持在外部电子装置上运行的应用程序的安装、删除或更新。
图12是根据一个实施例的电子装置801的无线通信模块892、电源管理模块888以及天线模块897的框图。
参看图12，无线通信模块892可包含磁性安全传输(magneticsecuretransmission；mst)通信模块1210或近场通信(near-fieldcommunication；nfc)模块1230，且电源管理模块888可包含无线充电模块1250。在这种情况下，天线模块897可包含多个天线，所述多个天线包含与mst通信模块1210连接的mst天线897-1、与nfc通信模块1230连接的nfc天线897-3以及与无线充电模块1250连接的无线充电天线897-5。简要地描述或此处省略上文关于图8所描述的组件的描述。
mst通信模块1210可从处理器820接收含有控制信息或例如卡(例如信用卡)信息的缴费信息的信号，生成对应于接收到的信号的磁信号，且接着经由mst天线897-1将所生成的磁信号传递到外部电子装置802(例如销售终端(point-of-sale；pos)装置)。为生成磁信号，根据一个实施例，mst通信模块1210可包含开关模块，所述开关模块包含与mst天线897-1连接的一或多个开关，且控制开关模块根据接收到的信号改变供应到mst天线897-1的电压或电流的方向。电压或电流的方向的改变允许从mst天线897-1发射的磁信号(例如磁场)的方向因此改变。如果在外部电子装置802处检测，那么其方向改变的磁信号可引起类似于当对应于与接收到的信号相关联的卡信息的磁卡刷过通过电子装置802的读卡器时所产生的磁场效果的效果(例如波形)。根据一个实施例，例如，可经由网络899将由电子装置802接收的呈磁信号形式的缴费相关信息和控制信号进一步传输到外部服务器808(例如缴费服务器)。
nfc通信模块1230可从处理器820获得含有控制信息或例如卡信息的缴费信息的信号且经由nfc天线897-3将所获得的信号传输到外部电子装置802。根据一个实施例，nfc通信模块1230可经由nfc天线897-3接收从外部电子装置802传输的此类信号。
无线充电模块1250可经由无线充电天线897-5将电源无线地传输到外部电子装置802(例如蜂窝式电话或可穿戴装置)，或从外部电子装置802(例如无线充电装置)无线地接收电源。无线充电模块1250可支持包含例如磁共振方案或磁感应方案的各种无线充电方案中的一或多个。
根据一个实施例，mst天线897-1、nfc天线897-3或无线充电天线897-5中的一些可共用其辐射器的至少一部分。举例来说，mst天线897-1的辐射器可用作nfc天线897-3或无线充电天线897-5的辐射器，或反之亦然。在这种情况下，天线模块897可包含开关电路，所述开关电路调适成例如在无线通信模块892(例如mst通信模块1210或nfc通信模块1230)或电源管理模块(例如无线充电模块1250)的控制下选择性地连接(例如闭合)或断开连接(例如打开)天线897-1、天线897-3以及天线897-5的至少一部分。举例来说，当电子装置801使用无线充电功能时，nfc通信模块1230或无线充电模块1250可控制开关电路，以将由nfc天线897-3和无线充电天线897-5共用的辐射器的至少一个部分与nfc天线897-3临时断开连接且将辐射器的至少一个部分与无线充电天线897-5连接。
根据一个实施例，mst通信模块1210、nfc通信模块1230或无线充电模块1250的至少一个功能可由外部处理器(例如处理器820)控制。根据一个实施例，mst通信模块1210或nfc通信模块1230的至少一个规定功能(例如缴费功能)可在信任的执行环境(trustedexecutionenvironment；tee)中执行。根据一个实施例，tee可形成执行环境，其中例如，将存储器1230的至少一些指定区域分配用于执行需要相对高安全性等级的功能(例如财务交易或个人信息相关功能)。在这种情况下，可例如根据存取其的实体或在tee中执行的应用程序来限制性地准许对存储器830的至少一些指定区域的存取。
根据一个实施例，本系统和方法在视频超分辨率中提供二阶段运动补偿方案来改进输出视频的质量。在lr运动补偿和空间超分辨率之后，将hr运动补偿模块整合到视频超分辨率系统中。由于考虑lr运动和hr运动两者，因此相较于常规的方法，输出视频具有更好的质量。
本系统可包含用于高效hr运动估计的超分辨率网络。网络接收lr光流作为输入，且输出hr光流。因此，hr运动估计可与空间超分辨率并行地执行，相较于直接地估计hr光流，这样更快。
深度学习方法已在视频超分辨率中展示重要性能。然而，大部分常规的深度学习sr系统仅利用lr运动来对齐，这限制输出视频的质量。
在本公开中，下文描述用于视频超分辨率的二阶段运动补偿方案。本系统接收lr输入视频。本系统包含lr运动补偿模块，所述lr运动补偿模块将lr运动补偿应用到到lr输入视频。将对准帧提供到多图像空间超分辨率网络以将帧上采样到所需尺寸的hr帧(中间hr帧)。本系统进一步包含hr运动补偿模块，所述hr运动补偿模块将中间hr帧改进成最终输出。
在lr运动补偿中，光流由利用称作flownet2.0的卷积网络来学习光流的第二代方法提取。接着将lr图像变形应用到所提取的光流。根据一个实施例，在多图像空间超分辨率下，将具有三维(3d)卷积层的级联训练超分辨率cnn用于生成中间hr帧。根据一个实施例，在hr运动补偿中，hr光流可通过flownet2.0或将sr网络应用到lr流上来提取。通过并入这些阶段，本系统可利用相对低的计算成本来构建准确视频超分辨率cnn。
根据一个实施例，本系统和方法经由二阶段运动补偿来构建视频超分辨率系统以改进输出质量。根据一个实施例，本系统和方法基于lr光流输入来确定hr光流以在使用hr运动补偿时维持低复杂度。本系统和方法基于由运动处罚的权重来融合hr运动补偿中的多个帧。
根据一个实施例，本系统提供从lr视频检索信息的视频超分辨率以生成hr视频。本系统学习具有二阶段运动补偿的极深卷积神经网络。本系统不同于仅具有一个lr运动补偿阶段的常规sr网络。
尽管本公开的某些实施例已描述于本公开的详细描述中，但可在不脱离本公开的范围的情况下以各种形式修改本公开。因此，不应仅基于所描述实施例来确定本公开的范围，而相反基于所附权利要求书和其等效物来确定。
- 还没有人留言评论。精彩留言会获得点赞！