专利名称：在嵌入式设备中提供较高分辨率图像的方法和装置的制作方法
技术领域：
本发明总地涉及嵌入式设备，并且更具体而言，涉及用于利用超分辨 率技术在嵌入式设备中提供较高分辨率图像的方法和装置。
背景技术：
相机设备的用户可以通过以特定的图像分辨率生成对象的数字图像来 给对象"照相"。 一般，数字图像包括表示该对象的像素数据，而图像分 辨率是指该数字图像的细节量。有时，由相机设备生成的数字图像可能畸
变。例如，晃动(handshaking)(例如，相机抖动)可能引起数字图像中 的畸变(例如，模糊)。
有时，超分辨率技术可以用来减轻晃动的效果。超分辨率技术被配置 来从一个或多个较低分辨率的图像产生较高分辨率的图像。超分辨率技术 使用运动估计和去模糊技术预测从较低分辨率的图像中丢失的细节(例 如，像素数据)。丢失的细节被应用于这一个或多个较低分辨率的图像来 产生较高分辨率的图像。
当前，由于处理器和存储器局限性，不在嵌入式设备上执行超分辨率 技术。嵌入式设备可以是具有内建相机的设备，例如移动电话、个人数字 助理(PDA)、"智能手机"等。由于尺寸限制，嵌入式设备被限于特定 数量的存储设备和/或处理器资源。原始的未经压縮的图像尺寸相当大并且 消耗大量的存储器。因此，在嵌入式设备被使用的同时，存在太多要由处 理器来执行超分辨率技术的图像。
当前，超分辨率技术是在较低分辨率的图像被保存到设备存储器中的 同步之前在嵌入式设备上被离线执行的。处理是在将较低分辨率的图像从 嵌入式设备转送到另一设备(例如，计算机)之前被离线完成的。然而， 用户不能在较低分辨率的屏幕上观看高分辨率的图像。因此，在本技术领域中存在对在嵌入式设备中提供较高分辨率的图像 的需求。
发明内容
本发明的实施例包括一种用于通过使用一个或多个运动向量对经过压 縮的图像序列执行超分辨率技术来提供较高分辨率的图像的方法、装置和 嵌入式设备。在一个实施例中， 一种使用视频压缩技术来在嵌入式设备中 使能超分辨率的方法包括使用视频压縮技术来压縮包括多个较低分辨率 的图像的图像序列，并且对经过压縮的图像序列应用超分辨率技术来生成 较高分辨率的图像。
为了本发明的上述特征可以被详细理解，对以上简要总结的本发明的 更具体的描述可以参考实施例，实施例中的一些被示出在附图中。然而， 应当注意，附图仅示出本发明的典型实施例并且因此不被认为是对其范围 的限制，因为，本发明可以容许其它同等有效的实施例。
图1是根据一个或多个实施例的、用于对经过压縮的图像序列执行超 分辨率技术来产生较高分辨率图像的嵌入式设备的框图2是根据一个或多个实施例的、用于使用视频压縮技术来在嵌入式 设备中使能超分辨率的方法的流程图3是根据一个或多个实施例的、用于压縮多个较低分辨率的图像来 在嵌入式设备中使能超分辨率的方法的流程图4是根据一个或多个实施例的、用于生成差分图像(difference image)的方法的流程图；以及
图5是根据一个或多个实施例的、用于在嵌入式设备的传感器处压縮 图像序列的方法的流程具体实施例方式
图1是根据本发明一个或多个实施例的、用于对经过压縮的图像序列
5执行超分辨率技术来产生较高分辨率的图像的嵌入式设备ioo的框图。经 过压縮的图像序列可以是使用无损或近无损视频压縮技术被压縮的。
嵌入式设备IOO可以是移动电话、照相手机、智能手机、个人数字助 理(PDA)，例如本技术领域中公知的那些。嵌入式设备100包括微处理 器102、各种支持电路104、存储器106、相机单元108和超分辨率单元 110。微处理器102方便数据处理和存储。各种支持电路104方便微处理 器102的操作并且包括时钟电路、电源、缓存、输入/输出电路等中的至 少一种。存储器106包括只读存储器(ROM)、随机存取存储器 (RAM)、磁盘驱动器存储装置、光学存储装置、可移除存储装置等中 的至少一种。存储器106包括控制模块115、软件编解码器116和较低分 辨率的图像118。 一般，软件编解码器116包括使用无损视频压縮技术 (例如，经过Huffinan压縮的YUV、 CorePNG等)或近无损视频压縮技 术(例如，DV压縮、FastCodec等)来压縮图像序列的软件代码。在一个 实施例中，软件编解码器116采用帧间预测技术来处理原始图像的序列。 软件编解码器116可以使用运动向量估计技术来估计连续的图像之间的运 动向量。在本技术领域已知各种可以由软件编解码器116使用的运动估计 技术。在一个实施例中，软件编解码器116将较低分辨率的图像118的较 低分辨率的图像划分成多个像素块，并且逐块地执行帧间预测和压縮。在 某些实施例中，相机单元108可以包括以硬件执行软件编解码器116的功 能的硬件编解码器114。
在一个实施例中，相机单元108包括可在市场上买到的嵌入式图像生 成设备(例如，内建相机)。作为示例而非限制，相机单元108被用来捕 获多个原始图像作为图像序列(例如，未经压縮的图像序列)。相机单元 108包括传感器112 (即，图像传感器)。在一个实施例中，传感器112 将所捕获的图像序列存储到存储器106中，作为较低分辨率的图像118。 在另一实施例中，传感器112将所捕获的图像序列转换成电信号，该电信 号可以经由微处理器102被传送到嵌入式设备100的各个部分。例如，传 感器112可以与超分辨率单元110进行传送。
一般，超分辨率单元110是嵌入式设备100的组件，包括分辨率增强
6模块120和本地存储器122。本地存储器122包括只读存储器(ROM)、 随机存取存储器(RAM)、磁盘驱动器存储装置、光学存储装置、可移 除存储装置等中的至少一种。本地存储器122包括经过压縮的图像序列 124、运动向量信息126和较高分辨率的图像128。在本发明的一个或多 个实施例中，超分辨率单元110在经过压縮的图像序列124和运动向量信 息126通过硬件编解码器114或软件编解码器H6的使用被创建时存储它 们。如以下进一步所述，分辨率增强模块120对经过压縮的图像序列124 和运动向量信息126应用一种或多种超分辨率技术以生成较高分辨率的图 像128。本技术领域公知的各种超分辨率技术都可以用于本发明。注意， 分辨率增强模块120在没有从经过压縮的图像序列124完全恢复出较低分 辨率的图像118的情况下，应用(一种或多种)超分辨率技术。
根据本发明各种实施例，控制模块115包括用于对从较低分辨率的图 像的原始的未经压縮的图像序列创建高分辨率的图像128进行管理的软件 代码。在操作中，控制模块115对原始数据的压縮和超分辨率技术对于经 过压縮的图像序列124的应用进行协调。在一个实施例中，控制模块115 执行软件编解码器116来压縮较低分辨率的图像118并且将经过压縮的图 像序列124存储到本地存储器122中。相应地，较低分辨率的图像118可 以被移除以释放存储器资源。在一个实施例中，经过压縮的图像序列124 包括参考图像(例如，图像序列的第一图像)、 一个或多个运动向量以及 一个或多个差分图像(例如，表示原始图像与以参考图像为基础的该原始 图像的预测版之间的差异的像素数据)。可以使用无损压縮技术来压縮该 参考图像和/或这一个或多个差分图像。可以采用运动向量估计技术来确 定一个或多个向量。为了示例清楚的目的，在此将经过压縮的图像序列 124描述为具有单个参考图像。本领域技术人员将明白，经过压縮的图像 序列124可以包括多个参考图像。
在某些实施例中，原始图像是未经压缩的图像序列中的任何图像。参 考图像是原始图像之一。对于差分图像，所预测的图像是通过关于参考图 像来计算运动向量，并且之后使用运动向量来对该参考图像的重构版进行 运动补偿而形成的。差分图像是通过从被编码的原始图像中减去所预测的。可以针对序列中参考图像之后的每一个原始图像逐块地执行帧间预测。以这种方式，产生经过压縮的图像序列124和运动向量信息 126。尽管在此描述了帧间预测的特定实施例，然而，本领域技术人员将 明白，软件编解码器U6和/或硬件编解码器114可以执行与在此所述的 相似的其它帧间预测处理，例如，在本领域中公知的运动图像专家组 (MPEG)标准中使用的帧间预测。根据一个实施例，嵌入式设备ioo的晃动可能引起形成未经压縮的图像序列的较低分辨率的图像之间的一个或多个差异。较低分辨率的图像可 能是从相同场景生成的但是由于嵌入式设备100的移动(即，摇动)而包 括用于表示相同场景的不同像素数据。由于像素数据可能不同， 一个较低 分辨率的图像可能包括在另一较低分辨率的图像中未被捕获的另外的细 节。因此，可以对来自两个或更多较低分辨率的图像的细节进行合成以产 生高分辨率的图像。根据本发明的各种实施例，分辨率增强模块120对经过压縮的图像序 列124执行一种或多种超分辨率技术来生成较高分辨率的图像128。根据 一个实施例，这(一种或多种)超分辨率技术包括对参考图像和差分图像 的时间内插和空间内插。例如，这(一种或多种)超分辨率技术对来自参 考图像、运动向量和差分图像的场景的丢失的细节进行内插。随后，分辨 率增强模块120使用丢失的细节来提高参考图像的分辨率。在一个实施例中，经过压縮的图像序列在由分辨率增强模块120进行 的超分辨率技术的应用之前不被完全解码来恢复所有较低分辨率的图像 118。换而言之，不对经过解码的图像序列(例如，根据本发明一个或多 个实施例的较低分辨率的图像118)执行超分辨率技术。可以直接对经过 压縮的图像序列124执行超分辨率技术。在一个实施例中，分辨率增强模 块120在块级(即，每次以像素块)对经过压縮的图像序列124执行超分 辨率技术。即，给定参考图像、运动向量和差分图像，分辨率增强模块 120可以开始逐块地对经过压縮的图像序列124进行解码。然后，可以在 各个块被解码时应用超分辨率技术来产生较高分辨率的图像128。通过逐 块地执行超分辨率，分辨率增强模块120不必等到所有的原始图像都被解码并且不必将所有的原始图像存储在存储器中。在一个实施例中，运动向量信息126包括与序列中的参考图像和后续图像之间的运动向量(例如，二维运动向量)有关的数据。每个运动向量 提供从参考图像的坐标到下一个图像的坐标的偏移。在一个或多个实施例中，运动向量是由软件编解码器116或硬件编解码器114以子像素精度 (例如，像素的百分之一)来确定的。根据一个实施例，分辨率增强模块 120在块级使用子像素精度的运动向量来从参考图像和差分图像生成较高 分辨率的图像128。根据一个实施例，相机单元108和超分辨率单元110进行协作，以从 较低分辨率的图像118生成较高分辨率的图像128。作为示例而非限制， 相机单元108的传感器112捕获被存储作为较低分辨率的图像118的多个 较低分辨率的图像。软件编解码器116使用无损或近无损视频压縮技术来 压縮较低分辨率的图像118。在压縮阶段期间，软件编解码器116还以子 像素精度计算图像序列中连续的较低分辨率的图像之间的运动向量。可选地，传感器112包括硬件编解码器114。在本发明的一个或多个 实施例中，硬件编解码器114是实现无损或近无损视频压縮技术的组件。 在一个实施例中，硬件编解码器114将较低分辨率的图像U8的较低分辨 率的图像划分成多个像素块。在操作中，在原始图像被传感器112捕获 时，硬件编解码器H4利用帧间预测、使用无损或近无损视频压縮技术来 压縮图像序列，如以上关于软件编解码器116所述。结果，经过压縮的图 像序列124被生成并且被存储在超分辨率单元110中。根据一个实施例， 分辨率增强模块120对经过压縮的图像序列124应用超分辨率技术并且生 成高分辨率的图像128。在一个实施例中，硬件编解码器114使得能够在 图像序列被存储到存储器106中之前对其执行无损或近无损视频压縮技 术。结果，由于不必存储较低分辨率的图像118以产生高分辨率的图像 128，所以节省了存储空间。图2是根据一个实施例的用于使用视频压縮技术来在嵌入式设备中使 能超分辨率并且生成较高分辨率的图像的方法200的流程图。方法200在 步骤202开始，并且进行到步骤204，在步骤204中图像序列(例如，多被存储在本地存储器(例如，图1的本地存储器122)中。在步骤206，利用帧间预测、使用无损视频压縮技术来压縮图像序 列。在另一实施例中，使用近无损视频压縮技术来压縮图像序列。在步骤 208，对经过压縮的图像序列(例如，图1的经过压縮的图像序列124) 应用超分辨率技术。在步骤210，生成较高分辨率的图像(例如，图1的 较高分辨率的图像128)。在步骤212，方法200结束。在一个实施例 中，分辨率增强模块(例如，图1的分辨率增强模块120)如上所述对参 考图像、 一个或多个运动向量和一个或多个差分图像应用一种或多种超分 辨率技术。图3是根据一个实施例的、用于压縮多个较低分辨率的图像以在嵌入 式设备上使能超分辨率的方法300的流程图。方法300在步骤302开始， 并且进行到步骤304，在步骤304中从存储器(例如，图1的存储器 106)访问多个较低分辨率的图像。在步骤306，处理(例如使用无损或近无损算法来压縮)参考图像 (即，较低分辨率的图像中的第一图像)。在步骤308，获得下一图像 (即，下一较低分辨率的图像)。在步骤310，确定下一图像与参考图像 之间的运动向量。在一个实施例中，运动向量估计技术以子像素精度确定 运动向量。在步骤312，生成差分图像。差分图像表示下一图像和如上所 述从参考图像得到的下一图像的预测之间的一个或多个差异(即，误 差)。在步骤314，关于在图像序列中是否存在要被处理的下一图像进行判 定。如果判定图像序列中存在要被处理的下一图像(选项"是")，则方 法300进行到步骤308。在步骤314，如果判定图像序列中不存在要被处 理的下一图像(选项"否")，则方法300进行到步骤316。在步骤 316，存储参考图像、运动向量和差分图像。在一个实施例中，参考图 像、运动向量和差分图像构成被发送给嵌入式设备的超分辨率单元(例 如，图1的超分辨率单元110)的经过压縮的图像序列。在另一实施例 中，参考图像和/或差分图像在存储前利用无损压縮技术被压縮。在步骤10318，方法300结束。图4是根据一个实施例的、用于生成差分图像的方法400的流程图。 方法400在步骤402开始，并且进行到步骤404，在步骤404中处理参考 图像和运动向量。在步骤406，从参考图像和运动向量生成对正被编码的 图像的预测。在一个实施例中，编解码器通过将运动向量应用于第一图像 (例如，之前被编码并且被重构的图像)来预测正被编码的图像。在步骤 408，从正被编码的图像(例如，被观察的或实际的图像)中减去所预测 的图像。在步骤410，计算差分图像。在步骤412，压縮差分图像。在步 骤414，方法400结束。图5是根据一个实施例的、用于在嵌入式设备的传感器处压縮图像序 列的方法500的流程图。方法500在步骤502开始，并且进行到步骤 504，在步骤504中捕获多个较低分辨率的图像。较低分辨率的图像被存 储到存储器(例如，图1的存储器106)中作为未经压縮的原始的图像序 列。在步骤506，使用硬件编解码器压縮多个较低分辨率的图像。在一个 或多个实施例中，硬件编解码器可以如上所述利用帧间预测来实现无损或 近无损硬件编解码器。在步骤508，经过压縮的多个较低分辨率的图像被 转换成电信号。在步骤510，电信号被发送给超分辨率单元(例如，图1 的超分辨率单元110)并且被存储。方法500在步骤512结束。因此，已经提供了本发明的各种实施例。本发明的各种实施例可以有 利地在嵌入式设备中使能超分辨率。此外，可以利用本发明方法和装置来 直接对经过压縮的较低分辨率的图像序列进行操作。此外，各种实施例可 以减少最优或有效使用嵌入式设备所需要的存储器或处理器资源的量。尽管以上所述是针对本发明实施例的，但是，可以设想到本发明的其 它和另外的实施例，而不偏离本发明的基本范围，并且本发明的范围是由 所附权利要求来确定的。
权利要求
1.一种用于使用视频压缩技术来在嵌入式设备中使能超分辨率的方法，包括使用视频压缩技术来压缩图像序列，其中，所述图像序列包括多个较低分辨率的图像；以及对经过压缩的图像序列应用超分辨率技术来生成较高分辨率的图像。
2. 根据权利要求1所述的方法，其中，压縮所述图像序列还包括在传感器处捕获所述多个较低分辨率的图像；以及使用所述传感器的硬件组件来压縮所述多个较低分辨率的图像，所述 硬件组件实现所述视频压縮技术。
3. 根据权利要求1所述的方法，其中，压縮所述图像序列还包括存储所述多个较低分辨率的图像；以及对所存储的所述多个较低分辨率的图像应用所述视频压縮技术。
4. 根据权利要求1所述的方法，其中，压縮所述图像序列还包括确定所述图像序列中的参考图像与至少一个另外的图像之间的运动向量。
5. 根据权利要求4所述的方法，其中，压縮所述图像序列还包括对所述参考图像应用所述运动向量以预测所述至少一个另外的图像。
6. 根据权利要求5所述的方法，其中，压縮所述图像序列还包括分别计算所述至少一个另外的图像与所述至少一个另外的图像的预测之间的 差分图像。
7. 根据权利要求6所述的方法，其中，压縮所述图像序列还包括使用无损视频压縮技术来压縮所述差分图像。
8. 根据权利要求6所述的方法，其中，压縮所述图像序列还包括使用近无损视频压縮技术来压縮所述差分图像。
9. 根据权利要求1至8中任何一项所述的方法，其中，应用所述超分辨率技术还包括将形成所述多个较低分辨率的图像中的至少一部分的像素数据映射成形成所述较高分辨率的图像的像素数据。
10. 根据权利要求1至9中任何一项所述的方法，其中，应用所述超分辨率技术还包括使用所述经过压縮的图像序列和至少一个运动向量对用于所述较高分 辨率的图像的像素数据进行内插，其中，所述经过压縮的图像序列包括参 考图像和至少一个差分图像；以及将所述参考图像与所确定的像素数据进行合成来形成所述较高分辨率 的图像。
11. 一种用于使用压縮技术来在嵌入式设备中使能超分辨率的装置，包括控制模块，所述控制模块用于对包括多个较低分辨率的图像的图像序 列应用压縮技术；以及分辨率增强模块，所述分辨率增强模块用于对经过压縮的图像序列执 行超分辨率技术来产生较高分辨率的图像。
12. 根据权利要求11所述的装置，还包括无损编解码器，所述无损编 解码器用于使用无损压縮技术来压縮所述多个较低分辨率的图像。
13. 根据权利要求12所述的装置，其中，所述无损编解码器应用运动 估计技术来以子像素精度生成至少一个运动向量。
14. 根据权利要求11所述的装置，还包括近无损编解码器，所述近无 损编解码器用于使用近无损压縮技术来压縮所述多个较低分辨率的图像。
15. 根据权利要求11至14中的任何一项所述的装置，还包括 相机单元，所述相机单元捕获所述多个较低分辨率的图像。
全文摘要
本发明公开了在嵌入式设备中提供较高分辨率图像的方法和装置。描述了通过对经过压缩的图像序列和一个或多个运动向量执行超分辨率技术来在嵌入式设备中提供较高分辨率图像的方法和装置。在一个示例中，该方法包括使用视频压缩技术来压缩包括多个较低分辨率的图像的图像序列，并且对经过压缩的图像序列应用超分辨率技术来生成较高分辨率的图像。
文档编号H04N7/26GK101651832SQ200910161859
公开日2010年2月17日 申请日期2009年8月5日 优先权日2008年8月6日
发明者尼考劳斯·乔治斯, 艾德里安·科瑞森 申请人:索尼株式会社;索尼电子有限公司