专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法和程序，更具体 地，涉及一种达到用于生成高分辨率图像的高速处理的图像处理设 备、图像处理方法和程序。
背景技术：
作为 一项用于由低分辨率图像生成高分辨率图像的技术，存在
超分辨率。
超分辨率是一 项从具有重叠部分的多个低分辨率图^象中找到 一帧高分辨率图像中的每个像素的4象素值，乂人而重新生成分辨率超 过成像元件(诸如CCD (电荷耦合器件)和CMOS (互补金属氧化 物半导体))的分辨率的图像的技术。例如，当生成高分辨率的卫 星相片等时使用超分辨率。
图1和2是示出了超分辨率的原理的示图。
在图1和2的上部所示的参考符号a、 b、 ￡、 d、 s、 ￡表示将要 从通过成像对象所获得的低分辨率图像(LR (低分辨率)图像)中
得到的高分辨率图像(SR (超分辨率)图像)的像素值，即，当以 与SR图像的分辨率相同的分辨率来像素化对象时的各个像素的像素值。
例如，在成4象元件的 一<象素的宽度等于构成对象的两个J象素的 宽度，并且因此不能以其分辨率来拍^l对象的情况下，如图1所示， 在成像元件的三个像素中的左像素中，拍摄通过混合像素值^_和fe 获得的像素值A，在中心像素中，拍摄通过混合像素值^和i获得 的像素值B，以及在右像素中，拍才聂通过混合<象素值^和￡获得的 像素值C。参考符号A、 B、 C表示构成了通过成像获得的LR图像 的像素的像素值。
当如图2所示连同图1的对象一起拍摄(正当移动时拍摄)由 于相才几抖动相对于图1中的对象位置移动了构成该对象的l象素的 0.5 1象素的宽度的位置中的对象时，在成<象元件的三个<象素的左<象 素中，拍纟聂通过混合一半g、整个L和一半L的l象素值获得的l象素 值D,以及在中心像素中，拍摄通过混合一半￡、整个i和一半g 的像素值获得的像素值E。此外，在右像素中，拍纟聂通过混合一半和整个获得的像素值F。参考符号D、 E、 F同样表示构成了通 过成像获得的LR图像的像素的像素值。
由上述LR图像的成像结果给出以下公式(1 )。通过从公式(1 ) 中分别得出g、 b、 ^、 d、 L和f,能够获得分辨率比成^象元件的分
辨率高的图像。
<formula>formula see original document page 8</formula>■ ■ (1)
图3是示出了通过使用后方投影(backprojection)的超分辨率 处理来生成SR图像的现存图像处理设备1的配置实例的框图。
例如，在数码相机中设置图3的图像处理设备1,以执行对通 过成像获得的静止图片的处理。
如图3所示，图^f象处理i殳备1包括超分辨率处理器110至112、 求和电路12、加法电路13和SR图像緩冲器14。
将LRG(通过成像获得的LR图像)输入至超分辨率处理器110, 以及将LRi输入超分辨率处理器lh。将LR2输入超分辨率处理器 112。 LR。至LR2是通过连续成4象获得的图^f象，并且在其成〗象范围内 分别具有重叠部分。通常，当连续执行成像时，在成像结果的图像 上所拍摄的对象的范围会由于相机抖动等而彼此稍微偏离，因而， 对象的范围并不会完全彼此重合，从而导致部分重叠。
基于LRo和存储在SR图像緩冲器14中的SR图像，超分辨率 处理器llo生成表示LRq和SR图像之间的差异的差异图像，然后 将反馈值输出至求和电路12。反馈值为表示分辨率与SR图像的分 辨率相同的差异图像的值。
在SR图像緩冲器14中，存储通过先前刚刚执行的超分辨率处 理生成的SR图i象。例如，如果处理刚开始，并且因此尚未生成4壬
一帧的SR图像，则将通过将LRo上行取样至分辨率与SR图像的 分辨率相同的图像而获得的图像存储在SR图像緩冲器14中。
同样，基于LR,和存储在SR图像緩沖器14中的SR图^f象，超 分辨率处理器11，生成表示LR!和SR图像之间的差异的差异图像， 并将表示所生成的差异图像的反馈值输出至求和电路12。
基于LR2和存储在SR图像緩沖器14中的SR图像，超分辨率 处理器112生成表示LR2和SR图像之间的差异的差异图像，并将 表示所生成的差异图像的反^t值输出至求和电^各12。
求和电路12求出从超分辨率处理器llo至112提供的反馈值的
平均，并且将与分辨率SR图像的分辨率相同的图像(已通过求平 均获得)输出至加法电路13。
加法电路13将存储在SR图l象緩冲器14中的SR图<象与/人求 和电路12提供的SR图像相加，并且输出通过加法获得的SR图像。 由于超分辨率处理，在图像处理设备1的外部提供加法电路13的 输出，同时，将该输出提供给将要进行存储的SR图像緩冲器14。
图4是示出了超分辨率处理器lln (超分辨率处理器llo、 或112)的配置实例的框图。
如图4所示，超分辨率处理器lln包括运动向量^全测电^各21、 运动补偿电路22、下4亍耳又才羊滤波器23、力。法电3各24、上4亍耳又才羊滤 波器25、和反向运动补偿电^各26。
将从SR图像緩沖器14中读取的SR图像输入至运动向量检测 电^各21和运动补偿电^各22，并且将通过成^f象获得的LRnl餘入至运 动向量才企测电^各21和力口法电3各24 。
基于输入的SR图像和LRn,运动向量检测电路21使用SR图 像作为参考来检测运动向量，然后将4企测到的运动向量输出至运动 补偿电^各22和反向运动补偿电^各26。
基于从运动向量检测电路21提供的运动向量，运动补偿电^各 22将运动补偿应用于SR图像，然后将通过应用运动补偿获得的图 像输出至下行耳又样滤波器23。在通过应用运动补偿而获得图像上所 拍摄的对象的位置更接近于在LRn上拍摄的对象的位置。
下行取样滤波器23通过下行取样从运动补偿电路22提供的图 像来生成分辨率与LR。的分辨率相同的图像，然后将所生成的图像 输出至加法电路24。从SR图像和LRn得到运动向量，并将使用所 得到的运动向量通过运动补偿所获得的图像转换为分辨率与LR图 像的分辨率相同的图像对应于基于存储在SR图像緩冲器14中的 SR图像模拟通过成像获得的图像。
加法电路24生成表示LRn与以此方式模拟的图像之间的差异 的差异图像，然后将所生成的差异图像输出至上行取样滤波器25。
上行取样滤波器25通过下行取样从加法电路24提供的差异图 像来生成分辨率与SR图像的分辨率相同的图像，然后将所生成的 图像输出至反向运动补偿电路26 。
基于从运动向量检测电路21提供的运动向量，反向运动补偿 电路26将反向的运动补偿应用于从上行取样滤波器25提供的图 像，然后将表示通过应用反向的运动补偿获得的图像的反馈值输出 至求和电路12。在通过反向的运动补偿获得的图像上拍摄的对象的 位置更接近于存储在SR图像緩冲器14中的SR图像上所拍摄的对 象的位置。
已逐步开始使用图像处理来尝试和解决已知问题(例如，参见，
在以色列的91904耶路撒冷，由耶路撒冷希伯来大学的计算机科学 系MICHAL IRANI AND SHMUEL PELEG于1989年6月16日4妻 ^R的、1990年5月25日4妻受的、Rama Chellapa 4专4受的"Improving Resolution by Image Registration")。
发明内容
足够分辨率的一个帧的SR图像。例如，如果通过图3的图^f象处理 设备1生成并从加法电路13输出的SR图像并不具有足够的分辨 率，则将SR图像存储在SR图像緩冲器14中，然后，将SR图像 重新用作超分辨率处理器11q至112的1#入来重复超分辨率处理。
鉴于此，获得具有充分分辨率的SR图像会4艮费时。
因此，需要提供一种实现用于生成高分辨率图像的高速处理的 改良纟支术。
根据本发明的一个方面，提供了一种图像处理设备，其包括 加法装置，用于执行将表示第 一分辨率的输入图像与高于第 一分辨 率的第二分辨率的图像之间的差异的第二分辨率的差异图像的像 素作为第二分辨率的输入图像的像素相加的加法处理；以及包括多 个上述加法装置的图像处理装置。图^f象处理装置^皮配置为寺丸行第二 和以后的加法处5里，并通过予贞定次凄U也4丸4亍加法处理来生成第二分 辨率的图 <象作为处理结果，4吏用互不相同的第 一分辨率的图^象和通 过前一加法处理获得的第二分辨率的图像的输入来执行加法处理。
上述图像处理设备还可以包括控制装置，用于基于通过加法 处理获得的第二分辨率的图像来控制是否使用通过加法处理获得 的第二分辨率的图^f象的输入来寺丸行下一加法处理。
上述图像处理设备还可以包括调节装置，用于执行表示差异 图像的信号增益的调节。
上述图像处理设备还可以包括调节装置，用于4丸行表示作为 用于获得差异图像的图像而输入的第二分辨率的图像的信号增益 的调节、和表示所得到的差异图像的信号增益的调节中的至少任一
个调节。
上述图像处理设备还可以包括生成装置，用于生成作为第一 加法处理的输入的第二分辨率的原始图<象。当图^f象处理装置4吏用第 n帧的第一分辨率的拾取图像生成第二分辨率的图像作为第n帧的 处理结果时，生成装置可以生成一个图l象来作为原始图i象，在该图 像中，通过构成由上行取样第n帧的第一分辨率的图像而获得的图 像的像素取代构成第(n -1)帧的处理结果的第二分辨率的图像的一 部分1象素。
上述生成设备还可以包括上行取样处理装置，用于上行取样 通过成像获得的第n帧的第一分辨率的图像；校正装置，用于使用 基于作为第(n-l)帧的处理结果的第二分辨率的图 <象和由上4亍耳又样 处理装置的上行取样而获得的图像检测到的运动向量，将运动补偿 应用于作为第(n-1 )帧的处理结果的第二分辨率的图像；以及图像生 成装置，用于通过使用在对应位置区域中通过上行if又样处理装置的 上行取样而获得的图像的像素，取代在校正装置通过应用运动补偿 而获得的图像中显示对象的区域中的像素，生成原始图像，其中， 通过运动补偿来移动对象的位置。本发明的 一个方面的图像处理方法或程序包括以下步骤使用
互不相同的第 一分辨率的图^f象和通过前一加法处理获得的第二分
辨率的图像的输入来执行第二和以后的加法处理；以及通过预定次 数地执行加法处理来生成第二分辨率的图像作为处理结果。
在本发明的一个方面中，^吏用互不相同的第 一分辨率的图像和 通过前一加法处理获得的第二分辨率的图^f象的输入来才丸行加法处 理，以及通过预定次数地执行加法处理来生成第二分辨率的图^f象作 为处理结果。
根据本发明的一个方面，实现了用于生成高分辨率图像的高速处理。
在以下具体实施方式
中，将参考附图详细买偶凄t本发明的这些 禾口其^4争'l"生一口方面。
图l是示出了超分辨率的原理的示图。
图2是示出了超分辨率的原理的另一个示图。
图3是示出了传统图像处理设备的配置实例的框图。
图4是示出了超分辨率处理器的配置实例的框图。
图5是示出了根据本发明的一个实施例的成像设备的示图。
图6是示出了超分辨率处理的一个实例的示图。
图7是示出了成像设备的配置实例的框图。
图8是示出了图像处理单元的配置实例的框图。
图9是示出了超分辨率处理器的配置实例的框图。
图10是用于阐述成像设备的超分辨率处理的流程图。
图11是用于阐述图10的步骤S2中所执行的反馈值算术处理 的流程图。
图12是示出了图像处理单元的另一个配置实例的框图。
图13是用于阐述成像设备的另一个超分辨率处理的流程图。
图14是示出了超分辨率处理器的另一个配置实例的框图。
图15A 图15D是示出了增益调节的特性的实例的曲线图。
图16是用于阐述另一个反馈值算术处理的流程图。
图17是示出了超分辨率处理器的又一个配置实例的冲匡图。
图18是示出了超分辨率处理器的另 一个配置实例的框图。
图19是示出了 GUI的实例的示图。
图20A~图20D是示出了滤波器特性的实例的曲线图。
图21是用于阐述又一个反馈值算术处理的流程图。
图22是示出了超分辨率处理器的另 一个配置实例的框图。
图23是示出了运动图片的成4象纟既念的示图。
图24是示出了运动图片的传统成像概念的示图。 图25是示出了图像处理单元的又一个配置实例的框图。 图26是示出了原始图像生成电路的配置实例的框图。 图27A~图27C是示出了原始图^f象的生成实例的示图。
图28是示出了当成〗象运动图片时应用处理电^各的配置实例的框图。
图29A~图29C是示出了屏蔽图像的生成实例的示图。
图30是用于阐述成i象运动图片时的超分辨率处理的流程图。
图31是用于阐述在图30的步骤S101中所执行的原始图像生 成处理的流禾呈图。
图32是用于阐述在图30的步-骤S103中所冲丸4亍的运动图片应 用处理的流禾呈图。
图33是示出了运动图片应用处理电路的另一个配置实例的框图。
图34A~图34C是示出了屏蔽图像的另一个生成实例的示图。 图35是用于阐述另 一个运动图片应用处理的流程图。 图36是示出了图l象处理单元的又一个配置实例的才匡图。 图37是示出了超分辨率处理的实例的示图。图38是示出了超分辨率处理的另 一个实例的示图。 图39是示出了图像处理单元的另一个配置实例的框图。 图40是示出了超分辨率处理的又一个实例的图。 图41是示出了个人计算机的配置实例的框图。
具体实施例方式
将在下文中说明本发明的实施例。如下描述本发明的元素和在 说明书或附图中描述或示出的实施例之间的对应关系。该描述旨在 确认在说明书或附图中描述或示出了支持本发明的实施例。因此， 即 <吏存在在说明书或附图中进4亍描述或示出^旦在这里没有描述为 对应于本发明元件的实施例的实施例，也不一定表示该实施例不对 应于该元件。相反，即^f吏该实施例在这里纟皮描述为对应于本发明元 件的实施例，也并不表示该实施例不对应于除该元件之外的元件。
本发明的一个实施例的图像处理设备(例如，图5的成像设备 31)包括图像处理装置(例如，图7的图像处理单元42)。图像 处理装置包括多个加法装置(例如，图8中的加法电3各520)。加法 装置执行将表示第 一分辨率的输入图像与高于第 一分辨率的第二 分辨率的图像之间的差异的第二分辨率的差异图像的像素作为第 二分辨率的输入图像的像素相加的加法处理。图像处理装置被配置 为执行第二和以后的加法处理，并生成互不相同的第 一分辨率的图 像和通过前一加法处理获得的第二分辨率的图4象。
图像处理设备还可以i殳置有控制装置(例如，图12中的环3各 控制电路71o )，用于基于通过加法处理获得的第二分辨率的图像来
控制是否使用通过加法处理获得的第二分辨率的图像的输入来执 ^亍下一加法处理。
此外，可以设置用于执行表示差异图像的信号增益的调节的调
节装置(例如，图14的反馈增益控制电路81 )。
同样，也可以设置用于执行表示作为用于获得差异图像的图像 而输入的第二分辨率的图像的信号增益的调节、和表示所得到的差 异图像的信号增益的调节中的至少任 一 个调节的调节装置(例如， 图18的喜好控制电路IOI)。
还可以设置生成装置(例如，图25的原始图像生成电路206)， 用于生成作为第 一加法处理的输入的第二分辨率的原始图 <象。
生成装置可以i殳置有上行耳又样处理装置(例如，图26的上 行耳又样处理单元221 ),用于上4于耳又才羊通过成^f象获纟寻的第n帧的第一 分辨率的图像； 校正装置(例如，图26的运动校正单元222 )，用 于使用基于作为第(n-l)帧的处理结果的第二分辨率的图像和使用 上行取样处理装置的上行取样而获得的图像检测到的运动向量来， 将运动补偿应用于作为第(n-l)帧的处理结果的第二分辨率的图<象； 以及图像生成装置(例如，图26的图像生成单元223),用于通过 使用在对应放置的区域中的通过上行取样处理装置的上行取样而 获得的图像的像素，取代在校正装置通过应用运动补偿而获得的图 像中显示一个对象的区域中的像素，来生成原始图像，其中，通过 运动补偿来移动对象的位置。
下文中将参考附图来描述本发明的实施例。
图5是示出了根据本发明的 一个实施例的成像设备31的示图。成像设备31 (数码相机)根据用户操作来拍摄静止图片并以预
定帧频(frame rate)来拍摄运动图片。此夕卜，成像设备31还使用 通过上述成像功能获得的LR图像通过超分辨率处理来获得高分辨 率的SR图4象。
图6是示出了超分辨率处理的实例的示图。
在图6的实例中，基于LRo至LR2来执行图像的再现 (reconstruction), LR。至LR2是通过成^象生成一个帧的SR图<象的 而获得的LR图像。LRo至LR2是连续获得的LR图像，并因此在成 像范围内有重叠。为了便于描述，在图6中给出了以使LRo至LR2 重叠的方式示出的垂直线和水平线。
如图6所示，当生成SR图i象时，除LR图J象外，成^f象i殳备31 还使用SR图像来执行超分辨率处理。
图7是示出了成像设备31的配置实例的框图。
如图7所示，成Y象设备31由成l象单元41、图l象处理单元42 和i己录单元43组成。
成像单元41执行静止图片或运动图片的成像，并将通过成像 获得的LR图像输出至图像处理单元42。
图像处理单元42基于从成像单元41提供的LR图像来执行超 分辨率处理，并将通过超分辨率处理获得的SR图l象输出至记录单 元43。 4艮据记录单元43的控制来重复图像处理单元42执行的超分 辨率处理，直至生成具有对象分辨率的SR图1象。
当从图像处理单元42提供的SR图^f象具有足够分辨率时，记录 单元43将SR图i象记录到诸如闪存的预定记录介质中，并控制图l象
处理单元42停止重复超分辨率处理。记录在记录介质上的SR图<象 的分辨率要高于i殳置在成^f象单元41中的成l象元件的分辨率。
图8是图7的图像处理单元42的配置实例的框图。
图8所示的图^f象处理单元42的配置经过准备(例如)作为一 种用于实现成像静止图片功能的配置，且该配置由超分辨率处理器 510至512、加法电^各52o至522、开关53、原始图^象生成电^各54和 SR图像緩沖器55构成。
在图8的实例中，将超分辨率处理器5U得到的反馈值与存储 在SR图像緩冲器55中的SR图像相加，并将通过第一加法处理获 得的SR图像与通过下一超分辨率处理器5h得到的反馈值相加， 另外，将通过第二加法处理获得的SR图像与通过下一超分辨率处 理器512得到的反馈值相加。以此方式，使用高斯-赛德尔方法通过 超分辨率处理生成SR图4象。
虽然在图3的配置中，在求和电路12中求基于LR图像和SR 图像得到的多个反馈值的平均，然后随后将该平均与SR图像相力口， 但是如图8所示，通过下一超分辨率处理器得到的反馈值直接与通 过基于LR图像和SR图像得到的反馈值表示的SR图^f象相力口，藉此 增加反馈的数目，从而减少了获得具有足够分辨率的SR图像所需 的时间(聚合所需的时间)。即，使得用于获得SR图像的处理更快。
下文中，根据需要，将使用输入的LR图像和SR图像得到反 馈值的处理(通过超分辨率处理器51。至512|丸4于)称为反馈值算 术处理，以及将用于通过将由反馈值表示的图像与SR图像相加来 生成一个帧的SR图Y象的处理称为加法处理。通过重复反々贵值算术 处理和加法处理来实现超分辨率处理。
将LRQ (通过成像单元41获得的LR图4象)输入超分辨率处理 器510，以及将LR!输入超分辨率处理器5h。此外，将LR2输入超 分辨率处理器512。 LRo至LR2为连续获得的LR图^f象，并在成像范 围内分别具有重叠。
超分辨率处理器510基于LRo和存储在SR图4象H冲器55中的 SR图像来执行反馈值算术处理，并将表示分辨率与SR图像的分辨 率相同的图像的反馈值输出至加法电^各520。
加法电路52o将存储在SR图像緩沖器55中的SR图像与由从 超分辨率处理器51o提供的反馈值表示的SR图像相加(添加包括 在由反馈值表示的SR图像中的像素的像素值，作为存储在SR图 像緩沖器55中的SR图像中缺少的像素的像素值)，并输出通过加 法获得的一个帧的SR图像，作为第一加法处理的结果。将从加法 电路52o输出的SR图像输入至超分辨率处理器5h和加法电路52！。
超分辨率处理器5h基于LRi和从加法电路52o提供的SR图像 来冲丸行反4贵值算术处理，且将反々贵值输出至加法电路52p
加法电路52，将从加法电路52o提供的SR图像与由从超分辨率 处理器51,提供的反馈值表示的SR图像相加，并输出通过加法获 得的一个帧的SR图像，作为第二加法处理的结果。将从加法电路 52"lT出的SR图4象输入至超分辨率处理器512和加法电3各522。
超分辨率处理器512基于LR2和从加法电路52i提供的SR图像 来执行反馈值算术处理，并将反馈值输出至加法电路522。
加法电路522将从力口法电路52i提供的SR图 <象与由从超分辨率 处理器512提供的反馈值表示的SR图像相加，并输出通过加法获 得的SR图像，作为第三加法处理的结果，即，超分辨率处理的结
果。将从加法电路522输出的SR图^f象通过开关53输入至将要被存 储的SR图像緩沖器55。
当通过原始图^象生成电3各54生成原始图〗象时，开关53连4妾至 终端a^以使原始图像能够被存储在SR图像緩冲器55中。此外， 当从加法电路522提供作为超分辨率处理结果而获得的SR图像时， 开关53连接至终端L以使SR图像能够被存储在SR图像緩冲器 55中。
例如，当开始通过超分辨率处理生成一个帧的SR图〗象时，原 始图像生成电路54上行取样LRq至分辨率与SR图像的分辨率相同 的图<象，,人而生成原始图l象，并^f吏所生成的原始图^象通过与终端a 连接的开关53存储在SR图像緩沖器55中。
SR图像緩沖器55存储由原始图像生成电路54生成的原始图 像或从加法电3各522才是供的SR图<象。
图9是示出了超分辨率处理器51n (超分辨率处理器510、 51, 或512)的配置实例的才匡图。
如图9所示，超分辨率处理器51n具有类似、于图4所示的配置， 并由运动向量检测电路61、运动补偿电路62、下行取样滤波器63、 力口法电^各64、上行耳又样滤波器65、和反向运动补偿电^各66构成。
经过提供用作反馈值的算术的SR图像被输入至运动向量检测 电^各61和运动补偿电^各62,并且通过成l象获得的LRj皮输入至运 动向量检测电路61和加法电路64。存储在SR图像緩冲器55中的 SR图^f象一皮输入至超分辨率处理器的动向量才全测电路61和运动 补偿电路62,并且从设置在前一级中的加法电路52(j、 52i中的每个
输出的SR图傳^皮lt入至超分辨率处理器5h或超分辨率处理器512 的运动向量4全测电^各61和运动补偿电^各62。
基于输入的SR图像和LRn,运动向量检测电路61使用用作参 考的SR图〗象来4全测运动向量，并将4企测到的运动向量车lT出至运动 补偿电i 各62和反向运动补偿电^各66。
基于从运动向量检测电路61提供的运动向量，运动补偿电路 62对SR图像应用运动补偿，并将通过应用运动补偿获得的图l象输 出至下行取样滤波器63。在通过应用运动补偿获得的图像上所获得 的对象的位置变得更接近于在LR。上所获得的对象的位置。
下行取样滤波器63通过下行取样从运动补偿电路62提供的图 像来生成分辨率与LRn的分辨率相同的图像，并将所生成的图像输 出至加法电路64。根据SR图像和LRn得到运动向量，并使用所得 到的运动向量通过运动补偿获得的图像转换为分辨率与LR图像的 分辨率相同的图像对应于基于基于SR图像来模拟通过成像获得的 图像。
力口法电路64生成表示LR。与以此方式才莫拟的图像之间的差异 的差异图像，并将生成的差异图像输出至上行取样滤波器65。
上行取样滤波器65通过上行取样从加法电路64提供的差异图 像来生成分辨率与SR图像的分辨率相同的图像，并将所生成的图 像输出至反向运动补偿电路66。
基于从运动向量纟全测电路61提供的运动向量，反向运动补偿 电路66向从上行耳又样滤波器65 ^是供的图像反向应用运动补偿，并 将表示通过反向应用运动补偿获得的图像的反馈值输出至加法电路52n。在通过反向运动补偿获得的图像上获得的对象的位置变得 更接近于在SR图像上获得的对象的位置。
下文中，参考图10的流程图来描述通过具有图8中的配置的 图4象处理单元42 ^丸4亍的超分辨率处理。
当通过成像单元41成像静止图片时，开始此处理，并分别将 LRo输入至超分辨率处理器51o、将LR!输入至超分辨率处理器51,、 以及将LR2丰命入至超分辨率处理器512。
在步骤S1中，例如，原始图像生成电^各54通过上行取样LRo 至分辨率与SR图像的分辨率相同的图像来生成原始图像，并使所 生成的原始图像通过开关53存储在SR图像緩沖器55中。通过成 像单元41获得的LRo还被输入至原始图像生成电路54。
在步骤S2中，超分辨率处理器510基于LRo和存储在SR图像 緩沖器55中的SR图像来执行反馈值算术处理，并将反馈值输出至 加法电路52(j。稍后将参考图11的流程图来描述反馈值算术处理。
在步骤S3中，加法电^各52o将存4诸在SR图傳J爰沖器55中的 SR图像与由通过在步骤S2中^丸行反馈值算术处理得到并从超分辨 率处理器5U提供的反馈值表示的SR图像相加，并输出通过加法 获得的一个帧的SR图《象，作为第一加法处理的结果。
在步骤S4中，超分辨率处理器51!基于LR!和从加法电路520
提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电 路52,。
在步骤S5中，力o法电路52!将从加法电路520提供的SR图4象 与由通过在步骤S4中冲丸行反馈值算术处理得到并乂人超分辨率处理
器5h提供的反馈值表示的SR图像相加，并输出通过加法获得的 一个帧的SR图4象，作为第二加法处理的结果。
在步骤S6中，超分辨率处理器512基于LR2和从加法电路52, 提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电 路522。
在步骤S7中，力。法电路522将从加法电路52d是供的SR图4象 与由通过在步骤S6中4丸行反々贵值算术处理得到并从超分辨率处理 器512提供的反馈值表示的SR图像相加。
在步骤S8中，加法电路522将通过将从加法电路52!提供的SR 图像与由从超分辨率处理器512提供的反馈值表示的SR图像相加 获得的SR图像输出至记录单元43，作为超分辨率处理的结果，并 同时使该结果被存储在SR图像緩沖器55中。
此后，记录单元43确定从加法电^各522输出的SR图像是否具 有足够的分辨率，并且如果确定SR图4象不具有足够的分辨率，那 么处理返回至步多聚S2来重复上述处理。在重复的超分I辟率处J里的 第一反馈值算术和加法处理中，使用在步骤S8的处理中存^诸在SR 图像緩沖器55中的SR图<象。
另一方面，如果确定从加法电路522输出的SR图像具有足够 的分辨率，则停止超分辨率处理的重复，并记录具有足够分辨率的图像。
接下来参考图11的流程图描述在步骤S2、 S4、 S5中才丸行的反
馈值算术处理。
在步骤Sll中，运动向量检测电路61基于输入的SR图像和 LRn使用SR图像作为参考来检测运动向量，并将检测到的运动向 量输出至运动补偿电^各62和反向运动补偿电^各66。
在步骤S12中，运动补偿电路62基于从运动向量一企测电路61 才是供的运动向量来对SR图^f象应用运动补偿，并将通过应用运动补 偿获得的图像输出至下行取样滤波器63。
在步骤S13中，下行耳又样滤波器63通过下行取样,人运动补偿 电路62提供的图像来生成分辨率与LRn的分辨率相同的图像，并 将所生成的图像输出至加法电路64。
在步骤S14中，力。法电^各64生成表示在丰命入的LRn与/人下行 取样滤波器63提供的图像之间的差异的差异图像，并将所生成的 差异图像输出至上行取样滤波器65。
在步骤S15中，上行取样滤波器65通过上行耳又样从加法电路 64提供的差异图像来生成分辨率与SR图像的分辨率相同的图像， 并将所生成的图像输出至反向运动补偿电路66。
在步骤S16中，基于从运动向量检测电路61^是供的运动向量， 反向运动补偿电路66对从上行取样滤波器65提供的图像反向应用 运动补偿，并将表示通过反向应用运动补偿获得的图像的反馈值输 出至加法电^各52n。然后，处理返回至图10的步艰《S2、 S4或S6， 并且重复相关处理和后续处理。
图12是示出了图像处理单元42的另一个配置实例的框图。用 相同的参考数字给出与图8中相同的组件。适当省略重复的描述。
图12中的图像处理单元42的配置与图8中的配置的不同之处 在于，还i殳置有环^各控制电^各71o和71，、以及开关72q和72^并 根据通过环路控制电路71o转变开关72o和通过环路控制电^各 转变开关72p控制是否将加法处理的结果输出至记录单元43、或 将其用于下一加法处理。
更特别，图12的图像处理单元42根据通过环路控制电路710 转变开关72o来控制是否将从加法电路52。输出的第一加法处理的 结果用于第二加法处理、或将其原样^T出至记录单元43。图^象处理 单元42还根据通过环路控制电路71，转变开关72，来控制是否将从 加法电路52,输出的第二加法处理的结果用于第三加法处理或将其 原样输出至记录单元43。
例如，4又当尚未获得足够分辨率的SR图^象作为第一加法处理 的结果时，执行第二或后续的反馈值算术处理和加法处理，且仅当 尚未获得足够分辨率的SR图^f象作为乂人加法电^各52t输出的第二加 法处理的结果时，冲丸4亍第三反々贵值算术处理和加法处理。以此方式， 每次完成使用LRo至LR2中的每个进行处理时，才企查SR图像的分 辨率，并且如果尚未获得足够的分辨率，则才丸4于下一反々贵值算术处 理和加法处理，以及相反，如果已获得足够的分辨率，则终止处理。 因而，在某些情况下，可在少量重复之后终止反々^f直l喿作处理和加 法处理，这可以l吏超分辨率处理更快。
超分辨率处理器5U基于LR。和存储在SR图像緩沖器55中的 SR图像来执行反馈值算术处理，并将反馈值输出至加法电路520。
加法电路52o将存储在SR图像緩沖器55中的SR图像与由从 超分辨率处理器51o提供的反馈值表示的SR图像相加，并输出通 过加法获得的一个帧的SR图像，作为第一加法处理的结果。将从 加法电路52o输出的SR图像提供给环路控制电路710和开关720。
环路控制电路71o检查从加法电路52o提供的SR图像的分辨率 (图像质量)，并且如果已获得足够的分辨率，则将开关72。连接至 终端g，从而使SR图像能够作为第一加法处理的结果输出至记录 单元43。此外，如果尚未获得足够的分辨率，则环路控制电路710 将开关72。连4妻至终端b, /人而<吏SR图^f象能够作为第一加法处理的 结果输出至超分辨率处理器5h和加法电^各52i。
例如，对环路控制电路71。提供用于检查SR图像的分辨率的 参考SR图像，以基于相对于参考SR图像的差异、最小平方、协 方差等来确定作为加法处理的结果的SR图^f象的llT出目的地。例如， 如果与参考SR图像的差异小于设为阈值的差异，则将作为加法处 理的结果的SR图像输出至记录单元43。例如，参考SR图像可以 是记录在SR图像緩冲器55中的SR图像，或可根据需要选择从加 法电路520至522中的任一个输出的SR图像。
超分辨率处理器51,基于和从加法电路52o提供的SR图像 来执行反馈值算术处理，并将反馈值输出至加法电路52^
力口法电路52d夸从加法电路520通过开关720提供的SR图像与 由从超分辨率处理器5h提供的反馈值表示的SR图像相加，并输 出通过加法获得的一个帧的SR图像，作为第二加法处理的结果。 从加法电路52，输出的SR图像提供给环路控制电路和开关72i。
环路控制电路7h检查从加法电路52d是供的SR图像的分辨 率，且如果已获得足够的分辨率，则将开关连4妄至终端a，以 使SR图像作为第二加法处理的结果输出至记录单元43。此外，如 果尚未获得足够的分辨率，则环路控制电路7^将开关72，连接至 终端b,以4吏SR图〗象作为第二加法处理的结果输出至超分辨率处 理器512和加法电^各522。用于检查SR图像的分辨率的参考SR图像还^皮施加至环路控 制电^各7h。
超分辨率处理器512基于LR2和从加法电^各52i通过开关72j 提供的SR图^象来执行反馈值算术处理，并将反々贵值输出至加法电 路522。
加法电路522将从加法电路52i通过开关72d是供的SR图像与 由从超分辨率处理器512提供的反馈值表示的SR图像相加，并输 出通过加法获得的一个帧的SR图像，作为超分辨率处理的结果。 从加法电路522输出的SR图像被提供给记录单元43，并同时通过 开关53提供给将进行存储的SR图像緩沖器55。
图12的超分辨率处理器510至512均具有与图9所示配置相同
的配置。
此处，参考图13的流程图，描述通过具有图12的配置的图像 处理单元42冲丸4于的超分辨率处理。
同样，当通过成l象单元41成^f象《争止图片时，开始这个处理， 并分别将LRo输入至超分辨率处理器51G、将LR!llT入至超分辨率 处理器5h、以及将LR2输入至超分辨率处理器512。
在步骤S21中，原始图^f象生成电^各54通过上4亍取样LRo等来 生成原始图像，并使所生成的原始图像通过开关53存储在SR图像 緩沖器55中。
在步骤S22中，超分辨率处理器51o基于LRq和存儲在SR图 像緩冲器55中的SR图像来执行反馈值算术处理，并将反馈值输出 至加法电3各520。此处，冲丸^f亍与参考图11所述的处理相同的处理。
在步骤S23中，加法电^各52o将由在步骤S22中执行的反馈值 算术处理得到并从超分辨率处理器51。提供的反馈值表示的SR图 像与存储在SR图^象緩冲器55中的SR图^f象相加，并输出通过加法 获得的一个帧的SR图^f象，作为第一加法处理的结果。
在步骤S24中，环3各控制电路710检查从加法电路52j是供的
SR图像的图像质量。
在步骤S25中，环路控制电路71。基于SR图像的图像质量的 检查结果来确定是否重复反^t值算术处理等。
如果在步骤S25中确定重复反々贵值算术处理，那么在步骤S26 中，超分辨率处理器5h基于LR!和/人加法电^各520通过开关720 提供的SR图像来执行反馈值算术处理，并将反馈值输出至加法电 路52卜
在步骤S27中，力。法电路52d夸由在步骤S26中执行的反馈值 算术处理得到并由从超分辨率处理器提供的反々贵值表示的SR 图^象与AU 口法电^各52j)4是供的SR图4象相加，并输出通过加法获得 的一个帧的SR图^f象，作为第二加法处理的结果。
在步骤S28中，环路控制电路冲企查从加法电路提供的 SR图像的图4象质量。
在步骤S29中，环路控制电路7h基于SR图像的图像质量的 检查结果来确定是否重复反馈值算术处理等。
如果在步骤S29中确定重复反々贵值算术处理，则在步骤S30中， 超分辨率处理器512基于LR2和从加法电路通过开关72!提供的 SR图像来执行反馈值算术处理，并将反馈值输出至加法电路522。
在步骤S31中，力。法电路522将由在步骤S30中4丸4亍的反々赍<直 算术处理得到并由从超分辨率处理器512提供的反馈值表示的SR 图像与从加法电路52^是供的SR图像相加。
在步骤S32中，力。法电路522将从加法电路52!提供的SR图像 与由从超分辨率处理器512提供的反馈值表示的SR图像相加，将 将所获得的一个帧的SR图像作为超分辨率处理的结果输出至记录 单元43，同时，^吏该结果^皮存储在SR图4象緩冲器55中。然后， 处理:逸回至步4聚S22以重复上述处理。
另一方面，在步專聚S25、 S29中，如果确定不重复反々斧f直算术 处理等，则将确定具有足够质量的SR图像输出至记录单元43，且
完成处理。
图14是示出了超分辨率处理器51n的另 一个配置实例的框图。 相同的参考数字给出与图9相同的組件。适当省略重复描述。
图14的超分辨率处理器51n的配置与图9配置的不同之处在 于，在反向运动补偿电路66的后一级中还设置了反馈增益控制电 路81。
反馈增益控制电路81调节从反向运动补偿电路66提供的反馈 值的增益，并将通过调节增益获得的反馈值输出至加法电路52n。 提供通过对通过取样LRn与SR图像之间的差异图像获得的图像反 向应用运动补偿获得的图像，作为来自反向运动补偿电路66的反馈值。
例如，反馈增益控制电路81通过使由从反向运动补偿电路66 提供的反馈值表示的SR图像的图像信号的总频率分量乘以任意值 来调节增益，或通过使每个频率分量乘以不同值来调节增益。 此外，反々贵增益控制电^各81降^[氐频率分量的信号的增益，有
可能会对当对SR图像应用增加的增益时的图像质量产生不利影 响。例如，基于包含在从反向运动补偿电路66提供的反馈值中的 噪音量、或运动向量4企测时得到的SAD (绝对差异的和)的运动向 量的可靠性等，确定频率分量是否会对图像质量产生不利影响。可 以对整个图像应用、或按区域来应用调节增益的处理。
图15A 图15D是示出了通过反馈增益控制电路81实现的增 益调节的特4正的实例的曲线图。
水平轴表示频率，以及垂直轴表示增益，以及图15A所示的特 性为低频率分量的增益的降低和高频率分量的增益的增加。图15B 所示的特性为低频率分量的增益的增加和高频率分量的增益的减 少。图15C所示的特性为中间附近的频率分量的增益的增加、以及 和除此之外的频率分量的增益的降^氐。图15D所示的特性为所有频 率分量的降低。
此处，参考图16的流程图来描述由具有图14配置的超分辨率 处理器51n执行的反馈值算术处理。同样在图10的步骤S2、 S4、 S6中执行此处理。
除了增加了用于调节增益的处理外，图16所示的处理与参考 图11所述的处理相同。更特别，在步艰《S41中，运动向量4企测电 路61基于输入的SR图像和LRn来检测运动向量，并将检测到的运 动向量输出至运动补偿电^各62和反向运动补偿电^各66。
在步骤S42中，运动补偿电路62基于从运动向量4企测电路61 提供的运动向量来对SR图像应用运动补偿，并将通过应用运动补 偿获得的图像输出至下行取样滤波器63。
在步骤S43中，下行取样滤波器63通过下行耳又样从运动补偿 电路62提供的图像来生成与LRn的分辨率相同的分辨率的图像， 且将所生成的图像输出至加法电路64。
在步骤S44中，加法电5各64生成表示在l命入的LRn与乂人下4亍 取样滤波器63提供的图像之间的差异的差异图像，作为下行取样 的结果，并将所生成的差异图像输出至上行取样滤波器65。
在步骤S45中，上行取样滤波器65通过上行取样,人加法电路 64才是供的图〗象来生成分辨率与SR图^f象的分辨率相同的图l象，并将 所生成的图像输出至反向运动补偿电路66。
在步骤S46中，基于从运动向量4企测电路61提供的运动向量， 反向运动补偿电路66对从上行取样滤波器65 ^是供的图像反向应用 运动补偿，并将通过反向应用运动4卜偿获得的图像输出至反馈增益 4空制电^各81。
在步骤S47中，反馈增益控制电路81调节表示从反向运动补 偿电路66提供的图像，作为反向运动补偿结果的信号的增益，并 将通过调节增益获得的反馈值输出至加法电^各52n。然后，处理返 回至图10的步-骤S2、 S4或S6，并重复相关处理和后续处理。
图17是示出了超分辨率处理器51n的另一个配置实例的^f匡图。 相同的参考凄t字主会出与图14中相同的组件。适当省略重复描述。
图17的超分辨率处理器51 的配置与图14配置的不同之处在 于，取代在反向运动补偿电路66的后一级中，在加法电路64与上 行取样滤波器65之间设置反馈增益控制电路81。换句话说，在图 17的配置中，将由加法电路64得到的差异信号提供给反馈增益控 制电路81,以在此级中执行对差异图像的增益调节。
因此，反々贵增益控制电^各81的插入位置并不限于在反向运动
补偿电路66的后一级中的位置。如图17所示，在将反馈增益控制 电路81插入加法电路64和上4亍取才羊滤波器65之间的情况下，可 以通过一个电3各来实现上行取样滤波器65的功能和反々贵增益控制 电^吝81的功能。
图18是示出了超分辨率处理器51n的另 一个配置实例的框图。 相同的参考数字给出与图8相同的组件。适当省略重复描述。
图18的超分辨率处理器51n的配置与图9配置的不同之处在 于，在运动补偿电路62的前一级中设置了喜好控制电路IOI,并且 在反向运动补偿电路66的后一级中设置了喜好控制电路102。
如图18所示，将用于反馈值的算术的SR图1象4是供给运动向量 检测电路61和喜好控制电路101。同样将根据用户操作的喜好参数 提供给喜好控制电^各101。
喜好参数表示由用户使用如图19所示的GUI (图形用户界面) 调节的值，并且4艮据这个值，选冲奪将用于纟丸行处理的滤波器，并通 过超分辨率处理器51n生成具有符合所选滤波器的图像质量的SR 图像。在图19的实例中，用户可通过滑动滑杆111来调节这个值， 并^吏当前调节的^直显示在显示单元112上。
为了返回图18的描述，喜好控制电^各101才艮据喜好参凄t来选 择滤波器，并使用所选滤波器来对SR图像应用滤波。喜好控制电 鴻^ 101将通过应用滤波获得的SR图<象车#出至运动补偿单元62。
在后一级中的电^各中，冲丸行与上述处理类似的处理。更特别， 在运动补偿电路62中，对从喜好控制电路101提供的SR图像应用 运动补偿，并在下行取样滤波器63中下行取样通过应用运动补偿
获得的图像。在加法电路64中，生成表示与LRn的差异的差异图
像，并使通过在上行取样滤波器65中上行取样差异图像获得的图 像经过在反向运动补偿电路66中进行的反向运动补偿。将通过反 向应用运动补偿获得的SR图像^是供给喜好控制电^各102。
喜好控制电路102根据喜好参数来选择滤波器，并使用所选滤 波器来对从反向运动补偿电路66提供的SR图像应用滤波。喜好控 制电路102将通过应用滤波获得的SR图像输出至加法电路52n,作 为反馈值。
图20A ~图20D是示出了在喜好控制电^各101 、 102中选才奪的 滤波器的特征的实例的曲线图。
图20A~图20D所示的特征分别类似于图15A~图15D所示 的特征，并根据图20A所示的喜好参凄t来调节滤波器的特征。
例如，当从加法电路52 输出的SR图像的图像质量太刺眼， 并且用户进行调节以减少刺眼时，喜好控制电^各102选择LPF (低 通滤波器)以将从加法电路52 输出的SR图像的图像质量调节为 更柔和。
此处，参考图21的流程图来描述通过具有图18配置的超分辨 率处理器51n执行的反馈值算术处理。
除增加了用于调节图^f象质量的处理外，图21所示的处理与参 考图11所述的处理等相同。
在步骤S51中，喜好控制电路101根据喜好参数选择滤波器， 并使用选定滤波器来对所才是供的SR图^象应用滤波(应用喜好控
制)。喜好控制电路101将通过应用滤波获得的SR图像输出至运动
补j尝电^各62。
在步骤S52中，运动向量检测电路61基于输入的SR图像和 LRn来检测运动向量，并将检测到的运动向量输出至运动补偿电路 62和反向运动补偿电^各66。
在步骤S53中，运动补偿电^各62基于乂人运动向量4全测电^各61 提供的运动向量来对SR图像(经过喜好控制并从喜好控制电路101 提供)应用运动补偿，并将通过应用运动补偿获得的图^f象输出至下 4亍耳又一羊滤波器63。
在步骤S54中，下行取样滤波器63通过下行取样从运动补偿 电路62提供的图像来生成分辨率与LRn的分辨率相同的图像，并 将所生成的图像输出至加法电路64。
在步骤S55中，力口法电路64生成表示在输入的LR。与从下行 取样滤波器63提供的图像之间的差异的差异图像，作为下行取样 的结果，并将所生成的差异图像输出至上行取样滤波器65。
在步骤S56中，上4亍耳又样滤波器65通过上^f亍耳又样乂人加法电^各 64提供的图像来生成分辨率与SR图像的分辨率相同的图像，并将 所生成的图像输出至反向运动补偿电路66。
在步骤S57中，基于从运动向量检测电路61提供的运动向量， il向运动补偿电^各66刈-乂人上4亍耳又才羊滤波器65 ^是供的图4象反向应用 运动补偿，并将通过反向应用运动补偿获得的图像输出至喜好控制 电路102。
在步骤S58中，喜好控制电路102根据喜好参数来选择滤波器， 并使用所选滤波器来对从反向运动补偿电路66提供的SR图像应用 滤波。喜好控制电路102将通过应用滤波获得的SR图像作为反馈 值输出至加法电^各52n。然后，处理返回图10的步骤S2、 S4或S6，
并重复相关处理和后续处理。
图22是示出了超分辨率处理器51n的另 一个配置实例的框图。 相同的参考H字给出与图18相同的组件。适当省略重复描述。
图22的超分辨率处理器51n的配置与图18配置的不同之处在 于，取代在运动补偿电路62的前一级中，在下行取样滤波器63与 加法电路64之间设置喜好控制电路101，以及取代在反向运动补偿 电路66的后一级中，在力口法电路64与上行耳又样滤波器65之间设 置喜好控制电路102。
更特别，在图22的配置中，将通过下4亍耳又样滤波器63获得的 图像提供给喜好控制电路101 ，并使分辨率与LRn的分辨率相同的 图像经过滤波。此外，将通过加法电路64得到的差异图像提供给 喜好控制电路102,以在这一级中，对该差异图像应用滤波。
因此，可以在超分辨率处理器51n内的任何位置设置喜好控制 电路IOI,只要喜好控制电路101位于加法电路64 (用于得到差异 图l象的组件)的前一^^中的4立置。此外，可以在超分辨率处理器51n 内的任何位置设置喜好控制电路102,只要喜好控制电路102位于 力口法电^各64的后一级中的位置。例如，还可以通过具有DSF或USF 的综合型滤波器来实现喜好控制电^各101、 102。
可以仅设置喜好控制电路101和喜好控制电路102中的一个。
接下来描述实现成 <象运动图片的功能的配置。
图23是示出了通过成像设备31执行的运动图片的成像概念的示图。
图23中的LRn至LR。+5是通过成像单元41获得并用于进行超 分辨率处理的LR图<象。例如，在成^象单元41中，以每秒30帧的 帧频来执行LR图像的成像。
如图23所示，在除第一处理外的每个超分辨率处理中，连续 获得三个帧的LR图^象，并^f吏用一个帧的SR图<象。例如，在第一 超分辨率处理中，使用LR图像的三个帧LRn、 LRn+1和LRn+2来生 成SRn ( —个帧的SR图像)。
此夕卜，在第二超分辨率处理中，使用LR图像的三个帧LRn+1、 LRn+2、 LR。+3和SRn (通过第一超分辨率处理生成的SR图像)来生 成SRn+1 ( —个帧的SR图像)。
在第三超分辨率处理中，使用三个帧的LR图像的LRn+2、LRn+3、 LRn+4和SRn+1(通过第二超分辨率处理生成的SR图像)来生成SRn+2 (一个帧的SR图像)。
以此方式，在成傳3殳备31中，在后一超分辨率处理中还4吏用 在该超分辨率处理中生成的SR图像，这可以使得处理比仅使用LR 图1象#^亍超分辨率处理的情况(例如，如图24所示)更快。
图24是示出了4吏用超分辨率处理来成<象运动图片的功能的现 有概念的框图，其中，在每个超分辨率处理中，仫 使用连续获得的 三个帧的LR图^f象。例如，在第一超分辨率处理中， -使用LR图"f象
的三个帧LRn、 LRn+!和LRn+2生成SR。(一个帧的SR图像)。此外，
在第二超分辨率处理中，使用LR图像的三个帧LRn+1、 LRn+2、 LRn+3 生成SRw (—个帧的SR图像)。
图25是示出了使用连续获得的三个帧的LR图像和由前一超分 辨率处理获得的一个帧的SR图像来执行超分辨率处理从而实现运 动图片的成像(如图23所示)的图像处理单元42的配置实例的框图。
图25的图l象处理单元42基本上是通过延长图3的配置(实现 静止图片的成像)获得的，以便实现运动图片的成像。
如图25所示，图像处理单元42由超分辨率处理器2010至2012、 运动图片应用处理电3各202p 2022、求和电^各203、力o法电3各204、 开关205、原始图像生成电路206、和SR图像緩冲器207构成。
将LRn(通过成像获得的LR图像)输入至超分辨率处理器2010、 运动图片应用处理电^各202，、 2022、和原始图像生成电路206,以 及将LRn+1输入至超分辨率处理器20^和运动图片应用处理电^各 202i。将LRn+2输入至超分辨率处理器2012和运动图片应用处理电 路2022。
超分辨率处理器20U基于LRn和存^f诸在SR图^象緩冲器207中 的SR图像来执4亍反^t值算术处理，并将反々贵值输出至求和电^各 203。认为在输入至超分辨率处理器201。的LR。与在SR图像上得 到的内容之间不存在4艮大的差异，以在由通过所超分辨率处理器 201o得到的反馈值表示的SR图像中，所有像素的信息基本上都用 于进4亍加法处理。因此，与超分辨率处理器201p 2012的1#出不同， 将超分辨率处理器20lo的#T出原才羊发送至求和电^各203 ，而无需经 过运动图片应用处理。
超分辨率处理器20h基于LRn+!和存储在SR图像緩冲器207 中的SR图像来执行反馈值算术处理，并将表示SR图像的反馈值 專#出至运动图片应用处理电^各202j 。
超分辨率处理器2012基于LRn+2和存储在SR图4象緩冲器207 中的SR图像来执行反馈值算术处理，并将表示SR图像的反馈值 專IT出至运动图片应用处理电^各2022。
运动图片应用处理电3各202^又将在/人超分辨率处理器201，才是 供的SR图像的像素中被确定为可用于与存储在SR图像緩沖器207 中的SR图像相加的像素的信息作为反馈值输出至求和电路203。
例如，将被认为在与存储在SR图像緩沖器207中的SR图像 相加时会使图像质量退化的区域中的j象素确定为不可用于与SR图 像进行相加的像素，以通过运动图片应用处理来提耳又仅被认为当相 加时有助于改良图像质量的区域中的像素。在运动图片的成像中，
运动大的对象通常为对象，因而，当执行运动补偿作为反々责值算术 处理中的一个处理时，可以获得不清楚的对象图〗象。因此，这个运 动图片应用处理去除了在不清楚拍摄对象的区域中的像素。稍后将 描述运动图片应用处理的详情。
运动图片应用处理电路2022仅将在从超分辨率处理器2012提 供的SR图像的像素中经确定为可用于与存储在SR图像i爰沖器207 中的SR图像相加的像素的信息作为反馈值输出至求和电路203。
求和电3各203求出乂人超分辨率处理器201o和运动图片应用处理 电路202i、 2022提供的反馈值的平均，且将分辨率与SR图像(通 过均分获得)的分辨率相同的图^f象l命出至加法电^各204。
力口法电路204将存储在SR图像緩冲器207中的SR图像与从 求和电路203提供的SR图像相加，并输出通过加法获得的SR图 像。力口法电路204的输出被提供给记录单元43，作为超分辨率处理 的结果，并同时将其提供给将要进行存储的SR图像緩沖器207。
当通过原始图像生成电路206生成原始图像时，开关205连接 至终端a以将原始图像存储在SR图像緩沖器207中。此外，当从 加法电路204提供SR图像时，开关205连接至终端b以将SR图 像存储在SR图像緩冲器207中。当执行原始超分辨率处理时，开 关205连4妻至终端a，而当在重复的超分辨率处理中^M亍第二超分 辨率处理或后续超分辨率处理时，该开关连4妄至纟冬端b。
原始图像生成电路206基于通过成像获得的LRn和SR^(作为 超分辨率处理的结果获^f的前一帧的SR图4象)来生成原始图4象， 并使所生成的原始图像通过与终端a连接的开关205存储在SR图 叶象緩沖器207中。例如，当通过超分辨率处理生成第二帧的SR图 像时，将通过成像获得的LR2和SR4 (作为超分辨率处理的处理结 果获得的SR图像)提供给原始图像生成电路206，而当通过超分 辨率处理生成第三帧的SR图^f象时，纟是供通过成l象获得的LR3和SR2 (作为超分辨率处理的处理结果获得的SR图^f象)。
SR图像緩沖器207存储由原始图像生成电路206生成的原始 图像或从加法电3各204输出的SR图#^。
图26是示出了原始图像生成电路206的配置实例的框图。
如图26所示，原始图<象生成电^各206由上4亍耳又才羊处理单元221、 运动校正单元222、和图像生成单元223组成。将LRn输入至上行 取样处理单元221,以及将SR^输入至运动4交正单元222。上行取^ 样处理单元221将LRn上4亍取才羊至分辨率与SR图l象的分辨率相同 的图<象，并将通过上行耳又样获得的图^f象输出至运动才交正单元222和 图l象生成单元223。
基于SR^和从上行取样处理单元221提供的LRn的上行取样 结果，运动一交正单元222 4吏用LRn的上行耳又样结果作为参考来4企测运动向量，并使用一全测到的运动向量来对SR^应用运动补偿。运
动才交正单元222将通过应用运动补偿获得的图傳_输出至图4象生成单 元223。
图像生成单元223基于从上行取样处理单元221提供的LRn的 上行耳又样结果、和从运动纟交正单元222 一是供的运动补偿的结果来生 成原始图像，并使所生成的原始图像存储在SR图像緩冲器207中。 例如，图像生成单元223使用作为在不能在乂人运动4交正单元222才是 供的SR图像中成功执行运动补偿的区域中的LRn的上行取样结果 的SR图像的像素来取代在相同区域中的像素，从而生成原始图像。
图27A~图27C是示出了原始图像的生成实例的图。
图27A的左侧上所示的LRn是被输入至上行取样处理单元221 的LR图像，而右侧上所示的SRn-!是被输入至运动校正单元222的 SR图像。LR,、与SR^的大小的差异表示分辨率的差异。由于在用 于生成SR^的LR^之后成l象LRn,所以在LRn上拍摄的汽车的位 置是从在SR^上拍摄的汽车的位置开始沿行进方向移动的位置。 LRn与SR^的背景是几乎相同的布景。
例如，上行取样上述LRn,并使用上行耳又样结果和SRn-!来检测 运动向量。检测到的运动向量是从在SR^上拍摄的汽车的位置到 在LRn的上行取样结果上拍摄的汽车位置的向量。当使用上述运动 向量对SR^应用运动补偿时，获得图27B所示的SR图l象作为运动 补偿的结果。
在图27B所示的SR图l象中，与图27A的SR^相比，汽车的 位置沿行进方向移动。区域Ai是在SR^上没有拍摄的背景区域， 这个区域将被提取作为不能成功应用运动补偿的区域。图27C所示的SR图〗象是^f吏用在与LRn的上4亍耳又样结果中的区 域At相同位置中的区域中的像素来取代在图27B所示的SR图像中 的区域Ai中的像素的图像。以此方式，将使用LRn的上行取样结 果的像素来取代在不能成功应用运动补偿的区域中的像素的SR图 像用作原始图像。为了方便，仅给出表示图27C的原始图像中所示 的区域A1的帧，并且该帧不会出现在实际图l象上。
述原始图像生成。
图28是示出了运动图片应用处理电路202i的配置实例的框图。
如图28所示，运动图片应用处理电路202i由差异图像生成单 元231、 二进制4匕处理单元232、方文大处理单元233、和屏蔽处理单 元234构成。
通过成像获得的LRn和LRn+1被输入至差异图像生成单元231， 以及通过超分辨率处理器20h执行反馈值算术处理获得的SR图像 4皮输入至屏蔽处理单元234。
差异图像生成单元231得到表示LR。与LR,^之间的差异的差 异图像，并将得到的差异图像输出至二进制化处理单元232。
基于从差异图像处理单元231提供的差异图像，二进制化处理 单元232生成二进制图像，在该二进制图像中，例如，在LRn与LRn+1 之间具有极小差异的区域用1来表示，以及差异大于阈值的区域用 O表示，然后将生成的二进制图像输出至》文大处理单元233。;故大处理单元233将由二进制化处理单元232生成的二进制图 像放大成分辨率与SR图像的分辨率相同的图像，然后将该图像作 为屏蔽图像输出至屏蔽处理单元234。
屏蔽处理单元234使用从放大处理单元233提供的屏蔽图像来 对从超分辨率处理器201!提供的SR图像应用屏蔽处理，并将从屏 蔽处理得到的结果作为反馈值输出至求和电路203 。
图29A~图29C是示出了屏蔽图l象的生成的实例的图。
图29A的左侧上所示的LRn+1和右侧上所示的LRn是被输入至 差异图像生成单元231的LR图像。例如，从这些LR图像中得到 差异图像，且将其二进制化。
图29B是示出了二进制图像的实例的图，其中，在整个二进制 图像中，区域An是与在LR^和LRn上均拍摄到背景的区域相对 应的区域，乂人而具有了4及小的差异。因此，这个区域用l来表示。
另一方面，区域A^是与分别在LRn+1上拍摄到汽车以及在 LRn+,上拍摄到背景的区域相对应的区域，从而具有了差异，因此， 这个区域用0来表示。区域Au是与分别在LRn+!上拍摄到背景以 及在LRn上拍摄到汽车的区域相对应的区域，从而具有了差异。因 此，这个区域也用O来表示。
图29C所示的SR图像是通过将图29B所展的二进制图像放大 为分辨率与SR图像的分辨率相同的图像而获得的屏蔽图像。对通 过反馈算术处理获得的SR图像应用使用上述屏蔽图像的屏蔽处 理。屏蔽处理用0来取代在通过反馈值算术处理获得的SR图像中 与图29C的屏蔽图^象中的黑色部分表示的区域相对应的区域中的像素，并将一部分已被0取代的SR图像作为反馈值输出至求和电
路203。
通过对反馈值算术处理的结果应用上述屏蔽处理应用，可以防 止显著移动的对象的区域中的像素的信息被反馈并与在SR图像緩 冲器207中的SR图^f象相加。由于在显著移动的对象的区域中可能 发生对象抖动，所以可以通过避免使像素信息在此区域中的反馈来 防止SR图像的图像质量的退化。
运动图片应用处理单元2022也具有与图28的配置类似的配置。 在运动图片应用处理单元2022中，使用LR。+2取代LRn+1来执行与 上述处理类似的处J里。
此处，参考图30的流程图给出当运动图片成l象时的超分辨率 处理的描述，运动图片成〗象是通过具有图25配置的图4象处理单元 42执行的。
当通过成像单元41成像运动图片时，开始这个处理，将LRn 举叙入至超分辨率处理器201，、运动图片应用处理单元202,、 2022和 原始图像生成电路206,将LRn+1输入至超分辨率处理器201!和运 动图片应用处理单元202,，以及将LRn+2输入至超分辨率处理器2012 和运动图片应用处理单元2022。
在步骤S101中，原始图像生成电^各206冲丸行原始图像生成处 理，并使所生成的原始图像-故存储在SR图傳J爰沖器207中。稍后 将参考图31描述原始图4象生成处理。
在步骤S102中，超分辨率处理器201o至2012中的每个基于 LR图像和存储在SR图像緩沖器207中的SR图像来执行反馈值算 术处理，并输出反々贵值。
基于LRn和超分辨率处理器2010中的SR图^f象、基于LRw和 在超分辨率处理器201，中的SR图像、以及基于LRn+2和超分辨率 处理器2012中的SR图〗象，分别扭^亍与参考图11所述的处理相似 的处理。将从超分辨率处理器201o输出的反馈值输入至求和电路 203,以及将从超分辨率处理器20^输出的反馈值输入至运动图片 应用处理电路202i。将从超分辨率处理器2012输出的反馈值输入至 运动图片应用处理电3各2022。
在步骤S103中，运动图片应用处理电路202^ 2022中的每个
执行运动图片应用处理，并将通过运动图片应用处理获得的反馈值 输出至求和电^各203。稍后将参考图32的流程图来描述运动图片应
用处理。
在步-骤S104中，求和电^各203 ^J"/人超分I辟率处理器2010和运 动图片应用处理电路202，、 2022提供的反馈值求和，并将求和结果 车叙出至加法电3各204。
在步骤S105中，求和电^各204 一等由/人求和电^各203 4是供的反 馈值表示的SR图像与存储在SR图像緩冲器207中的SR图像相加。
在步骤S106中，力。法电路204将通过加法获得的SR图4象输出 至记录单元43,并同时将其提供给将要进行存储的SR图像緩沖器 207。
重复步骤S102和稍后的处理，直至确定从图^f象处理单元42丰lr 出的SR图像具有了足够的分辨率。
接下来参考图31的流程图描述在图30的步骤S101中4丸行的 原始图^f象生成处理。
在步骤Sill中，原始图像生成电路206的上行取样处理单元 221将LRn上行取样至分辨率与SR图像的分辨率相同的图像，并 将通过上行取样获得的图像输出至运动4交正单元222和图l象生成单 元223。
在步骤S112中，运动4交正单元222基于SRw和乂人上4亍耳又样处 理单元221提供的LRn的上行取样结果来4企测运动向量。
在步骤S113中，运动校正单元222使用才企测到的运动向量来 将对SR^应用运动补偿并将所获得的图像输出至图像生成单元 223。
在步骤S114中，图l象生成单元223将作为从上行耳又样处理单 元221提供的LRn的上行取样结果的SR图像与作为从运动校正单 元222提供的运动补偿结果的SR图像进行比较，并在该SR图像 中提取出不能应用运动补偿的区域来作为运动补偿结果。
在步骤S115中，图〗象生成单元223使用作为在相同位置中的 区域中的LRn的上行取样结果的SR图像的像素取代在步骤S114中 提取出的区域中的像素来生成原始图像。然后，处理返回至图30 的步备聚S101来4丸4于相关处理和后续处理。
接着，参考图32的流程图描述在图30的步骤S103中执行的 运动图片应用处理。此处，给出了对通过运动图片应用处理电路 202t执行的处理的描述。在运动图片应用处理电路2022中也执行类 似的处理。
在步骤S121中，运动图片应用处理电路202i的差异图像生成 单元231得到表示LR。与LRnw之间的差异的差异图像，并将得到 的差异图 <象输出至二进制化处理单元232。
在步骤S122中，二进制化处理单元232生成二进制图^f象，在 该二进制图像中，例如，在LRn与LRnw之间具有极小差异的区域 用1来表示，差异大于阔值的区域用0来表示，然后将所生成的二 进制图像输出至方文大处理单元233。
在步骤S123中，力文大处理单元233将由二进制化处理单元232 生成的二进制图像放大为分辨率(尺寸)与SR图像的分辨率(尺 寸)相同的图像，并将其作为屏蔽图像输出至屏蔽处理单元234。
在步骤S124中，屏蔽处理单元234 ^吏用/人方欠大处理单元233 提供的屏蔽图4象对乂人超分辨率处理器201^是供的SR图l象应用屏蔽 处理，并将从屏蔽处理得到的结果作为反馈值输出至求和电路203。
图33为运动图片应用处理电^各202i的另 一个配置实例的冲匡图。
虽然在图25的实例中，作为用于运动图片应用处理的LR图4象， 分别将LRn输入至运动图片应用处理电^各202^ 2022,将LRn+1输 入至运动图片应用处理电路202p以及将LRn+2输入至运动图片应 用处理电路2022,但是取代LRn,还可以输入存储在SR图像緩冲 器207中的SR图4象。
在图33的实例中，运动图片应用处理电^各202！由上4亍取样处 理单元241、差异图i象生成单元242、 二进制4b处理单元243、和屏 蔽处理单元244构成，并且将通过成像获得的LR。w输入至上行取 样处理单元241,将存储在SR图像緩沖器207中的SR图像输入至 差异图像生成单元242。将通过超分辨率处理器20^执行反馈值算 术处理获得的SR图l象输入至屏蔽处理单元244。
上4亍耳又才羊处理单元241 一寻LR。+i上4亍取才羊至分辨率与SR图<象 的分辨率相同的图像，并将通过上行取样获得的图1泉输出至差异图 像生成单元242。
差异图像生成单元242得到表示在LR^与SR图像之间的差 异的差异图像，并将得到的差异图像输出至二进制化处理单元243。
基于从差异图像生成单元242提供的差异图像，二进制化处理 单元243生成二进制图像，其中，例如，在LRn+1与SR的取样结 果之间具有极小差异的区域用l来表示，以及差异大于阈值的区域 用O来表示，然后将生成的二进制图像作为屏蔽图像输出至屏蔽处 理单元244。
屏蔽处理单元244使用从;改大处理单元243提供的屏蔽图像来 对从超分辨率处理器20h提供的SR图像应用屏蔽处理，并将屏蔽 处理的结果作为反馈值输出至求和电路203 。
图34A~图34C是示出了屏蔽图像的生成实例的示图。
图34A的左侧上所示的LRn+1是被输入至上行取样处理单元 241的LR图像，以及右侧上所示的SR图像是被输入至差异图像生 成单元242的SR图4象。例如，4吏此LR图4象经过上4亍耳又样，并人人 上行耳又样结果以及待进行二进制化的SR图<象中得到差异图<象。
图34B是示出了二进制图像的实例的示图。在整个二进制图^f象 中，区域A21是与在LRn+1的上行耳又样结果和SR图〗象上都拍才聂到背 景的区域相对应的区域，,人而具有才及小的差异，因而这个区域可以 用1来表示。另 一方面，区域A22是与分别在LRn+1的上行取样结果上拍招L 到汽车而在SR图像上拍摄到背景的区域相对应的区域，从而具有 了差异。因此，这个区域用0来表示。区域八23是与分别在LRn+1 的上行取样结果上拍摄到背景而在SR图像上拍摄到汽车的区域相 对应的区域，乂人而具有了差异。因此，这个区i或也用O来表示。
图34C所示的SR图像是从图34B所示的二进制图像获得的屏 蔽图像。对由超分辨率处理器20h获得的SR图像应用4吏用上述屏 蔽图像的屏蔽处理。屏蔽处理用O来取代在由反馈值算术处理获得 的SR图像中与图34C的屏蔽图像中的黑色所表示的区域相对应的 区域中的像素，并将一部分已被0取代的SR图像作为反馈值输出 至求和电3各203。
通过对反々贵值算术处理的结果应用上述屏蔽处理，还可以防止 在对象显著移动的区域中的像素的信息被用作反馈值。
运动图片应用处理电^各2022也可以具有与图33的配置类似的 配置。在此情况下，在运动图片应用处理电路2022中，使用LRn+2 取代LRn+1来执行与上述处理类似的处理。
接下来参考图35的流程图描述由具有与图33的相同配置的运 动图片应用处理电路202i执行的运动图片应用处理。
这个处理是在图30的步骤S103中执行的处理。此处，描述了 通过运动图片应用处理电^各202i执行的处理。在运动图片应用处理 电^各2022中也冲丸4亍类似的处理。
在步骤S131中，上行耳又样处理单元241将LRn+1上行耳又样至分 辨率与SR图像的分辨率相同的图像，并将通过上行取样获得的图 像输出至差异图像生成单元242。 在步骤S132中，差异图^f象生成单元242得到表示在LRn+1的上 行取样结果与SR图像之间的差异的差异图像，并将得到的差异图 1象输出至二进制化处理单元243。
在步骤S133中，二进制化处理单元243通过对/人差异图4象生 成单元242提供的差异图像进行二进制化来生成屏蔽图像，并将生 成的屏蔽图像输出至屏蔽处理单元244。
在步骤S134中，屏蔽处理单元244 ^f吏用从放大处理单元243 提供的屏蔽图〗象来对从超分辨率处理器201j是供的SR图^f象应用屏 蔽处理，并将乂人屏蔽处理得到的结果作为反々贵值，lT出至求和电^各 203。
图36是示出了用于实现运动图片的成像的图像处理单元42的 另一个配置实例的^i图。
在图36的图4象处理单元42中，4吏用连续获4f的三个帧的LR 图像和由前一加法处理获得的一个帧的SR图^象来才丸^亍每个加法处 理。相同的参考数字给出与图25相同的组件。适当省略重复描述。
在图36的实例中，图^象处理单元42由超分，辟率处理器2010 至2012、运动图片应用处理电^各202p 2022、力口法电3各251o至2512、 开关205、原始图像生成电路206、和SR图像緩沖器207构成。
图36的图^f象处理单元42是通过延长图8的配置(通过4吏用高 斯-赛德尔方法的超分辨率处理来生成SR图像)获得的，从而实现 了运动图片的成像。
将LRn (从成像单元41提供的LR图像)输入至超分辨率处理 器20U、运动图片应用处理电^各202p 2022、和原始图4象生成电鴻^
206,以及将LRn+1 llr入至超分辨率处理器20h和运动图片应用处 理电路202，。将LRn+2输入至超分辨率处理器2012和运动图片应用 处理电路2022。 LRn至LRn+2是连续获得的LR图像。
超分辨率处理器2010基于LRn和存储在SR图像緩冲器207中 的SR图像来执行反馈值算术处理，并将反馈值输出至加法电路 2510。
加法电路251o将存储在SR图像緩沖器207中的SR图像与由 从超分辨率处理器2010提供的反馈值表示的SR图像相加，并输出 通过加法获得的一个帧的SR图^象作为第一加法处理的结果。将,人 加法电路251o输出的SR图像输入至超分辨率处理器20^和加法电 路251"
超分辨率处理器201!基于LRn+!和从加法电路251o提供的SR 图像来执行反馈值算术处理，并将反馈值输出至运动图片应用处理 电路202"
在从超分辨率处理器201^是供的SR图^象的^象素中，运动图片 应用处理电路202t仅将被确定为可与SR图像相加的像素的信息作 为反々贵值输出至加法电^各25^。
加法电路251，将从加法电路251^是供的SR图^f象与由从运动图 片应用处理电路202^是供的反馈值表示的SR图像相加，并输出通 过加法获得的一个帧的SR图像作为第二加法处理的结果。从加法 电路25h输出的SR图像被输入至超分辨率处理器2012和加法电路 251，。
超分辨率处理器2012基于LR。+2和从加法电路251,提供的SR 图像来#1行反々贵值算术处理，并将反々贵值输出至运动图片应用处理 电路2022。
加法电路25l2将从加法电路25^提供的SR图像与由从运动图 片应用处理电路2022提供的反馈值表示的SR图像相加，并输出通 过加法获得的一个帧的SR图i象作为超分辨率处理的结果。,人加法 电路2512输出的SR图像被输入至记录单元43,同时，将该SR图 像其通过开关205冲是供给将要进行存4诸的SR图像緩沖器207。
当通过原始图像生成电路206生成原始图4象时，开关205连接 至终端a以将原始图像存储在SR图像緩沖器207中。此外，当从 加法电^各25124是供SR图^f象时，开关205连4妻至终端b以将SR图 像存储在SR图像緩冲器207中。
例如，当开始超分辨率处理时，原始图像生成电路206如参考 图31所述生成原始图像，并<吏所生成的原始图<象通过与终端a连 接的开关205存储在SR图像緩冲器207中。
SR图像緩沖器207存储由原始图像生成电路206生成的原始 图像或从加法电路2512提供的SR图像。
虽然在图36的实例中，4吏用一个帧的SR图傳_和三个帧的LR 图像来执行一连串的超分辨率处理，但是用于超分辨率处理的LR 图像数是任意的。
例如，如图37所示，还可以使用通过前一超分辨率处理生成 的一个帧的SR图〗象和两个帧的LR图^f象来寺丸一亍每个超分辨率处理， 或如图38所示，还可以4吏用通过前一超分辨率处理生成的一个帧 的SR图像、和一个帧的LR图像来执行每个超分辨率处理。
在图37的实例中，使用连续获得的两个帧的LR图像和一个帧 的SR图^f象来执行除第一处理外的每个超分辨率处理。在第一超分 辨率处理中，使用LR图像的两个帧LRn、 LRn+1来生成SRn ( —个 帧的SR图卩象)。
此夕卜，在第二超分辨率处理中，4吏用LR图像的两个帧LRn+1、 LRn+2以及SRn(通过第 一超分辨率处理获得的SR图像)来生成SRn+1 (一个帧的SR图像)。
在第三超分辨率处理中，使用LR图像的两个帧LRn+2、 LRn+3 以及SRn+1 (通过第二超分辨率处理获得的SR图像)来生成SRn+2 (一个帧的SR图l象)。
在图38的实例中，使用一个帧的LR图像和一个帧的SR图像 来寺丸4于除第一处理外的每个超分辨率处理。在第一超分辨率处理 中，使用LR图像的一个帧LRn来生成SRn (—个帧的SR图像)。 例如，通过将LRn上行取样至分辨率与SR图像的分辨率相同的图 i象来生成SRn。
此夕卜，在第二超分辨率处理中，使用LR图像的一个帧LRn+1 以及SRn(通过第一超分辨率处理获得的SR图像)来生成SRn+1( — 个帧的SR图<象)。
在第三超分辨率处理中，使用LR图像的一个帧LRn+2以及 SRn+1 (通过第二超分辨率处理获得的一个帧的SR图像)来生成 SRn+2 ( —个帧的SR图像)。
图39是使用 一个帧的LR图像和一个帧的SR图像来执行每个 超分辨率处理以实现运动图片的成{象(如图38所示)的图^f象处理
单元42的另一个配置实例的才匡图。相同的参考凄史字主合出与图36中 相同的^H/f牛。适当省略重复描述。
除了被配置为执行第二反馈值算术处理的超分辨率处理器 2011 、运动图片应用处理电^各202t和加法电^各25^以及,皮配置为才丸 行第三反々贵值算术处理的超分辨率处理器2012、运动图片应用处理 电路2022和加法电路2512外，图39的图像处理单元基本上具有与 图36的配置类^f以的配置。
超分辨率处理器201o基于LR。和存储在SR图^f象緩冲器207中 的SR图像来执行反馈值算术处理，并将反馈值算术处理的结果输 出至加法电^各251()。
加法电路25U将存储在SR图像緩沖器207中的SR图像与由 从超分辨率处理器201o提供的反馈值表示的SR图像相加，并输出 通过加法获得的SR图像。从加法电路2510输出的SR图像作为超 分辨率处理的结果被提供给记录单元43,并同时通过开关205被提 供给将进行存储的SR图像緩冲器207。
因此，用于一个超分辨率处理中的LR图^f象凄丈的减少可使超分 辨率处j里更快。
如图37所示，在使用一个帧的SR图像和两个帧的LR图像来 执行超分辨率处理的图像处理单元42中，从图36的图像处理单元 42的配置中去除^皮配置为扭^于第三反々贵值算术处理和加法处理的 超分辨率处理器2012、运动图片应用处理电^各2022和加法电^各 2512。
虽然之前，通过前一超分辨率处理生成的LR图像和SR图像 用于执行每个超分辨率处理，^f旦是在成^象单元41具有在运动图片
的成像期间开始静止图片的成像的功能的情况下，可以使用LR图
像和同时成像的一个帧的静止图片来^vf亍超分辨率处理。在此情况
下，在运动图片的成像期间成像的静止图片的分辨率大于LR图像
的分辨率。
图40是示出了使用LR图像和在运动图片的成像期间成像的一 个帧的静止图片进行的超分辨率处理的概念的示图。
在图40的实例中，使用LR图像的三个帧LRn+3、 LRn+4、 LRn+
和静止图片n+3 (在与LRn+3的成像同时成像的一个帧的静止图片)
来扭J于第四超分辨率处理。
可以通过硬件或软件来寺丸行上述一连串处理。当通过软件来执 行这一连串处理时，将软件安装到在指定硬件上安装有用于配置软 件的程序的计算机上，或者安装到(例如)能够通过程序记录介质 安装各种程序等以程序来才丸行各种功能的通用个人计算才几上。
图4]是示出了4丸行上述一连串处理的个人计算才几的配置的一
实例的框图。
CPU (中央处理单元)301根据存储在ROM (只读存储器)302 或存储单元308中的程序来执行各种类型的处理。将由CPU 301执 行的程序、数据等适当存储在RAM (随才几存耳又存储器)303中。将 CPU 301 、 ROM 302禾口 RAM 303通过,悉纟戋304 4皮jt匕连才妻。
同样将输入/输出接口 305通过总线304连接至CPU 301 。将由 键盘、鼠标、麦克风等构成的输入单元306和由显示器、扬声器等 构成的输出单元307连接至输入/输出接口 305。 CPU301执行与从 输入单元306输入的指令相对应的各种类型的处理。CPU 301将处 理结果输出至输出单元307。例如，连接至输入/输出接口 305的存储单元308由硬盘构成， 以存储由CPU 301执行的程序和各种类型的数据。通信单元309通 过互联网或诸如局域网的网络来与外部设备通信。
连接至输入/输出接口 305的驱动器310驱动诸如万兹盘、光盘、 磁光盘和半导体存储器等的可移动介质311。当加载可移动介质311 时，需要在该可移动介质中存储程序、数据等。根据需要，将所需 的程序或数据转移至将要进行存卩渚的存储单元308。
如图41所示，用于存储程序的程序记录介质(安装在计算枳j 上并处于可以通过计算枳4丸4亍的一犬态)可以是可移动介质311 (由 磁盘(包括软盘)、光盘(包括CD-ROM (紧致光盘只读存储器))、 和DVD (数字式通用盘)、磁光盘、半导体存储器等构成的封装介 质)、或临时或永久存储程序的ROM 302、用于配置存储单元308 的硬盘等。根据需要，通过通信单元309 (诸如路由器和调制解调 器的4妄口 )，利用有线或无线通信介质(包括局域网、互耳关网和凄t 字卫星广播)来将程序存储在记录介质的程序中。
在本说明书中，描述程序的步骤不仅包括以所述时间顺序执行 的处理，还包4舌并4亍或单独而非以时间顺序来批J亍的处理。
本发明的实施例并不限于上述实施例。在不脱离本发明精神的 '清况下，可以进4亍多种》务改。
权利要求
1.一种图像处理设备，包括加法装置，用于执行将表示第一分辨率的输入图像与高于所述第一分辨率的第二分辨率的图像之间的差异的所述第二分辨率的差异图像的像素作为所述第二分辨率的输入图像的像素相加的加法处理；以及图像处理装置，其包括多个所述加法装置，所述图像处理装置被配置为执行第二和以后的加法处理，并通过预定次数地执行所述加法处理来生成所述第二分辨率的图像作为处理结果，使用互不相同的所述第一分辨率的图像和通过前一加法处理获得的所述第二分辨率的所述图像的输入来执行所述加法处理。
2. 根据权利要求1所述的图像处理设备，还包括控制装置，用 于基于通过所述加法处理获得的所述第二分辨率的所述图像， 控制是否4吏用通过所述加法处理获得的所述第二分辨率的所 述图 <象的所述输入来扭j亍下 一加法处理。
3. 根据权利要求1所述的图l象处理i殳备，还包括调节装置，用 于执行表示所述差异图像的信号的增益的调节。
4. 根据权利要求1所述的图像处理设备，还包括调节装置，用 于执行表示作为用于获得所述差异图像的所述图像而输入的 所述第二分辨率的所述图像的信号的增益的调节、和表示所得到的所述差异图像的信号的增益的调节中的至少任 一 个调节。
5. 根据权利要求1所述的图像处理设备，还包括生成装置，用 于生成作为第 一加法处理的输入的所述第二分辨率的原始图 像，其中，当所述图<象处理装置4吏用第n帧的所述第一分辨 率的拾取图i象生成所述第二分辨率的图像作为第n巾贞的处理 结果时，所述生成装置生成一个图像作为所述原始图像，在所述 一个图像中，构成第(n-1 )帧的处理结果的所述第二分辨率的图 像的一部分像素一皮通过构成由上^f亍取样所述第n帧的所述第 一分辨率的所述图像而获得的图像的像素取代。
6. 才艮据权利要求5所述的图像处理设备，其中，所述生成装置还 包括上行耳又样处理装置，用于上行耳又样通过成l象获得的所述 第n帧的所述第一分辨率的所述图像；才交正装置，用于使用基于作为所述第(n-l)帧的所述处理 结果的所述第二分辨率的所述图4象和由所述上4亍耳又样处理装 置的上行取样而获得的所述图像纟佥测到的运动向量，将运动^卜 偿应用于作为所述第(n-l)帧的处理结果的所述第二分辨率的 所述图Y象；以及图像生成装置，用于通过4吏用在对应位置区域中通过所 述上行取样处理装置的所述上行取样而获得的所述图^f象的l象 素，取代在所述4交正装置通过应用所述运动补偿而获得的所述 图像中显示对象的区域中的^象素，生成所述原始图^f象，其中， 通过所述运动补偿来移动所述对象的位置。
7. —种图像处理设备的图像处理方法，所述图像处理设备包括 多个加法装置，用于执行将表示第一分辨率的输入图像与高于 所述第 一分辨率的第二分辨率的图像之间的差异的所述第二 分辨率的差异图像的像素作为所述第二分辨率的输入图像的象素相加的加法处J里，所述方法包括以下步骤<吏用互不相同的所述第一分辨率的所述图Y象和通过前一 加法处理获得的所述第二分辨率的所述图像的输入来执行第 二和以后的加法处理；以及通过预定次数地执行于所述加法处理来生成所述第二分辨 率的图像作为处理结果。
8. —种用于使计算机执行图像处理设备的图像处理的程序，所述 图像处理设备包括多个加法装置，用于执行将表示第一分辨 率的输入图像与高于所述第 一分辨率的第二分辨率的图像之 间的差异的所述第二分辨率的差异图象的象素作为所述第二 分辨率的输入图像的像素相加的加法处理，所述程序包括以下 步骤使用互不相同的所述第 一分辨率的所述图像和通过前一 加法处理获得的所述第二分辨率的所述图像的输入来执行第 二和以后的加法处理；以及通过预定次数地执行所述加法处理来生成所述第二分辨 率的图象作为处理结果。
9. 一种图像处理设备，包括加法器，用于执行将表示第一分辨率的输入图像与高于 所述第 一分辨率的第二分辨率的图像之间的差异的所述第二 分辨率的差异图像的像素作为所述第二分辨率的输入图像的 ^象素相加的力P法处理；以及处理器，包括多个所述加法器，所述处理器^皮配置为净丸 行第二和以后的加法处理，并通过预定次数地执行所述加法处 理来生成所述第二分辨率的图4象作为处理结果，4吏用互不相同 的所述第 一分辨率的图像和通过前一加法处理获得的所述第 二分辨率的图像的输入来执行所述加法处理。
全文摘要
本发明提供了一种图像处理设备、图像处理方法和程序，其中，该图像处理设备包括多个加法装置和一个图像处理装置。加法装置执行将表示第一分辨率的输入图像与高于第一分辨率的第二分辨率的图像之间的差异的第二分辨率的差异图像的像素作为第二分辨率的输入图像的像素相加的加法处理。图像处理装置被配置为执行第二和以后的加法处理，并通过预定次数地执行加法处理来生成第二分辨率的图像作为处理结果。使用互不相同的第一分辨率的图像和通过前一加法处理获得的第二分辨率的图像的输入来执行加法处理。
文档编号G09G5/391GK101192400SQ200710195480
公开日2008年6月4日 申请日期2007年11月30日 优先权日2006年11月30日
发明者名云武文 申请人:索尼株式会社