影像处理方法、电子装置及非暂态电脑可读取记录媒体与流程

本公开内容涉及一种电子装置及一种影像处理方法，且特别是涉及影像合成的电子装置及影像处理方法。

背景技术

近来，影像合成方法被广泛使用在各种应用当中以改善相机拍摄所得影像的品质。举例来说，高动态范围成像(highdynamicrangeimaging，hdri/hdr)可被应用以取得影像中的更多细节。

技术实现要素：

本公开内容的一实施方式为一种影像处理方法。影像处理方法包含：由摄影装置，于第一时刻捕捉第一影像；由电性连接于摄影装置的致动器，移动摄影装置的镜头；由摄影装置，于第一时刻后的第二时刻捕捉第二影像；由处理电路对第一影像与第二影像执行影像合成以去除固定图像噪声；以及基于摄影装置的镜头于第一时刻与第二时刻之间的移动量产生输出影像。

在部分实施例中，影像处理方法还包含：由处理电路于第一时刻记录第一环境参数；由处理电路于第二时刻记录第二环境参数；以及由处理电路基于移动量、第一环境参数与第二环境参数对第一影像与第二影像执行影像合成。

在部分实施例中，影像处理方法还包含：由电性连接于摄影装置的致动器，于第一时刻启动光学防手震；以及由电性连接于摄影装置的致动器，于第二时刻启动光学防手震。

在部分实施例中，摄影装置的镜头于第一时刻与第二时刻之间的移动量小于或等于第一影像与第二影像的像素。

在部分实施例中，影像处理方法还包含：由处理电路，计算第一影像与第二影像的加权平均；以及由处理电路，基于第一影像的第一色阶分布与第二影像的第二色阶分布重新分配输出影像的色阶分布。

在部分实施例中第一影像和第二影像是以不同曝光时间长度捕捉。

在部分实施例中，影像处理方法还包含：由处理电路根据第一影像与第二影像执行内插以取得输出影像，其中输出影像的分辨率大于第一影像以及第二影像的分辨率。

在部分实施例中，固定图像噪声包含暗信号非均匀性噪声、光子响应非均匀性噪声或其结合。

本公开内容的另一实施方式为一种电子装置。电子装置包含处理电路、电性连接于处理电路的摄影装置、电性连接于摄影装置的致动器、电性连接处理电路的存储器，以及一或多程序。一或多程序存储于存储器中，并用以被处理电路所执行。一或多程序包括以下指令：控制摄影装置，于第一时刻捕捉第一影像；控制致动器，移动摄影装置的镜头；控制摄影装置，于第一时刻后的第二时刻捕捉第二影像；对第一影像与第二影像执行影像合成以去除固定图像噪声；以及基于摄影装置的镜头于第一时刻与第二时刻之间的移动量产生输出影像。

本公开内容的另一实施方式为一种非暂态电脑可读取记录媒体，用以存储包含多个指令的一或多个电脑程序，当执行指令时，将致使处理电路执行多个操作包含：控制摄影装置，于第一时刻捕捉第一影像；控制电性连接于摄影装置的致动器，移动摄影装置的镜头；控制摄影装置，于第一时刻后的第二时刻捕捉第二影像；对第一影像与第二影像执行影像合成以去除固定图像噪声；以及基于摄影装置的镜头于第一时刻与第二时刻之间的移动量产生输出影像。

综上所述，通过上述各个实施例的操作，一种影像处理方法是实现以降低所捕捉的影像中的空间噪声、时间噪声、及/或固定图像噪声。在部分实施例中，影像处理方法可更实现以增加所捕捉的影像中的动态范围，或增加影像的分辨率。光学防手震功能于操作过程中可启动以减少影像模糊。

附图说明

图1为根据本公开内容部分实施例所示出的电子装置的方框示意图。

图2为根据本公开内容部分实施例所示出的影像处理方法的流程图。

图3a为根据本公开内容部分实施例所示出的影像处理方法的操作示意图。

图3b为根据本公开内容部分实施例所示出的第一影像、第二影像、输出影像的色阶分布的示意图。

图4为根据本公开内容其他部分实施例所示出的影像处理方法的操作示意图。

其中，附图标记说明如下：

100电子装置

110处理电路

120存储器

130摄影装置

132镜头

140位置感测器

150惯性测量单元感测器

160致动器

900影像处理方法

pr1软件程序

s1-s4操作

img1、img2、img3影像

p1(1,1)-p1(2,2)，p2(1,1)-p2(2,2)，p3(1,1)-p3(2,2)像素

fp1特征点

l1、l2、l3曲线

p1、p2、p3点

具体实施方式

以下将以附图及详细叙述清楚说明本公开内容的构思，任何所属技术领域中技术人员在了解本公开内容的实施例后，当可由本公开内容所启示的技术，加以改变及修饰，其并不脱离本公开内容的构思与范围。下述说明中相同元件将以相同的符号标示来进行说明以便于理解。

请参考图1。图1为根据本公开内容部分实施例所示出的电子装置100的方框示意图。电子装置100可用以按序捕捉多个多个影像，并基于捕捉的影像产生一输出影像以降低空间噪声(spatialnoise)、时间噪声(temporalnoise)及/或固定图像噪声(fixedpatternnoise，fpn)。详细来说，多个多个模拟数字转换器(analog-to-digitalconverter，adc)的信号放大器分别被设置于cmos影像感测阵列的多个像素上。由于元件差异，各个垂直放大器的放大系数，或称放大增益并不完全一致，并导致影像感测器中的固定图像噪声。各种影像处理可根据按序捕捉的多个影像进行处理。在部分实施例中，输出影像的动态范围可借此相应增加。

举例来说，在部分实施例中，电子装置100可为一智能手机、平板电脑、一笔记本电脑或其他具有内建数字摄影装置的电子装置。在其他部分实施例中，电子装置100可应用于一虚拟现实(virtualreality，vr)/混合实境(mixedreality，mr)/增强现实(augmentedreality，ar)系统当中。举例来说，电子装置100可由独立头戴式显示器(headmounteddevice，hmd)或是vive头戴式显示器实现。具体来说，独立头戴式显示器可处理包含方位、旋转的位置数据处理、图像处理或其他数据运算等。

如图1所示，电子装置100包含处理电路110、存储器120、摄影装置(camera)130、位置感测器140、惯性测量单元(inertialmeasurementunit，imu)感测器150，以及致动器160。一或多个软件程序pr1存储于存储器120中并用以被处理电路110执行，以执行各种影像处理。

在结构上，存储器120、摄影装置130、位置感测器140、惯性测量单元感测器150以及致动器160分别电性连接于处理电路110。

具体来说，致动器160连接于摄影装置130的镜头132，以根据自处理电路110接收的控制信号移动镜头132。因此，镜头132相对于摄影装置130的相对位置便可在操作的过程中改变。镜头132的位置的变化可由位置感测器140相应检测。在部分实施例中，位置感测器140可由一或多个霍尔元件(hallelement)实作。通过控制致动器160调整镜头132的位置，摄影装置130所捕捉的影像便可在例如手震、头部晃动、交通工具振动中等各种运动状态下维持稳定。如此一来，便可通过处理电路110、惯性测量单元感测器150以及致动器160的协作实现光学防手震(opticalimagestabilization，ois)。

在部分实施例中，处理电路110例如可用一或多处理器，例如中央处理器(centralprocessor)及/或微处理器(microprocessor)等处理器实现，但不以此为限。在部分实施例中，存储器120可包括一或多个存储器装置，其中，每一存储器装置或多个存储器装置的集合包括电脑可读取记录媒体。电脑可读取记录媒体可包括只读存储器、快闪存储器、软盘(软碟)、硬盘、光盘、u盘、磁带、可由网络存取的数据库、或熟悉此技艺者可轻易思及具有相同功能的电脑可读取记录媒体。

为了优选地理解本公开内容，电子装置100的详细操作将搭配图2中所示实施例进行说明。图2为根据本公开内容部分实施例所示出的影像处理方法900的流程图。值得注意的是，影像处理方法900可应用于相同或相似于图1中所示结构的电子装置100。为使叙述简单，以下将根据本公开内容部分实施例，以图1中的实施例为例进行对影像处理方法900的说明，然而本公开内容不以图1中的实施例的应用为限。

如图2所示，影像处理方法900包含操作s1、s2、s3以及操作s4。在操作s1中，处理电路110用以控制摄影装置130于第一时刻捕捉第一影像。在部分实施例中，于操作s1中，处理电路110亦可用以控制位置感测器140取得代表镜头132于第一时刻的位置的第一镜头位置。

具体来说，在部分实施例中，处理电路110可用以于第一时刻记录第一环境参数，以代表第一影像的环境状态。举例来说，第一环境参数可包含第一影像中的亮度参数、焦点位置参数、白平衡参数、色阶分布(histogram)、曝光时间长度参数或其任意组合。

在操作s2中，处理电路110用以控制致动器160移动摄影装置130的镜头132。具体来说，处理电路110可输出相应信号至致动器160的驱动电路，使得驱动电路驱动致动器160沿水平方向及/或垂直方向移动。即，移动量与移动方向两者皆可由处理电路110控制并决定。在部分实施例中，驱动电路可由光学防手震控制器实现，镜头132的位置可由位置感测器140读回以确保位置的准确度。

在操作s3中，处理电路110用以控制摄影装置130于第一时刻后的第二时刻捕捉第二影像。相似地，在部分实施例中，于操作s3中，处理电路110亦可用以控制位置感测器140取得代表镜头132于第二时刻的位置的第二镜头位置。在部分实施例中，处理电路110可用以于第二时刻记录第二环境参数，以代表第二影像的环境状态。与第一环境参数相似，第二环境参数亦可包含第二影像中的亮度参数、焦点位置参数、白平衡参数、色阶分布、曝光时间长度参数或其任意组合。在部分实施例中，第一影像和第二影像是以不同曝光时间长度捕捉。换言的，两个影像中的曝光值可相异。

具体来说，摄影装置130的镜头132于第一时刻与第二时刻之间的移动量可小于、等于或大于第一影像与第二影像的像素。举例来说，摄影装置130的镜头132于第一时刻与第二时刻之间的移动量可为0.5像素、1像素或3像素。值得注意的是，上述移动量仅为示例，并非用以限制本公开内容。

此外，在部分实施例中，于第一时刻与第二时刻之间，处理电路110可用以控制惯性测量单元感测器150以取得惯性测量单元信号。惯性测量单元信号代表电子装置100于第一时刻与第二时刻之间的运动。换言的，当摄影装置130于动态中捕捉第一影像与第二影像时，处理电路110仍可进行计算并控制致动器160的移动方向和移动量以取得具有所需相异视角的两张影像。

接着，在操作s4中，处理电路110用以对第一影像与第二影像执行影像合成，以基于摄影装置130的镜头132于第一时刻与第二时刻之间的移动量产生输出影像。具体来说，在操作s4中，处理电路110用以对第一影像与第二影像执行影像合成以去除固定图像噪声。接着，在影像合成后，处理电路110用以基于摄影装置130的镜头132于第一时刻与第二时刻之间的移动量产生输出影像。

具体来说，在部分实施例中，可基于移动量、第一环境参数与第二环境参数对第一影像与第二影像执行影像合成。在其他部分实施例中，由位置感测器140或惯性测量单元感测器150取得的动态感测器输出、垂直同步(verticalsync，vsync)输出亦可于进行影像合成时纳入考虑。在其他部分实施例中，各种摄影模式可由使用者介由使用者接口进行设定及选择，在不同摄影模式中，可相应采用不同的移动量或移动设定。举例来说，当使用者于放大(zoom-in)模式下拍摄照片时，可启动进行影像合成以降低噪声。

请参考图3a。图3a为根据本公开内容部分实施例所示出的影像处理方法900的操作示意图。如图3a所示，摄影装置130于第一时刻捕捉第一影像img1，并于第二时刻捕捉第二影像img2。处理电路110用以合成第一影像img1与第二影像img2以产生并输出一输出影像img3。

摄影装置130的镜头132于第一时刻与第二时刻之间的移动量在垂直方向上与水平方向上皆相当于第一影像与第二影像上的1像素。换言的，对应于第一影像img1中的第一像素p1(2,2)的特征点fp1，对应于第二影像img2中的第二像素p2(1,1)。

处理电路110可用以合成对应到同一个特征点fp1的第一影像img1和第二影像img2中的像素p1(2,2)与像素p2(1,1)。上述操作亦可实施于影像中的其他像素，故其细节不再于此赘述。借此因此，通过合成两张不同影像当中的像素，由于两张影像是于不同时间以不同视角拍摄，因此空间噪声与时间噪声便可被消除。

在部分实施例中，第一影像img1是以较长的曝光时间捕捉，因此具有较亮的曝光值。另一方面，第二影像img2是以较短的曝光时间捕捉，因此具有较暗的曝光值。如此一来，通过计算加权平均，并重新分布第一影像img1与第二影像img2的色阶分布，便可相较于第一影像img1与第二影像img2增加输出影像img3的动态范围。

请一并参考图3b。图3b为根据本公开内容部分实施例所示出的第一影像img1、第二影像img2、输出影像img3的色阶分布的示意图。在图3b中，曲线l1代表第一影像img1的色调分布，曲线l2代表第二影像img2的色调分布，曲线l3代表输出影像img1的色调分布。横轴为像素的色调，纵轴为该色调出现的百分比。

如图3b中所绘，通过移动影像，取得加权平均，并重新分布色阶分布，输出影像img3的动态范围可增加。举例来说，点p1为具有较高曝光值的第一影像img1中特征点fp1的色调值，点p2为具有较低曝光值的第二影像img2中特征点fp1的色调值，点p3为经过影像合成并对色阶分布进行压缩与位移后的输出影像img3中特征点fp1的色调值。

具体来说，在部分实施例中，在操作s4中，处理电路110用以计算第一影像img1与第二影像img2的加权平均，并基于第一影像img1的第一色阶分布与第二影像img2的第二色阶分布重新分配输出影像img3的色阶分布。在部分其他实施例中，处理电路110亦可用以执行各种计算以由单一摄影装置130实现并实现高动态范围成像(highdynamicrangeimaging，hdri/hdr)。

请参考图4。图4为根据本公开内容其他部分实施例所示出的影像处理方法900的操作示意图。如图4所示，与图3a中实施例相似，摄影装置130于第一时刻补捉第一影像img1，并于第二时刻补捉第二影像img2。处理电路110用以合成第一影像img1以及第二影像img2以产生并输出其输出影像img3。

与图3a所示实施例相比，在图4的实施例中，摄影装置130的镜头132于第一时刻与第二时刻之间的移动量在垂直方向上与水平方向上皆相当于第一影像与第二影像上的0.5像素。换言的，对应于第一影像img1中的像素p1(1,1)与对应于第二影像img2中的像素p2(1,1)之间具有依个重叠叠区域r1。

处理电路110可用以根据第一影像img1与第二影像img2执行内插以取得输出影像img3以实现超分辨率(super-resolution)影像处理。举例来说，第一影像img1中的像素p1(1,1)可合成为像素p3(1,1)，第二影像img2中的像素p2(1,1)可合成为像素p3(2,2)，像素p3(1,2)和像素p3(2,1)的数据可由像素p1(1,1)与像素p3(2,2)计算内插而得。上述操作亦可应用于影像中的其他像素，故其余细节不再于此赘述。

借此因此，通过应用超分辨率影像处理，输出影像img3的分辨率便可大于第一影像img1以及第二影像img2的分辨率。

此外，如先前实施例所描述，第一影像img1可以较长的曝光时间捕捉，第二影像img2可以较短的曝光时间捕捉以提高输出影像img3的动态范围并以单一摄影装置130实现并实现高动态范围成像。换言的，在图4所示的实施例中，空间－时间噪声去除处理、高动态范围成像处理以及超分辨率影像处理可由具有光学防手震能力的单一摄影装置130同步实现。降低噪声以及高动态范围成像的操作已于先前段落中具体说明，故其余细节不再于此赘述。

值得注意的是，在操作s1与s3中，处理电路110可用以控制致动器160于第一时刻与第二时刻启用光学防手震。如此一来，当拍摄影像时，光学防手震系统仍可继续工作以避免手晃所导致的影像模糊。

此外，虽然在上述实施例中，摄影装置130用以捕捉两个影像，本公开内容并不以此为限。在其他实施例中，三或多个影像可由摄影装置130于不同时刻和不同移动方向及/移动量捕捉，以根据依续捕捉的影像合成输出影像。通过合成影像，固定图像噪声例如暗信号非均匀性噪声(darksignalnon-uniformity，dsnu)及光子响应非均匀性噪声(photoresponsenon-uniformity，prnu)可相应被降低并消除。

值得注意的是，在部分实施例中，影像处理方法900的上述操作可实作为一电脑程序。当电脑程序是被一电脑、一电子装置，或图1中处理电路110所执行，此执行装置执行影像处理方法900。电脑程序可被存储于一非暂态电脑可读取记录媒体，例如一只读存储器、一快闪存储器、一软盘、一硬盘、一光盘、一快闪碟、一u盘、一磁带、一可从网络读取的数据库，或任何本公开内容所属技术领域中具通常知识者所能想到具有相同功能的记录媒体。

另外，应了解到，在所提及的影像处理方法900的操作，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。

再者，在本公开内容的不同实施例中，影像处理方法900中的这些操作亦可适应性地增加、置换及/或省略。

通过上述各个实施例的操作，一种影像处理方法是实现以降低所捕捉的影像中的空间噪声、时间噪声、及/或固定图像噪声。在部分实施例中，影像处理方法可更实现以增加所捕捉的影像中的动态范围，或增加影像的分辨率。光学防手震功能于操作过程中可启动以减少影像模糊。

虽然本公开内容已以实施方式公开如上，然其并非用以限定本公开内容，任何本领域技术人员，在不脱离本公开内容的构思和范围内，当可作各种变动与润饰，因此本公开内容的保护范围当视后附的申请专利范围所界定者为准。