用于数字拍摄设备中两个相机的图像之间的差异补偿的应用处理器的制作方法

本申请要求享有于2017年6月23日向韩国知识产权局提交的韩国专利申请no.2017-0079782的优先权，其公开通过引用而全文合并于此。

本公开总体上涉及数字拍摄设备的应用处理器，并且更具体地涉及多相机数字拍摄设备中的差异补偿。

背景技术：

一些数字相机和配备相机的智能手机和平板电脑的最新设计已将多台相机设置在设备的同一侧。典型地，两个后置相机设置在设备的后侧，并且在前侧设置显示器和可选的前置相机。

设置在数字拍摄设备的后侧的多个相机可以独立地或根据其组合来选择性地捕获广角图像或远摄图像，并且显示或存储所捕获的图像。例如，一个后置相机可以有一个广角镜头，而另一个则有一个远摄或变焦镜头。用户可以在广角视图和远摄视图之间选择，由此切换操作相机。在一个应用中，可以使用用于组合所捕获的图像的方案来实现诸如背景模糊或3d效果之类的各种视觉效果。

当多个相机设置在不同位置时，由于相机之间的距离和相机之间的光轴的三维(3d)旋转，由多个相机捕获的图像之间出现差异。所述差异根据拍摄设备与被捕获的场景中的对象之间的距离而变化。

技术实现要素：

当在相关技术的数字拍摄设备中捕获在显示器上输出的图像的装置从一个相机切换到另一个时，由于两个相机的图像之间的差异，所述场景中的对象的位置会突然改变。这可能会导致图像转变变得不连续的抖动效果。

本公开的实施例可以确保当在显示器上切换由不同相机分别获取的图像时实现平滑的图像转变。通过顺序输出对转变前图像和转变后图像之间的差异进行补偿的虚拟图像来实现平滑转变。

本公开的各方面不限于上面提到的那些方面，并且根据以下描述，附加方面对于本领域的普通技术人员将是显而易见的。

根据本公开的方面，提供了一种包括中央处理器的应用处理器。所述中央处理器执行以下操作：在显示由第一相机在第一位置获取的第一图像时，生成控制信号，使得随后显示由第二相机在第二位置获取的第二图像；响应于所述控制信号，使用所述第一图像和所述第二图像的元素生成一个或多个第三图像，所述一个或多个第三图像是在所述第一位置和所述第二位置之间的一个或多个第三位置处虚拟地获取的；以及控制在显示所述第一图像和所述第二图像之间在时间上顺序地显示所述一个或多个第三图像。

根据本公开的另一方面，提供了一种应用处理器，包括：输入/输出(i/o)接口，配置为接收包括变焦因子在内的用户输入；以及中央处理器。所述中央处理器配置为执行以下操作：当显示从具有第一视角的第一相机在第一位置处获取的关于场景的第一图像时，生成控制信号，使得随后显示由具有第二视角的第二相机在第二位置处获取的关于所述场景的至少一部分的第二图像；根据第一变焦因子和第二变焦因子之间的至少一个变焦因子使用从所述第一相机获取的第一变焦图像和从所述第二相机获取的第二变焦图像生成一个或多个第三图像；控制在显示所述第一图像和第二图像之间在时间上顺序地显示所述一个或多个第三图像；以及当所述变焦因子变成所述第二变焦因子时控制显示所述第二图像。

根据本公开的另一方面，提供了一种数字拍摄设备，包括：广角相机，配置为在第一位置处获取关于场景的广角图像；远摄相机，配置为在第二位置处获取关于场景的一部分的远摄图像；显示器；以及应用处理器。所述应用处理器配置为：当显示所述广角图像时，接收针对所述广角图像中的特定区域的变焦请求信号；响应于所述变焦请求信号，使用以下图像元素生成一个或多个第三图像，所述一个或多个第三图像是在所述第一位置和所述第二位置之间的一个或多个第三位置处虚拟地获取的：i)基于所述广角图像并且包括所述特定区域的变焦广角图像；以及ii)基于所述远摄图像并且包括所述特定区域的变焦远摄图像。所述应用处理器可以控制所述显示器以在时间上顺序地输出所述广角图像、所述变焦广角图像、所述一个或多个第三图像和所述变焦远摄图像。通信器配置为发送所述变焦远摄图像以及与所述变焦远摄图像相关联的位置信息和方向信息，并且接收与所述变焦远摄图像相匹配的增强信息。

附图说明

通过参考附图详细描述本发明的示例性实施例，本公开的上述和其它目的、特征和优点对于本领域普通技术人员将变得更加明显，在附图中：

图1是示出由根据本公开的示例性实施例的应用处理器通过位于不同位置处的多个相机获取的不同图像的图；

图2是示出由根据本公开的示例性实施例的应用处理器通过位于不同位置处的多个相机获取的不同图像之间的差异的图；

图3是示出由根据本公开的示例性实施例的应用处理器通过位于不同位置处的多个相机获取的多个图像的图并且示出了由应用处理器生成的可以在不同位置之间的位置处获取的虚拟视点图像；

图4是示出了包括根据本公开的示例性实施例的应用处理器的数字拍摄设备的操作方法的流程图；

图5a示出了分别由左相机和右相机拍摄的示例显示图像以及对捕获图像进行几何校正的校正图像；

图5b示出了示例校正显示图像和对应的深度图；

图6a是根据本公开的示例性实施例的数字拍摄设备的框图；

图6b是根据另一个实施例的数字拍摄设备的框图；

图7是示出由根据本公开的示例性实施例的应用处理器的由于变焦输入通过位于不同位置处的具有不同视角的多个相机获取的不同图像之间的差异和画面质量差别的图；

图8是示出由根据本公开的示例性实施例的应用处理器通过不同位置处的具有不同视角的多个相机获取的不同图像并且示出在所获取的不同图像之间作为插值图像而生成的虚拟视点图像的图；

图9是数字拍摄设备在显示图像上进行拉近放大的操作方法的流程图，所述流程图开始于广角相机获取广角图像；

图10是数字拍摄设备在显示图像上进行拉远缩小的操作方法的流程图，所述流程图开始于远摄相机获取远摄图像；

图11是示出当根据本公开的示例性实施例的应用处理器根据变焦输入切换相机时显示图像的画面质量和功耗的变化的图；

图12是示出根据本公开的示例性实施例的数字拍摄设备的相机切换和增强信息提供操作的图；

图13a是电子系统的增强信息提供方的框图；

图13b是示出根据示例性实施例的从增强信息提供方向数字拍摄设备提供增强信息的示例方法的流程图；以及

图14是示出根据示例性实施例的数字拍摄设备的相机切换方法的图。

具体实施方式

下文中，将参考附图描述根据本公开示例性实施例的数字拍摄设备和应用处理器。

根据本公开示例性实施例的应用处理器是在数字拍摄设备等中使用的半导体器件。数字拍摄设备可以是数字相机、平板个人电脑(pc)、智能手机、笔记本电脑、可穿戴拍摄设备等，或者包括它们的设备。数字拍摄设备可以包括具有电荷耦合器件(ccd)图像传感器或互补金属氧化物半导体(cmos)图像传感器的多个相机。根据示例性实施例的数字拍摄设备中提供的多个相机被布置在不同的位置，并且可以各自是相同类型的相机或者可以彼此不同。

图1是示出通过根据本公开的示例性实施例的设备通过位于不同位置处的多个相机获取的不同图像的图。在该实施例中，两个相机被包括在数字拍摄设备100中并且可以具有相同的视角(视场)。如下面所解释的，图1-图3的实施例也适用于两个相机具有彼此不同的视场的情况，其中一个图像相对于另一个被数字拉近放大或拉远缩小，从而使得所得图像看起来具有相同的视场。在任一种情况下，这两个相机是第一相机10和第二相机20，并且可以布置在不同的位置。第一相机10在第一位置处获取第一图像。第二相机20在第二位置处获取第二图像。在图1的例子中，第一相机10是设置在数字拍摄设备100的后侧表面上的左相机，并且第二相机20是设置在后侧表面上的右相机。由第一相机10获取的第一图像是左图像l，并且由第二相机20获取的第二图像是右图像r.由设置在不同位置处的相机10和20获取的左图像l和右图像r可以是不同的，但是在图像的中心部分包括一些相同对象的重叠图像。

图2是示出由根据本公开的示例性实施例的应用处理器通过位于不同位置处的多个相机获取的不同图像之间的差异的图。

在图2中，通过重叠图1的左图像l和右图像r而获得显示器50上显示的图像。(请注意，左右图像可能不会同时显示。在这种情况下，图2示出了当显示器50从仅显示右图像r切换到仅显示左图像l时或者相反时(例如在现场预览的图像捕获期间)对象移动的距离。)在左图像l中，对象相对地更靠右并用细线示出。在右图像r中，对象相对地更靠左并用相对较粗的线示出。如图所示，在左图像l和右图像r中包括的相同对象之间可以存在差异。根据左相机和右相机之间的距离、对象与数字拍摄设备100之间的距离以及左相机和右相机之间的光轴方向，根据左图像l与右图像r之间的对象位置差别得到所述差异。例如，图像中示出的人将在显示器50上移位距离d.然而，场景中比人距离设备100更近或更远的其他对象将在图像l和r之间移位不同的量。

当数字拍摄设备100接收到用于在左相机和右相机之间切换的用户输入时，应用处理器可以生成相机切换控制信号，以将获取输出图像的相机从左相机切换到右相机，或者反之亦然。即使当没有用户输入时，应用处理器也可以在设定条件下生成相机切换控制信号。当切换相机时，显示器50上输出的图像也可以从左图像l切换到右图像r，反之亦然。

图3是示出由根据本公开的示例性实施例的应用处理器通过位于不同位置处的多个相机获取的多个图像的图。图3还示出了由应用处理器生成的示例虚拟视点图像，其可以在多个获取图像的获取位置之间的位置处获取。如这里所使用的，短语“获取图像”表示通过使用相机进行拍摄来取得(retrieve)或生成要显示的图像或要用于虚拟视点图像合成的图像。因此，当提及下面讨论的虚拟视点图像时，“获取图像”意味着使用来自已经被至少一个相机实际捕获的其他图像(典型地，来自两个相应相机的图像)的图像元素来合成图像。当提及虚拟视点图像时，“获取图像”在本文中可以备选地表述为“虚拟地获取”虚拟视点图像。应该注意的是“虚拟图像”在本文中可以与“虚拟视点图像”互换使用。

如图3所示，数字拍摄设备100可以包括具有相同视角的第一相机10和第二相机20。第一相机10是在第一位置处获取第一图像l的左相机，并且第二相机20是在第二位置处获取第二图像r的右相机(例示为与图1中的图像相同的图像)。左图像l和右图像r可以是基本上同时(同时或快速连续地)捕获的图像。图像l和r可以是实时图像(现场预览或现场图像)、视频的静止图像帧或在过去基本上同时捕获和存储的图像。尽管在图3中将相机10和20以及虚拟相机30中的每一个示为指向稍微不同的方向，但是它们可以布置成指向相同的方向。也就是说，相机10和20以及虚拟相机30可以具有彼此平行的光轴。

根据示例性实施例，可以在第一位置和第二位置之间的一个或多个虚拟第三位置处获取第三图像。第三图像是可由布置在第三位置处的虚拟相机30获取的虚拟视点图像。在所示实施例中，虚拟视点图像v1、v2和v3的数量是三个。可以根据左图像l和右图像r之间的差异、输出图像的帧率(fr)以及设置为输出第三图像的时间来确定虚拟视点图像的数量。

示出了图像序列，其中由数字拍摄设备100在显示器50上输出的图像是在时间上输出的。在时刻t0，左图像l显示在显示器50的设定区域(例如整个屏幕区域)上。当在时刻t0生成用于从第一相机10到第二相机20的相机切换的控制信号时，可以在显示器50的相同设置区域上随后顺次(即分别在时刻t1、t2、t3和t4处)输出作为多个虚拟视点图像v1、v2和v3的第三图像以及作为右图像r的第二图像。第三图像是通过合成左图像l和右图像r而获得的，并且可以是用于对左图像l和右图像r之间的差异以及其间的画面质量差别等进行插值的插值图像。当顺次连续输出第一图像、多个第三图像和第二图像时，可以平滑地执行从第一图像到第二图像的视觉转变。

参照图3下部的图像行，左图像l和右图像r之间的差异可以根据相机与对象之间的距离(即接近程度)而变化。如图所示，相对接近第一位置和第二位置的对象的差异可以不同于其与之相对较远的对象的差异。例如，在所示的示例性实施例中，左图像l和右图像r之间的人的差异量d1大于比人离数字拍摄设备100更远(并且更远离第一位置和第二位置)的车辆的差异量d2。

“差异量”表示第一图像和第二图像之间的相同对象的差异的总量，并且“插值量”表示虚拟视点图像相对于作为差异补偿的基础的图像所具有的虚拟差异量。

在图3中，在左图像l和右图像r之间生成三个虚拟视点图像v1、v2和v3。可以通过对左图像l和右图像r之间的每个对象的差异进行等分并且对差异进行插值来生成虚拟视点图像v1、v2和v3。假设左图像l和右图像r之间的人的总差异量d1在左图像的基础上是100。第一虚拟视点图像v1的补偿后的差异量是f1＝25，并且作为对象的人在左图像l的基础上沿朝向右图像r中的对象的方向移动f1＝25。第二虚拟视点图像v2的补偿后的差异量是f2＝50，并且第三虚拟视点图像v3的补偿后的差异量是f3＝75。

通过相同的方式，假设左图像l和右图像r之间的车的总差异量d2在左图像的基础上是40。虚拟视点图像v1、v2和v3被形成为使得虚拟视点图像v1、v2和v3的补偿后的差异量分别变为g1＝10、g2＝20和g3＝30。因此，在时刻t0和t4之间，通过在时刻t1、t2和t3分别顺序地显示虚拟视点图像v1、v2和v3，得到的显示可以是其中对象从右向左逐渐移位的动画，由此避免在图像l要立即切换到图像r的情况下出现不希望的抖动效果。

如上所述，已经在假设两个相机10和20具有相同的视场的情况下解释了图1-图3，这可能是诸如用于捕获3d图像的立体视觉的各种应用中的情况。在一些情况下，两个相机10、20具有不同的视场，这对于提供各种成像效果(例如，背景模糊)是有用的。例如，相机10可以是远摄相机，而相机20是具有比相机10更宽的视场的普通或广角相机。例如，如果利用相机20捕获并显示现场预览(实时图像)并且用户输入命令以逐渐拉近放大(扩大)图像，则扩大是数字地完成的而不是光学地完成的。这种数字扩大可以使用插值技术来完成，但是仍然可以减小场景中的中心对象的分辨率。在一个实施例中，如果拉近放大命令扩大图像，使得显示的视场外观等于相机10的光学视场，则设备100可以将显示器上的图像切换到由相机10捕获的图像，该图像针对拉近放大的对象生成更高的分辨率。尽管两个相机10和20设计用于捕获不同的视场，但是在相机10的显示图像和另一个相机20的数字变焦图像之间可能存在如上所述的相同或类似的差异，导致如同用相机10拍摄的相同视场(反之亦然)。因此，为了避免这种切换时抖动的视觉效果，也可以在这种情况下使用如图3所示的技术，该技术获取并在时间上显示一系列虚拟图像。下面将参考图7至图12讨论涉及变焦操作期间的转变的其他实施例。

图4是示出了包括根据本公开的示例性实施例的包括应用处理器的数字拍摄设备的操作方法的流程图。利用该方法，数字拍摄设备100可以从第一相机10获取第一图像，从第二相机20获取第二图像，并且在显示器50上输出第一图像。第一相机10和第二相机20可以分别布置在彼此不同的第一位置和第二位置处，并且具有相同的视角(或者在一个图像如上所述进行数字变焦的情况下具有不同的视角)。第一位置和第二位置之间的距离引起第一图像和第二图像之间的差异，并且该差异的量可以根据包括在第一和第二图像中的对象的接近程度(透视关系(perspective))而变化。第一相机10和第二相机20可以不仅在获取图像时而且在其他时间保持开启状态。

在操作s110中，数字拍摄设备100可以通过第一相机10在第一位置处获取第一图像并且在显示器50上输出第一图像。

在操作s120中，应用处理器可以生成用于从第一相机10切换到第二相机20的控制信号。相机切换控制信号可以是响应于诸如用户的触摸操作、变焦操作、注视等的用户输入而生成的。即使当没有用户输入时，也可以在设定条件下生成相机切换控制信号。

在操作s130中，可以根据应用处理器的相机切换控制信号，通过第二相机20在第二位置处获取第二图像。

在操作s140中，应用处理器可以根据相机切换控制信号生成作为第一图像和第二图像之间的虚拟视点图像的第三图像。第三图像可以在作为第一位置和第二位置之间的多个虚拟视点的第三位置处虚拟地获取。第三图像可以是通过对在第一位置处通过第一相机10获取的第一图像和在第二位置处通过第二相机20获取的第二图像进行合成而生成的合成图像。生成的第三图像可以是用于对第一图像和第二图像之间的差异进行插值的虚拟视点图像v。在操作s140中生成的第三图像可以针对设定的时间在显示器50上连续输出。可以使用图像元素的插值以及在第一和第二图像之间的对象位置之间插值来生成第三图像。

图5a示出了分别由左相机和右相机拍摄的示例显示图像以及对捕获图像进行几何校正的校正图像。可以根据镜头的属性对由第一相机10获取的原始左图像lr和由第二相机20获取的原始右图像rr进行失真。根据视角，图像的失真可以从图像的中心到边缘逐渐增加。可以通过翘曲(warp)等将失真的图形几何地校正为左图像l和右图像r.在对失真进行校正之后，执行对齐，使得左图像l和右图像r在显示器50上水平对齐。在操作s140之后的操作中，第一图像和第二图像中的每一个表示其中已经校正了失真并且已经与其他图像几何地对齐的图像。

图5b示出了示例校正显示图像和对应的深度图。数字拍摄设备100可以生成其中示出了由第一相机10和第二相机20获取的第一图像和第二图像之间的差异的差异图。基于生成的差异图，可以生成示出了对象与设备100的接近程度的深度图。在所示出的深度图中，浅阴影对象与暗阴影对象相比离设备100相对更近。差异图的差异与深度图的深度成反比。

通过相等或不同地补偿从所生成的差异图或深度图获取的第一图像和第二图像之间的差异，可以生成一个或多个虚拟视点图像v。可以按照已经相对于作为预转变图像的第一图像补偿了最小差异的图像到已经补偿了最大差异的图像的顺序，顺序地并且连续地输出所生成的虚拟视点图像v。

在操作s150中，在输出所有虚拟视点图像v之后，可以输出由第二相机20在第二位置处获取的第二图像。因为在输出第二图像之前用于补偿差异的虚拟视点图像v是在第一图像和第二图像之间顺序且连续地输出的，所以可以消除由相机切换引起的抖动图像效果并且进行平滑的图像转变。

图6a是根据示例性实施例的数字拍摄设备100的框图。设备100可以包括第一相机10、第二相机20、应用处理器(ap)40、显示器50和输入部分60。应用处理器40可以通过输入/输出接口42连接到第一相机10、第二相机20、显示器50、输入部分60等，并控制这些外围设备。如图6b所示，数字拍摄设备100′与数字拍摄设备100的不同之处在于还包括全球定位系统(gps)接收器70和通信器80，其也可以连接到ap40并由其控制。

根据示例性实施例，第一相机10和第二相机20中的每一个可以包括至少一个镜头和图像传感器(未示出)。ccd图像传感器或cmos图像传感器可以用作图像传感器。第一相机10和第二相机20可以具有相同或不同的视角。例如，可以组合地使用具有不同视角的广角相机和远摄相机。这里，“远摄相机”用作相对术语以表示具有远摄镜头或其他镜头配置的相机，其提供比广角相机更窄的视场。如本文所使用的“远摄相机”不需要长焦距或任何特定焦距的镜头。类似地，“远摄图像”并不意味着用任何特定焦距的镜头拍摄的图像。

根据示例性实施例，设置在数字拍摄设备100中的多个相机中的一个或多个可以相对于数字拍摄设备100移动。例如，当数字拍摄设备100包括远摄相机时，可以移动远摄相机以拍摄根据用户的输入而改变的目标区域。远摄相机可以配置为上、下、左、右移动或者使用压电马达等来倾斜。

由第一相机10和第二相机20获取的图像可以由图像信号处理器(isp)43处理，然后发送到应用处理器40的中央处理器41。isp43的数量可以对应于相机的数量，使得isp43单独连接到相机10和20。通过控制通过isp43从每个相机10和20获取的图像的焦点、曝光和白平衡，可以获得清晰的图像。可以将已经经过图像信号处理的图像信号发送到中央处理器41。在图6a的示例性实施例中，isp43包括在应用处理器40中。在一个实施例中，可以在应用处理器40与每个相机10和20之间提供isp43，或者可以将其嵌入每个相机10和20中。

显示器50可以连接到应用处理器40，并且可以接收来自中央处理器41的输出图像数据和输出信号，并输出该图像。输出图像可以是实时示出从相机接收的图像的现场取景图像。

输入部分60可以连接到应用处理器40，并且可以接收用户输入并且将接收到的用户输入传送到中央处理器41。输入部分60可以包括例如触摸屏、运动识别传感器、触觉传感器和注视检测传感器。可以将通过输入部分60获取的用户输入传送到中央处理器41。

应用处理器40可以包括控制诸如相机等的外围设备的中央处理器41以及连接外围设备和中央处理器41的输入/输出接口42。ap40、gps接收器70和通信器80可以布置在同一集成电路的一部分上，或者布置在不同的相应集成电路上。

输入/输出接口42可以接收来自外围设备的输入并且发送来自中央处理器41的输出。

中央处理器41可以生成相机切换控制信号，生成虚拟视点图像，并且控制虚拟视点图像在显示器50上输出。

根据示例性实施例，中央处理器41可以实现为处理单元(例如中央处理单元(cpu)、图形处理单元(gpu)、通用gpu(gpgpu)等)和存储有程序的非暂时性存储器47的组合，或者可以实现为另一种形式的硬件。中央处理器41可以执行存储在存储器47中的相机切换程序，或者附加地包括用于相机切换的图像生成器，诸如数字信号处理器(dsp)。备选地，存储器47在中央处理器41的外部，并通过总线(未示出)连接到中央处理器41的处理单元。中央处理器41可以连接到显示器50并且可以将输出图像数据和输出命令发送到显示器50，以便输出从相机10和20输入的图像信号或生成的虚拟视点图像。

参考图6a，中央处理器41可以生成虚拟视点图像v。可以根据中央处理器41的输出命令在显示器50上输出生成的虚拟视点图像v。

根据示例性实施例，当用户输入用于切换相机的命令或满足设定条件时，中央处理器41可以生成相机切换控制信号。当中央处理器41包括cpu时，cpu可以使用存储在存储器47中的相机切换程序来生成虚拟视点图像v。中央处理器41可以包括用于相机切换的图像生成器，作为附加硬件。用于相机切换的图像生成器是专用于生成相机切换图像的硬件，并且可以是dsp。当提供用于相机切换的附加图像生成器时，可以通过增加输出图像的转变速度来获得期望的图像转变处理速度。

根据示例性实施例，用于相机切换的图像生成器可以包括几何校正器、差异图生成器和虚拟视点图像生成器。

几何校正器可以执行失真校正或图像校正。如参照图5a所述，从相机获取并经历图像信号处理的图像的失真可以通过几何校正方法(诸如翘曲)进行处理。在失真校正之后，可以进行校正，以使得由多个相机10和20获取的图像彼此对齐(水平地)。

差异图生成器可以生成示出已经几何校正的图像之间的差异的差异图。参考图5b，可以使用左图像l和右图像r之间的半全局匹配(sgm)来生成深度图。作为生成深度图的另一种方法，可以使用块匹配技术、置信传播算法、基于深度学习的方法等。由于差异与对象和拍摄位置之间的距离(深度)成反比，因此更接近拍摄位置的对象被显示为具有更大的差异。

虚拟视点图像生成器可以生成左图像l和右图像r之间的一个或更多个虚拟视点图像v。虚拟视点图像生成器可以基于在差异图或深度图中确定的最大差异来确定要生成的虚拟视点图像的数量n。如图3的图像序列所示，所生成的虚拟视点图像中的每一个可以按照相对于第一图像(左图像l)的较小差异的顺序被称为第n个虚拟视点图像vn。生成的虚拟视点图像可以存储在内部存储器中。

几何校正器和差异图生成器的任何一个或多个功能可以通过连接到应用处理器40的外部专用硬件来执行。

图7是示出由数字拍摄设备的由于变焦输入通过位于不同位置处的具有不同视角的多个相机获取的不同图像之间的差异和画面质量差别的图。图8是示出由根据本公开的示例性实施例的数字拍摄设备通过不同位置处的具有不同视角的多个相机获取的不同图像并且示出在所获取的不同图像之间作为插值图像而生成的虚拟视点图像的图。

在图7和图8中，假设图像是用具有两个具有不同视角的相机的数字拍摄设备100捕获的。两个相机是第一相机10和第二相机20，并且可以布置在不同的位置。第一相机10在第一位置处获取第一图像。第二相机20在第二位置处获取第二图像。

参考图7，由作为广角相机的第一相机10在第一位置处获取的第一图像可以是广角图像w，并且由作为远摄相机的第二相机20在第二位置处获取的第二图像可以是远摄图像t。(图例x3t表示图像t是广角图像w的3倍扩大版本。)当在显示器50上输出广角图像w的同时向数字拍摄设备100输入针对远摄相机的相机切换信号时，由中央处理器41生成相机切换控制信号。通过在图像t之前顺序显示虚拟视点图像v，可以通过相机切换控制信号将显示器50上输出的图像从广角图像w切换到远摄图像t。用户的相机切换输入可以是变焦操作，其中变焦能力可以包括拉近放大和拉远缩小。

相机切换控制信号的例子包括变焦信号和相机切换信号。可以根据在变焦信号中包括的变焦因子的信息在数字拍摄设备100中执行变焦和相机切换。

在图7所示的示例性实施例中，当用户在输出广角图像w的同时对他或她想要放大(拉近放大)的目标区域z执行变焦操作时，可以根据基于目标区域z的输入变焦因子信号对广角图像w进行放大。如图7所示，可以根据用户的相机切换输入中所包括的缩放因子信号，以目标区域z为中心将广角图像w放大1.7倍(×1.7)、2.5倍(×2.5)、3倍(×3)数字变焦。当远摄相机的缺省变焦因子是三倍时，广角图像w可以设置为通过数字变焦放大最多3倍并且输出。由于通过数字变焦放大的广角图像w具有低分辨率，所以画面质量可能下降(由虚线表示)。当生成大于3倍的变焦因子信号时，相机被切换，并且可以通过远摄相机获取施加了输入变焦因子的远摄图像t并输出。

施加了相同变焦因子的广角图像w和远摄图像t可以是例如图7的3倍放大的广角图像(×3w)和3倍放大的远摄图像(×3t)。由于广角相机和远摄相机之间的距离，这两个图像可能会有差异。将数字变焦应用于广角图像时，与远摄图像相比，画面质量可能会下降。在从3倍放大的广角图像向3倍放大的远摄图像转变的情况下(×3w->×3t)，如果转变是瞬时的并且不执行校正，则这样的差异和画面质量差异可能导致不希望的抖动效果，这对于用户来说是烦人的。

参考图8，将描述通过用户的变焦操作将相机从第一相机10切换到第二相机20的处理。第一相机10可以是广角相机，并且第二相机20可以是远摄相机。当在显示器50上输出由广角相机捕获的广角图像w时，用户的变焦操作可以输入到数字拍摄设备100。如图7所示，要变焦的目标区域z可以由用户输入来指定，并且可以通过数字变焦来放大或缩小目标区域z中包括的对象。当接收到超过阈值变焦因子的变焦输入时，数字拍摄设备100可以将捕获并输出图像的装置切换到远摄相机并输出图像。

在图8的示例中，变焦操作是由拉近放大输入引起的，输入变焦因子是2.5倍，并且远摄相机的默认变焦因子是2倍。当在显示器50上输出广角图像w的同时用户指定广角图像w中的目标区域z并且在其中执行2.5倍拉近放大操作时，可以根据用户输入通过数字变焦对广角图像w进行放大。尽管图中未示出，但根据从作为广角相机的缺省变焦因子的×1到作为远摄相机的缺省变焦因子的×2的输入变焦因子,通过数字变焦来放大广角图像w并且输出。当变焦操作的变焦因子信号超过×2并且广角相机切换到远摄相机时，可能会出现像图7那样的差异和画面质量差别。为了避免这种情况，数字拍摄设备100可以在从广角图像w到远摄图像t的转变的时间点生成并输出多个虚拟视点图像v中的一个。虚拟视点图像v可以是用于对广角图像w和远摄图像t之间的差异和画面质量差别进行插值的插值图像。虚拟视点图像v可以设置为在作为远摄相机的缺省变焦因子×2到作为设置的转变范围的×2.5生成。在下面的示例中，×2被称作最小变焦因子(第一变焦因子)，×2.5被称作最大变焦因子(第二变焦因子)，并且从×2至×2.5的范围将称作切换区域。

在图8中，在其下部的第一图像行示出了通过广角相机获取的×2、×2.1、×2.3、×2.4和×2.5的广角图像(×w)。第二图像行示出了通过远摄相机获取的×2、×2.1、×2.3、×2.4和×2.5的远摄图像(×t)。第三图像行示出以时间顺序在显示器50上输出的图像。在第三图像行中，首先输出2倍放大的广角图像(×2w)，并且最后输出2.5倍放大的远摄图像(×2.5t)。在×2和×2.5之间的切换区域中，生成并输出虚拟视点图像v。在2倍放大的广角图像(×2w)和2.5倍放大的远摄图像(×2.5t)之间输出的图像是虚拟视点图像v1、v2和v3。可以通过对画面质量和已经施加了作为切换区域的×2和×2.5之间的相同变焦因子的广角图像(×w)和远摄图像(×t)之间的差异进行插值而生成虚拟视点图像v1、v2和v3中的每一个。对于插值，可以基于两个图像(×w和×t)中的任何一个来确定差异和画面质量差别，并且可以基于最小变焦因子和最大变焦因子之间的更接近变焦因子的图像来执行插值。

例如，可以通过将2.1倍放大的广角图像(×2.1w)和2.1倍放大的远摄图像(×2.1t)进行合成来生成虚拟视点图像v1。因为虚拟视点图像v1的变焦因子2.1接近作为最小变焦因子的×2，所以可以对2.1倍放大的广角图像(×2.1w)和2.1倍放大的远摄图像(×2.1t)进行合成，以基于2.1倍放大的广角图像×2.1w来补偿画面质量和差异。在所示出的示例中，已经在2.1倍放大的广角图像(×2.1w)和2.1倍放大的远摄图像(2.1t)之间对虚拟视点图像v1进行插值，以相对于2.1倍放大的广角图像(×2.1w)具有最小的差异量。虚拟视点图像v1中的汽车的左端参考线l1与2.1倍放大的广角图像(×2.1w)接近。另一方面，已经对虚拟视点图像v3进行插值，以相对于2.4倍放大的远摄图像(×2.4t)具有最小差异量。基于施加相同变焦因子的广角图像(×w)和远摄图像(×t)的中心来定位虚拟视点图像v2的左端参考线l2，并且虚拟视点图像v3的左端参考线l3接近2.4倍放大远摄图像(×2.4t)。可以通过对虚拟视点图像v之间的画面质量差别和差异量进行等分或者在其他基础上进行插值。

为了生成图8的虚拟视点图像v1、v2和v3，可以基于高分辨率的远摄图像(×t)对画面质量进行插值。

参照图3，当目标区域包括多个对象时，所述对象可以具有不同的差异。因此，每个虚拟视点图像中的对象可以具有不同的插值差异量。

参考图8的最低图像行，其表示输出图像时间序列，当用户执行放大操作时，可以通过数字变焦将广角图像放大/缩小至切换区域的最小变焦因子，并且输出。当输入大于切换区域的最小变焦因子的变焦因子时，可以通过对由数字变焦放大的广角图像(×w)和光学变焦放大的远摄图像(×t)进行合成来生成虚拟视点图像v，并且可顺次输出。当输入大于切换区域的最大变焦因子的变焦因子时，可以输出已经施加了输入变焦因子的远摄图像(×t)。由于在切换区域中顺序地输出了虚拟视点图像v，对转变前图像和转变后图像之间的差异和画面质量差别进行了插值，因此平滑输出图像转变是可能的。

图9是示出了包括根据本公开的示例性实施例的包括应用处理器的数字拍摄设备的操作方法的流程图。在该方法中，数字拍摄设备100可以从第一相机10获取第一图像，从第二相机20获取第二图像，并且在显示器50上输出第一图像。第一相机10和第二相机20可以设置在作为不同位置的第一位置和第二位置处，并且可以具有不同的视角(视场)。第一位置和第二位置之间的距离引起第一图像和第二图像之间的差异，并且分辨率可以根据视角和变焦因子而变化。

在图9的示例性方法中，第一相机10是广角相机，并且第一图像是广角图像。第二相机20是远摄相机，并且第二图像是远摄图像。用户的相机切换输入可以是相机切换信号或变焦因子信号。在从第一图像到第二图像的转变之前生成并输出虚拟视点图像的变焦因子部分称为具有最大变焦因子和最小变焦因子的切换区域。

在操作s210中，数字拍摄设备100可以在第一位置处从广角相机获取广角图像w，并在显示器50上输出广角图像w，直到输入了切换区域的最小变焦因子信号为止。例如，当最小变焦因子为×2并且输入了×2或更小的变焦因子时，可以通过广角相机获取已经施加了所输入的变焦因子的广角图像(×w)并输出。

在操作s220中，数字拍摄设备100可以接收用于开始相机切换的用户输入。用户输入可以是包括超出切换区域的最小变焦因子的变焦因子信号在内的变焦操作。例如，用户可以在作为触摸屏的显示器50上对包括要放大的对象在内的目标区域执行变焦操作。响应于用户输入，应用处理器40的中央处理器41可以生成相机切换控制信号，使得可以在显示器50上生成并输出虚拟视点图像。当连续改变用户输入的变焦因子时，可以将s230之后的操作预先设置为准备好的。例如，当用户在1倍放大的广角图像(×1w)下执行拉近放大操作并且感测到输入变焦因子朝着切换区域的最小变焦因子增加时，即使在切换区域中没有包括输入变焦因子，s230之后的操作也可以预先设置为准备好的。

在操作s230中，根据在操作s220中输入的变焦因子信号，数字拍摄设备100可以通过广角相机在第一位置处获取已经施加了变焦因子的广角图像(×w，第一变焦图像)，并且通过远摄相机在第二位置处获取已经施加了变焦因子的远摄图像(×t，第二变焦图像)。远摄相机可以相对于数字拍摄设备100移动，以拍摄由用户的变焦操作指定的目标区域。例如，可以通过广角相机的数字变焦获取已经施加了超过最小变焦因子的变焦因子的广角图像(×w)。可以通过远摄相机的光学变焦获取已经施加了与广角图像(×w)具有相同变焦因子的远摄图像(×t)。

在操作s240中，可以通过对已经施加了变焦因子的广角图像(×w)和远摄图像(×t)进行合成来生成可以在第一位置和第二位置之间的多个虚拟第三位置处获取的虚拟视点图像v(第三图像)，并且在显示器50上输出)。可以通过以下操作来生成虚拟视点图像v：对广角图像(×w)和远摄图像(×t)进行几何校正，根据校正的图像生成差异图，然后将两个图像(×w和×t)进行合成以补偿差异。当广角图像(×w)和远摄图像(×t)之间存在很大差异时，可以增加所生成的虚拟视点图像。可以按照被补偿为接近广角图像(×w)的图像(其是转变前图像并且已经施加了最小变焦因子)到被补偿为接近远摄图像(×t)的图像(其是转变后图像并且已经施加了最小变焦因子)的顺序输出虚拟视点图像。被补偿为接近另一个图像的图像表示图像已经进行补偿以相对于作为补偿参考的另一个图像具有较小的变焦因子差别和较小差异。参考图8，虚拟视点图像v1是已经施加了×2.1的变焦因子的图像。由于×2.1的变焦因子与作为最大变焦因子的×2.5相比更接近作为最小变焦因子的×2，所以可以对虚拟视点图像v1进行补偿以相对于以最小变焦因子或更小输出的广角图像具有更小的差异。例如，如图8所示，2.1倍放大的虚拟视点图像v1可以针对差异进行补偿，以与2.1倍放大的远摄图像(×2.1t)相比相对于2.1倍放大的广角图像(×2.1w)具有更小的差异。

在操作s250中，数字拍摄设备100可以接收用于结束相机切换的用户输入。用户输入可以是包括切换区域的最大变焦因子或更大的变焦因子信号在内的变焦操作。例如，当最大变焦因子为×2.5并且输入了×2.5或更大的变焦因子时，可以通过远摄相机获取已经施加了输入的变焦因子的远摄图像(×t)并输出。

在操作s260中，数字拍摄设备100可以根据输入的变焦因子信号通过远摄相机在第二位置处输出已经施加了输入的变焦因子的远摄图像。

当输出图像根据输入的变焦因子从广角图像切换到远摄图像时，生成并输出针对变焦因子和差异进行了补偿的虚拟视点图像，从而，可以防止在显示器上输出的图像中包括的对象的尺寸和位置的突变。

图10是示出了包括根据本公开的示例性实施例的包括应用处理器的数字拍摄设备的操作方法的流程图。

在图10的示例性实施例中，第一相机10是远摄相机并且获取远摄图像t，并且第二相机20是广角相机并且获取广角图像w。尽管在图9的示例性实施例中的变焦操作是拉近放大操作，图10的示例性实施例中的变焦操作是拉远缩小操作。其他配置与图9的示例性实施例中的相同。

在操作s310中，数字拍摄设备100可以从第一位置处的广角相机获取广角图像w，并在显示器50上输出获取的远摄图像t，直到输入了切换区域的最大变焦因子信号为止。例如，当最大变焦因子为×2.5并且输入了×2.5或更大的变焦因子时，可以通过远摄相机获取已经施加了输入的变焦因子的远摄图像(×t)并输出。

在操作s320中，数字拍摄设备100可以接收用于开始相机切换的用户输入。用户输入可以包括小于切换区域的最大变焦因子的变焦因子信号。

在操作s330中，根据在操作s320中输入的变焦因子信号，数字拍摄设备100可以通过远摄相机在第一位置处获取已经施加了变焦因子的远摄图像(×t)，并且通过广角相机在第二位置处获取其中已经施加了变焦因子的广角图像(×w)。

在操作s340中，数字拍摄设备100可以通过对已经施加了变焦因子的广角图像(×w)和远摄图像(×t)进行合成来生成虚拟视点图像v(第三图像)，该虚拟视点图像v可以在第一位置和第二位置之间的多个虚拟第三位置处获取，并且可以将所生成的虚拟视点图像v输出到显示器上50。

在操作s350中，数字拍摄设备100可以接收用于结束相机切换的用户输入。用户输入可以是包括切换区域的最小变焦因子或更小的变焦因子信号在内的变焦操作。

在操作s360中，数字拍摄设备100可以根据输入的变焦因子信号通过广角相机在第二位置处输出已经施加了输入的变焦因子的广角图像。

图11是示出当根据本公开的示例性实施例的应用处理器40根据变焦输入切换相机时显示图像的画面质量和功耗的变化的图；

根据示例性实施例，数字拍摄设备100可以具有广角相机和远摄相机，并且根据相机之间的距离，广角图像w和远摄图像t之间存在差异。当在输出广角图像w的同时用户输入了拉近放大请求时，通过数字变焦放大广角图像w。根据用户输入和用于相机切换的设置，可以在广角相机和远摄相机之间切换获取输出图像的相机。

参考图11，通过基于软件的处理(例如数字变焦)放大的图像涉及根据变焦因子的画面质量劣化。由于远摄相机执行光学变焦，画面质量几乎不会劣化。当切换相机时，揭示了切换前后通过相机获取的图像之间的画面质量(分辨率)差别，并且可能令用户感到不适。根据本公开的示例性实施例，当切换相机时，将包括远摄相机的缺省变焦系数的特定变焦因子区域设置为切换区域，并且在切换区域中生成并输出虚拟视点图像，从而可以减少或消除由相机切换引起的用户不适。

例如，作为远摄相机的缺省变焦因子的×2可以设置为切换区域的最小变焦因子zth1，并且作为随机变焦因子的×2.5可以设置为切换区域的最大变焦因子zth2。当输入位于切换区域之外的变焦因子时，通过放大远摄图像或缩小广角图像来获取已经施加了输入变焦倍率的远摄图像或广角图像并且进行输出，并且相机没有切换。当用户的相机切换输入包括切换区域内的变焦因子信号时，可以确定是否放大或缩小当前正在输出的图像以及是否根据图像的相机和输入变焦因子信号来切换相机。

当切换相机时，在切换区域中生成并输出虚拟视点图像v，这消耗额外的电力。用户输入的变焦可能涉及针对特定时间执行变焦操作并持续重复该操作。可以将通过用户的变焦输入操作输入的变焦因子信号长时间保持在切换区域内。在这种情况下，数字拍摄设备100连续地生成并输出虚拟视点图像v，从而消耗更多的电力。当用户的变焦输入针对特定时间或更多包括在切换区域时，数字拍摄设备100可以设置为使得可以选择广角相机和远摄相机中的任何一个。

例如，当在图11的实施例中最小变焦因子zth1是×2并且最大变焦因子zth2是×2.5时，用户的变焦输入可以是×2.3。当切换前的相机是广角相机时，虚拟视点图像v设置为在输出小于×2.5的×2.3时生成。此时根据设置，当×2.3的输入持续5秒或更长时间时，数字拍摄设备100可以自动地切换到远摄相机，即使没有改变输入变焦因子。另一方面，当切换前的相机是远摄相机并且×2.4的输入持续5秒或更长时，数字拍摄设备100可以自动地切换到广角相机。相同的方法可以应用于由具有相同视角的左相机和右相机获取的左图像l和右图像r。

当相机自动切换时，用户的输入信号可以设置为不再传输到中央处理器。在这种情况下，用户可以执行新的多点触摸操作以再次输入变焦信号。这样，通过将输入信号维持在切换区域内相对较长时间来自动切换相机，可以防止过度的电力消耗。

作为减小切换区域中的功耗的另一种方法，可以调整帧率(fr)。根据设置，fr可以在整个切换区域降低，或者可以根据变焦因子进行差分调整。

图12是示出根据本公开的示例性实施例的数字拍摄设备的相机切换和增强信息提供操作的图。上文描述的数字拍摄设备100可以在电子系统内采用。电子系统可以是增强现实(ar)系统，并且可以用于位置信息提供服务、路上驾驶支持服务、停车辅助服务等。在数字拍摄设备100的显示器上输出的图像可以包括增强信息。

根据示例性实施例，数字拍摄设备100包括广角相机和远摄相机，并且分别从广角相机和远摄相机获取广角图像w和远摄图像t。当正在输出广角图像w的同时从用户接收到相机切换输入时，数字拍摄设备100可以生成并输出虚拟视点图像v，然后输出从远摄相机获取的远摄图像t。

参考图12，数字拍摄设备100可以用在使用ar实时提供信息的系统中。当在公路驾驶或散步期间正在输出广角图像w时，用户可以输入屏幕转变以接收关于特定主体的信息。如图所示，在路上行驶期间，可以通过触摸相应部分来在目的地附近输入变焦请求，使得目的地入口附近可以放大为特定目标区域z。用户的这种触摸操作解译为应用处理器40的中央处理器41的相机切换输入，并且中央处理器41可以生成与相机切换输入对应的相机切换控制信号。

为了平滑的图像转变，应用处理器40可以逐渐放大转变前广角图像w中的目标区域z。与远摄相机的缺省变焦因子相对应的切换区域的最小变焦系数是×3，并且切换区域的最大变焦因子是×4。在从广角相机切换到远摄相机的情况下，最小变焦因子是切换开始信号，并且最大变焦因子是切换终止信号。已经施加了输入变焦因子的广角图像(×wr)和远摄图像(×tr)中可以包括失真。在对两幅图像的失真进行几何校正之后，两幅图像可以彼此水平对齐。在对齐两幅图像之后，可以通过对已经施加了输入变焦因子的广角图像(×w)和远摄图像(×t)进行合成来生成虚拟视点图像v1、v2和v3。分别根据×3.3、×3.6和×3.8的变焦因子输入生成虚拟视点图像v1、v2和v3，并且可以考虑到变焦因子和差异而生成虚拟视点图像v1、v2和v3。通过数字变焦将广角图像放大至×3的输入变焦因子并且进行输出。在×3至×4处，输出通过对广角图像×w和远摄图像×t进行合成而生成的虚拟视点图像v1、v2和v3。在×4或更高时，输出远摄图像×t。

在附图所示的示例性实施例中，最终输入变焦因子×4。因此，将目的地入口附近作为远摄图像(×4t)输出，并且将与入口有关的信息一起显示，使得可以将信息实时地提供给用户。作为与入口有关的信息，可以包括可用时间和入口后面的路径。

图13a是电子系统的增强信息提供方的框图。图13b是示出根据示例性实施例的从增强信息提供方向数字拍摄设备提供增强信息的示例方法的流程图。

参考图13a，增强信息提供方200可以包括增强信息存储装置210、匹配器220、控制器230和通信器240。

增强信息存储装置210可以是存储地图信息的数据库(db)(地图db)。存储的地图信息可以包括指南信息、深度信息以及地图中包括的建筑物和地理特征的位置信息。

匹配器220可以将在数字拍摄设备100上输出的图像的位置信息与所存储的地图信息和要提供的选择信息进行比较。

控制器230可以通过通信器240从数字拍摄设备100接收对存储的增强信息的请求。响应于所述请求，控制器230可以将与数字拍摄设备100的输出图像相对应的增强信息发送到数字拍摄设备100的通信器80。

参照图13b、6a和6b，在操作s410中，数字拍摄设备100的应用处理器40使用相机10和20来获取实时图像和位置信息。实时图像是从数字拍摄设备100的相机10和20获取的。位置信息是与通过多个相机获取图像的位置有关的信息。位置信息可以通过连接到应用处理器40的gps接收器70来获取。用户可以输入用于对在数字拍摄设备100的显示器50上输出的图像中的特定目标区域z进行放大的信号。

在操作s420中，数字拍摄设备100的应用处理器40可以通过通信器80从增强信息提供方200请求由用户指定的目标区域z和包括在目标区域z中的主体的增强信息。增强信息提供方200可以通过通信器240接收对增强信息的请求、输出图像的位置信息和方向信息以及所获取的实时图像。

在操作s430中，增强信息提供方200的匹配器220可以将接收到的实时图像与匹配于接收到的实时图像的实际图像地图进行比较。

在操作s440中，匹配器220可以确定与所接收的实时图像相对应的增强信息。

在操作s450中，通信器240可以根据控制器230的命令将相应的增强信息发送到数字拍摄设备100的通信器80。

在操作s460中，数字拍摄设备100的应用处理器40可以通过对通过多个相机获取的实时图像和从增强信息提供方200接收的增强信息进行合成来生成合成图像。

在操作s470中，数字拍摄设备100的应用处理器40可以控制要显示的合成图像。合成图像也可以由增强信息提供方200生成并发送到数字拍摄设备100。

增强信息提供方200可以配置为位于数字拍摄设备100的远处的服务器，或者可以形成在数字拍摄设备100中。

图14是示出根据示例性实施例的包括数字拍摄设备的电子系统的相机切换方法的图。利用所述方法，数字拍摄设备100可以通过广角相机wc获取广角图像，并通过远摄相机tc获取远摄图像。当在显示器50上输出广角图像的同时用户通过输入部分60输入相机切换时，拍摄显示图像的相机可以从广角相机wc切换到远摄相机tc。用户的图像转变输入的操作可以是多点触摸操作。用户的图像转变输入可以通过在显示器50上实现的图形用户界面(gui)来进行，或者可以通过感测用户的生物计量信息来执行，例如通过前置相机镜头或其他传感器62。

参考图14，用户可以通过触摸广角图像的一部分来输入用于特定区域的变焦因子命令(变焦请求)。输入部分60是触摸屏。数字拍摄设备100的应用处理器40的中央处理器41接收用户的变焦因子输入。所接收的用户的变焦因子输入可被解译为包括相机切换输入，并且可以生成与相机切换输入相对应的相机切换控制信号。由于相机切换输入，输出图像可以切换到用户触摸的对象的远摄图像。在图像转变过程中，可以将广角图像放大到远摄相机的缺省变焦因子，进行输出，然后切换到远摄图像。可以在放大的广角图像和远摄图像之间生成虚拟视点图像，并且在转变前图像和转变后图像之间按时间顺序连续输出。

根据示例性实施例，根据用户的相机切换输入方法，可以减少图像转变所需的时间。更简单的相机切换输入可能会导致更快的图像转变。例如，当要求汽车的导航系统紧急放大远处存在的对象时，可以通过用户的仅一次触摸操作来快速输出对象的远摄图像。

作为用户的相机切换输入方法，可以使用注视检测。数字拍摄设备100可以包括用于检测用户的注视的传感器62，作为输入部分60。应用处理器40可以检测停留在广角图像的特定部分一段时间或更长时间的用户注视，并且将该注视解译为相机切换输入。

根据本公开的示例性实施例，可以在通过不同的相应相机捕获的共同场景的显示图像之间平滑地切换，其中由于相机之间的距离而导致图像之间存在差异。因此，可以避免在这样的相机切换期间可以察觉的图像伪像，例如抖动。

另外，根据各种示例性实施例，可以使输出图像之间的转变期间的功耗最小化。

此外，根据各种示例性实施例，可以通过增加输出图像转变速度来确保图像转变处理的速度。

尽管以上已经描述了本公开的示例性实施例，但是本公开所属领域的普通技术人员将理解，根据本公开的技术可以以其他详细形式实现而不背离技术精神或本质特征的公开内容。因此，上述示例性实施例应被解释为仅仅是说明性的而不是从所有方面进行限制。