用于合成图像的方法及其电子设备的制作方法

用于合成图像的方法及其电子设备的制作方法
【专利摘要】本发明提供一种合成图像的方法及其电子设备。所述合成图像的方法包括在第一图像中确定用于合成第二图像的对象区，确定所述对象区的扭曲值，以及合成根据该扭曲值变形的第二图像与对象区。
【专利说明】用于合成图像的方法及其电子设备

【技术领域】
[0001 ] 本公开涉及一种用于合成图像的方法及其电子设备。

【背景技术】
[0002]用于捕获照片的相机被布置在大多数电子设备中，诸如最近发布的智能电话和平板个人计算机(PC)。具体来说，由于相机的功能变得日益重要，因此在电子设备的前表面和后表面上安装相机。
[0003]典型地，布置在电子设备的前表面的相机以及布置在电子设备的后表面上的相机具有不同的用途。例如，布置在电子设备的前表面上的相机被用于捕获用户他或她自己的图像，而布置在电子设备的后表面上的相机被用于捕获周围对象、风景和/或除了用户之外的图。当如，提供同时驱动如相机和后相机并且同时使用从如相机和后相机获得的图像的技术。例如，电子设备的用户可以驱动在电子设备上配备的前相机和后相机两者并且电子设备可以在一个屏幕上显示通过使用被驱动的前相机和后相机获得的两个图像。此外，电子设备可以在用户的控制下合成通过使用前相机和后相机获得的两个图像并且显示该合成图像。
[0004]因此，期望提供用于合成通过布置在电子设备的不同位置处的第一相机和第二相机获得的第一图像和第二图像的方法和装置。
[0005]以上信息被作为背景信息来提供，仅仅是为了帮助对本公开的理解。关于以上任何信息是否可以作为关于本公开的现有技术来应用，尚未作出确定，并且不作出声明。


【发明内容】

[0006]本公开的一些方面将至少解决以上问题和/或缺点，并至少提供下述优点。因此，本公开的目的是提供一种用于合成通过布置在电子设备的不同位置处的第一相机和第二相机获得的第一图像和第二图像的方法和装置。
[0007]如上所述，当两个图像通过使用前相机和后相机被合成时，电子设备合成图像而不考虑对象的视角(perspective)和扭曲并且因此该图像可能被不自然地合成。
[0008]本公开的另一方面将提供一种在电子设备中的第一图像内部确定用于合成第二图像的对象区的方法和装置。
[0009]本公开的另一方面将提供一种确定用于在电子设备中合成图像的对象区的扭曲值的方法和装置。
[0010]本公开的另一方面将提供一种在电子设备中将根据包括在第一图像中的对象区的扭曲值扭曲的第二图像与第一图像的对象区进行合成的方法和装置。
[0011]本公开的另一方面将提供一种用于比较由用户选择的对象区的形状与预存储的对象形状表并且确定电子设备中的对象区的方法和装置。
[0012]本公开的另一方面将提供一种方法和装置，用于当在电子设备中在由用户选择的对象区中存在具有相同形状的两个或更多对象时，基于对象的数目和大小划分第二图像并且执行合成。
[0013]本公开的另一方面将提供一种方法和装置，用于当在电子设备中合成第一图像与第二图像时，在合成之前向合成区施加与第一图像中存在的图像效果类似的图像效果。
[0014]根据本公开的方面，提供一种电子设备的控制方法。所述控制方法包括在第一图像中确定用于合成第二图像的对象区，确定所述对象区的扭曲值，以及将根据该扭曲值变形(deform)的第二图像与对象区进行合成。
[0015]根据本公开的另一方面，提供一种电子设备中的图像合成装置。所述图像合成装置包括一个或多个处理器、触摸感测显示器以及至少一个相机，其中所述处理器通过所述至少一个相机获得第一图像和第二图像中的至少一个，在第一图像中确定用于合成第二图像的对象区，确定对象区的扭曲值，以及合成根据该扭曲值变形的第二图像。
[0016]根据本公开的一方面，提供一种具有记录在其上的程序的非临时计算机可读介质，当该程序被运行时，使得电子设备的至少一个处理器执行方法。所述方法包括在第一图像中确定用于合成第二图像的方位(aspect)区，确定所述方位区的扭曲值，以及将根据该扭曲值变形的第二图像与方位区合成。
[0017]从以下结合附图做出的公开了本公开的多种实施例的详细说明中，本公开的其他方面、优点和显著的特征对本领域技术人员将变得清楚。

【专利附图】

【附图说明】
[0018]从下面结合附图的描述，本公开特定实施例的上述和其他方面、特征和优点将更加清楚，附图中:
[0019]图1示出根据本公开实施例的、在电子设备中基于用于图像合成的对象区的扭曲值来变形和合成图像的示例；
[0020]图2示出根据本公开实施例的、基于对象的扭曲值合成第一图像和第二图像的电子设备的块配置；
[0021]图3示出根据本公开实施例的、基于对象的扭曲值合成第一图像和第二图像的电子设备的处理器；
[0022]图4A示出根据本公开实施例的、基于由电子设备确定的对象区的扭曲值合成第一图像和第二图像的过程；
[0023]图4B示出根据本公开实施例的、基于由电子设备确定的对象区的扭曲值合成第一图像和第二图像的设备；
[0024]图5示出根据本公开实施例的、在电子设备中当第一图像中存在的对象区的形状是矩形时合成第一图像和第二图像的过程；
[0025]图6A、图6B和图6C示出根据本公开实施例的、在电子设备中第二图像被捕获并与第一图像中存在的矩形形状的对象区合成的示例；
[0026]图7A、图7B、图7C和图7D不出根据本公开实施例的、在电子设备中第二图像与第一图像中由用户选择的矩形形状的对象区合成的示例；
[0027]图8示出根据本公开另一实施例的、在电子设备中当存在于第一图像中的对象形状不是矩形时合成第一图像和第二图像的过程；
[0028]图9A、图9B、图9C和图9D示出根据本公开另一实施例的、当存在于第一图像中的对象形状不是矩形时合成第一图像和第二图像的示例；
[0029]图10示出根据本公开另一实施例的、在电子设备中当在选定区中存在具有相同形状的两个或更多对象时合成第一图像和第二图像的过程；
[0030]图1lA和图1lB示出根据本公开另一实施例的、在电子设备中当选定区中存在具有相同形状的两个或更多对象时合成第一图像和第二图像的示例；以及
[0031]图12A和图12B示出根据本公开实施例的、在电子设备中当合成第一图像和第二图像时，将在合成之前存在于第一图像中的图像效果应用于合成图像的示例。
[0032]遍及附图，相似的附图参考标记将理解为参考相似的部分、组件和结构。

【具体实施方式】
[0033]提供以下参照附图的描述来帮助全面理解权利要求及其等效物所限定的本公开的多种实施例。以下描述包括各种具体细节来帮助理解，但这些具体细节应被看作仅仅是示例性的。因此，本领域普通技术人员将认识到，可以对此处描述的实施例进行各种改变和修改而不会偏离本公开的范围和精神。此外，为清楚和简洁起见，可能省略对公知功能和结构的描述。
[0034]下面的描述及权利要求中使用的术语和词汇不局限于文献学含义，发明人使用这些数据和词汇仅仅是为了实现对本公开清楚和一致的理解。因此，对本领域技术人员应当清楚的是，以下对本公开多种实施例的描述仅仅是出于举例说明的目的而提供的，并非为了对权利要求及其等效物所限定的本公开进行限制。
[0035]应当理解，单数形式“一”、“一个”和“该”也包括复数对象，除非上下文给出明确地相反指示。因而，例如，当提到“一个组件表面”时，包含了一个或多个这样的表面。
[0036]关于术语“基本上”，它意味着所列举的特征、参数或者值不需要准确地实现，而是可以存在不妨碍预取提供的特征的效果的量的偏差或者变化，包括例如，公差、测量误差、测量精度限制及本领域技术人员所知的其它因素。
[0037]在下面的描述中，电子设备可以是其中布置了两个或更多相机的设备，例如，包括智能电话、平板个人计算机(PC)、移动电话、视频电话、个人数字助理(PDA)、数字相机、MP3播放器、导航设备、便携式计算机、上网本、计算机或电视机，但不限于此。
[0038]下文中，为了解释方便，假定两个相机布置在电子设备中，并且两个相机分别布置在电子设备的前后表面上。然而，即使当两个相机处理在不同表面或相同表面上时，如下所述的本公开的各种实施例可以也应用在等同方案中。可替换地，本公开的各种实施例还可以应用于两个相机布置在不同设备上的情况中。例如，利用不同终端捕获的图像可以被实时合成(例如，视频呼叫)。作为实时合成的例子，来自前相机的图像与来自后相机的图像在相同时间点的帧中匹配，并且从匹配的图像帧生成合成图像并将其显示在屏幕上。对于另一示例，本公开的各种实施例可以应用于使用布置在可穿戴设备(例如，眼镜)和移动设备中的相机的情况。此外，在电子设备中布置两个或更多相机或者两个或更少相机的情况也是可能的(还包括未布置相机的情况)。将要合成的图像可以通过布置在电子设备中的相机获得，或者通过除了相机之外的其他方法(例如，从另一电子设备接收)获得。
[0039]图1示出根据本公开实施例的、在电子设备中基于用于图像合成的对象区的扭曲值来变形和合成图像的示例。
[0040]参照图1，电子设备获得第一图像101。例如，第一图像101可以从布置在电子设备的后表面中的第一相机获得。电子设备可以分析第一图像并且在第一图像中确定第二图像与其进行合成的对象区(例如，图1中的103、105、107、109、111、113和115)。例如，第二图像可以从布置在电子设备的前表面中的第二相机获得。电子设备可以合成第二图像与确定的对象区，并且获得合成图像117。
[0041]根据本公开的各种实施例，电子设备可以确定表示对象区的扭曲度的扭曲值，根据确定的扭曲值变形第二图像，并且将变形的第二图像与确定的对象区进行合成。以这样的方式，根据本公开的实施例的电子设备可以考虑第一图像的对象区的扭曲将第二图像与第一图像的特定区合成，并且因此最小化第一图像和第二图像之间的差异感。表示对象区的扭曲度的扭曲值可以表示各种类型的变形特性。例如，扭曲值可以包括图像的视角、缩放、旋转或仿射(affine)特性的至少一个参数。仿射特性指的是可从仿射几何导出的特性。详细地，这指的是，对于具有相同大小与形状以及相同平行变量的两个图像，除了两个图像之间的距离和角度以及两个图像的面积之外，剩余元素没有变化。将关于变形特性当中的角度来示例性地提供关于多种实施例的描述。
[0042]此外，为了实时合成，同时生成的第一图像和第二图像互相匹配，并且从匹配的第一图像提取合成所需的扭曲值，该扭曲值被应用于第二图像的至少一部分以生成与第一图像合成的图像。而且通过第一相机和第二相机同时获得的下一帧图像分别被指定作为第一图像和第二图像，并且合成图像被实时重新配置为用于下一帧的合成图像。例如，电子设备可以通过如下步骤实时重新配置合成图像:连续地实时获得第一图像和第二图像，实时分析获得的第一图像和第二图像，确定第一图像中的对象区的扭曲值，向与第一图像同时获得的第二图像应用确定的扭曲值，然后合成第一图像和第二图像。
[0043]图2示出根据本公开实施例的、根据对象的扭曲值合成第一图像和第二图像的电子设备的块配置。
[0044]参照图2，电子设备200包括总线210、处理器220、存储器230、用户输入模块240、显示模块250和相机模块260，但是不局限于此。这里，处理器220和存储器230中的至少一个可以是多个。
[0045]总线210将包括在电子设备200中的元件彼此连接并且控制包括在电子设备200中的元件之间的通信。
[0046]处理器220控制电子设备200，以使得电子设备200提供多种服务。例如，处理器220可以解释通过总线210从一个或多个其他元件(例如，包括在电子设备200中的存储器230、用户输入模块240、显示模块250、相机模块260)接收到的命令，并且根据解释的命令运行操作或数据处理。
[0047]处理器220运行存储在存储器230中的一个或多个程序并且控制电子设备200，以使得电子设备200提供多种服务。根据本公开的实施例的处理器220可以控制图像分析程序231、检测第一图像中的对象区并且确定检测到的对象区的扭曲值。此外，处理器220可以控制图像变形程序232，并且基于通过图像分析程序231确定的扭曲值来变形第二图像。此外，处理器220可以控制图像合成程序233并且将变形的第二图像与第一图像中检测到的对象区合成。
[0048]存储器230存储从包括在电子设备200中的一个或多个元件(处理器220、用户输入模块240、显示模块250、相机模块260)接收或生成的命令或数据。例如，存储器230可以存储可连接到电子设备200的外围设备的输出特性和被识别为虚拟设备的应用程序信息。
[0049]存储器230可以存储用于电子设备200的服务的一个或多个程序。例如，存储器230可以包括图像分析程序231、图像变形程序232和图像合成程序233中的一个或多个。
[0050]图像分析程序231可以在由第一相机261获得的第一图像中确定用于图像合成的至少一个对象区，并且包括用于确定被确定的对象区的扭曲值的至少一个软件元素。例如，图像分析程序231可以分析通过布置在电子设备200的前表面中的第一相机261获得的第一图像，在第一图像中确定用于合成第二图像的对象区，并且确定可以表示对象区(或对象)与正面(front side)相比扭曲多少的扭曲值。
[0051]首先，图像分析程序231可以在用户输入被接收或第一图像被获得时检测存在于第一图像中的对象区。例如，当在从第一相机261获得第一图像之后接收到用于检测对象区的用户输入时，图像分析程序231可以在第一图像中检测至少一个可检测的对象区。对于另一示例，当通过第一相机261获得第一图像时，图像分析程序231可以在第一图像中检测至少一个可检测的对象区。对于另一示例，当在从第一相机261获得第一图像之后接收到用于检测对象区的用户输入时，图像分析程序231可以在第一图像中检测矩形形状的对象区。对于另一示例，当通过第一相机261获得第一图像时，图像分析程序231可以在第一图像中检测矩形形状的对象区。作为另一示例，当在通过第一相机261获得第一图像之后通过用户输入选择第一图像中的特定区时，图像分析程序231可以在距离选定的特定区的阈值距离或阈值范围之内检测至少一个对象区。图像分析程序231可以分析在距离由用户选择的特定区阈值距离或阈值范围之内存在的对象的形状，并且可以基于对象形状是否与预存储的对象形状数据库中存在的已分析的对象形状相匹配或相类似来确定相应对象区是或否被检测到。例如，当与已分析的对象形状相匹配或相类似的对象形状没有存在于预存储的对象形状数据库中时，图像分析程序231忽视并且不检测相应的对象区。当与分析的对象形状匹配或类似的对象形状存在于预存储的对象形状数据库中时，图像分析程序231可以检测相应的对象区。当两个比较目标对象的形状在预置误差范围之内匹配时，图像分析程序231可以确定两个对象形状类似。具体来说，当通过第一相机261实时输入图像或捕获视频时，图像分析程序231可以在实时获得的图像中实时检测并跟踪对象区。
[0052]当对象区在第一图像中被检测到时，图像分析程序231可以确定表示对象区的扭曲度的扭曲值。例如，当第一图像被捕获时，图像分析程序231可以基于对象区(或对象区中的对象)与电子设备200之间的角度和距离信息、关于对象区的大小信息和仿射特性中的至少一个来确定扭曲值。图像分析程序231可以通过包括能够计算捕获图像的相机和捕获的图像内的对象区(或对象)之间的角度的模块来确定在获得的第一图像中的对象区(或对象)的角度信息。作为计算扭曲值的方法的例子，可以使用单应性变换函数。单应性变换函数是当给定具有至少四个顶点的两个矩形时表示两个矩形的形状之间的变换关系的函数。通过使用此变换函数，矩形区内的图像(它在前图像中未扭曲)可以被映射到后图像中的扭曲的矩形区。可以从变换结果提取矩形区的扭曲值
[0053]图像分析程序231可以对所获得的至少两个图像当中的未扭曲图像和扭曲图像进行形状分析，获得电子设备200和对象之间的角度信息，并且基于获得的电子设备200和对象之间的角度信息来确定对象区的扭曲值。例如，图像分析程序231可以通过单应性变换函数对通过布置在电子设备200的前表面中的相机262获得的图像(未扭曲图像)和通过布置在后表面的相机261获得的图像(扭曲图像)进行形状分析，获得电子设备200和对象之间的角度信息，并且基于电子设备200和对象之间的角度信息确定对象区的扭曲值。当在第一图像中检测到多个对象区时，图像分析程序231可以基于电子设备200和每个对象之间的角度和距离信息以及多个对象区中的每个对象区大小来确定每个对象区的扭曲值。当通过第一相机261实时输入图像或捕获视频时，图像分析程序231可以基于在实时输入的图像中检测到的对象区来更新扭曲值。
[0054]图像变形程序232可以包括基于通过图像分析程序231确定的扭曲值来变形通过第二相机262获得的第二图像的至少一个软件元素。详细地，图像变形程序232可以通过在合成图像期间允许在合成图像中没有差异感地表现扭曲来变形第二图像。例如，图像变形程序232可以变形第二图像以使得一个对象区中位于相对较远位置的区表现为较小，而且位于相对较近位置的区表现为较大。对于另一示例，图像变形程序232可以变形第二图像，以使得在一个图像内的正处于向右旋转的状态的对象区中，第二图像表现为正在向右旋转，而且在一个图像内的正处于向左旋转的状态的对象区中，第二图像表现为正在向左旋转。
[0055]图像合成程序233可以包括用于将变形的第二图像与第一图像中检测到的对象区进行合成的至少一个软件元素。详细地，图像合成程序233可以将通过图像变形程序232变形的第二图像与通过图像分析程序231检测到的对象区合成。当在第一图像中存在多个可能与第二图像合成的对象区时，图像合成程序233可以将第二图像与多个对象区当中由用户或预置方案选择的至少一个对象区合成。此外，当在第一图像中存在多个可能与第二图像合成的对象区时，图像合成程序233可以将第二图像与全部对象区合成。
[0056]用户输入模块240通过总线210向处理器220发送通过用户选择生成的命令或数据。例如，用户输入模块240可以包括键盘和触摸板中的一个或多个，该键盘包括至少一个硬件按钮，该触摸板能够检测触摸信息。
[0057]显示模块250向用户显示图片、图像或数据。显示模块250可以显示通过合成第一图像和第二图像获得的合成图像。
[0058]相机模块260通过从第一相机261和第二相机262输入的数据获得图像并且将图像传递到处理器220。
[0059]第一相机261和第二相机262可以根据用户的控制捕获特定对象的图像。第一相机261和第二相机262可以是布置在不同位置的相机并且可以同时被驱动或在不同时间被驱动。例如，第一相机261可以位于后表面而第二相机200可以位于前表面。虽然图2示出第一相机和第二相机，但是根据本公开的多种实施例的电子设备200可以包括各种数目的相机或可以不包括相机。
[0060]参照图2,电子设备200的处理器220被描述为基于这样的方案来执行图像合成功能:处理器220运行存储在存储器230中的程序231、232和233。然而，如作为另一实施例的图3中所示，电子设备200的处理器220可以直接执行图像合成功能。
[0061]图3示出根据本公开实施例的、根据对象的扭曲值合成第一图像和第二图像的电子设备的处理器。
[0062]参照图3，处理器220可以包括图像分析单元300、图像变形单元310和图像合成单元320。
[0063]图像分析单元300可以包括用于确定获得的第一图像中的对象区并且确定相应对象区的扭曲值的至少一个软件元素。例如，图像分析单元300可以分析通过布置在电子设备200的前表面中的第一相机261获得的第一图像，确定用于合成第一图像和第二图像的对象区，并且确定可以表示对象区与正面相比扭曲多少的扭曲值。
[0064]首先，图像分析单元300可以在用户输入被接收或第一图像被获得时检测存在于第一图像中的对象区。例如，当在从第一相机261获得第一图像之后接收到用于检测对象区的用户输入时，图像分析单元300可以在第一图像中检测全部可检测的对象区。对于另一个示例，当通过第一个相机261获得第一图像时，图像分析单元300可以在没有用户输入的情况下在第一图像中自动地检测满足预置条件的一个或多个对象区。对于另一示例，当在从第一相机261获得第一图像之后接收到用于检测对象区的用户输入时，图像分析单元300可以在第一图像中检测矩形形状的全部对象区。对于另一示例，当通过第一相机261获得第一图像时，图像分析单元300可以在第一图像中检测矩形形状的全部对象区。对于另一示例，当在通过第一相机261获得第一图像之后通过用户输入选择第一图像中的特定区时，图像分析单元300可以检测距离选定的特定区阈值距离之内的可检测的对象区。当特定形状的对象存在于由用户选择的特定区中时，图像分析单元300可以根据与相应对象形状类似的对象形状是否存在于预存储的对象形状数据库中，来检测对象区。具体来说，当通过第一相机261捕获到视频时，图像分析单元300可以通过使用获得的图像实时检测对象区。
[0065]当对象区在第一图像中被检测到时，图像分析单元300可以确定表示对象区的扭曲度的扭曲值。例如，当第一图像被捕获时，图像分析单元300可以基于对象区(或对象区中的对象)与电子设备200之间的角度和距离信息、关于第一图像中的对象区的大小信息和仿射特性中的至少一个来确定扭曲值。当包括能够计算捕获图像的相机和捕获的对象之间的角度的模块时，图像分析单元300可以分析获得的第一图像并且确定角度信息。当包括能够在捕获图像期间计算相机和对象之间的角度的传感器时，图像分析单元300可以通过使用传感器确定角度信息。当在第一图像中检测到多个对象区时，图像分析单元300可以基于电子设备200和每个对象之间的角度和距离信息、以及关于每个对象的大小信息和仿射特性中的至少一个确定多个对象区中的一些或全部的扭曲值。具体来说，当通过第一相机261捕获到视频时，图像分析单元300可以基于实时检测到的对象区更新扭曲值。
[0066]图像变形单元310可以包括基于通过图像分析单元300确定的扭曲值来变形获得的第二图像的至少一个软件元素。例如，图像变形单元310可以基于由图像分析单元300确定的扭曲值来变形通过布置在电子设备100的后表面中的第二相机262获得的第二图像。图像变形单元310可以变形第二图像，从而在合成图像期间，在合成图像中视角和扭曲被没有差异感地表示。例如，图像变形单元310可以变形第二图像以使得一个对象区中位于相对较远位置的区表现为较小，而且位于相对较近位置的区表现为较大。
[0067]图像合成单元320可以包括用于合成变形的第二图像与第一图像中检测到的对象区的至少一个软件元素。详细地，图像合成单元320可以合成由图像变形单元310变形的第二图像与由图像分析单元300检测到的对象区。当存在多个可合成的对象区时，图像合成单元320将第二图像与由用户选择的对象区、与全部对象区、或与任意的对象区合成。
[0068]图4A示出根据本公开实施例的、基于由电子设备确定的对象区的扭曲值合成第一图像和第二图像的过程。
[0069]参照图4A，电子设备200在操作401中获得第一图像和第二图像。例如，电子设备200可以通过布置在电子设备200的不同位置处的第一相机和第二相机获得第一图像和第二图像。例如，第一相机可以布置在电子设备200的后表面中，而第二相机可以布置在电子设备200的前表面中。
[0070]在操作403中电子设备200可以在获得的第一图像中确定用于合成第二图像的对象区。例如，当获得第一图像时，电子设备200可以将第一图像中的至少一个可检测的对象区确定为用于合成第二图像的对象区。对于另一示例，电子设备200可以将第一图像中位于与由用户输入选择的区相距阈值距离或阈值范围之内位置的至少一个对象区确定为用于合成第二图像的对象区。
[0071]在操作405中电子设备200可以确定被确定的对象区的扭曲值。换句话说，电子设备200可以确定检测到的对象与正面相比扭曲多少的扭曲值。电子设备200可以基于检测到的对象区和电子设备200之间的角度和距离信息、关于对象区(或检测到的对象)的大小信息和仿射特性中的至少一个来确定扭曲值。此外，当检测到的对象区是多个时，电子设备200可以确定每个对象区的扭曲值。此外，当检测到的对象区和第二图像之间在形状(例如，长宽比)方面存在预定水平的差异时，电子设备200可以调整(例如，修剪)第二图像的形状以便第二图像的至少一部分与检测到的对象区的形状匹配。
[0072]然后，电子设备200可以根据确定的扭曲值合成变形的第二图像与对象区。例如，电子设备200可以基于扭曲值合成变形的第二图像与第一图像的检测到的对象区。因此，电子设备200可以向用户提供没有差异感的合成图像。
[0073]图4B示出根据本公开实施例的、基于由电子设备确定的对象区的扭曲值合成第一图像和第二图像的设备。
[0074]参照图4B，电子设备200可以包括在第一图像中确定用于合成第二图像的对象区的设备411。此外，电子设备200可以包括在图像中提取特定对象的特征点的设备以及基于提取的特征点检测对象区的设备。此外，电子设备200可以包括存储关于对象形状的信息的数据库(DB)以及比较图像中的对象形状与相应DB中的对象形状并检测类似对象形状的设备。
[0075]此外，电子设备200可以包括确定对象区的扭曲值的设备413。电子设备200还可以包括当捕获图像时计算电子设备200和捕获目标之间的角度和距离、捕获目标的大小和仿射特性中的至少一个的设备。
[0076]此外，电子设备200可以包括根据扭曲值合成变形的第二图像与对象区的设备415。当通过第一相机捕获视频时，电子设备200可以包括通过使用获得的图像实时检测对象区的设备以及通过使用实时检测到的对象区来更新扭曲值的设备。
[0077]图5示出根据本公开实施例的、当第一图像中存在的对象区的形状是矩形时在电子设备中合成第一图像和第二图像的过程。
[0078]参照图5，电子设备200可以在操作501中驱动第一相机261和第二相机262。这里，第一相机261和第二相机262可以布置在电子设备200中的不同位置处。例如，第一相机261可以布置在电子设备200的后表面中，而第二相机262可以布置在电子设备200的前表面中。
[0079]电子设备200可以在操作503中使用第一相机261和第二相机262获得第一图像和第二图像。这里，第一图像指的是通过第一相机261获得的图像，而第二图像指的是通过第二相机262获得的图像。
[0080]电子设备200可以在操作505中分析第一图像并且检测第一图像中的矩形形状的对象区。这里，电子设备200可以通过使用公知的对象检测技术在图像中提取具有特定形状的对象的特征点并且基于提取的特征点检测对象的区。例如，电子设备200可以在第一图像中检测具有矩形形状的全部可检测的对象区。对于另一示例，当通过用户输入选择第一图像中的特定区时，电子设备200可以检测位于距选定的特定区阈值距离之内的对象的可检测的区。
[0081]电子设备200可以在操作507中基于电子设备200和相应对象之间的角度信息确定对象区的扭曲值。例如，为了确认检测到的对象与正面相比扭曲多少，电子设备200可以对通过布置在前表面的相机262获得的图像以及通过布置在电子设备200的后表面中的相机261获得的图像进行形状分析(例如，单应性)，获得电子设备200和对象之间的角度信息，并且基于获得的电子设备200和对象之间角度信息来确定对象区的扭曲值。此外，电子设备200可以确定包括电子设备200和对象之间的距离信息的扭曲值。
[0082]在操作509中，电子设备200可以基于确定的扭曲值变形第二图像然后进行到操作511，并且在用户的控制下将变形的第二图像与第一图像的对象区合成。然后电子设备200可以终止根据本公开的实施例的过程。
[0083]图6A到图6C示出根据本公开实施例的电子设备中的、第二图像被捕获并且与第一图像内的具有矩形形状的对象区合成的示例。
[0084]参照图6A，电子设备200可以在第一图像中检测全部可检测的对象区601、603、605、607、609、611和613。然后，电子设备200可以确定每个对象区的扭曲值。
[0085]参照图6B，当在用户的控制下选择特定对象区时，电子设备200可以基于选定对象区的扭曲值来变形第二图像并且将变形的第二图像与相应对象区621合成。当在第二图像与第一对象区合成之后重新选择第一对象区时，电子设备200可以通过将在重新选择的时间获得的第二图像与重新选择的第一对象区进行合成来更新合成图像。相比之下，当在第二图像与第一对象区合成之后选择第二对象区时，电子设备200可以保持与第一对象区合成的图像621而不进行改变，如图6C中所示，并且将在选择第二对象区时获得的第二图像与第二对象区623进行合成。
[0086]图7A到图7D示出根据本公开实施例的电子设备中的、第二图像与第一图像中的由用户选择的矩形形状的对象区合成的示例。
[0087]参照图7A，电子设备200可以通过第一相机261获得第一图像701。
[0088]参照图7B，当根据用户输入选择特定区703时，电子设备200可以检测位于距选定的特定区阈值距离之内的可检测的对象区。电子设备200可以确定检测的对象区的扭曲值。
[0089]参照图7C，电子设备200可以基于确定的扭曲值变形第二图像。
[0090]参照图7D，电子设备200可以合成变形的第二图像与检测到的对象区705。
[0091]图8示出根据本公开另一实施例的、当第一图像中存在的对象区的形状不是矩形时在电子设备中合成第一图像和第二图像的过程。
[0092]参照图8，电子设备200可以在操作801中驱动第一相机261和第二相机262，然后在操作803中使用第一相机261和第二相机262获得第一图像和第二图像。
[0093]电子设备200在操作805中确认是否选择了第一图像的特定区。例如，电子设备200可以确认是否接收到对于特定区的预定义输入(例如，轻击、双击或拖曳)。对于另一示例，当获得图像时，电子设备200可以确认是否自动地选择满足预置条件的特定区。
[0094]当第一图像中的特定区被选择时，电子设备200可以在操作807中检测位于距选定区阈值距离之内的对象区。例如，当由用户选择了特定区时，电子设备200可以检测围绕选定的特定区的对象的区。对于另一示例，电子设备200可以自动地检测满足预置条件的特定对象的区。
[0095]当第一图像中的特定区未被选择时，电子设备200返回到操作805并且再次执行此后的操作。
[0096]在操作807之后，电子设备200在操作809中确认检测到的对象区的形状是否存在于对象形状DB中。例如，电子设备200可以在预存储的对象形状DB中搜索与在用户的控制下选择的区中检测到的对象形状类似的对象形状，并且基于找到的结果检测对象形状。当在通过用户的控制选择的区中检测到圆形的对象时，电子设备200确认与圆形类型类似的对象形状是否存在于预存储的对象形状DB中。当与圆形类型类似的对象形状存在时，电子设备200可以基于选定的区中的相应形状来检测对象区。这里，对象形状DB可以预先存储在电子设备200的存储器中，或存储在除了电子设备200之外的其他外部设备(例如，夕卜部服务器或其他电子设备)中。例如，当包括能够执行数据通信的通信单元时，电子设备200可以通过通信单元搜索其他外部设备的对象DB。
[0097]当检测到的对象区的形状存在于对象形状DB中时，电子设备200在操作811中可以基于相机和相应对象之间的角度信息确定对象区的扭曲值。详细地，电子设备200可以对通过布置在电子设备200的前表面的相机261获得的图像(未扭曲图像)以及通过布置在电子设备200的后表面的相机262获得的图像(扭曲图像)进行形状分析(例如，单应性)，获得电子设备200和对象之间的角度信息，并且基于获得的电子设备200和对象之间角度信息确定对象区的扭曲值。此外，电子设备200可以确定包括电子设备200和对象之间的距离信息的扭曲值。
[0098]当检测到的对象区的形状未存在于对象形状DB中时，电子设备200返回到操作805并且再次执行之后的操作。
[0099]在操作811之后，电子设备200在操作813中可以基于确定的扭曲值变形第二图像，然后在操作815中将变形的第二图像与第一图像的对象区合成。然后电子设备200可以终止根据本公开其他实施例的过程。
[0100]图9A到图9D示出根据本公开实施例的、当存在于第一图像中的对象区的形状不是矩形时合成第一图像和第二图像的示例。
[0101]参照图9A，当由用户在第一图像中选择了特定区901时，电子设备200检测位于距选定区901阈值距离之内的对象区。当检测到的对象区的形状是圆形时，电子设备200可以确认在预存储的对象形状DB中是否存在与圆形类型类似的对象形状。当在预存储的对象形状DB中存在与圆形类型类似的对象形状时，电子设备200可以基于选定的区中的相应形状来检测对象区。
[0102]参照图9B，电子设备200可以通过在第一图像的对象区中合成第二图像911来获得合成图像913。这里，电子设备200可以通过如下步骤获得合成图像:确定相应对象区的扭曲值、基于确定的扭曲值变形第二图像、以及合成变形的第二图像与第一图像的对象区。
[0103]参照图9C，电子设备200可以通过合成基于对象形状DB确定的图像与第一图像的对象区来最终获得合成图像921。当3维对象形状存储在对象形状DB中时，电子设备200可以在对象形状DB中搜索3维对象形状，确定相应对象区的扭曲值，以及基于确定的扭曲值合成图像。
[0104]参照图9D中，电子设备200可以在对象形状DB中搜索3维球体形状，确定找到的3维球体的形状931的扭曲值，以及合成基于确定的扭曲值变形的第二图像933与第一图像。
[0105]图10示出根据本公开另一实施例的、当在选定区中存在具有相同形状的两个或更多对象时在电子设备中合成第一图像和第二图像的过程。
[0106]参照图10，在操作1001中驱动第一相机261和第二相机262之后，电子设备200在操作1003中可以使用第一相机261和第二相机262获得第一图像和第二图像。
[0107]电子设备200在操作1005中确认用户是否选择第一图像的特定区。换句话说，电子设备200确认是否接收到预定义输入(例如，轻击、双击或拖曳)。
[0108]当用户选择了第一图像的特定区时，在操作1007中电子设备确认具有相同形状的两个或更多对象是否存在于选定区中。例如，电子设备200确认具有与公寓的窗户类似的相同形状的多个对象存在于由用户选择的区中。
[0109]相反地，当用户未选择第一图像中的特定区时，电子设备200返回到操作1005并且再次执行之后的操作。
[0110]在操作1007中，当具有相同形状的两个或更多对象存在于选定区中时，电子设备200可以进行到操作1009并且基于对象的数目和大小划分第二图像。例如，当四个矩形对象存在于选定区中时，电子设备200可以将第二图像划分成为4个图像。具体来说，电子设备200可以以与对象区的每个大小相对应的大小来划分第二图像。
[0111]在操作1007中，当具有相同形状的两个或更多对象没有存在于选定区中时，电子设备200可以进行到操作1017并且确认一个对象是否存在于选定区中。
[0112]当一个对象存在于选定区中时，电子设备200执行图8的操作807之后的操作。
[0113]相反地，当一个对象都没有存在于选定区中时，电子设备200返回到操作1005并且再次执行之后的操作。
[0114]在操作1009之后，电子设备200可以进行到操作1011并且基于相机和相应对象之间的每条角度信息来确定对象区的每个扭曲值。详细地，当捕获图像时，电子设备200可以测量捕获对象的电子设备200的相机和每个捕获的对象之间的每条角度信息，并且确定表示每个对象区与正面相比扭曲多少的每个对象的扭曲值。
[0115]在操作1013中，电子设备200可以基于每个对象的扭曲值变形每个已划分的图像，然后将每个变形的图像与第一图像的对象区合成。然后，电子设备200可以终止根据本公开其他实施例的过程。
[0116]图1lA和图1lB示出根据本公开另一实施例的、当在选定区中存在具有相同形状的两个或更多对象时在电子设备中合成第一图像和第二图像的示例。
[0117]参照图11A，当在用户选择的区中存在具有多个矩形的对象时，电子设备200可以根据对象的数目和大小将第二图像划分成为多个图像，并且将划分的图像分别与第一图像中的多个对象区合成。此外，电子设备200可以确定各对象的扭曲值，基于每个确定的扭曲值变形每个划分的图像，以及合成变形的图像。当存在于选定区域中的对象的数目大于阈值数目或者对象的大小小于阈值大小时，电子设备200可以像素化第二图像并且将像素化的第二图像与包括多个矩形的对象区合成。
[0118]参照图11B，当在用户选择的区1101中存在多个矩形对象时，电子设备200可以根据对象的数目和大小将第二图像划分成为多个图像并且将划分的图像分别与第一图像中的多个对象区合成。这里，划分的图像的大小可以相应于对象1103、1105、1107、1109、1111和1113中的每一个的大小和位置。
[0119]此外，电子设备200可以在图像合成之前确认第一图像的对象区中存在的图像效果，并且向合成区应用相同的效果。
[0120]图12A和图12B示出根据本公开实施例的、当在电子设备中合成第一图像和第二图像时，在合成图像之前将存在于第一图像中的图像效果应用于合成图像的示例。
[0121]参照图12A，电子设备200可以确认第一图像中的对象区域1201的亮度(brightness)信息，向第二图像应用与确定的一个亮度信息相同的亮度信息，并且合成第二图像与第一图像的对象区1203。
[0122]参照图12B，电子设备200确认第一图像中的对象区域的焦点信息，向第二图像应用与确认的一个焦点信息相同的焦点信息，并且合成第二图像与第一图像的对象区。图像效果可以包括将可向图像添加的图像效果，诸如亮度(brightness)、明度(lightness)、照度(luminance)、颜色或焦点。
[0123]此外，当对象区被检测到并且检测到的对象区的长宽比不满足预置条件时，电子设备200可以根据第二图像的大小剪切检测到的对象区并且执行合成。
[0124]此外，当合成图像时，电子设备200可以控制合成图像的亮度和边界的锐度，以用于最小化合成图像的差异感。
[0125]本公开的多种实施例和在此说明书中描述的全部功能性操作可以实现在计算机软件、固件或硬件中，包括公开在此说明书中的结构和它们的结构上的等同物，或以一个或多个它们的组合实现。公开的各种实施例可以实现为一个或多个计算机程序产品，即，编码在计算机可读介质上以用于由数据处理装置运行或控制数据处理装置的操作的计算机程序指令的一个或多个模块。
[0126]计算机可读介质可以是机器可读的存储设备、机器可读的存储基板、存储器件、影响机器可读的传播信号的物质的组成、或一个或多个它们的组合。术语“数据处理装置”包含用于处理数据的全部装置、设备和机器，举例来说，包括可编程处理器、计算机或多处理机或计算机。除了硬件以外，装置可以包括创建用于所讨论的计算机程序的执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或一个或多个它们的组合的代码。
[0127]将会理解，根据权利要求和说明书中的描述的本公开的多种实施例可以以硬件、软件或硬件和软件的组合的形式来实现。
[0128]这种软件可以存储在计算机可读存储介质中。计算机可读存储介质存储一个或多个程序(软件模块)，当由电子设备中的一个或多个处理器运行时包括指令的该一个或多个程序使得电子设备执行本发明的方法。
[0129]任一这样的软件可以存储在易失性或非易失性存储器中，诸如，例如，或者类似ROM的可擦除或可重写的存储设备，或者以存储器的形式存储，诸如，例如，RAM、存储芯片、设备或集成电路，或者光学或磁性可读介质的形式存储，诸如，例如，CD、DVD、磁盘或磁带等等。将理解地是，存储设备和存储介质是适合于存储程序或包括指令的程序的机器可读储存器的多种实施例，当程序被运行时实现本公开的多种实施例。
[0130]因此，各种实施例提供包括用于实现此说明书的如权利要求中的任何一个中要求的装置或方法的程序以及存储这种程序的机器可读储存器。更进一步，这种程序可以经由诸如通过有线或无线连接携带的通信信号的任一介质电子地传送，并且实施例合适地包含这种程序。
[0131]尽管已经参照本公开的特定示例性实施例示出和描述了本公开，但本领域技术人员将会理解本公开可以对本公开进行形式和详细上的各种改变而不会脱离权利要求及其等同物限定的本公开的精神和范围。
【权利要求】
1.一种电子设备的控制方法，所述方法包括: 在第一图像中检测用于合成第二图像的对象区； 检测对象区的扭曲值；以及 在对象区中显示根据扭曲值变形的第二图像。
2.如权利要求1所述的控制方法，其中检测对象区包括: 在第一图像中检测与利用电子设备预注册的形状相对应的至少一个对象；以及 将所述至少一个对象区确定为用于合成第二图像的对象区。
3.如权利要求1所述的控制方法，其中检测对象区包括: 感测第一图像中在用户的控制下选定的区； 检测距选定区阈值距离之内的至少一个对象区；以及 将所述至少一个对象区确定为用于合成第二图像的对象区。
4.如权利要求1所述的控制方法，其中所述对象区的扭曲值是基于电子设备和对象区之间的角度、第一相机和对象区之间的距离、对象区的大小以及关于对象区的仿射特性的信息中的至少一个确定的。
5.如权利要求1所述的控制方法，其中确定扭曲值包括基于表示对象区和第二图像之间的形状的变换关系的函数来计算对象区的扭曲值。
6.如权利要求1所述的控制方法，其中检测对象区包括将第一图像中具有相同形状的多个对象区确定为用于合成第二图像的对象区。
7.如权利要求6所述的控制方法，其中在对象区中显示第二图像包括: 当所述多个对象区的数目小于阈值数目时，基于所述多个对象区的数目和大小将第二图像划分成为多个图像。
8.如权利要求6所述的控制方法，其中在对象区中显示第二图像包括: 当所述多个对象区的数目大于阈值数目时，像素化第二图像；以及 合成像素化的第二图像与所述多个对象区。
9.如权利要求1所述的控制方法，其中显示第二图像包括: 将施加于第一图像中的对象区的图像效果施加到第二图像；以及 合成施加了图像效果的第二图像与第一图像中的对象区。
10.如权利要求9所述的控制方法，其中所述图像效果包括亮度、明度、照度、颜色和焦点中的至少一个。
11.如权利要求1所述的控制方法，还包括: 基于第一相机和第二相机中的至少一个获得第一图像和第二图像。
12.如权利要求1所述的控制方法，还包括: 从其他电子设备获得第一图像和第二图像中的至少一个。
13.如权利要求1所述的控制方法，还包括: 从其他外部设备获得第一图像和第二图像中的至少一个。
14.如权利要求1所述的控制方法，还包括: 从电子设备的存储器获得第一图像和第二图像中的至少一个。
15.如权利要求1所述的控制方法，还包括: 连续地实时获得第一图像和第二图像中的每一个， 其中合成根据扭曲值变形的第二图像与对象区包括向在与第一图像被获得的时间相同的时间获得的第二图像施加针对第一图像中的对象区所确定的扭曲值。
16.—种电子设备,包括: 显示器； 至少一个相机；以及 至少一个可操作地耦接到显示器的处理器，所述处理器被配置为执行包括如下操作的操作: 通过所述至少一个相机获得第一图像和第二图像中的至少一个； 在第一图像中检测用于合成第二图像的对象区； 检测对象区的扭曲值；以及 在对象区中显示根据扭曲值变形的第二图像。
17.如权利要求16所述的电子设备，还包括: 通信模块，被配置为与其他电子设备通信， 其中第一图像和第二图像中的至少一个之中不是通过所述至少一个相机获得的图像是通过通信模块从其他电子设备获得的。
18.如权利要求16所述的电子设备，还包括存储至少一个图像的存储器， 其中所述处理器从存储器获得第一图像和第二图像中的至少一个之中不是通过所述至少一个相机获得的图像。
19.如权利要求16所述的电子设备，还包括: 存储器，被配置为存储用于确定对象区的扭曲值的程序， 其中所述程序包括表示对象区和第二图像之间的形状的变换关系的函数。
【文档编号】H04N5/232GK104427252SQ201410456575
【公开日】2015年3月18日 申请日期:2014年9月3日 优先权日:2013年9月3日
【发明者】罗进熙, 李基赫, 李宇镛, 金玟*, 尹泳权, 姜慧真 申请人:三星电子株式会社