图像处理方法和支持该方法的电子设备的制造方法
【专利摘要】提供了一种图像处理方法，包括以下操作：收集第一运动图像；提取关于形成所述第一运动图像的帧中的至少一部分帧的空间信息；将所提取的空间信息反映到与所述第一运动图像相对应的3D视图的生成。
【专利说明】图像处理方法和支持该方法的电子设备
[0001 ] 本申请要求2015年2月27日在韩国知识产权局提交的韩国专利申请10-2015-0028646的优先权，其内容以全文引用的方式并入本文中。
技术领域
[0002]本公开涉及用于使用2D图像数据生成3D视图的图像处理方法以及支持所述方法的电子设备。
【背景技术】
[0003]诸如智能电话、平板计算机和数码相机的电子设备能够提供多种功能，比如拍摄照片或运动图像、媒体输出等。在拍摄照片或运动图像时，这些电子设备可提供多种选项。从原始2D图像(原始图像)生成3D视图将花费相当大量的时间。将拍摄原始图像，并将其存储在用户终端的存储器中。3D视图将根据所存储的2D图像生成。原始图像将被发送到外部服务器，并且外部服务器将根据从用户终端接收的原始图像生成3D视图。然后，外部服务器能够将所生成的3D视图发送到用户终端，并且所述用户终端输出所接收的3D视图。上述方案将使得在拍摄2D图像时对3D视图生成进行实时错误检查是不可行的。
【发明内容】
[0004]本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。相应地，本公开提供了用于使用2D图像数据生成3D视图的图像处理方法以及支持所述方法的电子设备。根据本公开的一方面，
[0005]根据本公开的各个实施例，能够允许电子设备通过基于原始图像和附加分析图像生成3D信息来缩短图像分析时间。
[0006]根据本公开的各个实施例，还能够允许电子设备基于从原始图像和附加分析图像中提取的空间信息来提高通过对原始图像进行拍摄的模式来生成3D视图的拍摄准确度。
【附图说明】
[0007]图1是示出了根据各个实施例的电子设备的框图。
[0008]图2是示出了根据各个实施例的3D视图生成的过程的流程图。
[0009]图3A和3B是示出了根据各个实施例的收集第一图像信息的过程的示例性图。
[0010]图4A是示出了根据各个实施例的从第一图像信息收集第二图像信息的过程的示例性图。
[0011]图4B是示出了根据各个实施例的使用空间信息和所存储的第一图像生成3D视图的过程的示例性图。
[0012]图4C是示出了根据2D图像和空间信息实时生成3D视图的方法的示例性图。
[0013]图4D是示出了使用第二运动图像和空间信息通过背景改变生成3D视图的方法的示例性图。
[0014]图5A和5B是示出了根据各个实施例的从第一运动图像中采样第二运动图像的过程的示例性图。
[0015]图6示出了根据各个实施例的使用从第二运动图像中提取的信息修正第一运动图像的过程。
[0016]图7示出了根据各个实施例的基于第二运动图像的特征信息修正第一运动图像的过程。
[0017]图8是示出了根据各个实施例的基于第二运动图像的模式改变的过程的流程图。
[0018]图9是示出了根据各个实施例的拍摄模式改变的过程的流程图。
[0019]图10是示出了根据各个实施例的对象居中过程的流程图。
[0020]图11是示出了根据各个实施例的用于对象居中过程的屏幕的示例性图。
[0021 ]图12A和12B是示出了根据各个实施例的使用3D视图的屏幕的示例性图。
[0022]图13是示出了根据各个实施例的电子设备的框图。
[0023]图14是根据各种实施例的程序模块的框图。
【具体实施方式】
[0024]在下文中，将参照附图详细地描述本公开的多个实施例。但是，本文所述的各种实施例并不用来限制于特定实施例，而应该被理解为包括多种修改、等同和/或替换。相对于附图的描述，类似的参考数字表示类似的元素。
[0025]术语“具有”、“可以具有”、“包含”和“包括”或“可以包含”和“可以包括”表示存在相应的特征(例如，数值、功能、操作或组件)，但是不排除其他特征。
[0026]在本文中，术语“A或B”、“A或/和B中的至少一项”或“A或/和B中的一个或多个”可以包括所列出项目的所有可能组合。例如，术语“A或B”、“A和B中的至少一个”、“A或B中的至少一个”可以指示以下所有情况:(I)包括至少一个A，(2)包括至少一个B，或者(3)包括至少一个A和至少一个B。
[0027]本文中，术语“第一”、“第二”等可以不考虑顺序和/或重要性地标示各组件。其仅用于彼此相区分，而不将这些元素限制于此。例如，第一用户设备和第二用户设备都指示不同的用户设备。例如，在不脱离本公开范围的情况下，第一元素可称为第二元素，反之亦然。
[0028]应该理解，当一个元素(例如，第一元素)被称为“操作地或者通信地耦接至”或者“连接至”另一元素(例如，第二元素)时，应该理解的是，前者可以与后者直接耦接，或者可以通过中间元素(例如，第三元素)与后者连接。相反，将理解的是，如果一个元素被称为“直接连接到”或“直接耦接到”另一元素，则可理解在二者之间不存在任何中间元素(例如，第三元素)。
[0029]在说明书或权利要求中，术语“被配置为”(或被设置为)可以与其他连带意思替换使用，比如“适用于”、“具有……的能力”、“设计为”、“适于”、“形成为”、“能够”互换，而不是简单地指示“特别地设计为” ο备选地，在一些情况下，术语“设备被配置为”可以表示该设备“可以”与其他设备或组件一起做某些事情。例如，术语“处理器被配置为(或设置为)执行A、B和C”可以指示通用处理器(例如，CPU或应用程序处理器)，所述通用处理器能够通过执行在用于相关的操作的专用处理器(例如，嵌入式处理器)或存储器中存储的一个或多个软件或程序来执行相关的操作。
[0030]说明书使用的术语用于描述本公开的各种实施例，而不是为了限制本公开的范围。除非另有规定，单数形式的术语可以包括多数形式。除非这里另有说明，这里使用的所有术语(包括技术和科学术语)可具有与本公开所属领域的技术人员通常所理解的含义相同的含义。还应该理解，在通用字典中定义并且常用的术语应该按相关技术中的惯例进行解释，而不应该解释为具有理想化或过度刻板的含义，除非在本公开中明确限定。在一些情况下，即使说明书中定义的术语也不能被理解成排除本公开的实施例。
[0031]下文中，将结合附图来描述根据各种实施例的电子设备。在各个实施例的描述中，术语“用户”可指使用电子设备的人或者使用电子设备的设备(如人工智能电子设备)。
[0032]图1是示出了根据各个实施例的电子设备的框图。
[0033]参考图1，电子设备101包括总线110、处理器120、存储器130、传感器模块140、输入/输出接口 150、显示器160、通信接口 170、相机模块180和3D转换模块190。在一些实施例中，电子设备101可不包括上述元素中的至少一个，或者还可以包括其他部件。
[0034]总线110可以包括(例如)将处理器120、存储器130、传感器模块140、输入/输出接口 150、显示器160、通信接口 170、相机模块180和3D转换模块190彼此相连并在元件之间中继通信(例如控制消息和/或数据)的电路。
[0035]处理器120可包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的至少一个或多个。例如，处理器120可以执行计算或数据操作，以用于电子设备101的至少一个其它元素的控制和/或通信。在各个实施例中，处理器120可处理通过传感器模块140收集的信息。处理器120可基于通过传感器模块140收集的信息确定关于电子设备101的移动方向、移动距离、加速度的信息。通过处理器120计算的信息可提供到3D转换模块190。
[0036]存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储例如与电子设备101中的至少一个其它元素中所涉及的指令或数据。根据实施例，存储器130可以存储软件和/或程序。
[0037]举例来讲，传感器模块140可以测量物理量或检测电子设备101的操作状态，并且可以将测量的或检测的信息转换为电信号。举例来讲，传感器模块140可以包括手势传感器、陀螺仪传感器、加速传感器、握持传感器、邻近传感器、生物计量传感器、发光传感器等。
[0038]根据各个实施例，传感器模块140可收集关于电子设备101的移动方向、移动速度、位置的信息。修正的信息可提供给处理器120或3D转换模块190。
[0039]输入/输出接口150可以用作例如能够向电子设备101的其他元素发送从用户或其他外部设备输入的指令或数据的接口。此外，输入/输出接口 150可以向用户或另一个外部设备输出从电子设备101的另一元素(或其他元素)接收的指令或数据。
[0040]显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)、微机电系统(MEMS)显示器或电子纸显示器。显示器160可以向用户显示各种内容(例如，文本、图像、视频、图标或符号)。显示器160可包括触摸屏，并可接收例如通过使用电子笔或用户身体的一部分进行的触摸、手势、接近或悬停的输入。
[0041 ]通信接口 170可以在例如电子设备101和外部电子设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间设置通信。例如，通信接口 170可以通过无线通信或有线通信与连接到网络162的外部电子设备(例如，第二外部电子设备104或服务器106)通信。
[0042]相机模块180拍摄照片或图像。在各个实施例中，通过相机模块180收集的2D图像(针对本文档的目的，术语“图像”应该是一般术语，其包括但不限于“一帧”、“多帧”或“帧”的一部分)可用于生成3D视图。用户可使用相机模块180来拍摄将被转换成3D视图的对象。用户可在沿围绕对象的特定路径(例如环形路径)移动的同时使用相机模块180来拍摄对象。根据所拍摄的图像，可通过3D转换模块190提取空间信息，比如特征和深度，然后可将其转换成3D视图。在各个实施例中，空间信息可包括以下信息中的至少一部分:(I)相对坐标信息(X-Y-Z位置和偏转-俯仰-摆动方向)；(2)相对于特征的深度(深度可以是相机和对象的形状的一部分(例如特征)之间的间隔)；以及(3)所拍摄的图像之间的相对转换信息和通过相对转换信息估计的相对相机移动信息。
[0043]3D转换模块190可处理通过相机模块180拍摄的图像，然后可生成3D视图。3D转换模块190可提取关于特征和深度的空间信息，然后可生成对象的3D视图。在各个实施例中，如果相机模块180开始拍摄对象，则3D转换模块190可生成分析图像，所述分析图像基于所拍摄的原始图像进行按比例缩小或采样。3D转换模块190可同时执行从分析图像中提取生成3D视图所必需的信息的过程和拍摄原始图像的过程。
[0044]根据各个实施例，3D转换模块190可包括空间信息提取部分191和3D视图生成部分192。空间信息提取部分191可提取空间信息，比如特征和深度。可基于图像的对比度/色彩值来确定特征。深度可以是特征与电子设备101之间的相对间隔。3D视图生成部分192可基于空间信息(比如所提取的特征和深度)生成对象的3D视图。
[0045]图1中所示的元素可以在功能上分类并可不限于此。例如，3D转换模块中处理的操作甚至可以通过处理器120执行。此外甚至可以处理器的内部模块的形式包括3D转换模块130。
[0046]图2是示出了根据各个实施例的3D视图生成的过程的流程图。
[0047]参见图2，在操作210处，相机模块180开始拍摄对象并从中收集第一运动图像。例如，用户可执行3D相机应用(下文中，称为“3D app”)来拍摄对象。3D app可调用相机模块180，并可收集第一运动图像。在拍摄开始之后，用户可在以环形围绕对象移动(例如在对象的中心上旋转360度)的同时拍摄对象的区域，这些区域将被转换成3D视图。所收集的第一图像可存储在缓冲器或存储器130中。第一运动图像可包括在连续时段上的规则周期性间隔期间(比如每秒的1/20)从连续位置拍摄的静止帧的集合。
[0048]在操作220处，3D转换模块190可生成第二运动图像，该第二运动图像由形成第一运动图像的帧中的至少一部分帧组成(第二运动图像可以不是连续拍摄的帧，而可以是从第一运动图像采样的多个2D图像的数据本身)。第二运动图像可以是在特定条件下从第一运动图像按比例缩小或采样的分析图像。在各个实施例中，3D转换模块190可在通过按比例缩小第一运动图像来减小数据处理容量后执行采样过程。
[0049]根据各个实施例，第二运动图像可不在完成对第一运动图像的拍摄后收集，而是可在相机模块180连续收集第一运动图像的同时通过背景处理来进行收集。例如，如果拍摄开始获取第一运动图像，则3D转换模块190可在每个特定时间间隔(例如0.1秒)按比例缩小第一运动图像，然后可通过对按比例缩小的图像进行采样来收集第二运动图像。稍后将参考图5来描述各采样模式。
[0050]在操作230处，3D转换模块190可收集第二运动图像的空间信息，比如特征、深度和拍摄位置。3D转换模块190可不直接提取作为原始图像的第一运动图像的空间信息，但可从作为从第一运动图像采样的分析图像的第二运动图像中提取空间信息。通过这种方式，3D转换模块190可使用经过按比例缩小或采样的第二图像提取3D转换所必需的信息，而不必等待第一运动图像的拍摄结束(包括使用正连续拍摄的第一运动图像对运动图像进行编码的完成时间)。此外，3D转换模块190可通过按比例缩小或采样来降低所计算的数据的量，并可在正拍摄第一运动图像时提取空间信息。
[0051]在操作240处，3D转换模块190可将第二运动图像的空间信息反映到根据第一运动图像的3D视图生成过程中。例如，3D转换模块190可将第二运动图像的空间信息反映到第一运动图像的附加继续拍摄中，或可利用所述空间信息来简化所拍摄的第一图像的3D视图生成过程。
[0052]在各个实施例中，3D转换模块190可生成第二运动图像的3D视图，并可向用户提供所述3D视图。用户可在基于分析图像确认3D视图的同时附加地拍摄所述第一运动图像。
[0053]图3A和3B是示出了根据各个实施例的收集第一图像信息的过程的示例性图。
[0054]参见图3A，电子设备101可通过相机模块180拍摄第一运动图像。用户可在沿围绕对象310的特定方向(例如从左到右)逐渐移动电子设备101的同时收集第一运动图像。所述第一运动图像可存储在缓冲器或存储器130中。虽然图3A示例性地示为在用户相对于对象310的中心从左到右移动的同时拍摄对象310，但本公开的实施例不限于此。根据要设置的模式，可通过沿右-左方向或上-下方向拍摄所述对象来收集第一运动图像。
[0055]在电子设备101在第一位置(例如对象310的前方)处拍摄对象310的情况下，可收集第一图像310a。在电子设备101在第二位置(例如对象310的侧向)处拍摄对象310的情况下，可收集第二图像310b。通过在不同的角度拍摄对象310获得图像，并且所述图像可包括彼此不同的特征。
[0056]此外，电子设备101可使用在不同位置拍摄的第一图像310a和第二图像310b，以用来检测关于特征的空间位置。此外，电子设备101甚至可检测相机和对象之间的相对方向，以及与之有关的位置信息。
[0057]在各个实施例中，电子设备101可将多个图像相互进行比较，以分析特征的关系以及提取相机和对象之间的位置信息(同形)。此外，电子设备101可使用源自相机运动的视差信息，甚至来提取对象的深度信息(来自运动的深度)。
[0058]根据各个实施例，在不能仅通过图像确认空间信息的情况下，电子设备101可通过包括在传感器模块140中的多个传感器收集空间信息。例如，在不能提取特征的情况下，电子设备101可使用加速传感器和GPS传感器来提取关于移动方向、移动速度、和距离拍摄各个帧的地点的位置的信息。
[0059]图3B示出了是根据各种实施例的在第一位置处拍摄的图像。
[0060]参见图3B，图像310a可包括多个特征(点云)。正面图像(例如图像310a)可具有相对较多的特征。相反地，背面图像可具有相对较少的特征。
[0061 ]在当如图3A所示从左向右移动的同时拍摄对象的情况下，图像31Oa的左侧区域可以是损失(1ss)域311，右侧区域可以是生成域312。损失域311在拍摄开始时可包括相对较大数量的特征。在电子设备101在拍摄开始后从左向右移动的情况下，损失域311中针对对象的特定部分的特征的数量减少。不同的是，生成域312可包括针对对象的特定部分的相对较少的特征，但在拍摄期间特定部分的特征的数量可增加。
[0062]3D转换模块190可提取第二运动图像的空间信息，而不是提取第一运动图像的所有帧的特征和深度的空间信息。在处理原始图像的所有空间信息的情况下，会存在大量的数据。此外，这会消耗很长的处理时间，并且用户可能花费长时间来确认3D结果。为了克服这些问题，3D转换模块190可通过首先提取采样的第二图像的空间信息然后将所述空间信息反映到对第一运动图像的拍摄过程或3D转换的过程来缩短确认3D转换的结果的时间。
[0063]图4A是示出了根据各个实施例的从第一图像信息收集第二图像信息的过程的示例性图。
[0064]参见图4A，相机模块180可开始收集第一运动图像410。除了继续拍摄并存储第一运动图像410之外，3D转换模块190可收集第二运动图像，该第二运动图像是从第一运动图像410按比例缩小或采样得到的。下文中，将描述在对第一运动图像410进行按比例缩小后进行采样，但本发明的实施例不限于此。
[0065]3D转换模块190可按比例缩放所收集的第一图像410，以生成第二运动图像420。在此之后，3D转换模块190可根据特定条件生成采样的第二图像430。例如，采样的第二图像430可以是以较低的采样频率或较大的采样间隔收集的来自第二运动图像的帧的子集。
[0066]除了对第一运动图像410进行拍摄之外，3D转换模块190可通过背景工作收集空间信息440a，比如形成第二运动图像430的帧的特征和深度，然后可以将所收集的空间信息存储在缓冲器或存储器中。
[0067]根据各个实施例，3D转换模块190可基于所生成的空间信息440a提取第二运动图像的剩余帧450(其未被采样)的空间信息440K3D转换模块190可基于初步计算并存储的空间信息440a来处理其他帧，从而缩短计算时间。3D转换模块190可将空间信息450b(其关于经过按比例缩小的第一图像的所有帧)存储在缓冲器或存储器中。在各个实施例中，可在拍摄第一运动图像的同时执行提取剩余帧450的空间信息440b的操作，或可在播放第一运动图像的同时通过背景处理执行该操作。
[0068]在完成对第一运动图像410的拍摄之后，3D转换模块190可生成转换成运动图像格式(例如MP4)或静止图像格式(例如PNG)的图像411，并可将图像411与从中生成的空间信息440a—起存储。
[0069]在各个实施例中，在用户选择所存储的第一图像411进行3D视图生成的情况下，3D转换模块190可基于存储在一起的空间信息412和空间信息440b生成3D视图。
[0070]图4B是示出了根据各个实施例的使用空间信息和所存储的第一图像生成3D视图的过程的示例性图。
[0071]参见图4B，3D转换模块190可根据第一运动图像460和空间信息460a实时地生成3D视图462。3D转换模块190可从第一运动图像460的文件中提取各帧的空间信息和2D图像，并可对图像进行解码。解码图像可用于通过附加计算提取更多的空间信息。例如，如图4B所示，可执行附加计算，以进一步提取关于帧461的信息，该信息没有包括在现有的空间信息中，或者可执行附加计算，以提高3D空间信息的准确性(例如将准确度从3自由度(DOF)信息扩展到6D0F信息)。可使用初步存储的空间信息和经过解码的图像来进行附加计算。
[0072]所提取的空间信息可应用于经过解码的图像，以生成和显示3D视图462。可根据用户终端在回放期间的方向或位置、用户的手势输入或通过另一设备的遥控生成的信号来确定3D视图的方向或位置。
[0073]图4C是示出了根据2D图像和空间信息实时生成3D视图的方法的示例性图。
[0074]参见图4C，3D转换模块190可对从图像中检测到的特征和与所述特征相关的空间信息中与对象470相对应的空间信息进行分类。3D转换模块190可设置由与分类后的对象470相对应的特征形成的区域(即虚线区域)，并可生成3D视图信息，以使所述区域在位置、尺寸或方向中的至少一个方面是一致的(uniform)。30转换模块190可使用所获得的关于对象470的方向的信息，并可以选择对象470的来自相同输入的旋转了特定角度的图像，以便生成3D视图彳目息。
[0075]根据各个实施例，在附加地使用关于布置有主要特征的区域(例如，容貌部分)的信息的情况下，3D转换模块190可将该区域的尺寸和位置设置为针对相同条件与其他图像一致。例如，在将脸部或容貌设置为占据屏幕中心并且设置所述容貌具有在中心旋转拍摄的图像的总视角的1/3的情况下，即使拍摄是在不同的时间间隔进行的，3D转换模块190也可以提供相同的3D视图。
[0076]图4D是示出了使用第二运动图像和空间信息通过背景改变生成3D视图的方法的示例性图。
[0077]参见图4D，在从图像中检测到的特征和所述特征中所涉及的空间信息中，3D转换模块190可对与对象480相对应的空间信息和与围绕对象480的周围的背景481相对应的空间信息进行分类。3D转换模块190可设置由与分类后的对象480相对应的特征形成的区域(即虚线区域)，可保持所述区域在位置、尺寸或方向方面的一致性，并可利用背景481的空间信息来生成3D视图，其中背景在所述3D视图中旋转。具有旋转背景481的3D视图可向用户提供与其中对象480旋转的3D视图不同的可视效果。
[0078]图5A和5B是示出了根据各个实施例的从第一运动图像中采样第二运动图像的过程的示例性图。
[0079]图5A示出了基于电子设备101在拍摄对象时的移动路径对第二运动图像进行采样的过程。
[0080]参见图5A，3D转换模块190可基于电子设备101的移动路径生成第二运动图像。如果相机模块开始针对第一运动图像拍摄对象，则3D转换模块190可以在适合生成3D视图的拍摄路径(理想路径)510与电子设备101的实际路径520相交或毗邻的点处采样帧，所述帧形成第二运动图像。
[0081]理想路径510可以是初步指定的路径或通过分析第一运动图像的早期帧确定的路径。实际路径520可以是通过电子设备101中包括的运动传感器识别的路径。
[0082]例如，在理想路径510与实际路径520相交或毗邻的情况下，采样的帧511、512和513可被确定为形成第二运动图像的帧。在其他情况下，由于理想路径510与实际路径520的不同超过了特定值，所以在采样的第二图像中可能不包括其他帧(比如帧521和522)。
[0083]根据各个实施例，即使在理想路径520与实际路径520相交或毗邻的情况下，也可通过特定条件(例如，采样间隔)排除一些帧。例如，帧523对应于与理想路径510和实际路径520的相交情况，但考虑到与已经被采样的帧513的采样间隔，可能将其从第二运动图像中排除。
[0084]根据各个实施例，可基于采样的帧511-513来确定用于修正第一运动图像的其他帧(例如帧521、522和523)的参数，所述其他帧没有被采样到采样的第二图像中。可如图6所示设置关于修正参数的信息。
[0085]图5B示出了通过截除帧的一部分来收集采样的第二图像的过程。
[0086]参见图5B，如果相机模块180开始针对第一运动图像拍摄对象，则3D转换模块190可基于运动传感器的标识信息从每个帧中移除重置区域(除了参考区域530)。参考区域530可被设置为至多包括所述对象或特征。
[0087]例如，针对帧531-533，可在第二运动图像中包括帧531a、532a和533a的一部分(所述部分包括在参考区域530中)，并且可从中截除和移除剩余部分531b、532b和533C(33D转换模块190可移除不包括对象的周围区域，以减少将被处理的数据量。
[0088]图5A和5B中所示的采样模式是示例性的，本发明的各个实施例不限于此。例如，3D转换模块190可基于拍摄所述帧的电子设备的位置差别或基于所述帧中所包括的特征的差别来采样所述帧。
[0089]根据各个实施例，甚至可以以组合方式一致地执行各个采样模式。例如，如图5A所示，在基于移动路径采样之后，截除采样的帧的一部分，以减少将被处理的数据量。
[0090]图6示出了根据各个实施例的使用从第二运动图像提取的信息修正第一运动图像的过程。虽然图6是使用图5A的采样模式示出的，但本发明的各个实施例不限于此。
[0091]参见图6，3D转换模块190可在理想路径610与实际路径620相交或毗邻的点处对第一运动图像进行采样，然后可以生成采样的第二图像。在这种情况下，3D转换模块190可基于采样的第二图像的帧611、612和613来修正第一运动图像的其他帧。
[0092]3D转换模块190可以确定针对相对远离理想路径610的帧向理想路径610移动的情况的修正参数。虽然图6只是在2D运动中示出的，但本发明的各个实施例不限于此。例如通过6D0F，可将修正参数X、Y、Z、偏转、俯仰和摆动包括在其中。
[0093]例如，在对与理想路径610相交或毗邻的帧611、612和613进行采样的情况下，没有被采样的其他帧621、622、623和624可移位到理想路径610上的621&、6223、6233和624&。在这种情况下，可以允许在帧移位之前和之后保持所述帧对应的区域中的数据。在其他情况下，可以允许基于在所述移位之前和之后采样的帧611、612和613，将数据反映到通过移位丢失或添加的区域。
[0094]根据各个实施例，在拍摄第一运动图像期间，虽然由于用户不以匀速移动导致可能不存在帧622和612之间的位置处的图像信息，但是可允许基于帧612和622的数据附加地生成位置之间的位置数据(未示出)。
[0095]图7示出了根据各个实施例的基于采样的第二图像的特征信息修正第一运动图像的过程。虽然图7是使用图5A的采样模式示出的，但本发明的各个实施例不限于此。
[0096]参见图7，3D转换模块可通过对理想路径710与实际路径720相交或毗邻的点处的第一运动图像进行采样生成采样的第二图像。在这种情况下，3D转换模块190可基于采样的第二图像的帧711、712和713来修正其他帧。
[0097]3D转换模块190可基于分别包括在采样的帧711、712和713中的特征的数量确定其他帧的按比例缩小程度。例如，在按照帧711、712和713的顺序布置所述特征的情况下，在包括足够数量的特征的帧712之后拍摄的帧区域722可被转换成具有最小尺寸的帧区域722a，向所述帧区域722a反映了最大的按比例减小程度。由于特征数量相对较少而具有小的计算量的帧区域723可被转换成具有最大尺寸的帧区域723a。具有中等数量特征的帧区域721可被转换成帧区域721a。
[0098]如上所述，在基于特征修正第一运动图像的情况下，可允许将总计算量保持在统一水平，从而在特定时间中处理数据和生成3D视图。
[0099]图8是示出了根据各个实施例的基于第二运动图像的模式改变的处理的流程图。
[0100]参见图8，在操作810处，3D转换模块190可对第一运动图像进行采样，然后可生成第二运动图像。可通过使用理想路径或通过设置参考区域来执行对第二运动图像进行采样的模式，由此导致采样的第二图像。
[0101]在操作820处，3D转换模块190可提取空间信息，比如针对所生成的第二图像的特征、深度。
[0102]在操作830处，3D转换模块190可确定采样的第二图像的每一帧的相对相似性是否等于或高于特定值。3D转换模块190可通过在数量、分布和相似性方面相互比较每个帧的特征来确认相对相似性。
[0103]在操作840处，在相对相似性低于特定值的情况下，3D转换模块190可改变拍摄模式。这是因为低相对相似性指示当前拍摄的第一图像正变化到不适合被转换成3D视图的状态。3D转换模块190可通过拍摄模式的改变来检测附加特征，并可修正错误。可通过图9所示的流设置关于拍摄模式改变的附加信息。
[0104]在操作850处，在相对相似性等于或高于特定值的情况下，可将所提取的空间信息反映到为第一运动图像生成3D视图。
[0105]图9是示出了根据各个实施例的拍摄模式改变的处理的流程图。
[0106]参见图9，在操作910处，3D转换模块190可开始改变拍摄模式。
[0107]在操作920处，3D转换模块190可确定在第二运动图像的两个连续帧之间特征的变化程度是否等于或大于特定值。例如，在对象包括阴影区域或突然发生特征变化的情况下，两个连续帧之间的特征可以以等于或大于特定值的程度发生变化。
[0108]在操作930处，在特征以等于或大于特定值的程度变化的情况下，3D转换模块190可确定两个帧之间的特征的色散值是否以等于或大于特定值的程度发生变化。
[0109]在操作940处，在特征的色散值以等于或大于特定值的程度发生变化的情况下(例如在对象的所述区域中部分地出现阴影的情况下)，3D转换模块190可将拍摄模式改变为传感器推升(booster)模式。传感器推升模式可改变图像传感器的操作速度、灵敏度和曝光时间中的至少一个，以使得更容易提取特征。
[0110]在操作950处，在特征的色散值不以等于或大于特定值的程度发生变化的情况下(例如拍摄区域转向具有相对较多的特征信息的容貌中的具有相对较少特征信息的头部的情况)，3D转换模块190可将拍摄模式改变为传感器融合模式。传感器融合模式可利用多个传感器。
[0111]在操作960处，3D转换模块190可确定两个帧之间的特征的相对相似性是否等于或高于特定值。在帧之间的相似性等于或高于特定值的情况下，3D转换模块190可终止拍摄模式改变的过程。
[0112]在操作970处，在特征的相对相似性低于特定值的情况下，3D转换模块190可将拍摄模式改变为引导模式。引导模式可将用户引导到拍摄方向或拍摄模式。
[0113]例如，在用户在水平地旋转相机或对象的同时在特定范围内改变相机或对象的位置或角度的情况下，电子设备101可输出用来将相机或对象返回到其之前位置的消息并由此可以引导所述用户。此外，在用户过快地旋转相机或对象的方向的情况下，电子设备101可输出用来引导所述用户的消息。
[0114]在操作980处，3D转换模块190可确定是否存在错误(比如洞)。
[0115]在操作990处，在存在错误的情况下，3D转换模块190可将拍摄模式改变为修复模式。修复模式可使用初步存储的3D视图来补偿发生错误的区域。
[0116]图10是示出了根据各个实施例的对象居中过程的流程图。
[0117]参见图10，在操作1010处，3D转换模块190可对来自第一运动图像的帧的一部分进行采样，然后可生成采样的第二图像。
[0118]在操作1020处，3D转换模块190可提取电子设备101的拍摄位置信息、采样的第二图像的帧的空间信息和参考区域信息。可将参考区域初步设置为特定尺寸。例如，参考区域可被设置在对应于总帧区域的20%的特定部分中。
[0119]在操作1030中，3D转换模块190可针对对象执行对象居中过程和视图平滑过程。对象居中过程可在考虑所提取的特征的数量或分布的情况下设置屏幕的中心。例如，假定对象中针对所有位置均匀地检测到特征，则屏幕的中心可以是图(例如四边形)的几何中心，所述图中，在相应方向中检测到的特征被限制在最少的区域中。在各个实施例中，3D转换模块190甚至可将具有最多特征的区域移位到屏幕的中心(密度中心)。其他情况下，3D转换模块190甚至可将初步指定的对象(例如，容貌)移位到屏幕的中心。视图平滑过程可减轻由对象居中过程导致的帧间异质性。
[0120]通过对象居中过程和/或视图平滑过程，可提取最大的截除区域。针对对象居中过程或视图平滑过程，最大截除区域可以是帧中具有将被截除的最大部分(除了包括对象的区域之外的剩余部分)的截除区域。
[0121]在操作1040处，3D转换模块190可确定所述最大截除区域是否宽于参考区域。
[0122]在操作1050处，在最大截除区域宽于参考区域的情况下，3D转换模块190可重置参数，以微弱地执行对象居中过程或视图平滑过程。通过该操作，可将最大截除区域按比例缩小，以扩展对象上的剩余区域。
[0123]在操作1060期间，在最大截除区域等于或小于参考区域的情况下，3D转换模块190可确定截除区域，并对其进行截除处理。
[0124]根据各个实施例，在电子设备中执行的图像处理方法可包括以下操作:收集第一运动图像;提取针对形成所述第一运动图像的帧中的至少一部分帧的空间信息;将所提取的空间信息反映到对与所述第一运动图像相对应的3D视图的生成。
[0125]根据各个实施例，收集第一运动图像可包括:获得与对象的第一方向相对应的第一 2D图像和与所述对象的第二方向相对应的第二 2D图像。所述提取空间信息可包括:基于所述第一 2D图像和所述第二 2D图像的至少一部分确定所述空间信息。确定空间信息可包括:确定所述第一 2D图像的第一特征和所述第二 2D图像的与所述第一特征相对应的第二特征；以及基于所述第一特征和所述第二特征中的至少一部分，将所述对象的位置或方向确定为所述空间信息的至少一部分。所述空间信息可以是与所述第一 2D图像和所述第二 2D图像中的至少一部分一起存储的。
[0126]根据各个实施例，反映到所述3D视图生成可包括:基于所述第一方向和所述第二方向确定第三方向；以及基于所述第三方向生成所述对象的3D图像。
[0127]根据各个实施例，所述反映到所述3D视图生成可包括:基于所述空间信息修正与多个方向相对应的多个图像；以及基于所述修正提供所述3D视图。所述修正可包括:生成电子设备的虚拟理想路径，以及基于所述虚拟理想路径和所述空间信息修正多个图像中的至少一个的位置。
[0128]根据各个实施例，提取空间信息可包括:通过在特定条件下对所述第一图像进行按比例缩小或采样，确定所述帧的所述部分。
[0129]根据各个实施例，提取空间信息可包括:如果理想路径与所述电子设备移动所沿的实际路径相交或所述理想路径在特定范围内与所述实际路径毗邻，则对所述第一运动图像进行采样。提取空间信息可包括:提取用于将所述第一运动图像的未采样的帧转换成在所述理想路径上拍摄的帧的修正参数。
[0130]根据各个实施例，提取空间信息可包括:基于被确定为所述帧的所述部分的每个帧中包括的特征的数量，将所述第一运动图像中的未采样的帧按比例缩小。
[0131]根据各个实施例，提取空间信息可包括:基于形成所述第一运动图像的帧中的每一个的参考区域中包括的图像数据来确定所述帧的所述部分。提取空间信息可包括:提取以下中的至少一个:关于针对被确定为所述帧的所述部分的每一帧的特征和深度的信息或关于拍摄每一帧的电子设备的位置的信息。
[0132]根据各个实施例，反映到3D视图生成可包括:基于所述空间信息，改变所述第一运动图像的拍摄模式。改变拍摄模式可包括:如果形成所述帧的所述部分的连续帧之间的特征在等于或大于特定值的程度内变化，并且所述特征的色散值在等于或大于特定值的程度内变化，则通过第一模式收集所述第一运动图像。所述第一模式通过改变图像传感器的操作速度、灵敏度和曝光时间中的至少一个来收集所述第一运动图像。
[0133]根据各个实施例，改变拍摄模式可包括:如果形成所述帧的所述部分的连续帧之间的特征在等于或大于特定值的程度内变化，并且所述特征的色散值在低于特定值的程度内变化，则通过第二模式收集所述第一运动图像。所述第二模式可使用多个传感器来收集所述第一运动图像。
[0134]根据各个实施例，改变拍摄模式可包括:如果所述帧的所述部分中包括的帧之间的相对性低于特定值，则在将用户引导至拍摄方向或拍摄速度的第三模式中收集第一运动图像。
[0135]图11是示出了根据各个实施例的用于对象居中过程的屏幕的示例性图。
[0136]在用户不能在将对象放置在屏幕的中心上时拍摄对象的情况下，3D转换模块190可通过居中处理将对象移位到屏幕的中心。
[0137]例如，在对第一到第三帧1110-1130进行采样的情况下，对象可被放置在每个采样的帧中的屏幕的中心处，或甚至左侧或右侧。
[0138]3D转换模块190可提取电子设备101的拍摄位置信息、对象的空间信息和参考区域的信息。参考区域可以是对象的特征所主要布置于的部分。
[0139]在最大截除区域大于参考区域的情况下，3D转换模块190可能通过截除过程无意地移除对象的中心上的对象的特征的一部分。为了防止这一情况，3D转换模块190可重置剩余区域，然后可允许截除屏幕的边缘，以保留所述对象。
[0140]3D转换模块190可针对帧1110、1120和1130执行对象居中过程或视图平滑过程，以分别获得帧1111、1121和1131。在这种情况下，虽然所述居中在屏幕的中心上是成功的，但由于该原因，可能截除了对象的特征。
[0141]3D转换模块190可控制参数，以微弱地执行对象居中过程或视图平滑过程。通过该过程，可将帧1111、1121和1131分别转换成帧1112、1122和1132。在执行对象居中过程时，帧1112、1122和1132被相对弱化，但可以保持对象的特征不被截除。
[0142]图12A和12B是示出了根据各个实施例的使用3D视图的屏幕的示例性图。虽然图12A和12B只是示为使用2D视图，但本发明的各个实施例不限于此。
[0143]参见图12A，3D转换模块190可基于第二运动图像的空间信息生成针对第一运动图像的3D视图1210。可通过利用被按比例缩小或采样的第二运动图像的空间信息来生成3D视图1210。例如，在3D转换模块190执行针对第二运动图像的6-D0F计算的情况下，可执行针对第一运动图像的3-D0F计算，以简化计算过程。3D转换模块190可在完成对第一运动图像的拍摄的几乎同一时刻或在播放拍摄结果的同时通过背景处理来生成3D视图1210。
[0144]在各个实施例中，3D视图1210可被用于屏幕的背景。在将3D视图1210设置在屏幕的背景中的情况下，可允许根据运动传感器的检测状态来区分在其上输出3D视图1210的平面。
[0145]例如，在用户面对和持有电子设备1201的情况下，可在屏幕上显示3D视图1210的前部。在用户在左右方向上旋转电子设备1210的情况下，可通过向其反映旋转方向和强度来旋转3D视图1210。
[0146]参见图12B，3D视图1220可被用于解锁屏幕。例如，在锁定状态中，3D视图的前部可显示在屏幕上。在用户为了解锁而触摸屏幕并且从左至右滑动屏幕的情况下，3D视图1220可响应于滑动操作而旋转。通过3D视图1220的旋转，可将屏幕解锁。
[0147]图13是根据各个实施例的电子设备1301的框图1300。
[0148]参考图13，电子设备1301可以包括例如图1所示的电子设备101的全部或部分元素。电子设备1301包括至少一个应用处理器(AP) 1310、通信模块1320、订户身份模块(SIM)卡1324、存储器1330、传感器模块1340、输入设备1350、显示器1360、接口 1370、音频模块1380、图像传感器模块1391、功率管理模块1395、电池1396、指示器1397和电机1398。
[0149]处理器1310可以驱动操作系统(OS)或应用程序来控制与处理器1310相连的多个硬件或软件元素，并且可以处理和计算包括多媒体数据在内的多种数据。例如，处理器1310可以使用系统级芯片(SoC)来实现。根据实施例，AP 810还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器1310可以包括图13中示出的元素的至少一部分。处理器1310可加载和处理从至少一个其他元素(例如，非易失性存储器)接收到的指令或数据，并将各种类型的数据存储在非易失性存储器中。
[0150]通信模块1320可以具有与图1的通信接口170相同或相似的配置。通信模块1320可以包括蜂窝模块1321、WiFi模块1323、蓝牙模块1325、GPS模块1327、NFC模块1328、以及射频(RF)模块 1329。
[0151]蜂窝模块1321可以通过通信网络来提供语音呼叫、视频呼叫、字符服务或互联网服务。根据一个实施例，蜂窝模块1321可以通过使用订户识别模块(例如，SIM卡)1324来执行在通信网络中对电子设备的区别和认证。根据实施例，蜂窝模块1321可以至少执行处理器1310提供的功能的一部分。根据实施例，蜂窝模块821可以包括通信处理器(CP)。
[0152]例如，WiFi模块1323、蓝牙模块1325、GPS模块1327和NFC模块1328中的每个包括用于处理经对应模块交换的数据的处理器。在一些实施例中，蜂窝模块1321、WiFi模块1323、蓝牙模块1325、GPS模块1327或NFC模块1328中的至少一些(例如，两个或更多元素)可以包括在一个集成电路(IC)或IC封装中。
[0153]RF模块1329可以发送和接收例如通信信号(例如，RF信号)AF模块1329可包括收发机、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据另一个实施例，蜂窝模块1321、WiFi模块1323、蓝牙模块1325、GPS模块1327和NFC模块1328中的至少一个通过分离的RF模块发送和接收RF信号。
[0154]SIM卡1324可以包括例如含有用户标识模块和/或嵌入式SIM的卡，可以包含独特标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识(IMSD)0
[0155]存储器1330(例如，图1的存储器130)可以包括例如嵌入式存储器1332或者外部存储器1334。例如，嵌入式存储器832可包括例如易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步动态1^1(301?層))或非易失性存储器(例如，一次性可编程1?01((^?1?010、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜型ROM、闪存型ROM、NAND闪存和NOR闪存)、硬盘驱动器或固态硬盘驱动器(SSD)中的至少一个。
[0156]外部存储器1334还包括闪速驱动器，例如紧凑闪存(CF)、安全数字(SD)、微-SD、迷你-SD、超级数字(xD)、多媒体卡或记忆棒等。外部存储器1334可以通过各种接口与电子设备1301功能连接。
[0157]传感器模块1340可以测量例如物理量或可以检测电子设备800的操作状态，并将测量或检测到的信息转换为电信号。传感器模块1340包括以下中的至少一个:手势传感器1340A、陀螺传感器1340B、气压压力传感器1340C、磁传感器1340D、加速度传感器1340E、抓握传感器1340F、邻近传感器1340G、颜色传感器1340H(例如，RGB传感器)、生物计量传感器13401、温度/湿度传感器840J、照明传感器1340K和紫外(UV)传感器1340M。附加地或者一般地，尽管未示出，传感器模块1340还可以包括电子鼻(E-nose)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器或者指纹传感器。传感器模块840还可以包括用于控制其中包括的至少一个或多个传感器的控制电路。在一些实施例中，电子设备1301还包括处理器，其被配置为控制作为一部分或者附加元素的传感器模块1340，从而当处理器1310处于休眠模式时控制传感器模块840。
[0158]输入单元1350可以具有与图1的输入/输出接口150相似的配置。此外，在显示器160具有触摸面板的情况下，显示器160可部分地执行输入/输出单元1350的功能。输入单元1350可以包括例如触摸面板1352、(数字)笔传感器1354、按键1356或超声输入单元1358。触摸板1352可以使用电容性、电阻性、红外型或超声波型的至少一种来识别触摸输入。此外，触摸面板1352还可以包括控制电路。触摸面板1352还可以包括触觉层，以向用户提供触觉反馈。
[0159](数字)笔传感器1354可以是触摸板1352或用于识别的分离片。例如，按键1356可以包括物理按钮、光学按键或键区。超声输入单元1358可以允许电子设备1301使用麦克风(例如，麦克风1388)检测声波以及通过生成超声信号的输入工具来验证数据。
[0160]显示器1360(例如，显示器160)可以与显示器160具有相同或相似的配置，包括面板1362、全息设备1364或投影仪1366。面板1362可以包括与图1的显示器160相同或相似的配置。例如，面板1362可以实现为柔性、透明或可穿戴的。面板1362和触摸板1352可以用一个模块来实现。全息装置1364可以使用光的干涉来示出空间三维图像。投影仪1366可以将光投影到屏幕上以便显示图像。例如，所述平面可以定位于电子设备1301的内部或外部。根据实施例，显示器1360还可包括用于控制面板1362、全息图设备1364或投影仪1366的控制电路。
[0161]例如，接口 1370可以包括高分辨率多媒体接口(HDMI)1372、USB 1374、光学接口1376或D-sub(D-迷你接口)1378。例如，所述接口 1370可包括在图1所示的通信接口 170。接口 1370可以包括例如移动高清链路(MHL)接口、SD卡AMC接口或红外数据协会(IrDA)标准接口。
[0162]音频模块1380可与图1的输入/输出接口150具有相同或相似的配置，并可在双向转换例如声音和电信号。音频模块1380的元素的至少一部分可以被包含在例如图1所示的输入/输出接口 150中。音频模块1380可以处理通过扬声器1382、接收机1384、耳机1386或麦克风1388输入的或输出的声音信息。
[0163]相机模块1391可以是能够拍摄静态图像和移动图像的单元。根据实施例，相机模块1391可以包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙气灯)。
[0164]电源管理模块1395可以管理例如电子设备1301的电力。功率管理模块1395可包括例如功率管理集成电路(PMIC)、充电器集成电路、电池或燃料表。PMIC可以使用有线或无线充电模式进行操作。无线充电模式可以包括例如磁共振型、磁感应型、或电磁波型。为了无线充电，可以在其中另外包括附加电路，例如，如线圈回路、谐振电路、或整流器。例如，电池电量表可以测量电池1396的剩余量、充电期间的电压、电流或温度。例如，电池1396可以包括可充电电池和/或太阳能电池。
[0165]指示器1397可以与输入/输出接口150具有相同或相似的配置，并可显示电子设备1301或其一部分(例如，处理器1310)的具体状态，例如引导状态、消息状态和充电状态等。电机1398可以将电信号转换为机械振动，并且产生振动或触觉效应。尽管未不出，电子设备1301可以包括用于支持移动TV的处理单元(例如，GPU)。用于支持移动TV的处理单元可以例如处理基于数字多媒体广播(DMB)、数字视频广播(DVB)或媒体流(MediaFlo?)的标准的媒体数据。
[0166]可以使用一个或多个组件来实现根据本发明的实施例的电子设备的以上元素中的每一个，并且相关组件的名称可以随着电子设备的种类而改变。根据本公开各种实施例的电子设备可以包括上述组件中的至少一个。同样，可以省略所述组件中的一部分，或还可以包括附加的其它组件。同样，可以将根据本发明的电子设备的部件的一些进行组合以形成一个整体，从而使得可以执行与组合之前实质上相同的相关部件功能。
[0167]根据各个实施例，提供了一种具有相机模块的电子设备，所述电子设备可以包括:所述相机模块，被配置为拍摄图像；以及3D转换模块，被配置为基于所述图像生成3D视图，其中所述相机模块开始收集第一运动图像，以及其中所述3D转换模块基于关于形成所述第一运动图像的帧中的至少一部分帧的空间信息生成与所述第一运动图像相对应的3D视图。所述电子设备还包括传感器模块，其中所述3D转换模块基于通过所述传感器模块收集的信息来提取关于第二运动图像的空间信息。
[0168]图14是根据各个实施例的程序模块1410的框图300。
[0169]参见图14，根据一个实施例，程序模块1410可以包括对与电子设备(例如，电子设备101)相关的资源进行控制的操作系统(OS)和/或在操作系统上驱动的各种应用。操作系统可以是例如 Andro id、1S、Windows、Symbian、TizeruBada 等。
[0170]程序模块1410包括内核1420、中间件1430、API 960和/或应用1470。程序模块1410的至少一部分可以预先加载到电子设备上或者从外部电子设备下载。
[0171]内核1420可以包括例如系统资源管理器1421或设备驱动器1423。系统资源管理器1421可以执行系统资源的控制、分配或者恢复。根据实施例，系统资源管理器1421可以包括进程管理部分、存储器管理部分和/或文件系统管理部分。设备驱动器1423例如可以包括显示器驱动器、摄像机驱动器、蓝牙驱动器、公共存储器驱动器、USB驱动器、键区驱动器、W1-Fi 驱动器、 音频驱动器或进程间通信(IPC)驱动器。
[0172]中间件1430可提供例如应用1470通常所需的功能、或通过API1460向应用1470提供多种功能，以便允许应用1470能有效地使用电子设备中有限的系统资源。根据一实施例，中间件1430可以包括运行时间库1435、应用管理器1441、窗口管理器1442、多媒体管理器1443、资源管理器1444、功率管理器1445、数据库管理器1446、数据包管理器1447、连接管理器1448、通知管理器1449、位置管理器1450、图形管理器1451和安全管理器1452中的至少一个。
[0173]运行时间库1435可包括例如由编译器使用的库模块，以便在执行应用1470期间通过使用编程语言来添加新的功能。运行时间库1435可执行与输入和输出管理、存储器管理、或算术功能相关的功能。
[0174]应用管理器1441可以管理例如至少一个应用1470的生命周期。窗口管理器1442可以管理在屏幕中使用的GUI资源。多媒体管理器1443可以识别用于播放各种媒体文件所需的格式，并可以通过使用适合对应格式的编解码器对媒体文件执行编码或解码。资源管理器1444可以管理应用1470中至少一个应用的资源，例如源代码、存储器、存储空间等。
[0175]电源管理器1445连同例如基本输入/输出系统(B1S)—同操作，以便管理电池或功率，且提供用于电子设备的操作的电源信息。数据库管理器1446可以生成、搜索或修改要在至少一个应用1470中使用的数据库。分组管理器1447安装或更新以分组文件形式分发的应用。
[0176]连接性管理器1448管理例如无线连接，诸如W1-Fi和蓝牙。通知管理器1449以不干扰用户的方式显示或通知诸如消息到达、预约、接近报警的事件。位置管理器1450可以管理电子设备的位置信息。图形管理器1451可以管理向用户提供的图形效果，或管理与图形效果相关的用户界面。安全管理器1452可以提供系统安全或用户认证所需的普通安全功能。根据一个实施例，如果电子设备(例如，电子设备101)具有电话功能，则中间件1430还包括电话管理器，用于管理电子设备的语音和/或图像呼叫功能。
[0177]中间件1430可以包括中间件模块，用于形成上述部件的各种功能的组合。中间件1430可提供根据OS的类型而专门化的模块，以供应不同功能。此外，中间件1430可以动态地移除已有元素的一部分或向其添加新的元素。
[0178]API 1460可以是编程功能的集合，且可以根据OS而具有不同配置。举例来讲，在OS是安卓或1S的情况下，可能许可每个平台提供一个API集合。在OS是tizen的情况下，可能许可每个平台提供两个或更多个个API集合。
[0179]应用1470可包括例如一个或更多个应用，能够提供针对主页1471、拨号盘1472、SMS/MMS 1473、即时消息(頂)1474、浏览器1475、相机1476、警报1477、联系人1478、语音拨号1479、电子邮件1480、日历1481、媒体播放器1482、相册1483和时钟1484的功能，或用于提供健康管理(例如，测量运动量或血糖)或环境信息(例如，气压、湿度或温度)。
[0180]根据一个实施例，应用1470可包括用来支持电子设备(例如电子设备101)和外部电子设备之间的信息交换的应用(为了便于描述，在下文中被称为“信息交换应用”)。例如，信息交换应用可以包括用于向外部电子设备发送特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
[0181 ]例如，信息交换应用可包括向外部电子设备传送从其他应用(例如，SMS/MMS应用、电子邮件应用、健康管理应用或环境信息应用)处产生的通知信息的功能。附加地，信息交换应用可以从外部电子设备接收例如通知信息并将其提供给用户。
[0182]设备管理应用可以管理(例如，安装、移除或更新)例如与该电子设备通信的外部电子设备的至少一个功能(例如，外部电子设备(或其一些组件)的接通/断开、或调整显示器的亮度(或分辨率))、在外部电子设备处工作的应用、或由外部电子设备提供的应用(例如，呼叫服务或消息服务)。
[0183]根据一个实施例，应用1470可包括根据外部电子设备的属性指派的应用(例如健康护理应用)。根据一个实施例，应用1470可包括从外部电子设备接收的应用。根据实施例，应用1470可包括预加载的应用或可从服务器下载的第三方应用。根据所示出的实施例的程序模块1410的名称可根据OS的类型而改变。
[0184]根据各种实施例，程序模块1410中的至少一部分可以用软件、固件、硬件或它们中的两个或更多个的组合来实现。例如，程序模块1410的至少一部分可以由处理器(例如处理器1410)来实现(例如执行)。程序模块1410的至少一部分可包括例如用于执行一个或多个功能的模块、程序、例程、指令集或处理。
[0185]可以使用一个或多个组件来实现根据本发明的实施例的电子设备的以上元素中的每一个，并且相关组件的名称可以随着电子设备的种类而改变。根据本公开各种实施例的电子设备可以包括上述组件中的至少一个。同样，可以省略所述组件中的一部分，或还可以包括附加的其它组件。同样，可以将根据本发明的电子设备的部件的一些进行组合以形成一个整体，从而使得可以执行与组合之前实质上相同的相关部件功能。
[0186]本公开所使用的术语“模块”可以例如意味着包括硬件、软件和固件之一或者其中两种或更多种的组合在内的单元。“模块”可以与诸如“单元”、“逻辑”、“逻辑块”、“组件”或“电路”等的术语互换使用。“模块”可表示集成配置的组件或其中一部分的最小单元。“模±夬”可以是用于执行一个或多个功能的最小单元或其一部分。可以用机械方式或电子方式来实现所述“模块”。例如，根据本公开各种实施例的术语“模块”可以包括执行特定操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、或可编程逻辑器件中的至少一项，这些设备都是已知的或将来开发出的。
[0187]根据本公开各个实施例的装置(例如，其模块或功能)或方法(例如，操作)的至少一部分例如实现为以可编程模块形式存储在计算机可读存储介质中的指令。当由处理器(例如处理器120)执行时，所述指令可以执行与所述指令相对应的功能。这种计算机可读介质可以是例如存储器130。
[0188]计算机可读记录介质可以包括硬盘、诸如软盘和磁带之类的磁性介质、诸如紧凑盘ROM(CD-ROM)和数字通用盘(DVD)之类的光学介质、磁光介质(例如光磁软盘)和硬件设备(例如R0M、RAM和闪存)。同样，程序指令不但可以包括诸如由编译者产生的机器代码，而且包括可以使用译码器在计算机上执行的高级语言代码。以上硬件单元可以配置为经由用于执行本发明操作的一个或多个软件模块来操作，反之亦然。
[0189]根据各个实施例，计算机可读记录介质可包括进行以下操作的程序:收集第一运动图像;提取关于形成所述第一运动图像的帧的至少一部分的空间信息;将所提取的空间信息反映到对与所述第一运动图像相对应的3D视图的生成。
[0190]根据本公开各个实施例的模块或编程模块可包括上述元素中的至少一个，或可以省略一部分上述元素，或还可以包括附加其他元素。根据本公开各个实施例的由模块、编程模块或其他组成元素执行的操作可以依次地、并行地、重复地或启发式地执行。此外，操作的一部分可以以不同顺序被执行、被省略，或者可以添加其它操作。
[0191]尽管参考本公开的多个实施例示出并描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物定义的本公开的精神和范围的前提下，可以在其中进行多种形式和细节上的改变。
【主权项】
1.一种在电子设备中执行的图像处理方法，所述图像处理方法包括: 收集第一运动图像； 提取形成所述第一运动图像的帧中的至少一部分帧的空间信息；以及 将所提取的空间信息反映到与所述第一运动图像相对应的3维3D视图的生成。2.根据权利要求1所述的图像处理方法，其中，收集第一运动图像包括: 获得与对象的第一方向相对应的第一二维2D图像和与所述对象的第二方向相对应的第二 2D图像。3.根据权利要求2所述的图像处理方法，其中，提取空间信息包括: 基于所述第一 2D图像和所述第二 2D图像中的至少一部分来确定所述空间信息。4.根据权利要求3所述的图像处理方法，其中，确定所述空间信息包括: 确定所述第一 2D图像的第一特征和所述第二 2D图像的与所述第一特征相对应的第二特征；以及 基于所述第一特征和所述第二特征中的至少一部分，将所述对象的位置或方向确定为所述空间信息的至少一部分。5.根据权利要求2所述的图像处理方法，其中，反映到所述3D视图的生成包括: 基于所述第一方向和所述第二方向确定第三方向；以及 基于所述第三方向生成所述对象的3D图像。6.根据权利要求2所述的图像处理方法，其中，反映到所述3D视图的生成包括: 基于所述空间信息来修正与多个方向相对应的多个图像；以及 基于所述修正来提供所述3D视图。7.根据权利要求6所述的图像处理方法，其中所述修正包括: 生成所述电子设备的虚拟理想路径；以及 基于所述虚拟理想路径和所述空间信息来修正多个图像中的至少一个的位置。8.根据权利要求1所述的图像处理方法，其中，提取空间信息包括: 通过在特定条件下对所述第一图像进行按比例缩小或采样，确定所述至少一部分帧。9.根据权利要求1所述的图像处理方法，其中，提取空间信息包括: 如果理想路径与所述电子设备移动所沿的实际路径相交或所述理想路径在特定范围内与所述实际路径毗邻，则对所述第一运动图像进行采样。10.根据权利要求9所述的图像处理方法，其中，提取空间信息包括: 提取用于将所述第一运动图像的未采样的帧转换成在所述理想路径上拍摄的帧的修正参数。11.根据权利要求9所述的图像处理方法，其中，提取空间信息包括: 基于被确定为所述至少一部分帧的每个帧中包括的特征的数量，将所述第一运动图像中的未采样的帧按比例缩小。12.一种具有相机模块的电子设备，所述电子设备包括: 所述相机模块，被配置为拍摄图像；以及 3D转换模块，被配置为基于所述图像生成3D视图， 其中所述相机模块开始收集第一运动图像，以及 所述3D转换模块基于关于形成所述第一运动图像的帧中的至少一部分帧的空间信息来生成与所述第一运动图像相对应的3D视图。13.根据权利要求12所述的电子设备，还包括传感器模块， 其中所述3D转换模块基于通过所述传感器模块收集的信息来提取关于第二图像的空间?目息。14.根据权利要求12所述的电子设备，其中，所述3D转换模块基于所述空间信息改变所述第一运动图像的拍摄模式。15.根据权利要求14所述的电子设备，其中，如果形成所述至少一部分帧的连续帧之间的特征在等于或大于第一值的程度内变化，并且所述特征的色散值在等于或大于第二值的程度内变化，则所述3D转换模块允许通过第一模式收集所述第一运动图像。16.根据权利要求15所述的电子设备，其中，所述第一模式通过改变图像传感器的操作速度、灵敏度和曝光时间中的至少一个来收集所述第一运动图像。17.根据权利要求14所述的电子设备，其中，如果形成所述至少一部分帧的连续帧之间的特征在等于或大于第一值的程度内变化，并且所述特征的色散值在小于第二值的程度内变化，则所述3D转换模块允许通过第二模式收集所述第一运动图像。18.根据权利要求17所述的电子设备，其中，所述第二模式使用多个传感器来收集所述第一运动图像。19.根据权利要求14所述的电子设备，其中，如果所述至少一部分帧所包括的帧之间的相对相似度低于特定值，则所述3D转换模块在将用户引导至拍摄方向或拍摄速度的模式中收集所述第一运动图像。20.—种具有程序的计算机可读记录介质，所述程序包括: 收集第一运动图像； 提取关于形成所述第一运动图像的帧中的至少一部分帧的空间信息； 将所提取的空间信息反映到与所述第一运动图像相对应的3D视图的生成。
【文档编号】H04N13/02GK105933689SQ201610112507
【公开日】2016年9月7日
【申请日】2016年2月29日
【发明人】李始炯, 崔智焕, 李基赫, 赵成大
【申请人】三星电子株式会社