用于获得图像的方法和用于处理该方法的电子装置制造方法
【专利摘要】提供一种用于获得图像的方法和用于处理该方法的电子装置。所述方法包括存储经由多个相机获得的不同的方向的图像数据。在用于在电子装置中存储图像数据的方法中，获得第一图像数据和第二图像数据。在存储第一图像数据时，确定第二图像数据的对象的状态。当第二图像数据的对象的状态满足特定条件时，将第二图像数据与第一图像数据存储在一起。
【专利说明】用于获得图像的方法和用于处理该方法的电子装置
【技术领域】
[0001]本公开涉及一种用于在电子装置中记录图像数据的方法和设备。更具体地讲，本公开涉及一种用于同时存储经由多个相机获得的不同方向的图像数据的方法和设备。
【背景技术】
[0002]随着电子装置的快速的技术进步，实现语音通信和信息交换的电子装置已成为生活必需品。在电子装置普及的早期，电子装置曾经仅被认为是可携带且实现无线通信的终端。然而，由于无线互联网的引入，电子装置不仅被用于简单的电话通信和日程管理的目的，还扩大其应用范围(诸如，游戏、使用短距离通信的遥控器和使用内置相机捕获图像)来满足用户的需要。
[0003]如上所述，因为电子装置提供多媒体服务，所以应被处理的信息和应被显示的信息增加。因此，对于具有能够通过提高空间利用率来增加显示单元的尺寸的触摸屏的电子装置的兴趣增加。
[0004]触摸屏是用于在一个屏幕上执行信息的输入和显示的输入和显示单元。因此，在使用触摸屏的情况下，电子装置可通过去除单独的输入单元(诸如，键盘)来增加显示区域。例如，在使用触摸屏应用于整个屏幕的全触摸显示器的情况下，电子装置可将电子装置的整个表面用作屏幕以扩大屏幕尺寸。
[0005]这样的电子装置具有用于提供用于在显示单元上显示图像数据的功能的相机。例如，电子装置可捕获对象以将其显示为运动图像和静止图像，并可存储捕获的数据或以多媒体消息等形式将其发送给其他人。
[0006]一般来说，电子装置将相机布置在其正面和其背面，可使用布置在正面的相机捕获用户图像(即，用户的面部)，并使用布置在其背面的相机捕获背景图像。
[0007]另外，电子装置可经由相机切换菜单选择期望的图像数据。例如，电子装置可存储经由布置在正面和背面的相机之一获得的视频数据或图像数据。
[0008]这意味着经由布置在背面的相机获得的图像数据和经由布置在正面的相机获得的图像数据无法同时被存储为一个图像数据，并且仅选择性的图像数据可经由相机切换菜单被存储。
[0009]用户期望与关于背景图像的图像数据一起存储用户他自己/她自己已被捕获的图像数据，但由于如上的有限的功能用户无法同时存储关于用户他自己/她自己的图像数据和关于背景图像的图像数据。
[0010]例如，用户可使用布置在背面的相机捕获关于背景图像的图像数据并存储该图像数据。在用户解释当前正被存储的图像数据的情况下，电子装置进行处理以使用相机切换菜单允许布置在正面的相机运行。
[0011]因此，电子装置可暂停相机捕获背面的操作，并使用切换的相机捕获解释背景图像的用户图像并存储该用户图像。例如，可依次存储背景图像和用户图像。
[0012]因此，需要用于在电子装置中存储图像数据时同时存储以各个角度捕获的图像数据的方法和设备。
[0013]以上信息仅作为背景信息而给出，以帮助理解本公开。关于以上内容中的任何内容就本公开而言是否可适用为现有技术，没有做出任何确定，并且没有做出任何断言。
【发明内容】
[0014]本公开的多方面在于至少解决以上提及的问题和/或缺点，并至少提供下述的优点。因此，本公开的一方面在于提供一种用于在将图像数据存储在电子装置中时，同时存储以各种角度捕获的图像数据的方法和设备。
[0015]本公开的另一方面在于提供一种用于在将主图像数据存储在电子装置时，在满足特定条件的时间点同时存储主图像数据和子图像数据的方法和设备。
[0016]本公开的另一方面在于提供一种在电子装置中同时存储主图像数据和子图像数据的情况下，将权值应用到主音频数据和子音频数据的方法和设备。
[0017]根据本公开的一方面，提供一种用于电子装置中存储图像数据的方法。所述方法包括:获得第一图像数据和第二图像数据；在存储第一图像数据时，确定第二图像数据的对象的状态；当第二图像数据的对象的状态满足特定条件时，将第二图像数据与第一图像数据存储在一起。
[0018]将第二图像数据与第一图像数据存储在一起的步骤可包括:将第二图像数据与第一图像数据进行合并；显示合并的图像数据。
[0019]将第二图像数据与第一图像数据进行合并的步骤可包括:改变合并第二图像数据的区域的大小、位置和形状中的至少一个。
[0020]将第二图像数据与第一图像数据存储在一起的步骤可包括:从第一图像数据和第二图像数据提取音频数据；在将权值应用到提取的音频数据之后，将应用了权值的音频数据合成到图像数据中。
[0021]获得第一图像数据和第二图像数据的步骤可包括分别使用具有不同的捕获方向的多个相机来获得第一图像数据和第二图像数据。
[0022]获得第一图像数据和第二图像数据的步骤可包括使用一个相机获得第一图像数据和第二图像数据。
[0023]根据本公开的另一方面，提供一种电子装置。所述电子装置包括:显示器；至少一个处理器，其中，所述至少一个处理器被配置为获得第一图像数据和第二图像数据，在存储第一图像数据时，确定第二图像数据的对象的状态，当第二图像数据的对象的状态满足特定条件时，进行处理以将第二图像数据与第一图像数据存储在一起。
[0024]所述处理器可进行处理以将第二图像数据与第一图像数据进行合并显示合并的图像数据。
[0025]所述处理器可进行处理以改变合并第二图像数据的区域的大小、位置和形状中的至少一个。
[0026]所述处理器可进行处理以从第一图像数据和第二图像数据提取音频数据，将权值应用到提取的音频数据，并将应用了权值的音频数据合成到图像数据中。
[0027]所述处理器可进行处理以分别使用具有不同的捕获方向的多个相机来获得第一图像数据和第二图像数据。[0028]所述处理器可进行处理以使用一个相机获得第一图像数据和第二图像数据。
[0029]根据本公开的另一方面，提供一种存储一个或更多个程序的计算机可读存储介质。所述一个或更多个程序包括指令，其中，当有电子装置执行所述指令时，所述指令用于允许电子装置获得第一图像数据和第二图像数据，在存储第一图像数据时，确定第二图像数据的对象的状态，当第二图像数据的对象的状态满足特定条件时，将第二图像数据与第一图像数据存储在一起。
[0030]通过结合附图的公开本公开的各种实施例的以下详细描述，对于本领域的技术人员而言，本公开的其他方面、优点和显著特征将变得清楚。
【专利附图】
【附图说明】
[0031]通过结合附图的以下描述，本公开的特定实施例的上述和其他方面、特征和优点将更加清楚，其中:
[0032]图1是示出根据本公开的实施例的提供图像数据存储功能的电子装置的构造的框图；
[0033]图2是示出根据本公开的实施例的用于在电子装置中存储图像数据的处理的流程图；
[0034]图3A、图3B、图3C和图3D是示出根据本公开的实施例的存储图像数据的电子装置的屏幕的示图；
[0035]图4A和图4B是示出根据本公开的实施例的用于在电子装置中编辑子图像数据的屏幕的示图；
[0036]图5A和图5B是示出根据本公开的实施例的用于在电子装置中编辑子图像数据的屏幕的示图；
[0037]图6A、图6B、图6C和图6D是示出根据本公开的实施例的用于在电子装置中编辑子图像数据的屏幕的示图；
[0038]图7A、图7B、图7C和图7D是示出根据本公开的实施例的用于在电子装置中存储图像数据的处理的示图；
[0039]图8A、图SB、图SC是示出根据本公开的实施例的用于在电子装置存储图像数据的处理的示图；
[0040]图9是示出根据本公开的实施例的用于在电子装置中存储图像数据时对音频数据进行处理的处理的流程图。
[0041]在整个附图中，相同的标号将被理解为表示相同的部件、组件和结构。
【具体实施方式】
[0042]提供以下参照附图的描述，以帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。它包括帮助该理解的各种具体细节，但是这些具体细节仅被认为是示例性的。因此，本领域的普通技术人员将认识到，可以在不脱离本公开的范围和精神的情况下对在此描述的实施例进行各种改变和修改。另外，为了清晰和简明，可以省去对公知功能和构造的描述。
[0043]以下描述和权利要求书中使用的术语和词语不限于字面含义，而是仅被发明人用来使得能够清楚地、一致地理解本公开。因此，本领域的技术人员应当明白，以下对本公开的各种实施例的描述只是出于说明的目的而提供的，而不是出于限制由权利要求及其等同物限定的本公开的目的。
[0044]要理解，除非上下文另有明确指示，否则单数形式包括复数指示物。因此，例如，参考“组件表面”包括参考这样的表面中的一个或多个。
[0045]通过术语“基本上”，意在于表示，所叙述的特性、参数或值无需被准确地实现，而是可存在其数量不排除该特性意图提供的效果的偏差或变化(包括例如，公差、测量误差、测量精度限制和本领域技术人员已知的其他因素)。
[0046]本公开涉及一种用于同时存储经由多个相机获得的不同方向的图像数据的方法和设备。
[0047]在下文中，描述的方法和设备在存储主图像数据的时在满足特定条件的时间点同时存储主图像数据和子图像数据，以便在电子装置存储图像数据时同时存储以各种角度捕获的图像数据。
[0048]另外，图像数据可不仅包括运动图像数据还包括静止图像数据。
[0049]另外，本说明书中的手势表示在电子装置的触摸屏上形成触摸样式。例如，通过输入工具(诸如，用户的手指、触控笔等)在电子装置的触摸屏上执行触摸。手势表示利用在触摸屏上保持的触摸执行的拖曳样式。例如，手势表示在触摸被保持的同时执行拖曳和触摸的释放。
[0050]另外，电子装置可以是便携式电子装置，并可以是如下设备:诸如，便携式终端、移动电话、媒体播放器、平板计算机、手持计算机、个人数字助理(PDA)等。另外，电子装置可以是包括将这些装置中的两个或更多个功能组合的设备的任意便携式电子装置。
[0051]图1是示出根据本公开的实施例的提供图像数据存储功能的电子装置的构造的框图。
[0052]参照图1，电子装置100可包括存储器110、处理器单元120、音频处理器130、通信系统140、输入/输出(I/O)控制器150、触摸屏160、输入单元170。这里，以上提及的元件中的至少一个可以是复数。例如，电子装置100可包括多个存储器或多个通信系统。
[0053]存储器110可包括程序存储器111和数据存储器112，程序存储器111用于存储用于控制电子装置100的操作的程序，数据存储器112用于存储在程序的执行期间发生的数据。例如，数据存储器112可存储用于存储的各种可更新数据(诸如，电话本、呼叫消息、接收的消息等)。根据本公开的实施例，数据存储器112可存储用于确定同时存储主图像数据和子图像数据的时间段的信息。这里，主图像数据表示通过使用第一相机捕获用户期望存储的对象而获得的图像数据。主图像数据可被显示在显示单元上并同时被存储在存储器中，直到发生用于结束图像数据存储的事件。
[0054]子图像数据表示通过使用第二相机捕获以与主图像数据不同的角度检测的对象而获得的图像数据。与主图像数据不同的是，子图像数据可被显示在显示单元上并在满足特定条件的时间段与主图像数据一起被存储。
[0055]另外，程序存储器111可包括操作系统(OS)程序113、手势分析程序114、图像处理程序115、显示程序116和至少一个应用117。这里，包括在程序存储器111中的程序是一组指令，并可被表达为指令集。[0056]OS程序113可包括用于控制整体系统操作的各种软件元件。整体系统操作的控制表示例如存储器管理和控制、存储器硬件(装置)控制和管理、功率控制和管理等。OS程序113还执行用于各种硬件(装置)和程序元件(模块)之间的快速的通信的功能。
[0057]手势分析程序114对用于控制电子装置的用户的手势进行分析。这里，对用户的手势进行分析可与对用户的手势进行检测相同。
[0058]例如，手势分析程序114可检测选择捕获主图像数据的相机的用户的手势。
[0059]另外，手势分析程序114可对除用户的手势之外的图像数据进行分析。例如，手势分析程序114可对暂时存储的子图像数据进行分析以确定主图像数据和子图像数据应被同时存储的时间段。例如，手势分析程序114可确定包括在子图像数据中的对象的状态(即，用户的面部、语音(音频数据)、身体移动等)。
[0060]手势分析程序114可检测用户的手势以改变子图像数据合并的区域的位置。
[0061]手势分析程序114可检测用户的手势以改变子图像数据合并的区域的大小。
[0062]手势分析程序114可检测用户的手势以在存储图像数据的同时对子图像数据合并的区域的形状进行变换。
[0063]手势分析程序114可将检测的用户的手势传送到图像处理程序115和显示程序116。
[0064]当确定主图像数据和子图像数据应被同时存储的时间段时，图像处理程序115可进行处理以将主图像数据与子图像数据合并。
[0065]这里，将主图像数据和子图像数据合并表示执行图像处理使得主图像数据和子图像数据可同时被显示。可将子图像数据合并到主图像数据的部分。
[0066]当检测到用于对图像数据中的用户期望存储的图像数据进行编辑的用户的手势时，图像处理程序115可进行处理以将编辑效果应用到主图像数据或子图像数据。这里，将编辑效果应用到主图像数据可以是改变子图像数据将合并的主图像数据的区域位置和大小。
[0067]图像处理程序115可在存储图像数据的同时改变主图像数据的区域的形状来合并子图像数据。
[0068]在存储图像时同时存储主图像数据和子图像数据的情况下，图像处理程序115进行处理以从主图像数据和子图像数据提取音频数据并将权值应用到每个音频数据。其后，图像处理程序115可进行处理以对每个图像数据中的应用了权值的音频数据进行合成。
[0069]显示程序116可包括用于在触摸屏160上提供和显示图形的各种软件元件。术语“图形”包括文本、网页、图标、数字图像、视频、动画等。
[0070]另外，显示程序116可包括与用户界面相关的各种软件元件。
[0071]在发生在图像数据被存储时允许主图像数据和子图像数据同时被存储的事件的情况下，显示程序116可进行处理以显示主图像数据和子图像数据已合并的图像数据。
[0072]例如，显示程序116可将经由第一相机获得的主图像数据显示在显示单元上。在发生允许主图像数据和子图像数据同时被存储的事件的情况下，显示程序116可进行处理以将经由第一相机获得的主图像数据和经由第二相机获得的子图像数据显示在显示单元上。
[0073]应用117可包括关于安装在电子装置100中的至少一个应用的软件元件。[0074]包括在程序存储器111中的程序可被允许经由硬件配置来进行操作。电子装置100可包括手势分析模块、图像处理模块、显示模块等。
[0075]处理器单元120可包括至少一个处理器122和接口 124。这里，处理器122和接口124可被集成到至少一个集成电路中或被实现为单独的元件。
[0076]接口 124执行控制对处理器122和存储器110的访问的存储器接口的作用。
[0077]接口 124可执行用于控制电子装置100的I/O外设和处理器122之间的连接的外设接口的作用。
[0078]处理器122可控制电子装置100使用至少一个软件程序来执行用于同时存储主图像数据和子图像数据的功能。此时，处理器122可控制执行存储在存储器110中的至少一个程序并执行与相关程序对应的功能。例如，处理器122可包括用于根据包括在图像数据中的对象的状态(用户的面部的检测、语音的检测、唇部运动等)将主图像数据和子图像数据合并的图形处理器。
[0079]根据本公开的实施例，电子装置100的图像数据存储功能可使用软件(诸如存储在存储器110中的程序)或硬件(诸如，图形处理器)来执行。
[0080]音频处理器130可经由扬声器131和麦克风132提供用户和电子装置100之间的
音频接口。
[0081]通信系统140执行用于电子装置100的语音通信和数据通信的通信功能。此时，通信系统140可被划分为分别用于支持不同的通信网络的多个通信子模块。例如，尽管不限于此，但通信网络可包括全球移动通信系统(GSM)网络、增强型数据GSM环境(EDGE)网络、码分多址(CDMA)网络、宽带(W)-CDMA网络、长期演进(LTE)网络、正交频分多址(OFDMA)网络、无线LAN、蓝牙网络和近场通信(NFC)网络等。
[0082]I/O控制器150可提供I/O单元(诸如，触摸屏160、输入单元170等)与接口之间的接口。
[0083]触摸屏160是用于执行信息的输出和信息的输入的I/O单兀,并可包括触摸输入单元161和显示单元162。
[0084]触摸输入单元161可经由I/O控制器150将经由触摸面板检测的触摸信息提供给处理器单元120。此时，触摸输入单元161将触摸信息改变为指令结构(诸如，touch_down (向下触摸)、touch_move (触摸移动)、touch_up (向上触摸)),并将其提供给处理器单元120。根据本公开的实施例，触摸输入单元161可产生用于控制图像数据的存储的用户的手势。这里，控制图像数据的存储表示允许主图像数据和子图像数据同时被存储，并可以是改变子图像数据将合并的主图像数据区域的位置和大小。
[0085]显示单元162可显示电子装置100的状态信息、由用户输入的字符、运动图像、静止图像等。例如，显示单元162可显示用户期望存储的图像数据。根据实施例，显示单元162可显示经由第一相机和第二相机获得的图像数据，并且当发生允许主图像数据和子图像数据同时被存储的事件时，显示单元162可显示主图像数据和子图像数据已合并的图像数据。
[0086]输入单元170可经由I/O控制器150将通过用户的选择产生的输入数据提供到处理器单元120。例如，输入单元170可包括用于控制电子装置100的控制按钮。在另一示例中，输入单元170可使用用于从用户接收输入数据的键区来配置，并可产生控制图像数据的存储的用户的输入数据。
[0087]根据本公开的实施例，图像数据获得单元180是用于获得图像数据的模块，并可包括至少两个相机。例如，图像数据获得单元180可包括用于获得主图像数据的第一相机和用于获得子图像数据的第二相机。这些相机可分别沿不同方向被布置，以获得与每个方向对应的图像数据。根据本公开的实施例，第一相机可被布置在电子装置100的正面以或图像数据、第二相机可被布置在电子装置的背面以获得图像数据。
[0088]尽管未示出，电子装置100还可包括用于提供附加功能的元件(诸如，用于接收广播的广播接收模块、数字声源再现模块(诸如，运动图像专家组(MPEG-1或MPEG-2)音频层3 (MP3)模块)、用于短距离无线通信的短距离无线通信模块、用于接近检测的接近传感器模块等)以及用于元件的操作的软件。
[0089]图2是示出根据本公开的实施例的用于在电子装置中存储图像数据的处理的流程图。
[0090]参照图2，电子装置可使用分别具有不同的捕获方向的相机来获得图像数据。根据本公开的实施例，电子装置可使用分别布置在正面和背面的相机来获得关于电子装置的正面的图像数据和关于背面的图像数据，并存储它们。
[0091]在操作201，电子装置可使用第一相机来获得主图像数据，并进行到操作203以使用第二相机来获得子图像数据。
[0092]这里，主图像数据可以是通过使用第一相机捕获用户期望存储的对象而获得的图像数据。主图像数据可被显示在显示单元中，并同时被存储在存储器中直到发生用于结束图像数据存储的事件。
[0093]子图像数据可以是通过使用第二相机捕获以与主图像数据不同的角度检测的对象而获得的图像数据。与主图像数据不同的是，子图像数据被显示在显示单元上并在满足特定条件的时间段与主图像数据一起被存储。此时，子图像数据可与主图像数据被合并在一起并被存储。
[0094]例如，第一相机可以是布置在电子装置的正面的相机。在这种情况下，第二相机可以是布置在电子装置的背面的相机。相反，第一相机可以是布置在电子装置的背面的相机。在这种情况下，第二相机可以是布置在电子装置的正面的相机。
[0095]电子装置可进行到操作205以对子图像数据的显示条件进行分析，并进行到操作207以确定分析结果。这里，电子装置确定用于将经由第二相机获得的图像数据存储在存储器中的时间段。
[0096]电子装置的用户会期望在捕获风景或旅游景点的同时添加关于捕获的图像数据的描述。在这种情况下，电子装置可经由第一相机获得关于风景或旅游景点的图像数据，并经由第二相机获得关于用户的图像数据。这里，关于风景或旅游景点的图像数据可以是主图像数据，关于用户的图像数据可以是子图像数据。
[0097]根据本公开的实施例，在用户将描述添加到主图像数据(B卩，风景或旅游景点)的情况下，电子装置可存储子图像数据(即，关于用户的图像数据)。为了执行该操作，电子装置可对经由第二相机获得的图像数据进行分析，并且当用户的面部包括在图像数据中时，确定用于存储经由第二相机获得的子图像数据的时间段。
[0098]电子装置可对经由第二相机获得的图像数据进行分析，并且当用户的语音包括在图像数据中时，确定用于存储经由第二相机获得的子图像数据的时间段。
[0099]电子装置可对经由第二相机获得的图像数据进行分析，并且当在图像数据中用户的唇部移动时，确定用于存储经由第二相机获得的子图像数据的时间段。此时，电子装置通过经由第二相机获得的图像数据中包括的用户的唇部的移动确定用户正在讲话，并确定用于存储子图像数据的时间段。
[0100]用于确定用于存储子图像数据的上述时间段的因素用于确定描述主图像数据的用户是否存在。电子装置可使用上述因素中的至少一个。电子装置可使用多个因素精确地确定用于存储图像数据的时间段。
[0101]上述因素是用于确定用于存储子图像数据的时间段的因素。电子装置可使用除上述因素之外的其他因素来确定用于存储图像数据的时间段。
[0102]例如，在电子装置对经由第二相机获得的子图像数据进行分析并且与预先设置的用户相同的用户被包括的情况下，电子装置可确定用于存储经由第二相机获得的子图像数据的时间段。这是为了防止在除该用户以外的另一人被包括在经由第二相机获得的图像数据中时也存储该图像数据。
[0103]当在操作207确定满足子图像数据的显示条件(即，满足子图像数据的存储条件)时，电子装置可进行到操作209以显示主图像数据和子图像数据，并进行到操作211以存储显示的图像数据。这里，电子装置可额外地在正被显示的主图像数据的部分上显示子图像数据，并进行处理以存储包括子图像数据的主图像数据。
[0104]当在操作207确定没有满足子图像数据的显示条件时，电子装置可进行到操作215以显示主图像数据，并进行到操作211以存储正被显示的主图像数据。
[0105]如上所述，已存储图像数据的电子装置进行到操作213以确定图像数据的存储是否结束。
[0106]当在操作213图像数据的存储没有结束时，电子装置可进行到操作201以执行用于存储图像数据的处理。
[0107]当在操作213图像数据的存储结束时，电子装置结束预设算法。
[0108]尽管在图2中电子装置已使用多个相机获得不同方向的图像数据，但根据本公开的实施例的电子装置可使用具有广视角的一个相机获得多个对象。
[0109]根据本公开的实施例，电子装置将以广视角捕获的一个图像数据分类为主对象和子对象，并且当在电子装置仅存储主对象时子对象的存储条件被满足时，电子装置可进行处理以同时存储主对象和子对象。
[0110]图3A、图3B、图3C和图3D是示出根据本公开的实施例的存储图像数据的电子装置的屏幕的示图。
[0111]参照图3A、图3B、图3C和图3D，电子装置可提供用于存储图像数据的功能。
[0112]电子装置可使用分别具有不同的捕获方向的相机来捕获对象。根据本公开的实施例，电子装置具有第一相机和第二相机来获得相对于电子装置的正面的图像数据和相对于电子装置的背面的图像数据。此时，第一相机可以是布置在正面的相机，第二相机可以是布置在背面的相机。
[0113]当检测到用于捕获对象的用户的手势时，电子装置同时操作第一相机和第二相机以获得沿各个相机的捕获方向检测到的对象的图像数据。[0114]此时，电子装置可在预览屏幕上仅显示由用户选择的相机获得的图像数据，并暂时存储由未选择的相机获得的图像数据。这里，在预览屏幕上显示的图像数据可被定义为主图像数据，暂时存储的图像数据可被定义为子图像数据。此时，电子装置可对暂时存储的子图像数据进行分析以确定子图像数据被显示的时间点。
[0115]根据本公开的实施例，虽然电子装置使用两个相机获得关于对象的图像数据，但在预览屏幕上显示主图像数据的同时存储主图像数据。子图像数据可在满足特定条件的时间点与主图像数据一起被显示和存储。
[0116]可根据获得图像数据的情况划分子图像数据被显示在预览屏幕上的条件。
[0117]获得图像数据的示例可以是用于解释主图像数据的情况，并且在此情况下，子图像数据可以是用户。
[0118]在这种情况下，电子装置可使用用户的面部、语音和唇部形状中的至少一个因素作为用于显示子图像数据的条件。
[0119]例如，可假设用户在使用第二相机(例如，背面的相机)捕获邻近的背景图像的同时使用第一相机(即，正面的相机)捕获解释该背景图像的他自己/她自己的面部。可使用提供给电子装置的功能来执行这种情况。
[0120]在这种情况下，用户将捕获邻近的背景图像的第二相机设置为主相机，并因此经由第二相机捕获的用户的邻近的背景图像变为主图像数据。另外，捕获用户的面部的第一相机可被设置为子相机，经由第一相机捕获的用户的面部可被设置为子图像数据。
[0121]在这种情况下，在检测用于捕获对象的用户的手势的情况下，电子装置同时操作第一相机和第二相机以获得主图像数据和子图像数据。
[0122]此时，电子装置在显示单元上显示主图像数据并将其存储在存储器中，直到主相机的操作结束，并进行处理以暂时存储子图像数据。此时，子图像数据没有显示在显示单元上。
[0123]其后，电子装置可对暂时存储的子图像数据进行分析以确定是否检测到用户的面部，是否检测到用户语音，用户的唇部形状是否变化等。
[0124]根据本公开的实施例，电子装置可对子图像数据进行分析。当在子图像数据中检测到用户的面部，检测到用户语音或用户的唇部形状变化时，电子装置可确定已满足子图像数据的显示条件。
[0125]当对子图像数据进行分析并且确定已满足子图像数据的显示条件时，电子装置可将子图像数据合并到主图像数据中并显示子图像数据，并进行处理以将已合并子图像数据的合并的主图像数据存储在存储器中。
[0126]在另一示例中，可假设在主图像数据用作背景图像的状态下捕获用户图像的情况。在这种情况下，可将语音指令用作显示子图像数据的条件。
[0127]例如，可假设在使用第二相机(例如，背面的相机)捕获邻近的背景图像的同时使用第一相机(即，正面的相机)与背景图像一起捕获他/她的面部。
[0128]在这种情况下，用户将捕获邻近的背景图像的第二相机设置为主图像，并因此经由第二相机捕获的用户的邻近的背景图像变为主图像数据。另外，捕获用户的面部的第一相机可被设置为子相机，并且经由第一相机捕获的用户的面部可以是子图像数据。
[0129]在这种情况下，当检测到用于捕获对象的用户的手势时，电子装置同时操作第一相机和第二相机以获得主图像数据和子图像数据。
[0130]此时，电子装置在显示单元上显示主图像数据并同时将其存储在存储器中，直到主相机的操作结束，并进行处理以暂时存储子图像数据。此时，子图像数据不被显示在显示单元上。
[0131]其后，电子装置可确定用户是否输入了语音指令(例如，诸如开始、捕获等的指令)。
[0132]当如上所述地语音被输入时，电子装置可将子图像数据合并到主图像数据中并显示子图像数据，并将子图像数据已合并的主图像数据存储在存储器中。
[0133]虽然电子装置使用两个相机获得关于沿不同的方向检测的对象的图像数据，但在预览屏幕上仅显示主图像数据的同时仅将主图像数据存储在存储器中，并且在满足用于显示子图像数据的条件的时间点，将子图像数据合并到主图像数据中，并在预览屏幕上显示已合并子图像数据的主图像数据的同时将子图像数据已合并的主图像数据存储存储器中。
[0134]图3A是示出显示对经由相机获得的数据进行显示的预览屏幕的电子装置的示图。电子装置可将用于选择捕获方法的菜单合并到预览屏幕301。这里，捕获方法可以是用于存储图像数据303的方法和用于存储视频数据305的方法。
[0135]当如图3B所示检测到用于选择捕获方法的用户的手势307时，如图3C所示，在屏幕309中，电子装置可在预览屏幕上显示经由选择的捕获方法获得的数据并存储在存储器中。
[0136]尽管附图已示出仅显示和存储主图像数据的情况，但当满足子图像数据的显示条件时，如图3D所示，如在屏幕311中所示电子装置可将子图像数据合并到主图像数据中并显示子图像数据，并同时将合并的图像数据存储在存储器中。
[0137]尽管图3A、图3B、图3C和图3D描述在电子装置中第一相机和第二相机同时进行操作以便将关于相对于正面的对象的数据和关于相对于背面的对象的数据合并的实施例，但电子装置独立地操作一个相机并仅在满足图像数据合并器的条件的时间点操作其他相机以获得关于用于合并的对象的数据。
[0138]图4A和图4B是示出根据本公开的实施例的在电子装置中编辑子图像数据的屏幕的示图。
[0139]参照图4A和图4B，电子装置可提供用于合并和存储关于多个对象的图像数据的功能。
[0140]电子装置可使用具有不同的捕获方向的相机来捕获对象。根据本公开的实施例，电子装置可具有第一相机和第二相机以获得关于相对于电子装置的正面的图像数据和关于相对于电子装置的背面的图像数据，并对获得的图像数据进行合并和存储。图像数据可根据用户的选择被分类为主图像数据和子图像数据。
[0141]这里，主图像数据是通过使用第一相机捕获用户期望存储的对象而获得的图像数据。主图像数据可被显示在显示单元上并同时被存储在存储器中，直到发生用于结束图像数据存储的事件。
[0142]子图像数据是通过使用第二相机捕获以与主图像数据不同的角度检测的对象而获得的图像数据。与主图像数据不同的是，子图像数据可在满足特定条件的时间段与主图像数据一起被显示在显示单元上并被存储。[0143]此时，电子装置可预先定义子图像数据将合并到的主图像数据的区域，并将子图像数据合并到定义的区域中。
[0144]电子装置可计算每个帧中的可合并获得的子图像数据的区域的位置和大小，并合并子图像数据使得适合于计算的位置和尺寸。
[0145]按照每帧计算子图像数据被布置的位置和大小的原因是为了允许根据用户的手势显示的子图像数据的位置和大小平滑地改变。
[0146]因此，当如图4A所示检测到用于改变子图像数据合并的位置401的用户的手势403时，如图4B所示，在屏幕405中电子装置可将由用户改变的位置407定义为子图像数据合并的位置，并将子图像数据合并到改变的位置。
[0147]图5A和图5B是示出根据本公开的实施例的用于在电子装置中编辑子图像数据的屏幕的示图。
[0148]参照图5A和图5B，电子装置可提供用于合并和存储关于多个对象的图像数据的功能。
[0149]电子装置可使用具有不同的捕获方向的相机捕获对象。根据本公开的实施例，电子装置可具有第一相机和第二相机以获得关于相对于电子装置的正面的图像数据和关于相对于电子装置的背面的图像数据，并对获得的图像数据进行合并和存储。
[0150]这里，主图像数据是通过使用第一相机捕获用户期望存储的对象而获得的图像数据。主图像数据可被显示在显示单元上并同时被存储在存储器中，直到发生用于结束图像数据存储的事件。
[0151]子图像数据是通过使用第二相机捕获以与主图像数据不同的角度检测的对象而获得的图像数据。与主图像数据不同的是，子图像数据可在满足特定条件的时间段与主图像数据一起被显示在显示单元上并被存储。
[0152]此时，电子装置可预先定义子图像数据将合并到的主图像数据的区域，并将子图像数据合并到定义的区域中。
[0153]电子装置可计算每个帧中的可合并获得的子图像数据的区域的位置和大小，并合并子图像数据使得适合于计算的位置和尺寸。
[0154]按照每帧计算子图像数据被布置的位置和大小的原因是为了允许根据用户的手势显示的子图像数据的位置和大小平滑地改变。
[0155]因此，当如图5A所示检测到用于改变子图像合并的区域501的大小的用户的手势503时，如图5B所示，在屏幕505中电子装置可将由用户改变的大小507定义为合并子图像数据的区域的大小，并合并适合于改变后的大小的区域的子图像。
[0156]图6A、图6B、图6C和图6D是示出根据本公开的实施例的用于在电子装置中编辑子图像数据的屏幕的示图。
[0157]参照图6A、图6B、图6C和图6D，电子装置可提供用于合并和存储关于多个对象的图像数据的功能。
[0158]电子装置可使用具有不同的方向的相机来捕获对象。根据本公开的实施例，电子装置可具有第一相机和第二相机以获得关于相对于电子装置的正面的图像数据和关于相对于电子装置的背面的图像数据，并对获得的图像数据进行合并和存储。
[0159]这里，主图像数据是通过使用第一相机捕获用户期望存储的对象而获得的图像数据。主图像数据可被显示在显示单元上并同时被存储在存储器中，直到发生用于结束图像数据存储的事件。
[0160]子图像数据是通过使用第二相机捕获以与主图像数据不同的角度检测的对象而获得的图像数据。与主图像数据不同的是，子图像数据可在满足特定条件的时间段与主图像数据一起被显示在显示单元上并被存储。
[0161]此时，电子装置可预先定义子图像数据将合并到的主图像数据的区域，并将子图像数据合并到定义的区域中。
[0162]电子装置可提供子图像数据合并的各种类型的区域。这意味着用户可选择子图像数据合并的区域的形状。
[0163]例如，如图6A所示，当检测到用于改变子图像数据合并的区域601的形状的用户的手势603时，如图6B所示，在屏幕605中电子装置可显示子图像数据合并的区域的形状。四边形区域被预先设置在示出的附图中，并可被用户改变为椭圆形区域、心形区域、方框区域、语音泡区域等。
[0164]当如图6C所示在屏幕607中选择了用户期望改变的子图像数据合并的区域的形状时，如图6D所示在屏幕609中电子装置可将子图像数据合并的区域的形状改变为由用户选择的形状。
[0165]图6C示出用户选择心形区域的情况，并且图6D示出预先设置的四边形区域已被改变为心形区域的情况。
[0166]图7A、图7B、图7C和图7D是示出根据本公开的实施例的用于在电子装置中存储图像数据的处理的示图。
[0167]参照图7A、图7B、图7C和图7D，电子装置可具有一个相机以获得关于对象的数据。电子装置的相机可捕获宽域(wide area)并获得百万像素的图像数据。
[0168]在由该相机捕获的图像数据中可检测多个对象。这里，对象可以是人、背景图像、动物等。
[0169]根据本公开的实施例，当确定在经由相机获得的图像数据中检测到多个对象时，电子装置可将各个对象定义为主对象和子对象，并产生已编辑主对象和子对象的图像数据。
[0170]这里，对主对象和子对象进行编辑可包括进行编辑使得主对象和子对象之间的距离可以恒定。
[0171]另外，对主对象和子对象进行编辑可包括进行编辑使得子对象可包括在包括主对象的图像数据中。
[0172]例如，如图7A所示，电子装置可获得已捕获风景701和人703的图像数据。图7A的情况假设这样的情况:用户在捕获位于远处的山的同时以图像的形式记录关于正被捕获的山的感受或情感。
[0173]一般来说，电子装置可通过移动相机镜头来接近和捕获位于远处的对象，但在这种情况下，无法同时捕获位于近距离的对象。
[0174]因此，如图7B所示，在屏幕705中电子装置可显示用于对主对象和子对象进行编辑的菜单，并根据用户的选择对主对象和子对象进行编辑。
[0175]根据本公开的实施例，如图7C所示，电子装置对经由相机获得的图像数据中的主对象707和子对象709进行剪辑，并控制每个对象的透视(perspective)以对它们进行编辑使得它们位于相同的距离。
[0176]在另一示例中，如图7D所示，电子装置可对经由相机获得的图像数据中的主对象707和子对象709进行剪辑，并将关于子对象的图像数据713合并到关于主对象的图像数据711 中。
[0177]图8A、图SB和图SC是示出根据本公开的实施例的用于将图像数据存储在电子装置中的处理的示图。
[0178]参照图8A、图8B和图8C，电子装置可提供用于存储图像数据的功能。
[0179]电子装置可使用具有不同的捕获方向的相机来捕获对象。根据本公开的实施例，电子装置可在正面具有第一相机和第二相机以获得关于电子装置的正面的多个图像数据。第一相机和第二相机是用于控制捕获方向、角度等的相机，并具有具有固定的位置且能够控制捕获方向的结构。
[0180]当检测到用于捕获对象的用户的手势时，电子装置获得与第一相机和第二相机的捕获方向对应的图像数据，并将经由第一相机获得的主图像数据和经由第二相机获得的子图像数据显示在显示单元的不同的显示区域上。此时，电子装置获得关于由用户设置的捕获角度和方向的图像数据并进行显示。
[0181]此时，电子装置可获得关于背景图像(诸如，风景)的图像数据作为主图像数据，并获得关于用户的面部的图像数据作为子图像数据并进行显示。
[0182]例如，如图8A所示，电子装置可使用能够控制捕获方向的两个相机801来获得图像数据，并且如图8B所示，可进行处理以将主图像数据803和子图像数据805分别显示在不同的区域上。
[0183]在另一示例中，如图SC所示，电子装置可将子图像数据809合并到主图像数据807，并对其进行显示。
[0184]图9是示出根据本公开的实施例的用于在电子装置中存储图像数据时对音频数据进行处理的处理的流程图。
[0185]参照图9，在操作901，电子装置可获得主图像数据和子图像数据。
[0186]这里，主图像数据是通过使用第一相机捕获用户期望存储的对象而获得的图像数据。主图像数据可被显示在显示单元上并同时被存储在存储器中，直到发生用于结束图像数据存储的事件。
[0187]子图像数据是通过使用第二相机捕获以与主图像数据不同的角度检测的对象而获得的图像数据。与主图像数据不同的是，子图像数据可在满足特定条件的时间段与主图像数据一起被显示在显示单元上并被存储。
[0188]在操作903，电子装置可从获得的图像数据提取音频数据。这里，电子装置对用于主图像数据的音频数据(主音频数据)和用于子图像数据的音频数据(子音频数据)进行区分。电子装置可基于麦克风阵列和波束成型技术从主图像数据和子图像数据提取音频数据。
[0189]电子装置可进行到操作905以将权值应用到主音频数据和子音频数据。这里，将权值应用到音频数据表示控制主音频数据和子音频数据的大小。例如，电子装置可从与用户的面部对应的图像数据和与背景图像数据对应的图像数据提取音频数据，并且当发生用户的音频数据(即，用户的语音)时，电子装置可进行处理以减少背景噪声，从而用户的语音被清晰地记录。当没有发生用户的音频数据时，电子装置可进行处理以允许背景声音被原样记录。
[0190]如上所述地将权值应用到语音数据的电子装置可进行到操作907，以将应用了权值的音频数据合成到图像数据中，并进行到操作909以对已合并音频数据的图像数据进行
I=I TT O
[0191]这里，电子装置将应用了权值的主音频数据合成到主图像数据中，并将应用了权值的子音频数据合成到子图像数据中。另外，电子装置执行用于对已合成音频数据的主图像数据和子图像数据进行合并并进行存储的处理。根据本公开的实施例，已合成应用了权值的音频数据的图像数据可以是已去除主图像数据的噪声且子图像数据的语音已变得明确的图像数据。
[0192]如上所述，电子装置可提供用于允许用户在捕获旅游景点的同时记录关于旅游景点的感受的功能。
[0193]根据本公开的实施例，当在旅游景点捕获运动图像时，电子装置可在捕获在背面的背景图像和在正面的解释背景图像的用户的图像和语音的时将它们存储在一起。
[0194]此时，电子装置可使用用户面部、唇部形状、语音等确定用于存储用户画像的时间点。
[0195]如上所述，电子装置可在存储图像数据时同时存储主图像数据和子图像数据，从而可省略用于允许用户切换相机的处理。
[0196]另外，在同时存储主图像数据和子图像数据的情况下，去除邻近的噪声，所以可存储用户的语音。
[0197]将理解，根据权利要求和说明书中的描述的本公开的实施例可以以硬件、软件或硬件和软件的组合的形式实现。任何这样的软件可被存储在非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质存储一个或更多个程序(软件模块)、一个或更多个程序包括指令，当由电子装置中的一个或更多个处理器执行所述指令时，所述指令使电子装置执行本公开的方法。可以以诸如易失性或非易失性存储器(诸如，如只读存储(ROM)、可擦除ROM或可重写ROM)或以内存(随机存取存储器(RAM)、存储芯片)、装置或集成电路的形式存储任何这样的软件，将其存储在光可读介质或磁可读介质(诸如，致密盘(CD)、数字多功能盘(DVD)、磁盘、磁带等)上。将理解存储装置和存储介质是适合于存储包括指令的程序的机器可读存储器，其中，当所述指令被执行时，实现本公开的实施例。因此，实施例提供包括用于实现本说明书的权利要求中的任何一项所要求保护的设备或方法的代码的程序和用于存储这样的程序的机器可读存储介质。
[0198]尽管已参照本公开的各种实施例示出和描述本公开，但本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本公开的精神和范围的情况下，可进行各种形式和细节上的改变。
【权利要求】
1.一种电子装置中的方法，所述方法包括: 获得第一图像数据和第二图像数据； 在存储第一图像数据时，确定第二图像数据的对象的状态； 当第二图像数据的对象的状态满足特定条件时，将第二图像数据与第一图像数据存储在一起。
2.如权利要求1所述的方法，其中，将第二图像数据与第一图像数据存储在一起的步骤包括: 将第二图像数据与第一图像数据进行合并； 显示合并的图像数据。
3.如权利要求2所述的方法，其中，将第二图像数据与第一图像数据进行合并的步骤包括: 改变合并第二图像数据的区域的大小、位置和形状中的至少一个。
4.如权利要求1所述的方法，其中，将第二图像数据与第一图像数据存储在一起的步骤包括: 从第一图像数据和第二图像数据提取音频数据； 在将权值应用到提取的音频数据之后，将应用了权值的音频数据合成到图像数据中。
5.如权利要求1所述的方法，其中，获得第一图像数据和第二图像数据的步骤包括: 分别使用具有不同的捕获方向的多个相机来获得第一图像数据和第二图像数据。
6.如权利要求1所述的方法，其中，获得第一图像数据和第二图像数据的步骤包括使用一个相机获得第一图像数据和第二图像数据。
7.如权利要求5所述的方法，还包括: 将使用所述多个相机捕获的第一图像数据和第二图像数据显示在显示单元的不同区域上。
8.如权利要求5所述的方法，还包括: 仅将由用户选择的相机获得的图像数据显示在预览屏幕上； 暂时存储由未选择的相机获得的图像数据； 其中，显示在预览屏幕上的图像数据是第一图像数据，暂时存储的图像数据是第二图像数据。
9.如权利要求5所述的方法，还包括: 在仅将第一图像数据显示在预览屏幕上时，仅将第一图像数据存储在存储器中，并在满足用于显示第二图像数据的条件的时间点，将第二图像数据合并到第一图像数据中，并在将已合并第二图像数据的第一图像数据显示在预览屏幕上时，将已合并第二图像数据的第一图像数据存储在存储器中。
10.如权利要求5所述的方法，其中，所述多个相机同时进行操作以将第一图像数据和第二图像数据进行合并，其中，一个相机独立地进行操作，并且电子装置仅在满足用于图像数据合并器的条件的时间点操作另一相机以获得关于要合并的对象的图像数据。
11.一种电子装置，包括: 显示单元； 至少一个处理器，其中，所述至少一个处理器被配置为获得第一图像数据和第二图像数据，在存储第一图像数据时，确定第二图像数据的对象的状态，当第二图像数据的对象的状态满足特定条件时，进行处理以将第二图像数据与第一图像数据存储在一起。
12.如权利要求11所述的电子装置，其中，所述至少一个处理器进行处理以将第二图像数据与第一图像数据进行合并显示合并的图像数据。
13.如权利要求12所述的电子装置，其中，所述至少一个处理器进行处理以改变合并第二图像数据的区域的大小、位置和形状中的至少一个。
14.如权利要求11所述的电子装置，其中，所述至少一个处理器进行处理以从第一图像数据和第二图像数据提取音频数据，将权值应用到提取的音频数据，并将应用了权值的音频数据合成到图像数据中。
15.如权利要求11所述的电子装置，其中，所述至少一个处理器进行处理以分别使用具有不同的捕获方向的多个相机来获得第一图像数据和第二图像数据。
16.如权利要求11所述的电子装置，其中，所述至少一个处理器进行处理以使用一个相机获得第一图像数据和第二图像数据。
17.如权利要 求15所述的电子装置，其中，所述至少一个处理器进行处理以将使用所述多个相机捕获的第一图像数据和第二图像数据显示在显示单元的不同区域上。
18.如权利要求15所述的电子装置，其中，显示单元被配置为仅将由用户选择的相机获得的图像数据显示在预览屏幕上，其中，由未选择的相机获得的图像数据暂时被存储，其中，显示在预览屏幕上的图像数据是第一图像数据，暂时存储的图像数据是第二图像数据。
19.如权利要求15所述的电子装置，其中，所述至少一个处理器进行处理以在仅将第一图像数据显示在预览屏幕上时，仅将第一图像数据存储在存储器中，并在满足用于显示第二图像数据的条件的时间点，将第二图像数据合并到第一图像数据中，并进行处理以在将已合并第二图像数据的第一图像数据显示在预览屏幕上时，将已合并第二图像数据的第一图像数据存储在存储器中。
20.如权利要求15所述的电子装置，其中，所述多个相机同时进行操作以将第一图像数据和第二图像数据进行合并，其中，一个相机独立地进行操作，并且电子装置仅在满足用于图像数据合并器的条件的时间点操作另一相机以获得关于要合并的对象的图像数据。
【文档编号】H04N5/232GK103916595SQ201410005043
【公开日】2014年7月9日 申请日期:2014年1月6日 优先权日:2013年1月4日
【发明者】朴亢圭, 林承卿, 金大成, 金索拉, 金贤璟 申请人:三星电子株式会社