用于获得图像的方法和装置及其记录介质与流程

本公开涉及获得图像的装置和方法、以及其上记录有用于执行获得图像的方法的程序的记录介质。

背景技术：

随着信息技术(it)发展，装置识别用户的操作或对象的移动，将识别的操作或移动解释为输入信号，并且与输入信号相应地进行操作。因此，装置必须通过使用相机提取关于用户的操作或对象的移动的三维(3d)信息。

当装置被控制时，深度信息(3d信息)的必要性增加，并且最近已经积极地进行了用于提取3d信息的各种技术的研究。例如，正在开发一种将具有特定图案的光投射到对象并感测被对象反射和反馈的光的图案的变化从而获得对象的深度信息的技术。然而，与彩色图像相比，深度信息仍具有低分辨率，导致3d图像的质量下降。

技术实现要素：

技术问题

当装置被控制时，深度信息(3d信息)的必要性增加。然而，与彩色图像相比，深度信息仍具有低分辨率，导致3d图像的质量下降。

技术方案

一种用于获得图像的装置包括：投影仪，被配置为将具有预设图案的光投射到对象；第一相机，被配置为感测被对象反射和反馈的光以获得深度图像；第二相机，被配置为获得对象的彩色图像；运动传感器，被配置为感测装置的运动。所述装置还包括：处理器，被配置为通过改变关于投射的光和由第一相机感测到的光的参数来获得对象的彩色图像和多个深度图像。当装置的运动小于阈值时，处理器被配置为将从所述多个深度图像分别获得的多条深度信息彼此合并，并且基于合并后的深度信息和彩色图像获得对象的3d图像。

附图说明

为了更完整地理解本公开及其优点，现在参考下面结合附图进行的描述，其中，相同的参考符号表示相同的部件：

图1示出根据各种实施例的网络环境中的装置的框图；

图2示出根据另一实施例的用于获得图像的装置的框图；

图3示出根据另一实施例的用于获得图像的装置的框图；

图4示出根据实施例的装置获得图像的方法的流程图；

图5a至图5c是用于解释根据实施例的装置获得对象的多个深度图像的方法的示图；

图6a至图6d是用于解释由根据实施例的装置感测到的运动的曲线图；

图7示出用于解释根据实施例的根据实施例的装置将从多个深度图像分别获得的多条深度信息彼此合并的方法的示图；

图8示出用于解释根据实施例的根据实施例的装置渲染从多个深度图像分别获得的多条深度信息的方法的示图；

图9示出根据实施例的方法的流程图，其中，在所述方法中，根据实施例的装置基于装置的运动信息从多个深度图像获得对象的深度信息；

图10示出用于解释根据实施例的根据实施例的装置从一系列彩色图像获得运动信息的方法的示图；

图11示出用于解释根据实施例的当装置的运动等于或大于阈值时根据实施例的装置将多个深度图像的各条深度信息彼此合并的方法的示图；

图12示出根据实施例的方法的流程图，其中，在所述方法中，根据实施例的装置根据获得的设置信息，基于对象的深度信息对对象的三维(3d)图像执行后处理；

图13a和图13b是用于解释根据实施例的装置根据获得的设置信息基于对象的深度信息对对象的3d图像执行后处理的方法的示图；

图14示出用于解释根据另一实施例的装置根据获得的设置信息基于对象的深度信息对对象的3d图像执行后处理的方法的示图。

最佳实施方式

为了解决上述缺陷，主要目标是提供一种用于通过使用从多个不同深度图像获得的深度信息来获得图像以提高用于获得三维(3d)图像的对象的深度信息的分辨率的方法和装置、以及其上记录有用于执行获得图像的方法的程序的记录介质。

附加的方面将在下面的描述中部分地阐述，并且部分地，将通过描述而清楚，或者可通过本实施例的实践来得知。

根据实施例的一方面，一种用于获得图像的装置，所述装置包括：投影仪，被配置为将具有预设图案的光投射到对象；第一相机，被配置为感测被对象反射和反馈的光以获得深度图像；第二相机，被配置为获得对象的彩色图像；运动传感器，被配置为感测装置的运动；以及处理器，被配置为：通过改变关于由投影仪投射的光和由第一相机感测到的光的参数中的至少一个参数来获得对象的多个深度图像，并且当感测到的装置的运动小于阈值时，将从所述多个深度图像分别获得的多条深度信息彼此合并，并且基于合并后的深度信息和获得的彩色图像获得对象的3d图像。

处理器可通过改变以下项中的至少一项来获得对象的所述多个深度图像：投射光的强度、投射光的时间段、感测被反射和反馈的光的时间段、以及感测被反射和反馈的光的灵敏度。

处理器可从所述多个深度图像中选择当感测到的装置的运动小于阈值时获得的深度图像，并且仅将选择的深度图像的多条深度信息彼此合并。

当感测到的装置的运动等于或大于阈值时，第一相机可重新获得对象的深度图像。

当感测到的装置的运动等于或大于阈值时，处理器可基于装置的表示由运动传感器感测到的运动的运动信息将所述多个深度图像的各条深度信息彼此合并。

处理器可基于合并后的深度信息确定包括在获得的彩色图像中的多个像素的各自的深度值。

处理器可基于与在包括在获得的彩色图像中的多个像素中的尚未确定深度值的第一像素相邻的像素的深度值，确定第一像素的深度值。

处理器可基于合并后的深度信息和预设的对焦信息来模糊对象的3d图像的至少一部分。

处理器可基于合并后的深度信息从对象的3d图像检测与距装置的预设距离范围相应的区域。

根据实施例的一方面，一种在装置中获得图像的方法包括：改变关于具有预设图案并被投射到对象上的光以及被对象反射和反馈的光的参数中的至少一个参数，以获得对象的多个深度图像；当装置的运动小于阈值时，将从获得的所述多个深度图像分别获得的多条深度信息彼此合并；并且基于合并后的深度信息和对象的彩色图像获得对象的3d图像。

获得所述多个深度图像的步骤可包括：通过改变以下项中的至少一项来获得对象的所述多个深度图像：投射光的强度、投射光的时间段、感测被反射和反馈的光的时间段、以及感测被反射和反馈的光的灵敏度。

所述方法还可包括：从所述多个深度图像中选择当感测到的装置的运动小于所述阈值时获得的深度图像，其中，合并步骤包括：将选择的深度图像的各条深度信息彼此合并。

所述方法还可包括：当感测到的装置的运动等于或大于所述阈值时，重新获得对象的深度图像。

合并步骤可包括：当感测到的装置的运动等于或大于所述阈值时，基于装置的表示由运动传感器感测到的运动的运动信息，将所述多个深度图像的各条深度信息彼此合并。

获得3d图像的步骤可包括：基于合并后的深度信息确定包括在获得的彩色图像中的多个像素的各自的深度值。

确定步骤可包括：基于与在包括在获得的彩色图像中的多个像素中的尚未确定深度值的第一像素相邻的像素的深度值，确定第一像素的深度值。

所述方法还可包括：基于合并后的深度信息和预设的对焦信息，模糊对象的3d图像的至少一部分。

所述方法还可包括：基于合并后的深度信息，从对象的3d图像检测与预设距离范围相应的区域。

在进行下面的详细描述之前，阐述在整个本专利文件中使用的特定词和短语的定义可能是有利的：术语“包括”和“包含”及其衍生词表示包括而没有限制；术语“或”是包括的，表示和/或；短语“与…相关联”和“与此相关联”及其衍生词可表示包括、包括在…中、与…互相联系、包含、包含在…中、连接到…或与…连接、耦接到…或与…耦接、与…通信、与…合作、交错、并置、与…接近、绑定到或与…绑定、具有、具有…的属性等；并且术语“控制器”表示控制至少一个操作的任何装置、系统或它们的一部分，这样的装置可以以硬件、固件或软件或者其中的至少两个的某种组合来实现。应注意，与任何特定控制器相关联的功能无论本地还是远程可以是集中的或分布式的。

此外，下面描述的各种功能可由一个或更多个计算机程序来实现或支持，其中，每个计算机程序由计算机可读程序代码形成并且包含在计算机可读介质中。术语“应用”和“程序”指的是适于以合适的计算机可读程序代码实现的一个或更多个计算机程序、软件组件、指令集、步骤、功能、对象、类、实例、相关数据或其中的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，其中，所述计算机代码包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如，只读存储器(rom)、随机存取存储器(ram)、硬盘驱动器、光盘(cd)、数字视频盘(dvd)或任何其他类型的存储器。“非暂时性”计算机可读介质排除了传输瞬时电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质和可存储并且随后重写数据的介质(诸如，可重写光盘或可擦除存储装置)。

在整个本专利文件中提供对特定词和短语的定义，本领域中的普通技术人员应理解，在许多情况(如果不是大多数情况)下，这些定义适用于这些定义的词和短语的先前和将来使用。

具体实施方式

下面讨论的图1至图14以及在本专利文件中用于描述本公开的原理的各种实施例仅用作说明，并且不应以任何方式被解释为限制本公开的范围。本领域中的技术人员将理解，本公开的原理可在任何适当布置的系统或装置中实现。

在本公开中，将理解，诸如“包括”、“具有”等的术语意在指示存在特征(例如，数字、功能、操作或诸如部件的组件)，并不意在排除可存在或可添加一个或更多个其他特征的可能性。

如在本公开中所使用的，术语“a或b”、“a和/或b中的至少一个”和“a和/或b中的一个或更多个”可包括列出项中的任意一个和所述项的至少一个组合中的全部。例如，“a或b”、“a和b中的至少一个”或“a或b中的至少一个”可包括(1)至少一个a、(2)至少一个b或(3)至少一个a和至少一个b。

尽管诸如“第一”、“第二”等的术语可用于描述各种组件，但是这些组件不必限于上述术语。上述术语仅用于将一个组件与另一组件区分开。例如，第一用户装置和第二用户装置可指示不同的用户装置，而不管顺序或重要性如何。例如，在不脱离本公开的教导的情况下，下面讨论的第一组件可被命名为第二组件，并且类似地，第二组件可被命名为第一组件。

当组件(第一组件)与第二组件“直接耦接”或组件(第一组件)“被直接耦接到”第二组件或者组件(第一组件)被“直接连接到”第二组件时，第一组件可直接或通过另一组件(第三组件)被连接到第二组件。另一方面，当第一组件与第二组件“直接耦接”或第一组件被“直接耦接到”第二组件或者第一组件“被直接连接到”第二组件时，在第一组件与第二组件之间不存在其他组件。

在本公开中使用的表述“被配置为(或被设置为)…”可根据情况与例如“适合于…”，“具有…的能力”，“被设计为…”，“被适配为…”，“被制造为…”或“能够…”互换使用。表述“被配置为(或被设置为)…”可不一定指的是在硬件方面“被专门设计为…”。相反，在某些情况下，表述“被配置为…的装置”可指的是装置与另一装置或部件一起“能够…”的情况。例如，短语“被配置为(或被设置为)执行a、b和c的处理器”可以是用于执行a、b和c的专用处理器(例如，嵌入式处理器)，或用于通过执行存储在存储装置中的至少一个软件程序来执行a、b和c的通用处理器(例如，中央处理器(cpu)或应用处理器(ap))。

本公开中使用的术语仅用于描述具体示例实施例，并不意在限制本公开。除非在上下文中具有明显不同的含义，否则以单数形式使用的表述可包含复数表述。除非另外定义，否则本文使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域中的普通技术人员通常理解的含义相同的含义。还将理解，除非本文清楚地定义，否则在通用词典中定义的术语应被解释为具有与它们在相关技术的上下文中的含义相同或相似的含义，并且将不以理想的或过于正式的意义被解释。在一些情况下，本文定义的术语不可被解释为排除本公开的实施例。

根据各种实施例的装置可包括例如以下项中的至少一项：智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pdp)、mp3播放器、移动医疗装置、相机和可穿戴装置，但不限于此。根据各种实施例，可穿戴装置可包括以下项中的至少一项：配件型可穿戴装置(例如，手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴式装置(hmd))、织物或服装集成装置(例如，电子服装)、身体附属型可穿戴装置(例如，皮肤垫或纹身)和身体植入型可穿戴装置(例如，植入电路)。

根据一些实施例，装置可以是家用电器。家用电器可包括例如以下项中的至少一项：电视(tv)、数字视频盘(dvd)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家用自动控制面板、安全控制面板、tv盒(例如，)、游戏机、电子词典、电子钥匙、摄录机和电子相框，但不限于此。

根据其他实施例，装置可包括以下项中的至少一项：各种医疗装置(例如，各种便携式医学测量装置(血糖测量装置、心跳测量装置、血压测量装置和温度计)、磁共振血管造影(mra)、磁共振成像(mri)、计算机断层扫描(ct)和超声机器)、导航装置、全球导航卫星系统(gnss)、事件数据记录器(edr)、飞行数据记录器(fdr)、车辆信息娱乐装置、船用电子装备(例如，船用导航装置或陀螺罗盘)、航空电子设备、安全装置、汽车头单元、工业或家用机器人、自动柜员机(atm)、销售点(pos)装置和物联网(iot)装置(例如，灯泡、各种传感器、电表或气表、洒水装置、火警警报器、恒温器、路灯、烤面包机、健身器材、热水箱、加热器和锅炉)但不限于此。

根据一些实施例，装置可包括以下项中的至少一项：家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪或各种测量仪器(例如，水表、电表、气表或波表)，但不限于此。根据各种实施例，装置可以是以上列出的装置的组合。装置也可以是柔性装置。当然，装置不限于以上列出的装置，并且可根据新技术的发展包括新装置。

现在将参照附图更全面地描述根据各种实施例的用于获得图像的装置。根据本公开，术语“用户”可指使用装置的人，或者可指使用装置的设备(例如，人工智能(ai)装置)。

图1示出根据各种实施例的网络环境100中的装置101的框图。

图1示出根据各种实施例的网络环境100内的装置101。装置101可包括总线110、处理器120、存储器130、输入/输出(i/o)接口150、显示器160和通信接口170。根据一些实施例，装置101可省略上述组件中的至少一个组件或者可额外包括另一组件。

总线110可将处理器120、存储器130、i/o接口150、显示器160和通信接口170彼此连接，并且可包括用于向处理器120、存储器130、i/o接口150、显示器160和通信接口170发送信息(例如，控制消息和/或数据)并且/或者从处理器120、存储器130、i/o接口150、显示器160和通信接口170接收信息(例如，控制消息和/或数据)的电路。

处理器120可包括cpu、ap和通信处理器(cp)中的至少一个。处理器120可控制装置101的至少一个组件并且/或者执行与通信或数据处理有关的操作。

存储器130可包括易失性存储器和/或非易失性存储器。存储器130可存储与装置101的至少一个组件有关的命令或数据。根据示例实施例，存储器130可存储软件和/或程序140。

程序140可包括例如内核141、中间件143、应用编程接口(api)145和/或应用程序(或应用)147。内核141、中间件143和api145中的至少一些可被称为操作系统(os)。

i/o接口150可作为能够将从用户或外部装置输入的命令或数据发送到装置101的至少一个组件的接口来进行操作。此外，i/o接口150可向用户或其他外部装置输出从装置101的至少一个组件接收到的命令或数据。

显示器160可包括液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、微机电系统(mems)显示器或电子纸显示器，但不限于此。显示器160可向用户显示例如各种类型的内容(例如，文本、图像、视频、图标或符号)。显示器160可包括触摸屏，并且可接收使用电子笔或用户的身体的一部分进行的触摸输入、手势输入、接近输入或悬停输入。

通信接口170可设置装置101与外部装置(例如，第一外部装置102、第二外部装置104或服务器106之间的通信。例如，通信接口170可通过经由有线通信或无线通信连接到网络162来与外部装置(例如，第二外部装置104或服务器106)通信。

无线通信可使用以下项中的至少一项作为蜂窝通信协议：长期演进(lte)、高级lte(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、通用移动电信系统(umts)、无线宽带(wibro)和全球移动通信系统(gsm)。此外，无线通信可包括短程通信164。短程通信164可包括无线保真(wifi)、蓝牙、近场通信(nfc)和全球导航卫星系统(gnss)中的至少一个。gnss可根据区域或带宽包括全球定位系统(gps)、格洛纳斯(俄罗斯全球导航卫星系统)、北斗导航卫星系统(bds)和伽利略系统(欧洲全球基于卫星的导航系统)中的至少一个。这里，“gps”和“gnss”可互换使用。有线通信可包括通用串行总线(usb)、高清晰度多媒体接口(hdmi)、推荐标准232(rs-232)和普通老式电话服务(pots)中的至少一个。网络162可包括电信网络(诸如，计算机网络(例如，局域网(lan)或广域网(wan)、互联网和电话网络)中的至少一个。

第一外部装置102和第二外部装置104中的每一个可以与装置101类型相同或类型不同。根据示例实施例，服务器106可包括一个或更多个服务器的组。根据各种实施例，由装置101执行的所有操作或一些操作可由一个或更多个装置(例如，第一外部装置102和第二外部装置104或服务器106)执行。根据实施例，当装置101需要自动地或根据请求执行功能或服务时，装置101可不执行所述功能或服务，而是请求另一装置(例如，第一外部装置102或第二外部装置104或服务器106)执行相关功能或服务中的至少一些，或者电子装置101除了执行所述功能或服务之外，还可请求另一装置(例如，第一外部装置102或第二外部装置104或服务器106)执行相关功能或服务中的至少一些。所述另一装置(例如，第一外部装置102或第二外部装置104或服务器106)可执行请求的功能或附加的功能，并且将执行请求的功能或附加的功能的结果发送到装置101。然后，装置101可在没有改变的情况下提供接收到的结果，或通过额外处理接收到的结果来提供请求的功能或服务。为此，例如，可使用云计算技术、分布式计算技术或客户端-服务器计算技术。

图2示出根据另一实施例的用于获得图像的装置200的框图。

装置200可包括处理器210、通信模块220、用户识别模块(sim)224、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、指示器293、电机295、电力管理模块297和电池299。

处理器210可驱动os或应用程序以控制与处理器210连接的多个硬件或软件组件，并且可执行各种数据处理和计算。处理器210可被实现为例如片上系统(soc)。根据实施例，处理器210还可包括图形处理单元(gpu)、图像信号处理器和/或数字信号处理器。处理器210可包括图2中示出的组件中的至少一些组件，例如，蜂窝模块221。处理器210可将从其他组件(例如，非易失性存储器)中的至少一个组件接收到的命令或数据加载到易失性存储器中并处理所述命令或数据，并且将各种数据存储到非易失性存储器中。

通信模块220可包括例如蜂窝模块221、wifi模块223、蓝牙模块225、gnss模块227(例如，gps模块、格洛纳斯模块、北斗模块或伽利略模块)、nfc模块228和射频(rf)模块229。

存储器230可包括内部存储器232或外部存储器234。内部存储器232可包括易失性存储器(例如，动态随机存取存储器(dram)、静态ram(sram)或同步动态ram(sdram))和非易失性存储器(例如，一次性可编程只读存储器(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩模rom、闪速rom、闪存(例如，nand闪存或nor闪存)、硬盘驱动器或固态驱动器(ssd))中的至少一个。

外部存储器234可包括闪存驱动器(例如，紧凑型闪存(cf)、安全数字(sd)、微型sd、迷你sd、xd、极限数字(xd)、多媒体卡(mmc)或记忆棒)。外部存储器234可经由各种接口中的任意一个接口与装置200在功能上和/或物理上连接。

传感器模块240可测量物理量或检测装置200的操作状态，并且将测量或检测的信息转换为电信号。例如，传感器模块240可包括以下项中的至少一项：手势传感器240a、陀螺仪传感器240b、大气压传感器240c、磁性传感器240d、加速度传感器240e、握持传感器240f、接近传感器240g、颜色传感器240h(例如，rgb传感器)、生物传感器240i、温度/湿度传感器240j、照度传感器240k、电子罗盘240l和紫外(uv)传感器240m。传感器模块240还可包括用于控制其中的至少一个传感器的控制电路。根据一些实施例，装置200还可包括被配置为控制传感器模块240的作为处理器210的一部分或与处理器210分开的处理器，以在处理器210处于睡眠模式时控制传感器模块240。

输入装置250可包括触摸面板252、(数字)笔传感器254、键256和超声输入装置258。触摸面板252可使用电容方法、电阻方法、红外方法和超声方法中的至少一个。触摸面板252还可包括控制电路。触摸面板252还可包括触觉层，因此可向用户提供触觉响应。

(数字)笔传感器254可以是例如触摸面板的一部分，或者可包括专用的识别片。键256可包括例如物理按钮、光学键或键区。超声输入装置258可经由麦克风(例如，麦克风288)感测由输入仪器产生的超声波并且可检查与感测到的超声波相应的数据。

显示器260可包括面板262、全息图装置264或投影仪266。面板262可被实现为柔性的、透明的或可穿戴的。面板262可被配置为与触摸面板252集成的一个模块。

接口270可包括hdmi272、usb274、光学接口276或d-超小型(d-sub)278。

音频模块280可将声音和电信号进行双向转换。音频模块280可包括处理输入或输出的声音信息的扬声器282、受话器284、耳机286或麦克风288。

相机模块291可以是用于捕捉静止图像和视频的装置，并且根据实施例，可包括至少一个成像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(isp)或闪光灯(例如，led或氙灯)。

电力管理模块297可管理装置200的电力。根据实施例，电力管理模块297可包括电力管理集成电路(pmic)、充电器ic、或者电池或燃油量表。pmic可使用有线和/或无线充电方法。电池量表可测量电池299的剩余容量、以及电池299充电期间的电压、电流或温度。

指示器293可显示装置200或装置200的组件(例如，处理器210)的状态，诸如，启动状态、消息状态或充电状态。电机295可将电信号转换为机械振动，并且可产生振动效果或触觉效果。

图3示出根据另一实施例的用于获得图像的装置300的框图。

装置300可包括投影仪310、第一相机320、第二相机330、处理器340和运动传感器350。然而，所有示出的组件都不是必要的。装置300可通过比图3中示出的组件更多或更少的组件来实现。

现在将详细描述上述组件。

投影仪310可将具有预设图案的光(例如，结构光)投射到对象上。由投影仪310辐射的光可以是近红外光，但是这仅是实施例。由投影仪310辐射的光不限于此。根据本实施例，对象可以是与由装置300设置的视场相应的场景，或者可以是位于视场内的对象。

第一相机320可感测被对象反射和反馈的光。第一相机320可基于感测到的光获得对象的深度图像。例如，第一相机320可根据感测到的光分析由投影仪310投射到对象上的光的图案的失真，从而获得包括表示对象与装置300之间的距离的深度信息的深度图像。

第二相机330可获得对象的彩色图像。例如，第二相机330可获得包括颜色信息(诸如，对象的rgb(红绿蓝)值)的对象的彩色图像。

根据本实施例，第一相机320和第二相机330彼此分开。然而，根据另一实施例，第一相机320和第二相机330可被实现为获得深度图像和彩色图像的单个相机。

处理器340可改变关于由投影仪310投射的光和由第一相机320感测到的光的参数中的至少一个参数，从而获得对象的多个深度图像。例如，处理器340可通过改变以下项中的至少一项来获得具有不同亮度的多个深度图像：投射光的强度、投射光的时间段、感测被反射的光的时间段、以及感测被反射的光的灵敏度。

当由运动传感器350感测到的装置300的运动小于阈值时，处理器340可将从多个深度图像分别获得的多条深度信息合并。另一方面，当感测到的装置300的运动等于或大于阈值时，处理器340可经由投影仪310和第一相机320重新获得对象的多个深度图像。根据另一实施例，处理器340可从多个深度图像中选择当装置300的运动小于阈值时获得的深度图像，并且可将选择的深度图像的各条深度信息彼此合并。根据另一实施例，当感测到的装置300的运动等于或大于阈值时，处理器340可基于装置300的运动信息将从多个深度图像分别获得的多条深度信息合并。例如，处理器340可根据装置300的运动对包括在多个深度图像中的至少一个深度图像中的像素的深度值进行坐标变换，并且可将所述至少一个深度图像的经过坐标变换后的深度值与其余深度图像的深度值合并。

处理器340可基于合并后的深度信息和获得的彩色图像来获得对象的3d图像。例如，处理器340可将基于合并后的深度信息产生的深度图与彩色图像相映射，从而确定包括在彩色图像中的多个像素中的每个像素的深度值。处理器340可基于与在包括在彩色图像中的多个像素中的尚未确定深度值的第一像素相邻的像素的深度值，确定第一像素的深度值。

根据实施例，处理器340可基于合并后的深度信息和由装置300设置的对焦信息来模糊对象的3d图像的至少一部分。下面将参照图12、图13a和图13b更详细地描述这一点。根据另一实施例，处理器340可基于合并后的深度信息从对象的3d图像检测与预设距离范围相应的区域。下面将参照图14更详细地描述这一点。

运动传感器350可感测装置300的运动。例如，运动传感器350可感测在获得深度图像时装置300是否被旋转、摇动和平移。运动传感器350也可获得表示装置300被移动的方向和距离中的至少一个的运动信息。根据实施例，运动传感器350可包括加速度传感器、陀螺仪和电子罗盘中的至少一个。然而，这仅是实施例，并且运动传感器350不限于此。

图4示出根据实施例的装置获得图像的方法的流程图。

在操作410中，装置改变关于具有预设图案并被投射到对象上的光以及被对象反射和反馈的光的参数中的至少一个参数，从而获得对象的多个深度图像。

根据实施例，装置可将具有预设图案的光投射到位于视场内的对象上。当投射的光被对象反射时，装置可感测被对象反射和反馈的光，并且计算图案形状的失真度，从而获得对象的深度图像。

装置可在改变参数(诸如，投射到对象上的光的强度、输出光的时间段、以及感测被对象反射和反馈的光的灵敏度)的情况下获得对象的多个深度图像。由于装置改变这些参数，因此获得的多个深度图像可具有不同的亮度。下面将参照图5a至图5c更详细地描述这一点。

在操作420中，当装置的运动小于阈值时，装置可将从多个深度图像分别获得的多条深度信息彼此合并。

根据实施例，装置可分别从多个深度图像获得多条深度信息。由于多个深度图像是基于不同的参数值获得的，因此多个深度图像可包括不同区域的深度信息。例如，第一深度图像可包括相对靠近装置的区域的深度信息，并且第二深度图像可包括相对远离装置的区域的深度信息。

根据实施例，当装置的运动小于阈值时，装置可将包括在第一深度图像中的深度信息与包括在第二深度图像中的深度信息合并。

根据实施例，当装置的运动等于或大于阈值时，装置可重新获得对象的多个深度图像。重新获得多个深度图像的方法可与上述操作410相应。根据另一实施例，装置可从多个深度图像中选择当装置的运动小于阈值时获得的深度图像，并且可仅将选择的深度图像的多条深度信息彼此合并。根据另一实施例，装置可基于装置的运动信息对多个深度图像中的至少一个深度图像的深度信息进行坐标变换，并且可将多个深度图像的多条深度信息彼此合并。

在操作430中，装置可基于合并后的深度信息和对象的彩色图像来获得对象的3d图像。例如，装置可将基于合并后的深度信息产生的深度图与彩色图像相映射，从而确定包括在彩色图像中的多个像素中的每个像素的深度值。

图5a至图5c是用于解释根据实施例的装置获得对象的多个深度图像的方法的示图。

在图5a至图5c的实施例中，假设装置的运动小于阈值。

参照图5a，装置可通过控制关于由投影仪投射的光和由第一相机感测到的光的参数，获得具有相对高亮度的第一深度图像510。例如，装置可通过增大由投影仪投射的光的强度或增大由投影仪投射光的时间段来获得具有相对高亮度的第一深度图像510。根据另一示例，装置可通过增大由第一相机感测光的时间段或增大第一相机的相机增益来获得具有相对高亮度的第一深度图像510。由于以高亮度获得了第一深度图像510，因此可获得远离装置的区域的深度信息。

参照图5b，装置可通过控制关于由投影仪投射的光和由第一相机感测到的光的参数来获得具有相对低亮度的第二深度图像520。例如，装置可通过减小由投影仪投射的光的强度或减小由投影仪投射光的时间段来获得具有相对低亮度的第二深度图像520。根据另一示例，装置可通过减小由第一相机感测光的时间段或减小第一相机的相机增益来获得具有相对低亮度的第二深度图像520。由于以低亮度获得了第二深度图像520，因此可获得靠近装置的区域的深度信息。

参照图5c，装置可将从第一深度图像510获得的深度信息与从第二深度图像520获得的深度信息合并。当在第一深度图像510和第二深度图像520被获得的时刻装置的运动小于阈值时，装置可将包括在第一深度图像510中的深度信息与包括在第二深度图像520中的深度信息简单地合并。例如，位于第一深度图像510中的(x1，y1)处的像素的深度信息z1可与位于第二深度图像520中的(x2，y2)处的像素的深度信息z2合并，从而获得包括第一深度图像510的深度信息和第二深度图像520的深度信息两者的第三深度图像530。

根据实施例，装置可获得具有不同亮度的深度图像，并且将分别包括在深度图像中的多条深度信息彼此合并，从而增大针对对象的深度信息的分辨率。

图6a至图6d是用于解释由根据实施例的装置感测到的运动的曲线图。

根据实施例，装置可确定装置的运动是否小于阈值，从而确定是否将多个深度图像的各条深度信息彼此合并。装置可感测装置的运动，诸如，摇动、旋转和平移。装置的运动可用x轴、y轴和z轴三个方向表示。现在将参照图6a至图6d描述装置的运动。在图6a至图6d的曲线图中，x轴可表示多个深度图像中的每一个深度图像的样本数，并且y轴可表示在x轴、y轴和z轴方向上的运动值。

参照图6a，装置可经由感测到的运动信息确定多个深度图像在x轴、y轴和z轴方向上的运动值612、614和616小于阈值。例如，当装置由诸如三脚架的支架支撑时，通过装置获得的多个深度图像的运动可小于阈值。如图6a所示，当在获得多个深度图像的时刻装置的运动小于阈值时，装置可将从多个深度图像分别获得的多条深度信息彼此合并。

参照图6b，装置可经由感测到的运动信息确定在多个深度图像之中的在特定部分(样本数200-400)内获得的深度图像的在x轴、y轴和z轴方向上的运动值622、624和626等于或大于阈值。例如，当用户在他或她的手中握住装置时获得对象的深度图像时，如图6b所示的装置的运动可被感测到。根据实施例，装置可从多个深度图像仅选择其运动值小于阈值的深度图像。装置可分别从选择的深度图像获得多条深度信息，并且可将获得的多条深度信息彼此合并。根据另一实施例，装置可基于装置的运动信息对运动值等于或大于阈值的深度图像的深度信息进行坐标变换，并且可将多个深度图像的各条深度信息彼此合并。

参照图6c，装置可经由感测到的运动信息确定多个深度图像中的特定深度图像在x轴、y轴和z轴方向上的的运动值632、634和636等于或大于阈值。装置可经由感测到的运动信息确定装置移动的时间点。如以上参照图6b所述，装置可从多个深度图像中仅选择其运动值小于阈值的深度图像，并且可将选择的深度图像的各条深度信息彼此合并。

参照图6d，装置可经由感测到的运动信息确定多个深度图像中的大多数深度图像在x轴、y轴和z轴方向上的运动值642、644和646等于或大于阈值。因此，根据实施例，装置可丢弃获得的深度图像，并且可重新获得对象的多个深度图像。根据另一实施例，装置可基于装置的运动信息对获得的多个深度图像的各条深度信息进行坐标变换，并且可将多个深度图像的多条深度信息彼此合并。

根据实施例，如以上参照图6a至图6d所述，装置可基于感测到的运动信息识别装置的运动类型，并且可根据识别的装置的运动类型确定将多个深度图像的各条深度信息合并的方法。

图7示出用于解释根据实施例的根据实施例的装置700将从多个深度图像分别获得的多条深度信息彼此合并的方法的示图。

根据实施例，装置700可将从多个深度图像分别获得的多条深度信息(点云)映射在二维(2d)平面710上。装置700可将包括在多个深度图像中的空间上的点的各自的深度值映射在2d平面710上。例如，装置700可将空间上的多个点与2d平面710上的相应的x坐标和y坐标相映射。与在2d平面710上的x坐标和y坐标相应的像素的灰度值可被表示为点(例如，点722)的深度值。

装置700可通过分析图案的失真来创建具有深度信息的点云720。因此，可通过将深度信息给予与在2d平面上的x坐标和y坐标相应的每个像素的灰度值来表示空间的点云。然而，这仅是实施例，并且表示像素的深度值的方法不限于此。

图8示出用于解释根据实施例的根据实施例的装置渲染从多个深度图像分别获得的多条深度信息的方法的示图。

根据实施例，装置可将从多个深度图像分别获得的多条深度信息彼此合并。通过合并获得的合并后的深度信息可表示在深度图上，其中，该深度图表示装置的视点与对象表面之间的距离。

图8示出基于从多个深度图像分别获得的多条深度信息对包括在深度图中的像素的深度值进行插值的过程。通过仅使用从多个深度图像分别获得的多条深度信息，可能难以确定对象的全部区域的深度信息。因此，装置可通过使用与尚未确定深度信息的像素相邻的像素的深度值顺序地确定所述尚未确定深度信息的像素的深度值。

例如，如第二深度图820所示，装置可对在第一深度图810上显示的特定像素的深度值进行插值，从而确定与特定像素相邻的像素的深度值。特定像素的深度值可从多个深度图像的多条深度信息获得。如第三深度图830所示，通过重复上述插值，装置也可确定包括在深度图中的所有像素的深度值。

根据另一实施例，装置可通过使用彩色图像和深度图像来确定尚未获得深度信息的像素的深度值，以便提高插值的准确度。例如，在将彩色图像与深度图进行匹配之后，装置可通过使用从彩色图像获得的边缘信息、空间梯度等来确定包括在深度图中的像素之间的关系。装置可通过使用确定的像素之间的关系，基于与尚未确定深度值的像素相邻的像素的深度值来对尚未确定深度值的像素的深度值进行插值。

图9示出根据实施例的方法的流程图，其中，在所述方法中，根据实施例的装置基于装置的运动信息从多个深度图像获得对象的深度信息。

在操作910，装置可改变关于具有预设图案并被投射到对象上的光以及被对象反射和反馈的光的参数中的至少一个参数来计算图案的失真度，从而获得对象的多个深度图像。

操作910可与以上参照图4描述的操作410相应。

在操作920，装置可确定装置的运动是否等于或大于阈值。

根据实施例，装置可通过使用运动传感器来感测装置的运动。例如，装置可经由包括在装置中的传感器(诸如，加速度传感器、陀螺仪和电子罗盘)来确定在获得深度图像时装置是否移动。

装置也可确定关于装置的旋转角度、装置的摇动程度以及装置的移动位置和移动方向的运动信息。例如，装置可通过使用陀螺仪确定装置的旋转角度等，并且可通过使用加速度传感器来确定装置的移动速度和装置的摇动程度。装置的移动方向可使用电子罗盘来确定。

根据另一实施例，装置可从与多个深度图像分别匹配的多个彩色图像感测装置的运动。例如，装置可将包括在彩色图像中的对象的形状等彼此进行比较，并且基于包括在一系列彩色图像中的对象形状之间的差异来感测装置的运动。装置可根据包括在彩色图像中的对象的边缘等的位置之间的差异来确定运动信息。然而，因为基于包括在彩色图像中的对象形状之间的差异而获得的运动信息被归一化，所以可能难以检查实际的运动值。为了解决该问题，装置可通过使用从多个深度图像分别获得的多条深度信息对从彩色图像获得的对象的边缘等的位置之间的差异进行缩放来确定表示装置实际移动的方向和距离的运动信息。

根据另一实施例，装置可通过使用由运动传感器获得的运动信息和从与多个深度图像分别匹配的多个彩色图像获得的运动信息两者来提高装置的运动信息的准确度。

装置可预先存储运动阈值，其中，该运动阈值是用于确定多个深度图像的各条深度信息是否可彼此合并的基础。当装置的运动信息被确定时，装置可基于确定的运动信息确定装置的运动是否等于或大于阈值。

在操作930，装置可基于装置的运动信息将从多个深度图像分别获得的多条深度信息合并。

根据实施例，装置可基于运动信息对包括在多个深度图像中的第一深度图像和第二深度图像中的至少一个的坐标进行变换。例如，装置可基于包括在运动信息中的旋转信息和平移信息对包括在第二深度图像中的像素的深度值进行坐标变换。

装置可将通过对第二深度图像进行坐标变换获得的深度图像的深度信息与第一深度图像的深度信息合并。下面将参照图11更详细地描述这一点。

在操作940，装置可将从多个深度图像分别获得的多条深度信息彼此合并。

根据实施例，当装置的运动小于阈值时，装置可将分别包括在多个深度图像中的多条深度信息彼此简单地合并。

在操作950，装置可基于合并后的深度信息和对象的彩色图像来获得对象的3d图像。

例如，装置可将基于合并后的深度信息产生的深度图与彩色图像进行匹配，从而确定包括在彩色图像中的多个像素中的每个像素的深度值。

图10示出用于解释根据实施例的根据实施例的装置1010从一系列彩色图像获得运动信息的方法的示图。

参照图10，假设由装置1010获得的多个图像中的与样本1相应的第一深度图像1020是当装置1010处于第一位置时获得的，并且由装置1010获得的多个图像中的与样本2相应的第二深度图像1030是当装置1010处于第二位置时获得的。

装置1010可通过将从一系列彩色图像获得的对象的边缘等彼此进行比较来获得装置1010的运动信息。例如，装置1010可通过将从一系列彩色图像获得的对象的边缘等彼此进行比较来确定装置1010向右移动了135°。

根据实施例，当从一系列彩色图像获得装置1010的运动信息时，装置1010可基于获得的运动信息对与一系列彩色图像分别相应的深度图像中的一些深度图像的坐标进行变换。现在将参照图11更详细地描述这一点。

图11示出用于解释根据实施例的当装置的运动等于或大于阈值时根据实施例的装置将多个深度图像的各条深度信息彼此合并的方法的示图。

参照图11，根据实施例，装置可从与图10的多个深度图像相应的第一深度图像和第二深度图像分别获得第一深度信息1110和第二深度信息1120。

换句话说，装置可通过使用经由图10的运动信息获得的旋转矩阵和平移矩阵对第一深度信息进行变换来获得在第二深度信息的坐标系统上的新的深度信息，并且可通过将第一深度信息和第二深度信息彼此合并来获得具有增大的分辨率的深度信息。

当装置的运动等于或大于阈值时，装置可对第一深度信息1110和第二深度信息1120中的至少一个进行变换，并且可将第一深度图像的深度信息与第二深度图像的深度信息合并。例如，装置可基于基于多个彩色图像获得的运动信息对第二深度信息1120的坐标进行变换。

装置可将经过坐标变换后的第二深度信息1120与第一深度信息1110合并，从而获得比第一深度信息和第二深度信息具有更高分辨率的第三深度信息1130。

建议表示的是，在图11中，第三深度信息1130的图像中的点的数量增加，使得两个点云被合并为具有高分辨率的新的点云图像。

图12示出根据实施例的方法的流程图，其中，在所述方法中，根据实施例的装置根据获得的设置信息，基于对象的深度信息对对象的3d图像执行后处理。

在操作1210，装置可获得关于对象的3d图像的设置信息。关于对象的3d图像的设置信息可表示对3d图像执行的后处理的类型。后处理是用于给予3d图像特殊效果的图像处理，并且可以是模糊、蓝盒特效(blueboxing)等。然而，这仅是实施例，并且可由装置执行的后处理不限于此。例如，后处理可包括用于在3d图像上根据焦距、镜头的光圈显示图像效果的处理。

在操作1220，装置可基于获得的设置信息和对象的合并后的深度信息，从对象的3d图像检测与距装置的预设距离范围相应的区域。

根据实施例，装置可存储对象的合并后的深度信息。如以上参照图4所述，对象的合并后的深度信息可表示通过将包括在对象的多个深度图像中的多条深度信息彼此合并而产生的深度图。

装置可基于获得的设置信息来确定将要执行的后处理的类型。根据确定的后处理的类型，装置可检测对象的3d图像中的将被应用后处理的特定区域。例如，当后处理是模糊远程区域时，装置可从对象的3d图像检测远程区域。根据另一实施例，当后处理是蓝盒特效时，装置可从对象的3d图像检测特定距离处的区域以进行蓝盒特效处理。

在操作1230，装置可对检测到的区域执行与获得的设置信息相应的后处理。

根据实施例，装置可对检测到的区域执行诸如模糊或蓝盒特效的后处理，从而向对象的3d图像给予根据设置信息的效果。

图13a和图13b是用于解释根据实施例的装置1300根据获得的设置信息基于对象的深度信息对对象的3d图像执行后处理的方法的示图。

根据实施例，装置1300可根据上述方法，基于获得的设置信息对对象的3d图像执行后处理。

参照图13a，装置1300可经由包括在获得的设置信息中的镜头的光圈、焦距和模糊信息，将与获得的设置信息相应的后处理的类型确定为对距装置1300的短距离处的区域进行模糊。

因此，装置1300可基于对象的深度信息对对象的3d图像中的位于距装置1300的相对短距离处的第一区域1312执行模糊。作为执行后处理的结果，装置1300可获得短距离处的第一区域1312被模糊并且远距离处的第二区域1314未被模糊的对象的3d图像。

参照图13b，装置1300可经由包括在获得的设置信息中的镜头的光圈、焦距和模糊信息，将与获得的设置信息相应的后处理的类型确定为对距装置1300的远距离处的区域进行模糊。

因此，装置1300可基于对象的深度信息对对象的3d图像中的位于距装置1300的相对远距离处的第二区域1324执行模糊。作为执行后处理的结果，装置1300可获得远距离处的第二区域1324被模糊并且短距离处的第一区域1322未被模糊的对象的3d图像1320。

图14示出用于解释根据另一实施例的装置1400根据获得的设置信息基于对象的深度信息对对象的3d图像执行后处理的方法的示图。

参照图14，装置1400可经由获得的设置信息，将与获得的设置信息相应的后处理的类型确定为对与距装置1400的距离d1相应的区域进行蓝盒特效处理。

因此，装置1400可基于对象的深度信息从对象的3d图像1410检测与距离d1相应的区域1420。装置1400可去除除了检测到的区域1420之外的区域的图像，从而基于关于对象的3d图像1410的设置信息来执行后处理。

根据实施例，装置可通过将从多个不同的深度图像分别获得的多条深度信息合并来获得对象的3d图像，从而在x-y平面和z轴方向上提供具有增大的分辨率的3d图像。

本文的每个技术组件可被配置为一个或更多个组件，并且组件的名称可根据电子装置的类型而不同。根据各种实施例，电子装置可包括上述组件中的至少一个组件。可省略上述组件中的一些组件，或者除了上述组件之外还可包括其他组件。根据各种实施例的电子装置的一些组件被合并为单个实体，并且单个实体仍可执行尚未被合并的所述组件的功能。

可通过将计算机可读代码存储在计算机可读记录介质中来实现本发明。计算机可读记录介质是存储之后可由计算机系统读取的数据的任何类型的存储装置。

计算机可读代码被配置为：当计算机可读代码从计算机可读记录介质被读取并且由处理器执行时，执行根据本发明的拍摄设备控制方法的操作。计算机可读代码可用任何编程语言来实现。此外，本发明所属领域中的普通技术人员可容易地解释用于实现本发明实施例的功能程序、代码和代码段。

计算机可读记录介质的示例包括rom、ram、cd-rom、磁带、软盘和光学数据存储介质。计算机可读记录介质也可分布在连网的计算机系统上，使得计算机可读代码以分布式方式存储和执行。

尽管已经利用示例性实施例描述了本公开，但是可向本领域中技术人员建议各种改变和修改。意图是：本公开包含落入所附权利要求范围内的这些改变和修改。