本发明涉及机器视觉技术领域，具体而言，涉及一种成像方法、装置及电子设备。
背景技术：
在互联网时代，手机已经成为人们日常使用频率最高的工具之一，手机的拍照功能也越来越受大家的重视。在机器视觉技术领域，能够精确计算出目标场景的景深数据，便能更有效的进行图像的处理，优化成像效果，从而模拟各种单反相机的光学特效。但是，现有技术中，手机往往无法精确计算出目标场景的所有景深数据，例如，无法同时精确计算出目标场景中的近景景深数据和远景景深数据，如此，便无法复原目标场景的全局三维空间，从而无法保障手机拍照的成像效果。
技术实现要素：
有鉴于此，本发明的目的在于提供一种成像方法、装置及电子设备，以解决上述问题。
本发明实施例提供了一种成像方法，应用于安装有结构光模组和双摄模组的电子设备，所述方法包括：
获得所述结构光模组采集的第一图像，并计算出所述第一图像中各第一像素点的景深数据，以选取出所述第一图像中景深数据在预设近景景深范围内的第一像素点，作为第一待融合像素点；
获得所述双摄模组采集的第二图像，并计算出所述第二图像中各第二像素点的景深数据，以选取出所述第二图像中景深数据在预设远景景深范围的第二像素点，作为第二待融合像素点；
对所述第一待融合像素点和所述第二待融合像素点进行融合，得到目标图像。
进一步地，所述结构光模组包括光投射器和第一摄像头，获得所述结构光模组采集的第一图像，并计算出所述第一图像中各第一像素点的景深数据的步骤，包括：
控制所述光投射器向目标场景投射结构光源，并控制所述第一摄像头采集所述结构光源投射在所述目标场景后产生的结构光图像，作为第一图像；
根据三角测量原理计算出所述第一图像中各第一像素点的景深数据。
进一步地，所述双摄模组包括第一摄像头和第二摄像头，获得所述双摄模组采集的第二图像，并计算出所述第二图像中各第二像素点的景深数据的步骤，包括：
控制所述第一摄像头采集目标场景的图像，作为第一待合成图像，以及控制所述第二摄像头采集所述目标场景的图像，作为第二待合成图像；
将所述第一待合成图像和所述第二待合成图像合成为所述第二图像；
对比所述第一待合成图像和所述第二待合成图像，得到所述第二图像中各像素点的景深数据。
进一步地，对比所述第一待合成图像和所述第二待合成图像，得到所述第二图像中各像素点的景深数据的步骤，包括：
针对所述第二图像中的各第二像素点，获得所述第一待合成图像中与所述第二像素点对应的第三像素点，以及所述第二待合成图像中与所述第二像素点对应的第四像素点；
计算出所述第三像素点和所述第四像素点的视差值；
获得所述第一摄像头和所述第二摄像头的焦距，以及所述第一摄像头与所述第二摄像头的中心距，根据所述视差值、所述焦距和所述中心距计算出所述第二像素点的景深数据。
进一步地，所述第一摄像头为黑白摄像头，所述第二摄像头为彩色摄像头，所述方法还包括：
对所述第二待合成图像进行解析，获得所述第二待合成图像中各第四像素点的色彩值；
针对所述目标图像中的各第五像素点，确定所述第二待合成图像中与所述第五像素点对应的第四像素点，并获取所述第四像素点的色彩值，将所述色彩值赋予所述第五像素点，以得到彩色的目标图像。
进一步地，所述电子设备还安装有用于遮挡所述第一摄像头的可见光截止滤光片和红外截止滤光片，以及对所述可见光截止滤光片和所述红外截止滤光片进行位置切换的切换结构，所述方法还包括：
对所述电子设备的当前工作模式进行判断；
若所述电子设备的当前工作模式为结构光模组采集模式，则控制所述切换结构对所述可见光截止滤光片和所述红外截止滤光片进行位置切换，以使所述可见光截止滤光片遮挡所述第一摄像头；
若所述电子设备的当前工作模式为双摄模组采集模式，则控制所述切换结构对所述可见光截止滤光片和所述红外截止滤光片进行位置切换，以使所述红外光截止滤光片遮挡所述第一摄像头。
进一步地，所述近景景深范围为区间(0，1)，单位为米，所述远景景深范围为区间[1，+∞)，单位为米，或，所述近景景深范围为区间(0，1]，单位为米，所述远景景深范围为区间(1，+∞)，单位为米。
本发明实施例还提供了一种成像装置，应用于安装有结构光模组和双摄模组的电子设备，所述装置包括：
第一像素点获取模块，用于获得所述结构光模组采集的第一图像，并计算出所述第一图像中各第一像素点的景深数据，以选取出所述第一图像中景深数据在预设近景景深范围内的第一像素点，作为第一待融合像素点；
第二像素点获取模块，用于获得所述双摄模组采集的第二图像，并计算出所述第二图像中各第二像素点的景深数据，以选取出所述第二图像中景深数据在预设远景景深范围的第二像素点，作为第二待融合像素点；
目标图像融合模块，用于对所述第一待融合像素点和所述第二待融合像素点进行融合，得到目标图像。
本发明实施例还提供了一种电子设备，所述电子设备安装有结构光模组和双摄模组，所述电子设备还包括：
存储器；
处理器；以及
成像装置，包括一个或多个存储于所述存储器中并由所述处理器执行的软件功能模块，所述成像装置包括：
第一像素点获取模块，用于获得所述结构光模组采集的第一图像，并计算出所述第一图像中各第一像素点的景深数据，以选取出所述第一图像中景深数据在预设近景景深范围内的第一像素点，作为第一待融合像素点；
第二像素点获取模块，用于获得所述双摄模组采集的第二图像，并计算出所述第二图像中各第二像素点的景深数据，以选取出所述第二图像中景深数据在预设远景景深范围的第二像素点，作为第二待融合像素点；
目标图像融合模块，用于对所述第一待融合像素点和所述第二待融合像素点进行融合，得到目标图像。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，实现上述成像方法。
本发明实施例提供的成像方法、装置及电子设备能够同时精确计算出目标场景中的近景景深数据和远景景深数据，从而选取出预设近景景深范围内的第一像素点，作为第一待融合像素点，以及选取出预设远景景深范围内的第二像素点，作为第二待融合像素点，并对所述第一待融合像素点和所述第二待融合像素点进行融合，得到目标图像，相对于现有技术而言，能够复原目标场景的全局三维空间，从而能够保障较佳的成像效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种电子设备的结构示意图。
图2为本发明实施例提供的一种电子设备的示意性结构框图。
图3为本发明实施例提供的一种成像方法的流程示意图。
图4为本发明实施例提供的一种成像装置的示意性结构框图。
图标：100-电子设备；110-结构光模组；120-双摄模组；131-光投射器；132-第一摄像头；133-第二摄像头；140-成像装置；141-第一像素点获取模块；142-第二像素点获取模块；143-目标图像融合模块；150-处理器；160-存储器。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1，为本发明实施例提供的一种应用所述成像方法及装置的电子设备100的结构示意图，所述电子设备100可以是手机、平板等便携式可摄像设备。本实施例中，所述电子设备100安装有结构光模组110和双摄模组120，所述电子设备100的工作模式包括结构光模组采集模式和双摄模组采集模式。作为一种实施方式，所述结构光模组110包括光投射器131和第一摄像头132，所述双摄模组120包括第一摄像头132和第二摄像头133，其中，所述光投射器131、第一摄像头132和第二摄像头133设置于所述电子设备100的正面或背面，且所述第一摄像头132和所述第二摄像头133分别设置于所述光投射器131的两侧。
请参阅图2，为图1所示电子设备100的示意性结构框图，所述电子设备100包括成像装置140、处理器150和存储器160。
所述处理器150和存储器160之间直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述成像装置140包括至少一个可以软件或固件(firmware)的形式存储在所述存储器160中或固化在所述网路设备的操作系统(operatingsystem，os)中的软件模块。所述处理器150用于执行存储器160中存储的可执行模块，例如，所述成像装置140所包括的软件功能模块及计算机程序等。所述处理器150可以在接收到执行指令后，执行所述计算机程序。
其中，所述处理器150可以是一种集成电路芯片，具有信号处理能力。所述处理器150也可以是通用处理器，例如，中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessing，np)等，还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。
所述存储器160可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。存储器160用于存储程序，所述处理器150在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流过程定义的电子设备100所执行的方法可以应用于处理器150中，或者由处理器150实现。
应当理解，图2所示的结构仅为示意，所述电子设备100还可以具有比图2更少或更多的组件，或是具有与图2所示不同的配置。此外，图2所示的各组件可以通过软件、硬件或其组合实现。
请参阅图3，图3为本发明实施例提供的一种成像方法的流程示意图，所述成像方法应用于图1和图2所示的电子设备100。所应说明的是，本发明提供的成像方法不以图3及以下所示的具体顺序为限制，以下结合图3对所述成像方法的具体流程及步骤进行详细阐述。
步骤s100，获得所述结构光模组采集的第一图像，并计算出所述第一图像中各第一像素点的景深数据，以选取出所述第一图像中景深数据在预设近景景深范围内的第一像素点，作为第一待融合像素点。
本实施例中，所述结构光模组包括光投射器和第一摄像头，所述电子设备的工作模式包括结构光模组采集模式。在接收到拍照命令时，可以控制所述电子设备以结构光模组采集模式工作，以控制所述光投射器向目标场景投射结构光源，并控制所述第一摄像头采集所述结构光源投射在所述目标场景后产生的结构光图像，作为第一图像。其中，所述光投射器为红外光投射器，所述结构光源可以是点结构光、线结构光或面结构光，本实施例对此不作具体限制。
在获得所述第一图像后，本实施例中，可以根据三角测量原理计算出所述第一图像中各第一像素点的景深数据，也即，根据已知的所述光投射器与所述第一摄像头的中心距，以及所述结构光源的投射角度获得所述第一图像中各第一像素点的景深数据。
本实施例中，所述电子设备为手机、平板等便携式可摄像设备，其结构较为小巧，因此，所述光投射器与所述第一摄像头的中心距的设置较为限制，使得目标场景中距离所述电子设备较远的物体图像信息无法被精确识别，具体地，经发明人研究发现，目标场景中距离所述电子设备1米以外的物体图像信息便无法被精确识别。基于此，本实施例中，在计算出所述第一图像中各第一像素点的景深数据后，还将选取出所述第一图像中景深数据在预设近景景深范围内的第一像素点，作为第一待融合像素点。本实施例中，所述近景景深范围为区间(0，1)，单位为米，或，所述近景景深范围为区间(0，1]，单位为米。
步骤s200，获得所述双摄模组采集的第二图像，并计算出所述第二图像中各第二像素点的景深数据，以选取出所述第二图像中景深数据在预设远景景深范围的第二像素点，作为第二待融合像素点。
本实施例中，所述双摄模组包括第一摄像头和第二摄像头，所述电子设备的工作模式还包括双摄模组采集模式。在接收到拍照命令时，可以控制所述双摄采集模式工作，以控制所述第一摄像头采集目标场景的图像，作为第一待合成图像，以及控制所述第二摄像头采集所述目标场景的图像，作为第二待合成图像，此后，将所述第一待合成图像和所述第二待合成图像合成为所述第二图像。需要说明的是，在接收到拍照命令时，所述电子设备可以先以结构光采集模式工作，再以双摄模组采集模式工作，也可以先以双摄采集模式工作，再以结构光采集模式工作，本实施例对此不作具体限制。
进一步地，通过对比所述第一待合成图像和所述第二待合成图像，即可得到所述第二图像中各像素点的景深数据。作为一种实施方式，针对所述第二图像中的各第二像素点，获得所述第一待合成图像中与所述第二像素点对应的第三像素点，以及所述第二待合成图像中与所述第二像素点对应的第四像素点，随后，计算出所述第三像素点和所述第四像素点的视差值，并获得所述第一摄像头和所述第二摄像头的焦距，以及所述第一摄像头与所述第二摄像头的中心距，再根据所述视差值、所述焦距和所述中心距计算出所述第二像素点的景深数据。
在安装所述双摄模组时，若所述第一摄像头与所述第二摄像头的中心距过小，目标场景中可较量争论的物体距离就很近，若想计算出更远距离，就必须增大所述第一摄像头与所述第二摄像头的中心距，但所述第一摄像头与所述第二摄像头的中心距过大时，由于所述第一摄像头和所述第二摄像头可视角的问题，会使得目标场景中距离所述电子设备较近的物体图像的景深数据无法被精确计算，具体地，经发明人研究发现，目标场景中距离所述电子设备1米以内的物体图像的景深数据便无法被精确计算。基于此，本实施例中，在计算出所述第二图像中各第二像素点的景深数据后，还将选取出所述第二图像中景深数据在预设远景景深范围的第二像素点，作为第二待融合像素点。本实施例中，所述近景景深范围为区间(0，1)，单位为米时，所述远景景深范围为区间[1，+∞)，单位为米，所述近景景深范围为区间(0，1]，单位为米时，所述远景景深范围为区间[1，+∞)，单位为米。
步骤s300，对所述第一待融合像素点和所述第二待融合像素点进行融合，得到目标图像。
由上，通过结构光模组和双摄模组的相互配合，能够同时精确计算出目标场景中的近景景深数据和远景景深数据，从而选取出预设近景景深范围内的第一像素点，作为第一待融合像素点，以及选取出预设远景景深范围内的第二像素点，作为第二待融合像素点，由此，对所述第一待融合像素点和所述第二待融合像素点进行融合，得到的目标图像即为完整的景深图像，因而，所述目标图像具有较佳的成像效果，能够给用户较好的视觉体验。
可选地，本实施例中，所述第一摄像头为黑白摄像头，所述第二摄像头为彩色摄像头，进一步地，为得到彩色的目标图像，本实施例中，还将对所述第二待合成图像进行解析，获得所述第二待合成图像中各第四像素点的色彩值，此后，针对所述目标图像中的各第五像素点，确定所述第二待合成图像中与所述第五像素点对应的第四像素点，并获取所述第四像素点的色彩值，将所述色彩值赋予所述第五像素点，以得到彩色的目标图像。
为了进一步地增强所述目标图像的成像效果，可选地，本实施例中，所述电子设备还安装有用于遮挡所述第一摄像头的可见光截止滤光片和红外截止滤光片，以及对所述可见光截止滤光片和所述红外截止滤光片进行位置切换的切换结构。在接收到拍照命令时，首先，对所述电子设备的当前工作模式进行判断，若所述电子设备的当前工作模式为结构光模组采集模式，则控制所述切换结构对所述可见光截止滤光片和所述红外截止滤光片进行位置切换，以使所述可见光截止滤光片遮挡所述第一摄像头，若所述电子设备的当前工作模式为双摄模组采集模式，则控制所述切换结构对所述可见光截止滤光片和所述红外截止滤光片进行位置切换，以使所述红外光截止滤光片遮挡所述第一摄像头。
如此，在所述电子设备以结构光模组采集模式工作时，便可以通过所述可见光截止滤光片滤除可见光，只保留红外光，避免可见光在所述结构光模组采集第一图像时产生的干扰，同样，在所述电子设备以双摄模组采集模式工作时，便可以通过所述红外截止滤光片滤除红外光，只保留可见光，避免可见红外光在所述双摄模组采集第二图像时产生的干扰，由此，增强了所述目标图像的成像效果。
请参阅图4，本发明实施例还提供了一种成像装置140，应用于图1和图2所示的电子设备100，所述成像装置140包括第一像素点获取模块141、第二像素点获取模块142和目标图像融合模块143。
所述第一像素点获取模块141用于获得所述结构光模组采集的第一图像，并计算出所述第一图像中各第一像素点的景深数据，以选取出所述第一图像中景深数据在预设近景景深范围内的第一像素点，作为第一待融合像素点。关于所述第一像素点获取模块141的描述具体可参考对图3中所示的步骤s100的详细描述，也即，步骤s100可以由所述第一像素点获取模块141执行。
所述第二像素点获取模块142用于获得所述双摄模组采集的第二图像，并计算出所述第二图像中各第二像素点的景深数据，以选取出所述第二图像中景深数据在预设远景景深范围的第二像素点，作为第二待融合像素点。关于所述第二像素点获取模块142的描述具体可参考对图3中所示的步骤s200的详细描述，也即，步骤s200可以由所述第二像素点获取模块142执行。
所述目标图像融合模块143用于对所述第一待融合像素点和所述第二待融合像素点进行融合，得到目标图像。关于所述目标图像融合模块143的描述具体可参考对图3中所示的步骤s300的详细描述，也即，步骤s300可以由所述目标图像融合模块143执行。
综上所述，本发明实施例提供的成像方法、装置及电子设备能够同时精确计算出目标场景的近景景深数据和远景景深数据，从而选取出预设近景景深范围内的第一像素点，作为第一待融合像素点，以及选取出预设远景景深范围内的第二像素点，作为第二待融合像素点，并对所述第一待融合像素点和所述第二待融合像素点进行融合，得到目标图像，相对于现有技术而言，能够复原目标场景的全局三维空间，从而能够保障较佳的成像效果。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者电子设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。