一种图像采集装置及电子设备的制作方法

本发明涉及图像处理技术领域，尤其涉及一种图像采集装置及电子设备。

背景技术：

随着虚拟现实(vr，virtualreality)技术、增强现实(ar，augmentedreality)技术的发展，vr设备及ar设备越来越受到用户的热爱，然而在这些设备中通常要设置至少两个摄像头来辅助相应的应用，致使设备的体积大、成本高、数据处理困难。

技术实现要素：

本发明实施例提供一种图像采集装置及电子设备，能够仅采用一个图像采集装置实现图像深度处理，实现简单、成本低。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种图像采集装置，包括：

感光单元阵列层，设置有多个感光单元，每个所述感光单元包括以特定距离对称设置的第一感光子单元和第二感光子单元；其中，所述感光单元阵列层中的第一感光子单元形成第一子阵列；所述感光单元阵列层中的第二感光子单元形成第二子阵列；

第一处理器，用于刷新所述感光单元阵列层的第一子阵列，得到所述第一子阵列感应环境中光线形成的第一图像信号；

刷新所述感光单元阵列层的第二子阵列，得到所述第二子阵列感应环境中光线形成的第二图像信号；

根据所述第一图像信号、所述第二图像信号中成像的视差计算深度，并融合所述第一图像信号、所述第二图像信号以及所述深度形成深度图像信号。

上述方案中，所述第一处理器包括：

数字信号处理器，用于对所述感光单元阵列层输出的所述第一图像信号、所述第二图像信号进行预处理并输出；

所述深度计算单元，连接所述数字信号处理器，用于根据各像素点在所述第一图像信号、所述第二图像信号的成像位置差异、与到成像平面的距离的反比例关系计算相应像素点的深度，将各像素点的深度以及在第一图像信号、第二图像信号的颜色信息融合，形成所述深度图像信号。

上述方案中，所述第一处理器，还用于同步刷新所述感光单元阵列层的第一子阵列和所述第二子阵列，得到所述感光单元阵列层的全部感光子单元感应环境中光线形成的原始图像信号。

上述方案中，所述装置还包括：

信号放大器，连接所述感光单元阵列层，用于对所述感光单元阵列层输出的模拟信号类型的图像信号进行放大；

增益控制器，连接所述信号放大器，用于对放大后的图像信号进行增益控制；

模数转换器，连接所述增益控制器，用于将所述感光单元阵列层输出的图像信号进行模数转换，按照预定位宽输出至所述第一处理器进行处理。

上述方案中，所述装置还包括：

输出接口，连接所述第一处理器，用于根据先入先出的方式，将传输至所述输出接口的所述深度图像信号和/或所述原始图像信号输出至所述图像采集装置外部的处理单元。

本发明实施例还提供了一种电子设备，所述电子设备包括：

一个图像采集装置，包括：设置有多个感光单元的感光单元阵列层，每个所述感光单元包括以特定距离对称设置的第一感光子单元和第二感光子单元；其中，所述感光单元阵列层中的第一感光子单元形成第一子阵列；所述感光单元阵列层中的第二感光子单元形成第二子阵列；

所述图像采集装置，用于刷新所述感光单元阵列层的第一子阵列，得到所述第一子阵列感应环境中光线形成的第一图像信号；

刷新所述感光单元阵列层的第二子阵列，得到所述第二子阵列感应环境中光线形成的第二图像信号；

根据所述第一图像信号、所述第二图像信号中成像的视差计算深度，并融合所述第一图像信号、所述第二图像信号以及所述深度形成深度图像信号；

输出所述深度图像信号及对应所述深度图像信号的原始图像信号；

第二处理器，用于基于所述深度图像信号中目标对象的深度，对所述原始图像信号进行处理；

或者，基于所述原始图像信号控制输出显示原始图像。

上述方案中，所述第二处理器，还用于识别出所述深度图像信号中目标对象的深度；

对所述原始图像信号中位于对应所述深度的焦平面以外的成像区域，进行模糊化处理。

上述方案中，所述图像采集装置，还用于对所述感光单元阵列层输出的所述第一图像信号、所述第二图像信号进行预处理；

以及，根据各像素点在所述第一图像信号、所述第二图像信号的成像位置差异、与到成像平面的距离的反比例关系计算相应像素点的深度，将各像素点的深度以及在第一图像信号、第二图像信号的颜色信息融合，形成所述深度图像信号。

上述方案中，所述图像采集装置，还用于同步刷新所述感光单元阵列层的第一子阵列和所述第二子阵列，得到所述感光单元阵列层的全部感光子单元感应环境中光线形成的所述原始图像信号。

上述方案中，所述图像采集装置，还用于对所述感光单元阵列层输出的模拟信号类型的图像信号进行放大，对放大后的图像信号进行增益控制，并将所述感光单元阵列层输出的图像信号进行模数转换，得到预定位宽的数字图像信号。

附图说明

图1为本发明实施例中图像采集装置的组成结构示意图一；

图2为现有技术中摄像头内图像传感器的俯视图；

图3为本发明实施例图像采集装置中像素点的设计示意图；

图4为本发明实施例图像采集装置中感光单元感应环境中光线的示意图；

图5为本发明实施例分别基于第一图像信号及第二图像信号得到的图像的示意图；

图6为本发明实施例中深度计算原理示意图；

图7为本发明实施例中输出的深度图像的一个示意图；

图8为本发明实施例中图像采集装置的组成结构示意图二；

图9为本发明实施例中图像传感器的电路结构示意图；

图10为本发明实施例中图像传感器的组成结构示意图；

图11为本发明实施例中电子设备的组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

需要说明的是，本发明实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本发明实施例提供了一种图像采集装置，如图1所示，本发明实施例中图像采集装置的组成包括：

感光单元阵列层11，设置有多个感光单元，每个所述感光单元包括以特定距离对称设置的第一感光子单元和第二感光子单元；其中，所述感光单元阵列层中的第一感光子单元形成第一子阵列；所述感光单元阵列中的第二感光子单元形成第二子阵列；

第一处理器12，用于刷新所述感光单元阵列层的第一子阵列，得到所述第一子阵列感应环境中光线形成的第一图像信号；

刷新所述感光单元阵列层的第二子阵列，得到所述第二子阵列感应环境中光线形成的第二图像信号；

根据所述第一图像信号、所述第二图像信号中成像的视差计算深度，并融合所述第一图像信号、所述第二图像信号以及所述深度形成深度图像信号。

这里，现有技术中摄像头内图像传感器的俯视图如图2所示，每个感光单元对应一个像素点，每个感光单元感应来自所处环境的光线而形成所处环境的一个像素点的信号。在本发明实施例中，将每个像素点被拆分成对称的两部分，如图3所示为本发明实施例中像素点的设计示意图，每个像素点由左右两个像素构成，两个像素相互之间不能透过光线，相应的，每个感光单元被拆分成了两个子单元(第一感光子单元和第二感光子单元)，如图4所示为本发明实施例图像采集装置中感光单元感应环境中的光线的示意图；并依据实际需要设定第一感光子单元和第二感光子单元间的所述特定距离。

在实际实施时，第一处理器12对感光单元阵列的刷新为依据需要设置的定时刷新，如，在第一时间刷新感光单元阵列层的第一子阵列，间隔特定时间刷新感光单元阵列层的第二子阵列。这里可以理解成第一处理器12定时读取基于感光单元阵列层得到的第一图像信号及第二图像信号，而在实际实施时，基于第一子阵列得到的第一图像信号及基于第二子阵列得到的第二图像信号可看作人的两只眼睛分别得到的图像信号，也可看作是由两个摄像头得到的图像信号，因此，可采用双目测距的原理根据所述第一图像信号、所述第二图像信号中成像的视差计算深度，即进行景深计算，其中，基于第一图像信号得到的第一图像及基于第二图像信号得到的第二图像的一种示意图如图5所示。

基于本发明上述实施例，在实际实施时，第一处理器12包括：

数字信号处理器121，用于对所述感光单元阵列层输出的所述第一图像信号、所述第二图像信号进行预处理并输出；

这里，对所述第一图像信号、第二图像信号进行的预处理可以包括：自动曝光控制(aec，automaticexposurecontrol)、自动增益控制(agc，automaticgaincontrol)、自动白平衡(awb，automaticwhitebalance)、色彩校正、gamma校正、祛除坏点等等。

深度计算单元122，用于根据各像素点在所述第一图像信号、所述第二图像信号的成像位置差异、与到成像平面的距离的反比例关系计算相应像素点的深度，将各像素点的深度以及在第一图像信号、第二图像信号的颜色信息融合，形成所述深度图像信号。

这里，对本发明实施例中深度计算的原理进行简单的介绍。如图6所示为本发明实施例中深度计算原理示意图，主要是利用了目标点在左右两幅视图上成像的横向坐标之间存在的差异，即像素点在所述第一图像信号、所述第二图像信号的成像位置差异，即第一感光子单元和第二感光子单元之间的距离，d＝x^l-x^r与目标点到成像平面的距离z(像素点到成像平面的距离)存在着反比例的关系：其中，f为焦距，t为第一感光子单元和第二感光子单元的中心距离；通过数学推导可得出：在深度计算单元122得到各像素点的深度以后，将各像素点的深度以及在第一图像信号、第二图像信号的颜色信息融合，便形成深度图像信号，基于深度图像信号输出的深度图像的一个示意图如图7所示。在本发明实施例中，由于第一感光子单元和第二感光子单元之间的距离为一个固定值，公差非常的小，因此无需光学系统校准。

基于本发明上述实施例，在实际应用中，所述第一处理器12，还用于同步刷新所述感光单元阵列层的第一子阵列和所述第二子阵列，得到所述感光单元阵列层的全部感光子单元感应环境中光线形成的原始图像信号。也就是说，将每个感光单元中的第一感光子单元和第二感光子单元结合，看作一个整体，输出基于每个感光单感应环境中光线形成的原始图像信号，也即，将第一图像信号、第二图像信号叠加得到的图像信号。进而当图像采集装置设置于某电子设备上时，该电子设备中的处理器可以基于图像采集装置输出的深度图像信号对输出的原始图像信号进行处理，得到预设需求的图像信息，例如把原始图像信号中的前景信息作为主体突出出来，把背景信息虚化处理，形成虚实对比，虚实结合给人深刻的印象。

在实际实施时，本发明实施例的图像采集装置还可以包括：

信号放大器13，连接所述感光单元阵列层11，用于对所述感光单元阵列层11输出的模拟信号类型的图像信号进行放大；

这里包括两种情况：一种对应景深模式，也即对第一处理器12分别刷新第一子阵列和第二子阵列得到的第一图像信号及第二图像信号进行放大；另一种对应常规图像模式，也即对第一处理器12同步刷新第一子阵列和第二子阵列得到的原始图像信号进行放大。

增益控制器14，连接所述信号放大器13，用于对放大后的图像信号进行增益控制。

模数转换器15，连接所述增益控制器14，用于将所述感光单元阵列层输出的图像信号进行模数转换，按照预定位宽输出至所述第一处理器12进行处理；

这里同样包括两种情况，一种对应景深模式，也即对第一处理器12分别刷新第一子阵列和第二子阵列得到的第一图像信号及第二图像信号，分别进行模数转换，然后按照预定位宽输出；另一种对应常规图像模式，也即对第一处理器12同步刷新第一子阵列和第二子阵列得到的原始图像信号进行模数转换，然后按照预定位宽输出；在一实施例中，所述预定位宽可以依据实际需要进行设定，如10bit。

基于本发明上述实施例，在实际应用中，本发明实施例中的图像采集装置还包括：

输出接口16，连接所述第一处理器12，用于根据先入先出的方式，将传输至所述输出接口16的深度图像信号输出至所述图像传感器的外部的处理单元；

和/或，将传输至所述输出接口16的原始图像信号输出至所述图像传感器的外部的处理单元。

在实际应用中，本发明实施例图像采集装置中的上述感光单元阵列层11、第一处理器12、信号放大器13、增益控制器14、模数转换器15、以及所述输出接口16可集成到一个图像传感器中，相应的，图像采集装置还包括：镜头(lens)(相当于人眼中的晶状体，利用透镜的折射原理，景物光线透过镜头在聚焦平面上形成清晰的像)、红外滤光片(irfilter，infraredrayfilter)(主要作用为过滤掉进入镜头的光线中的红外光)，图像采集装置的一个示意图如图8所示，光线通过镜头进入图像采集装置内部，然后经过红外滤光片过滤红外光，最后到达图像传感器，图像传感器按照材质可以分为互补金属氧化物半导体(cmos，complementarymetaloxidesemiconductor)和电荷耦合元件(ccd，charge-coupleddevice)两种，图8以图像传感器为cmos为例。

图9为本发明实施例中图像传感器的电路结构示意图，如图9所示，当光线经红外滤光片进入时首先由感光单元阵列层感应，将光信号转变为电信号输出，然后经信号放大器(amp，amplifier)对电信号进行放大、增益控制器对放大后的电信号进行增益控制，然后输出给模数转换器(adc，analogtodigitalconverter)将模拟电信号转换成数字信号，然后输出给数字信号处理器(dsp，digitalsignalprocessor)，dsp对传输过来的数字信号进行预处理(自动曝光控制、自动增益控制、自动白平衡、色彩校正、gamma校正、祛除坏点等)，然后输出给深度计算单元进行像素点的深度计算，获得深度图像信号，经输出接口输出至图像采集装置外部的处理单元。当然，同时输出的还可以包括第一图像信号及第二图像信号。

作为一种实现方式，图像传感器中部件的设置可以采用叠层技术，如图10中的右侧视图(其中上部分为局部放大图)，当然亦可不采用层叠技术，如图10中的左侧视图(其中上部分为局部放大图)，若采用层叠技术，上面一层是感光单元阵列层，下面一层是逻辑电路，作为本发明实施例的一个可实现方式，图像传感器可以为3d堆叠式(stacked)cmos，如此，上层得到的数据可直接传送到下层进行景深计算，完全是硬件实现，可以按照每行的输出直接计算，计算速度快，实时输出，没有延时。

基于上述实施例提供的图像采集装置，本发明实施例还提供了一种电子设备，图11为本发明实施例中电子设备的组成结构示意图，如图11所示，本发明实施例中电子设备的组成包括：

一个图像采集装置21，包括：设置有多个感光单元的感光单元阵列层，每个所述感光单元包括以特定距离对称设置的第一感光子单元和第二感光子单元；其中，所述感光单元阵列层中的第一感光子单元形成第一子阵列；所述感光单元阵列层中的第二感光子单元形成第二子阵列；

所述图像采集装置21，用于刷新所述感光单元阵列层的第一子阵列，得到所述第一子阵列感应环境中光线形成的第一图像信号；

刷新所述感光单元阵列层的第二子阵列，得到所述第二子阵列感应环境中光线形成的第二图像信号；

根据所述第一图像信号、所述第二图像信号中成像的视差计算深度，并融合所述第一图像信号、所述第二图像信号以及所述深度形成深度图像信号；

输出所述深度图像信号及对应所述深度图像信号的原始图像信号；

第二处理器22，用于基于所述深度图像信号中目标对象的深度，对所述原始图像信号进行处理；

或者，基于所述原始图像信号控制输出显示原始图像。

在一实施例中，所述第二处理器22，还用于识别出所述深度图像信号中目标对象的深度；

对所述原始图像信号中位于对应所述深度的焦平面以外的成像区域，进行模糊化处理。如此，形成目标对象突出，其它部分模糊的图像，提高用户体验。

这里，所述模糊化处理具体可以为与距离正相关的模糊化处理，即距离焦平面越远越模糊。

在一实施例中，所述图像采集装置21，还用于对所述感光单元阵列层输出的所述第一图像信号、所述第二图像信号进行预处理；这里的预处理可以包括：自动曝光控制、自动增益控制、自动白平衡、色彩校正、gamma校正、祛除坏点等等。

以及，根据各像素点在所述第一图像信号、所述第二图像信号的成像位置差异、与到成像平面的距离的反比例关系计算相应像素点的深度，将各像素点的深度以及在第一图像信号、第二图像信号的颜色信息融合，形成所述深度图像信号。这里，对深度的计算原理参见图像采集装置中的原理介绍。

在一实施例中，所述图像采集装置21，还用于同步刷新所述感光单元阵列层的第一子阵列和所述第二子阵列，得到所述感光单元阵列层的全部感光子单元感应环境中光线形成的所述原始图像信号。也就是说，将每个感光单元中的第一感光子单元和第二感光子单元结合，看作一个整体，输出基于每个感光单感应环境中光线形成的原始图像信号，也即，将第一图像信号、第二图像信号叠加得到的图像信号。

在一实施例中，所述图像采集装置21，还用于对所述感光单元阵列层输出的模拟信号类型的图像信号进行放大，对放大后的图像信号进行增益控制，并将所述感光单元阵列层输出的图像信号进行模数转换，得到预定位宽的数字图像信号。

在一实施例中，所述图像采集装置21，还用于根据先入先出的方式，将传输至所述输出接口的所述深度图像信号和/或所述原始图像信号输出至所述第二处理器。

应用本发明上述电子设备的实施例，所述电子设备仅采用一个图像采集装置便实现了原始图像信号及深度图像信号的获取，无需光学校准，并可基于深度图像信号中目标对象的深度，对原始图像信号进行处理，得到预设需求的图像；如此，减小了具备景深计算的电子设备的体积，降低了实现成本。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。