散射器异常检测方法、装置及电子设备与流程

文档序号:15925154发布日期:2018-11-14 01:03阅读:192来源:国知局

本发明涉及图像处理技术领域,尤其是涉及一种散射器异常检测方法、装置及电子设备。

背景技术

近年来,3d(3dimensions,三维)图像采集模组在智能移动终端等电子设备上的应用日益广泛。例如,比较常用的tof(timeofflight,脉冲式)相机模组等。3d图像采集模组主要包括光源和安装在光源前方的散射器(diffuser)。光源发出光,散射器使光发生散射,均匀得照射在整个拍摄场景上,通过物体对光线的反射,摄像头可以感知物体的深度信息,从而拍摄出物体的三维轮廓。

在日常使用过程中,如果电子设备与外物发生碰撞,可能会导致散射器脱落。一旦散射器脱落,光源发出的光将汇聚成一束,使得摄像头无法正常感知拍摄场景内所有被拍摄物体的深度,从而造成3d图像采集模组失效。因此,散射器的脱落检测技术具有较大的应用价值。然而,目前仍没有较好的散射器脱落检测方法。



技术实现要素:

有鉴于此,本发明的目的在于提供一种散射器异常检测方法、装置及电子设备,根据带有散射器的电子设备采集到的图像的有效区域,即可判断散射器是否脱落,具有运算量小,运行速度快的特点。

为了实现上述目的,本发明实施例采用的技术方案如下:

第一方面,本发明实施例提供了一种散射器异常检测方法,应用于带有图像采集装置的电子设备,所述图像采集装置包括光源和散射器,所述散射器用于使所述光源发出的光发生散射;所述方法包括:

获取所述光源发出的光照射形成的图像;

以图形覆盖方式确定所述图像的有效区域;

根据所述有效区域的大小,判断所述散射器是否处于正常工作状态。

结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述以图形覆盖方式确定所述图像的有效区域的步骤,包括:

根据所述图像中各个像素点的亮度值,计算所述图像的有效信号总量;

以所述图像中心为设定图形的中心点,计算所述设定图形的覆盖区域内的有效信号量与所述有效信号总量的比值;所述有效信号总量为所述图像的各个像素点的亮度值的总和;所述设定图形的覆盖区域内的有效信号量为所述设定图形的覆盖区域内的各个像素点的亮度值的总和;

逐步扩大所述设定图形的覆盖区域,直至当前覆盖区域内的有效信号量与所述有效信号总量的比值大于或等于预设比例为止;

将所述当前覆盖区域作为所述图像的有效区域。

结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述方法还包括:

确定所述图像中的各个像素点的初始亮度值;

对于初始亮度值位于设定亮度区间之内的像素点,将所述像素点的初始亮度值作为对应的像素点的亮度值;

对于初始亮度值位于设定亮度区间之外的像素点,将所述像素点的亮度值记为零。

结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,计算所述设定图形的覆盖区域内的有效信号量与所述有效信号总量的比值的步骤,包括:

计算所述图像的各个像素点的亮度值的总和,得到所述图像的有效信号总量;

采用积分图像,计算所述设定图形的覆盖区域内的有效信号量;

确定所述设定图形的覆盖区域内的有效信号量与所述有效信号总量的比值。

结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,逐步扩大所述设定图形的覆盖区域的步骤,包括按照由小到大的顺序,应用预先设定的一组设定图形,逐步扩大所述设定图形的覆盖范围。

结合第一方面的第四种可能的实施方式,本发明实施例提供了第一方面的第五种可能的实施方式,其中,根据所述有效区域的大小,判断所述散射器是否处于正常工作状态的步骤,包括:

将所述预先设定的一组设定图形按照由小到大的顺序排序,如果所述有效区域对应的设定图形的序号小于或等于设定序号值,判定所述散射器处于非正常工作状态。

结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,逐步扩大所述设定图形的覆盖区域的步骤,包括:

按照设定的步长逐步扩大所述设定图形的覆盖区域。结合第一方面或第一方面的第六种可能的实施方式,本发明实施例提供了第一方面的第七种可能的实施方式,其中,根据所述有效区域的大小,判断所述散射器是否处于正常工作状态的步骤,包括:

如果所述有效区域的面积小于或等于预设面积,判定所述散射器处于非正常工作状态;

或者,如果所述有效区域的面积与所述图像的面积的比值小于或等于设定比值,判定所述散射器处于非正常工作状态。

结合第一方面,本发明实施例提供了第一方面的第八种可能的实施方式,其中,所述方法还包括:

如果所述散射器处于非正常工作状态,输出散射器异常的提示信息。

第二方面,本发明实施例还提供一种散射器异常检测装置,应用于带有图像采集装置的电子设备,所述图像采集装置包括光源和散射器,所述散射器用于使所述光源发出的光发生散射;所述装置包括:

图像采集模块,用于获取所述光源发出的光照射形成的图像;

有效区域确定模块,以图形覆盖方式确定所述图像的有效区域;

脱落判定模块,根据所述有效区域的大小,判断所述散射器是否处于正常工作状态。

第三方面,本发明实施例提供了一种电子设备,包括图像采集装置、存储器、处理器,所述图像采集装置包括光源和散射器,所述散射器用于使所述光源发出的光发生散射;所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面任一项所述的方法的步骤。

第四方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面任一项所述的方法的步骤。

本发明实施例所提供的散射器异常检测方法、装置及电子设备,通过图形覆盖方式确定光源照射形成的图像的有效区域;根据图像有效区域的大小,判断散射器是否脱落,可以快速有效地判断出图像采集装置的散射器是否处于正常工作状态。

本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图;

图2示出了本发明实施例所提供的一种散射器异常检测方法的流程图;

图3示出了本发明实施例所提供的一种散射器异常检测方法中确定图像的有效区域的流程图;

图4示出了本发明实施例所提供的另一种散射器异常检测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

为了快速检测电子设备3d图像采集模组中的散射器是否脱落,本发明实施例提供了一种散射器异常检测方法、装置及电子设备,其中,散射器异常检测方法和散射器异常检测装置应用于带有图像采集装置的电子设备上,图像采集装置包括光源和散射器,散射器用于使光源发出的光发生散射。以下对本发明实施例进行详细介绍。

实施例一:

首先,参照图1来描述用于实现本发明实施例的散射器异常检测方法的示例电子设备100。

如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。具体地,该图像采集装置110包括3d图像采集模组,3d图像采集模组主要由光源和安装在光源前方的散射器组成,光源发出光,散射器使光发生散射,均匀得照射在整个拍摄场景上,通过物体对光线的反射,摄像头可以感知物体的深度信息,从而拍摄出物体的三维轮廓。可选的,3d图像采集模组中的光源可以为红外光源。

示例性地,用于实现根据本发明实施例的散射器异常检测方法、装置的示例电子设备可以被实现在电子相机上,也可以被实现在诸如智能手机、平板电脑等移动终端上。

实施例二:

随着3d图像采集模组在智能移动终端等电子设备上的广泛应用,在实际使用时,若电子设备与外物发生撞击,可能会出现3d图像采集模组上的散射器脱落的情况,造成3d图像采集模组失效。为了快速检测3d图像采集模组上的散射器是否脱落,本实施例提供了一种散射器异常检测方法,需要说明的是,附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。

图2示出了本发明实施例所提供的一种散射器异常检测方法流程图,如图2所示,该方法带有图像采集装置的电子设备,图像采集装置包括光源和散射器,散射器用于使光源发出的光发生散射。该方法包括如下步骤:

步骤s202,获取光源发出的光照射形成的图像。

可选的,诸如电子相机、智能手机、平板电脑等电子设备上安装有3d图像采集模组,3d图像采集模组中的光源发出光,光照射在拍摄场景上,形成图像。通过深度摄像头获取上述图像。

步骤s204,以图形覆盖方式确定图像的有效区域。

以下结合附图3,详细说明以图形覆盖方式确定图像的有效区域的具体步骤。

步骤s2040,根据图像中各个像素点的亮度值,计算图像的有效信号总量。

可选的,可以对图像进行阈值化处理,得到图像中的各个像素点的亮度值。

首先确定图像中的各个像素点的初始亮度值;对于初始亮度值位于设定亮度区间之内的像素点,将像素点的初始亮度值作为对应的像素点的亮度值;对于初始亮度值位于设定亮度区间之外的像素点,将像素点的亮度值记为零。

例如,图像中每个像素点的初始亮度值均在[0,255]之间。可以设定阈值t,用来去除图像中的少量噪声。阈值t为接近于0的数值,根据经验,阈值t可以设定为5。对于初始亮度值位于设定亮度区间(t,255)之间的像素点,将像素点的初始亮度值作为对应的像素点的亮度值。对于初始亮度值小于或等于t,以及初始亮度值等于255的像素点,将像素点的亮度值记为0。

譬如,图像中各像素点的亮度值,可以采用如下公式表示:

其中,x为图像中的像素点的坐标,i’x为图像中坐标为x的像素点的初始亮度值,ix为进行阈值化处理之后,图像中坐标为x的像素点的亮度值。

有效信号总量为经阈值化处理后的图像的各个像素点的亮度值的总和,可以采用如下公式计算:s=∑xix;其中,s为图像的有效信号总量。

步骤s2042,以图像中心为设定图形的中心点,计算设定图形的覆盖区域内的有效信号量与有效信号总量的比值。

步骤s2044,逐步扩大设定图形的覆盖区域,直至当前覆盖区域内的有效信号量与有效信号总量的比值大于或等于预设比例为止。

其中,设定图形的覆盖区域内的有效信号量为设定图形的覆盖区域内的各个像素点的亮度值的总和。设定图形可以是圆形、椭圆形、方形、矩形或三角形等规则图形。

示例性地,以设定图形为矩形为例进行说明,在一可选的实施例中,可以预先设定一组逐渐增大的矩形其中,w为最大的矩形rn的长,h为最大的矩形rn的宽。其中,最大的矩形的面积可以小于或等于图像的面积。以图像的中心为矩形中心,按照由小到大的顺序,应用预先设定的一组矩形,逐步扩大设定图形的覆盖区域。计算每个矩形的覆盖区域内的有效信号量。可以采用如下公式,计算矩形覆盖区域内所包含的有效信号量为:

其中,ri表示第i个矩形的覆盖区域;s(ri)为第i个矩形的覆盖区域内的有效信号量。

可选的,在计算矩形覆盖区域内所包含的有效信号量时可以采用积分图像的方式计算。通过计算矩形覆盖区域的端点的积分图,再进行简单的加减运算,就可以得到矩形覆盖区域内所包含的有效信号量,从而进一步降低了计算量,提高了计算速度。

例如,可以将一矩形覆盖区域平均分为四部分,组成一“田”字型,左上角部分为a,右上角部分为b,左下角部分为c,右下角部分为d;a、b、c、d中各部分的右下角端点分别对应为1、2、3、4,利用各部分的端点的积分图来计算,则ii(1)为a部分所包含的有效信号量,ii(2)为a和b两部分所包含的有效信号量,ii(3)为a和c两部分所包含的有效信号量,ii(4)为a、b、c和d四部分所包含的有效信号量,因此,通过对四个端点的像素亮度值的积分图像的加减操作,即可快速得到一个部分的有效信号量,进而得到矩形覆盖区域内所包含的有效信号量。

矩形覆盖区域内的有效信号量与图像的有效信号总量的比值为:

设定覆盖区域内的有效信号量与图像的有效信号总量的预设比例α0,α0可以位于85%至95%之间,可选地,α0可以为90%。如果当前覆盖区域内的有效信号量与有效信号总量的比值ai大于或等于预设比例α0时,停止扩大设定图形的覆盖区域。

在另一可选的实施例中,设定图形为矩形r,矩形r的长和宽分别为w和h,可以按照设定的步长逐步扩大矩形的覆盖区域。其中,n可以根据图像的大小进行设定,如可以设定为10。

当当前覆盖区域内的有效信号量与图像的有效信号总量的比值ai大于或等于预设比例α0时,停止扩大设定图形的覆盖区域。

可以理解的是,如果设定图形为圆形c,圆形c的半径为r,可以按照设定的步长逐步扩大圆形的覆盖区域。其中,n可以根据图像的大小进行设定,如可以设定为10。计算各个圆形的覆盖区域内所包含的有效信号量与图像的有效信号总量的比值,当当前覆盖区域内的有效信号量与图像的有效信号总量的比值大于或等于预设比例时,停止扩大设定图形的覆盖区域。

步骤s2046,将当前覆盖区域作为图像的有效区域。

当前覆盖区域为其内包含的有效信号量达到预设比例的最小区域,将当前覆盖区域作为图像的有效区域。

步骤s206,根据有效区域的大小,判断散射器是否处于正常工作状态。

可选的,如果预先设定了一组设定图形,可以将预先设定的一组设定图形按照由小到大的顺序排序,如果有效区域对应的设定图形的序号小于或等于设定序号值,判定散射器处于非正常工作的状态,如散射器脱落或发生其它异常等。

例如,如果设定图形为一组矩形,包括从小到大的10个矩形。设定序号值为7,如果确定的图像的有效区域对应的矩形的序号为5,而5小于7,说明图像的有效信号集中在一个较小的区域内,可以判定散射器脱落。如果确定的图像的有效区域对应的矩形的序号为9,而9大于7,说明图像的有效信号较为分散,可以判定散射器未脱落,处于正常工作状态。该方法不需要预先进行大数据训练,运算量小,运算速度快,可以快速判定散射器是否处于正常工作状态。

在另一可选的实施例中,还可以根据图像的有效区域的面积大小,判定散射器是否处于正常工作状态。例如,对于一个已经确定的3d图像采集模组,其光源发出的光经过散射器后,其有效信号的分布面积基本可以确定。此时,可以根据经验值设定一预设面积,计算图像的有效区域的面积,如果图像的有效区域的面积小于或等于预设面积,说明图像的有效信号集中在一个较小的区域内,判定散射器处于非正常工作状态;如果图像的有效区域的面积大于预设面积,说明图像的有效信号较为分散,判定散射器未脱落,处于正常工作状态。

在另一可选的实施例中,也可以通过有效区域的面积与图像的面积的比值,判定散射器是否处于正常工作状态。如果确定的图像的有效区域的面积与图像的面积的比值小于或等于设定比值,说明图像的有效信号集中在一个较小的区域内,判定散射器处于非正常工作状态;如果确定的图像的有效区域的面积与图像的面积的比值大于设定比值,说明图像的有效信号较为分散,判定散射器处于正常工作状态。

可选地,当判定散射器处于非正常工作状态时,电子设备将输出散射器脱落的提示信息。散射器脱落的提示信息可以通过显示器向用户展示,也可以通过扬声器向用户播放,以提示用户进行相应处理。

本发明实施例所提供的散射器异常检测方法,通过图形覆盖方式确定光源照射形成的图像的有效区域;根据图像有效区域的大小,判断散射器是否脱落,运算量小,运算速度快,可以快速有效地判断出图像采集装置的散射器是否处于正常工作状态。

实施例三:

对应于实施例二中所提供的散射器异常检测方法,本实施例提供了一种散射器异常检测装置,应用于带有图像采集装置的电子设备,图像采集装置包括光源和散射器,散射器用于使光源发出的光发生散射。图4示出了本发明实施例所提供的一种散射器异常检测装置的结构示意图,如图4所示,该装置包括以下模块:

图像采集模块40,用于获取光源发出的光照射形成的图像;

有效区域确定模块42,用于以图形覆盖方式确定图像的有效区域;

脱落判定模块44,用于根据有效区域的大小,判断散射器是否处于正常工作状态。

其中,有效区域确定模块42,还可以用于:对图像进行阈值化处理,得到图像中的各个像素点的亮度值;根据各个像素点的亮度值,计算图像的有效信号总量;以图像中心为设定图形的中心点,计算设定图形的覆盖区域内的有效信号量与有效信号总量的比值;所述有效信号总量为所述图像的各个像素点的亮度值的总和;所述设定图形的覆盖区域内的有效信号量为所述设定图形的覆盖区域内的各个像素点的亮度值的总和;逐步扩大设定图形的覆盖区域,直至当前覆盖区域内的有效信号量与有效信号总量的比值大于或等于预设比例为止;将当前覆盖区域作为图像的有效区域。

有效区域确定模块42,还可以用于:确定图像中的各个像素点的初始亮度值;对于初始亮度值位于设定亮度区间之内的像素点,将像素点的初始亮度值作为对应的像素点的亮度值;对于初始亮度值位于设定亮度区间之外的像素点,将像素点的亮度值记为零。有效区域确定模块42,还可以用于:计算图像的各个像素点的亮度值的总和,得到图像的有效信号总量;采用积分图像,计算设定图形的覆盖区域内的有效信号量;确定设定图形的覆盖区域内的有效信号量与有效信号总量的比值。

有效区域确定模块42,还可以用于:按照由小到大的顺序,应用预先设定的一组设定图形,逐步扩大设定图形的覆盖范围;或者,按照设定的步长逐步扩大设定图形的覆盖区域。

脱落判定模块44,还可以用于:将预先设定的一组设定图形按照由小到大的顺序排序,如果有效区域对应的设定图形的序号小于或等于设定序号值,判定散射器处于非正常工作状态。

脱落判定模块44,还可以用于:如果有效区域的面积小于或等于预设面积,判定散射器处于非正常工作状态;或者,如果有效区域的面积与图像的面积的比值小于或等于设定比值,判定散射器处于非正常工作状态。

可选地,上述装置还可以包括信息提示模块,信息提示模块与脱落判定模块44连接,用于当脱落判定模块44判定散射器脱落时,输出散射器脱落的提示信息。

本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。

本发明实施例所提供的散射器异常检测方法,通过图形覆盖方式确定光源照射形成的图像的有效区域;根据图像有效区域的大小,判断散射器是否脱落,运算量小,运算速度快,可以快速有效地判断出图像采集装置的散射器是否处于正常工作状态。

此外,本发明实施例提供了一种电子设备,包括图像采集装置、存储器和处理器。其中,图像采集装置包括光源和散射器,散射器用于使所述光源发出的光发生散射。存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现前述方法实施例提供的方法的步骤。

进一步地,本实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的散射器异常检测方法、装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1