图像处理方法和装置、电子设备、计算机可读存储介质与流程

文档序号:16201332发布日期:2018-12-08 06:38阅读:172来源:国知局
图像处理方法和装置、电子设备、计算机可读存储介质与流程

本申请涉及计算机视觉技术领域,特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着计算机视觉技术的发展,对采集的图像质量要求越来越高。为了提高图像的质量,电子设备上往往存在ir摄像头和rgb摄像头同时采集图像。其中,ir摄像头采集红外图像,rgb摄像头采集rgb图像,将采集的红外图像和rgb图像进行配准后,得到最终图像。

然而,电子设备中采集的红外图像和rgb图像往往存在不方便配准的问题,从而影响图像的质量。



技术实现要素:

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质,可以对图像进行配准。

一种图像处理方法,包括:

获取图像采集指令;

根据所述图像采集指令在第一运行环境中采集红外图像,并提取所述红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取所述rgb图像中的第二特征;

将所述第一特征传输至所述第二运行环境,并在所述第二运行环境中根据所述第一特征和所述第二特征进行配准处理;

其中,所述第一运行环境的安全级别高于所述第二运行环境。

一种图像处理装置,包括:

指令获取模块,用于获取图像采集指令;

图像采集模块,用于根据所述图像采集指令在第一运行环境中采集红外图像,并提取所述红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取所述rgb图像中的第二特征;

特征配准模块,用于将所述第一特征传输至所述第二运行环境,并在所述第二运行环境中根据所述第一特征和所述第二特征进行配准处理;

其中,所述第一运行环境的安全级别高于所述第二运行环境。

一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:

获取图像采集指令;

根据所述图像采集指令在第一运行环境中采集红外图像,并提取所述红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取所述rgb图像中的第二特征;

将所述第一特征传输至所述第二运行环境,并在所述第二运行环境中根据所述第一特征和所述第二特征进行配准处理;

其中,所述第一运行环境的安全级别高于所述第二运行环境。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:

获取图像采集指令;

根据所述图像采集指令在第一运行环境中采集红外图像,并提取所述红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取所述rgb图像中的第二特征;

将所述第一特征传输至所述第二运行环境,并在所述第二运行环境中根据所述第一特征和所述第二特征进行配准处理;

其中,所述第一运行环境的安全级别高于所述第二运行环境。

上述图像处理方法和装置、电子设备、计算机可读存储介质,通过获取图像采集指令,根据图像采集指令在第一运行环境中采集红外图像,并提取红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取rgb图像中的第二特征,将第一特征传输至第二运行环境,并在第二运行环境中根据第一特征和第二特征进行配准处理,其中,第一运行环境的安全级别高于第二运行环境。通过在不同的运行环境中分别采集红外图像和rgb图像,并在第二运行环境中根据采集的图像的特征进行配准处理,可以提高图像配准的便捷性,进而提高图像的质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图;

图2为另一个实施例中图像处理方法的应用环境图;

图3为一个实施例中电子设备的框图;

图4为一个实施例中图像处理方法的流程示意图;

图5为一个实施例中根据图像类型采集图像并提取图像特征的方法流程图;

图6为一个实施例中第一处理器通过i2c总线与第二光发射器和第一光发射器连接的示意图;

图7为另一个实施例中第一处理器通过i2c总线与第二光发射器和第一光发射器连接的示意图;

图8为一个实施例中图像处理装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。

图1为一个实施例中图像处理方法的应用场景图。如图1所示,电子设备包括红外摄像头102、第二光发射器104、第一光发射器106、第一处理器110、第二处理器120和控制器130。第一处理器110可为cpu(centralprocessingunit,中央处理器)模块等,第二处理器120可为mcu(microcontrollerunit,微控制单元)模块等。第二处理器120可与红外摄像头102、第一处理器110连接,第二处理器120可通过i2c总线与控制器130连接。第二处理器120中可包pwm(pulsewidthmodulation,脉冲宽度调制)模块112,并通过pwm模块112与控制器130连接,控制器130可分别与第二光发射器104、第一光发射器106连接。第一光发射器106可为镭射灯;第二光发射器104可为泛光灯。

当第二处理器120接收到第一处理器110发送的图像采集指令时,通过i2c总线向控制器130发送控制指令,该控制指令可用于控制开启第二光发射器104和第一光发射器106中的至少一个。第二处理器120可通过pwm模块112向控制器130发送脉冲,点亮开启的第二光发射器104和第一光发射器106中的至少一个,并通过红外摄像头102采集目标图像。第二处理器120可对目标图像进行处理,并将处理后的目标图像发送给第一处理器110。

图2为另一个实施例中数据处理方法的应用场景图。如图2所示,电子设备200可包括摄像头模组210、第一处理器220,第二处理器230。上述第一处理器220可为cpu模块。上述第二处理器230可为mcu模块等。其中,第二处理器230连接在第一处理器220和摄像头模组210之间,上述第二处理器230可控制摄像头模组210中红外摄像头212、第二光发射器214和第一光发射器218,上述第一处理器220可控制摄像头模组210中rgb摄像头216。

摄像头模组210中包括红外摄像头212、第二光发射器214、rgb摄像头216和第一光发射器218。上述红外摄像头212,用于获取红外图像。上述第二光发射器214为可发射红外光的面光源;上述第一光发射器218为可发射激光的点光源且为带有图案的点光源。其中,当第二光发射器214发射面光源时,红外摄像头212可根据反射回的光线获取红外图像。当第一光发射器218发射点光源时,红外摄像头212可根据反射回的光线获取散斑图像。上述散斑图像是第一光发射器218发射的带有图案的点光源被反射后图案发生形变的图像。第一光发射器218可为镭射灯。第二光发射器214可为泛光灯。泛光灯为可发生红外光的点光源。镭射灯为可发生红外激光的点光源且为带有图案的点光源。摄像头模组中红外摄像头可根据泛光灯发射面光源时反射回的光线获取红外图像,以及根据镭射灯发射点光源时反射回的光线获取散斑图像。

第一处理器220可包括在第一运行环境下运行的cpu内核和在第二运行环境下运行的cpu内核。其中,第一运行环境可以是tee(trustedexecutionenvironment,可信运行环境)环境,第二运行环境可以是ree(richexecutionenvironment,自然运行环境)环境。其中,tee环境和ree环境均为arm模块(advancedriscmachines,高级精简指令集处理器)的运行模式。其中,tee环境的安全级别较高,第一处理器220中有且仅有一个cpu内核可同时运行在tee环境下。通常情况下,电子设备200中安全级别较高的操作行为需要在tee环境下的cpu内核中执行,安全级别较低的操作行为可在ree环境下的cpu内核中执行。

第二处理器230包括pwm模块232、spi/i2c(serialperipheralinterface/inter-integratedcircuit,串行外设接口/双向二线制同步串行接口)接口234、ram(randomaccessmemory,随机存取存储器)模块236和深度引擎238。第二处理器230可通过pwm模块232与第二光发射器214和第一光发射器218的控制器连接,该控制器可分别与第二光发射器214和第一光发射器218连接,对第二光发射器214和第一光发射器218进行控制。第二处理器230还可通过i2c总线与控制器连接,

可通过连接的i2c总线控制开启第二光发射器214或第一光发射器218,上述pwm模块232可向摄像头模组发射脉冲,点亮开启的第二光发射器214或第一光发射器218。第二处理器230可通过激光摄像头212采集红外图像或散斑图像。上述spi/i2c接口234用于接收第一处理器220发送的图像采集指令。上述深度引擎238可对散斑图像进行处理得到深度视差图。

当第一处理器220接收到应用程序的数据获取请求时,例如,当应用程序需要进行人脸解锁、人脸支付时,可通过运行在tee环境下的cpu内核向第二处理器230发送图像采集指令。当第二处理器230接收到图像采集指令后,可通过i2c总线向控制器发送控制指令,控制开启控制摄像头模组210中的第二光发射器214,再通过pwm模块232向控制器发射脉冲波点亮第二光发射器214,并通过i2c总线控制红外摄像头212采集红外图像,可通过i2c总线向控制器发送控制指令,控制开启摄像头模组210中的第一光发射器218,再通过pwm模块232向控制器发射脉冲波点亮第一光发射器218,并通过i2c总线控制红外摄像头212采集散斑图像。摄像头模组210可将采集到的红外图像和散斑图像发送给第二处理器230。第二处理器230可对接收到的红外图像进行处理得到红外视差图;对接收到的散斑图像进行处理得到散斑视差图或深度视差图。其中,第二处理器230对上述红外图像和散斑图像进行处理是指对红外图像或散斑图像进行校正,去除摄像头模组210中内外参数对图像的影响。其中,第二处理器230可设置成不同的模式,不同模式输出的图像不同。当第二处理器230设置为散斑图模式时,第二处理器230对散斑图像处理得到散斑视差图,根据上述散斑视差图可得到目标散斑图像;当第二处理器230设置为深度图模式时,第二处理器230对散斑图像处理得到深度视差图,根据上述深度视差图可得到深度图像,上述深度图像是指带有深度信息的图像。第二处理器230可将上述红外视差图和散斑视差图发送给第一处理器220,第二处理器230也可将上述红外视差图和深度视差图发送给第一处理器220。第一处理器220可根据上述红外视差图获取目标红外图像、根据上述深度视差图获取深度图像。进一步的,第一处理器220可根据目标红外图像、深度图像来进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。

第二处理器230与第一处理器220之间通信是通过固定的安全接口,用以确保传输数据的安全性。如图2所示,第一处理器220发送给第二处理器230的数据是通过securespi/i2c240,第二处理器230发送给第一处理器220的数据是通过securemipi(mobileindustryprocessorinterface,移动产业处理器接口)250。

在一个实施例中,第二处理器230也可根据上述红外视差图获取目标红外图像、上述深度视差图计算获取深度图像,再将上述目标红外图像、深度图像发送给第一处理器220。

图3为一个实施例中电子设备的框图。如图3所示,该电子设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中,存储器可包括非易失性存储介质及处理器。电子设备的非易失性存储介质存储有操作系统及计算机程序,该计算机程序被处理器执行时以实现本申请实施例中提供的一种图像处理方法。该处理器用于提供计算和控制能力,支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机程序的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种图像处理方法,以应用于上述电子设备来举例说明,如图4所示,该方法包括如下步骤:

步骤402,获取图像采集指令。

图像采集指令可以是用于采集图像的指令,电子设备可以通过自身的按钮或者触摸屏获取到图像采集指令。具体的,电子设备中的中央处理器可以获取到图像采集指令。

步骤404,根据图像采集指令在第一运行环境中采集红外图像,并提取红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取rgb图像中的第二特征。

其中,第一运行环境的安全级别要高于第二运行环境。第一运行环境可以是可信执行环境tee(trustedexecutionenvironment),第二运行环境可以是自然运行环境ree(richexecutionenvironment)。电子设备在获取到图像采集指令后,可以根据图像采集指令在第一运行环境中采集红外图像,电子设备还可以根据图像采集指令在第二运行环境中采集rgb图像。

电子设备在第一运行环境中采集红外图像后,还可以继续在第一运行环境中提取该红外图像中的第一特征。具体的,电子设备可以采用尺度不变特征转换sift(scale-invariantfeaturetransform)算法提取红外图像中的第一特征。sift算法是一种电脑视觉的算法,用来侦测与描述图像中的局部性特征。同样的,电子设备在第二运行环境中采集rgb图像后,可以继续在第二运行环境中提取该rgb图像中的第二特征。电子设备在第二运行环境中对rgb图像中的第二特征进行提取时,也可以采用sift算法提取rgb图像中的第二特征。

步骤406,将第一特征传输至第二运行环境,并在第二运行环境中根据第一特征和第二特征进行配准处理。

配准处理也称为图像配准,是将不同时间、不同成像设备或不同条件下获取的两张或多张图像进行匹配、叠加的过程。电子设备提取的第一特征是在第一运行环境中,而电子设备提取的第二特征是在第二运行环境中,电子设备可以将第一运行环境中的第一特征传输至第二运行环境。电子设备将第一特征传输至第二运行环境后,第二运行环境中存在第一特征和第二特征,电子设备可以在第二环境中根据第一特征和第二特征进行配准处理。

通过获取图像采集指令,根据图像采集指令在第一运行环境中采集红外图像,并提取红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取rgb图像中的第二特征,将第一特征传输至第二运行环境,并在第二运行环境中根据第一特征和第二特征进行配准处理,其中,第一运行环境的安全级别高于第二运行环境。通过在不同的运行环境中分别采集红外图像和rgb图像,并在第二运行环境中根据采集的图像的特征进行配准处理,可以提高图像配准的便捷性,进而提高图像的质量。

如图5所示,在一个实施例中,提供的一种图像处理方法还可以包括根据图像类型采集图像并提取图像特征的过程,具体步骤包括:

步骤502,当第二处理器接收到第一处理器发送的图像采集指令,根据图像采集指令确定图像类型。

第一处理器可以是中央处理器cpu(centralprocessingunit),第二处理器可以是微控制单元mcu(microcontrollerunit)。图像类型可以是红外图像、rgb图像、散斑图像及深度图像等中的一种或多种。

第二处理器接收第一处理器发送的图像采集指令,可根据图像采集指令确定采集的图像类型。图像类型可以根据图像采集指令进行确定。例如,图像采集指令是需要进行人脸解锁的图像采集指令时,则可确定图像类型为红外图像,图像采集指令是需要人脸深度信息师,则可确定图像类型为深度图像等。

步骤504,若图像类型为第一类型,则开启摄像头模组中的第一光发射器,并通过第一pwm模块向第一控制器发送脉冲,点亮第一光发射器,再通过摄像头模组中的红外摄像头在第一运行环境中采集与第一类型对应的红外图像,并提取红外图像中的第一特征。

若图像类型为第一类型,第一类型可以是红外图像,则第一处理器可向第一控制器发送控制指令,该控制指令可用于开启摄像头模组中的第一光发射器。第一处理器可通过第一pwm模块向可用于控制第一光发射器的第一控制器发送脉冲信号,点亮第一光发射器。可选地,第一pwm模块可按照一定电压幅度、一定时间间隔向第二光发射器连续发出的脉冲信号,控制点亮第一光发射器。第一光发射器可为一种向四面八方均匀照射的点光源,当第一光发射器被点亮时,可发射红外光,红外摄像头可采集得到红外图像。第一光发射器可为镭射灯。第二光发射器可为泛光灯。

电子设备可以通过摄像头模组中的红外摄像头在第一运行环境中采集红外图像,电子设备还可以在第一运行环境中对采集的红外图像进行第一特征提取。

步骤506,若图像类型为第二类型,则开启摄像头模组中的第二光发射器,并通过第二脉冲宽度调制pwm模块向第二控制器发送脉冲,点亮第二光发射器,再通过摄像头模组中的rgb摄像头在第二运行环境中采集与第二类型对应的rgb图像,并提取rgb图像中的第二特征。

若图像类型为第二类型,第二类型可以是rgb图像等,则第一处理器可向第二控制器发送控制指令,该控制指令可用于开启摄像头模组中的第二光发射器。第一处理器可通过第二pwm模块向可用于控制第二光发射器的第二控制器发送脉冲信号,点亮第二光发射器。可选地,第二pwm模块可按照一定电压幅度、一定时间间隔向第一光发射器连续发出的脉冲信号,控制点亮第二光发射器。第二光发射器被点亮时,可通过rgb摄像头采集得到rgb图像。

电子设备可以通过摄像头模组中的rbg摄像头在第二运行环境中采集rgb图像,电子设备还可以在第二运行环境中对采集的rgb图像进行第二特征提取。

当第二处理器接收到第一处理器发送的图像采集指令时,根据图像采集指令确定图像类型,若图像类型为第一类型,通过第一pwm模块点亮第一光发射器并通过红外摄像头采集与第一类型对应的红外图像,若图像类型为第二类型,则通过第二pwm模块向第二控制器点亮第二光发射器并通过rgb摄像头采集与第二类型对应的rgb图像,通过两个pwm模块分别控制第二光发射器和第一光发射器,无需进行实时切换,可以降低数据处理复杂度,并减轻第一处理器的处理压力。

在一个实施例中,第一处理器通过双向二线制同步串行i2c总线分别与第二光发射器和第一光发射器连接。提供的一种图像处理方法还包括:当检测到摄像头模组启动时,第一处理器通过i2c总线分别对第二光发射器和第一光发射器进行配置。

当电子设备需要通过摄像头模组采集所需的图像数据时,可启动摄像头模组,并通过摄像头模组采集图像。当电子设备检测到摄像头模组启动时,第一处理器可通过i2c总线分别对第二光发射器和第一光发射器进行配置,其中,i2c总线可通过一根数据线和一根时钟线实现连接于i2c总线上的各个器件之间的数据传输。第一处理器可先读取配置文件,并根据配置文件中包含的参数对第二光发射器和第一光发射器进行配置。配置文件中可记录有第二光发射器和第一光发射器的发射功率、发射电流等参数,但不限于此,也可以是其他参数。第一处理器可根据配置文件中的参数对第二光发射器和第一光发射器的发射功率、发射电流等进行配置。

在一个实施例中,第一处理器可通过两个i2c总线分别与第二光发射器和第一光发射器连接,第一处理器可通过一个i2c总线与第二光发射器连接,并通过另一个i2c总线与第一光发射器连接。当第一处理器对第二光发射器和第一光发射器进行配置时,可通过与第二光发射器连接的i2c总线对第二光发射器进行寻址,并对第二光发射器进行配置,同时可通过与第一光发射器连接的i2c总线对第一光发射器进行寻址,并对第一光发射器进行配置。通过两个i2c总线分别连接第二光发射器和第一光发射器,可以并行对第二光发射器和第一光发射器进行配置,提高数据处理速度。

在一个实施例中,第一处理器可通过同一个i2c总线分别与第二光发射器和第一光发射器连接,第二光发射器、第一光发射器和第一处理器可连接在同一个i2c总线上。第一处理器对第二光发射器和第一光发射器进行配置时,可先通过i2c总线对第二光发射器进行寻址,并对第二光发射器进行配置,再通过i2c总线对第一光发射器进行寻址,并对第一光发射器进行配置。可选地,第一处理器也可先通过i2c总线对第一光发射器进行寻址,并对第一光发射器进行配置,再通过i2c总线对第二光发射器进行寻址,并对第二光发射器进行配置。通过对连接的同一个i2c总线进行分时复用,可以降低控制电路的复杂度,节省资源,降低成本。

图6为一个实施例中第一处理器通过i2c总线与第二光发射器和第一光发射器连接的示意图。如图6所示,第一处理器220通过同一个i2c总线分别连接第二光发射器214和第一光发射器218。

图7为另一个实施例中第一处理器通过i2c总线与第二光发射器和第一光发射器连接的示意图。在图7中,第一处理器220通过两个i2c总线分别与第二光发射器214和第一光发射器218连接,第一处理器可通过一个i2c总线与第二光发射器214连接,并通过另一个i2c总线与第一光发射器218连接。

在本实施例中,第一处理器可在摄像头模组启动时,通过i2c总线对第二光发射器和第一光发射器进行配置,可以更加精准地控制图像采集,并提高了数据处理效率。

在一个实施例中,在提供的一种图像处理方法中,第一pwm模块向第一控制器发送脉冲的时刻与第二pwm模块向第二控制器发送脉冲的时刻不同,向第一控制器发送脉冲的时刻与向第二控制器发送脉冲的时刻之间的时间间隔小于时间阈值。

第二处理器根据图像采集指令确定图像类型,图像类型可包含有至少两种,比如,图像类型可同时包含第一类型和第二类型。当图像类型包含红外图像和rgb图像时,需要同时采集红外图像和rgb图像。第二处理器可同时通过第一pwm模块向第一控制器发送脉冲,通过第二pwm模块向第二控制器发送脉冲,对第二光发射器和第一光发射器进行点亮。第一pwm模块向第一控制器发送脉冲的时刻与第二pwm模块向第二控制器发送脉冲的时刻可不同,从而在不同的时刻点亮第二光发射器和第一光发射器。第二处理器可在第一pwm模块向第一控制器发送脉冲的时刻通过红外摄像头采集红外图像,可在第二pwm模块向第二控制器发送脉冲的时刻通过rgb摄像头采集rgb图像。

第一pwm模块向第一控制器发送脉冲的时刻与第二pwm模块向第二控制器发送脉冲的时刻之间的时间间隔小于时间阈值,红外摄像头在采集完红外图像后可在小于时间阈值的时间间隔中采集到rgb图像,使得采集的红外图像与rgb图像的图像内容较为一致,方便后续进行配准等处理。时间阈值可根据实际需求进行设定,例如20毫秒、30毫秒等。

第二处理器可通过红外摄像头和rgb摄像头在不同时刻分别采集红外图像及rgb图像,且可保证采集的红外图像与rgb图像的图像内容较为一致,提高后续人脸检测的准确性。

在一个实施例中,提供的一种图像处理方法还可以包括生成二进制文件的过程,具体包括:生成二进制文件,并存储在第二运行环境中。

电子设备在第二运行环境中根据第一特征和第二特征进行配准后,可以生成二进制文件,即bin文件。电子设备还可以将生成的二进制文件存储在第二运行环境中。

在一个实施例中,提供一种图像处理方法,实现该方法的具体步骤如下所述:

首先,电子设备可以获取图像采集指令。图像采集指令可以是用于采集图像的指令,电子设备可以通过自身的按钮或者触摸屏获取到图像采集指令。具体的,电子设备中的中央处理器可以获取到图像采集指令。

电子设备可以根据图像采集指令在第一运行环境中采集红外图像,并提取红外图像中的第一特征,电子设备还可以在第二运行环境中采集rgb图像,并提取rgb图像中的第二特征。第一处理器通过双向二线制同步串行i2c总线分别与所述第二光发射器和第一光发射器连接。当电子设备检测到摄像头模组启动时,第一处理器通过i2c总线分别对第二光发射器和第一光发射器进行配置。

第一处理器可通过两个i2c总线分别与第二光发射器和第一光发射器连接,第一处理器可通过一个i2c总线与第二光发射器连接,并通过另一个i2c总线与第一光发射器连接。第一处理器还可以通过同一个i2c总线分别与第二光发射器和第一光发射器连接,第二光发射器、第一光发射器和第一处理器可连接在同一个i2c总线上。

当第二处理器接收到第一处理器发送的图像采集指令,电子设备可以根据图像采集指令确定图像类型。若图像类型为第一类型,电子设备可以开启摄像头模组中的第一光发射器,并通过第一pwm模块向第一控制器发送脉冲,点亮第一光发射器,再通过摄像头模组中的红外摄像头在第一运行环境中采集与第一类型对应的红外图像,并提取红外图像中的第一特征。若图像类型为第二类型,电子设备可以开启摄像头模组中的第二光发射器,并通过第二脉冲宽度调制pwm模块向第二控制器发送脉冲,点亮第二光发射器,再通过摄像头模组中的rgb摄像头在第二运行环境中采集与第二类型对应的rgb图像,并提取rgb图像中的第二特征。

其中,第一pwm模块向第一控制器发送脉冲的时刻与第二pwm模块向第二控制器发送脉冲的时刻不同,向第一控制器发送脉冲的时刻与向第二控制器发送脉冲的时刻之间的时间间隔小于时间阈值。

接着,电子设备还可以生成二进制文件,并存储在第二运行环境中。电子设备在第二运行环境中根据第一特征和第二特征进行配准后,可以生成二进制文件,即bin文件。电子设备还可以将生成的二进制文件存储在第二运行环境中。

应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,提供一种电子设备,包括摄像头模组、第一处理器和第二处理器,第二处理器分别与第一处理器和摄像头模组相连。摄像头模组包括激光摄像头、第二光发射器和第一光发射器,第二光发射器与第一控制器连接,第一光发射器与第二控制器连接。第二处理器包括第一pwm模块和第二pwm模块,第二处理器通过第一pwm模块与第一控制器连接,第二处理器通过第二pwm模块与第二控制器连接。

第一处理器,用于获取图像采集指令,根据图像采集指令在第一运行环境中采集红外图像,并提取红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取rgb图像中的第二特征,将第一特征传输至第二运行环境,并在第二运行环境中根据第一特征和第二特征进行配准处理。

第二处理器,用于当接收到第一处理器发送的图像采集指令时,根据图像采集指令确定图像类型,若图像类型为第一类型,则开启摄像头模组中的第一光发射器,并通过第一脉冲宽度调制pwm模块向第一控制器发送脉冲,点亮第一光发射器,再通过摄像头模组中的红外摄像头采集与第一类型对应的红外图像;若图像类型为第二类型,则开启摄像头模组中的第二光发射器,并通过第二pwm模块向第二控制器发送脉冲,点亮第二光发射器,再通过摄像头模组中的rgb摄像头采集与第二类型对应的rgb图像。

在本实施例中,当第二处理器接收到第一处理器发送的图像采集指令时,根据图像采集指令确定图像类型,若图像类型为第一类型,通过第一pwm模块点亮第一光发射器并通过红外摄像头采集与第一类型对应的红外图像,若图像类型为第二类型,则通过第二pwm模块向第二控制器点亮第二光发射器并通过rgb摄像头采集与第二类型对应的rgb图像,通过两个pwm模块分别控制第二光发射器和第一光发射器,无需进行实时切换,可以降低数据处理复杂度,并减轻第一处理单元的处理压力。

在一个实施例中,第一处理器通过双向二线制同步串行i2c总线分别与第二光发射器和第一光发射器连接。

第一处理器,还用于当检测到摄像头模组启动时,通过i2c总线分别对第二光发射器和第一光发射器进行配置。

在一个实施例中,第一处理器通过同一个i2c总线分别与第二光发射器和第一光发射器连接。

在一个实施例中,第一处理器通过一个i2c总线与第二光发射器连接,并通过另一个i2c总线与所述第一光发射器连接。

在本实施例中,第一处理器可在摄像头模组启动时,通过i2c总线对第二光发射器和第一光发射器进行配置,可以更加精准地控制图像采集,并提高了数据处理效率。

在一个实施例中,第一pwm模块向第一控制器发送脉冲的时刻与第二pwm模块向第二控制器发送脉冲的时刻不同,向第一控制器发送脉冲的时刻与向第二控制器发送脉冲的时刻之间的时间间隔小于时间阈值。

在本实施例中,第二处理器可通过红外摄像头和rgb摄像头在不同时刻分别采集红外图像及rgb图像,且可保证采集的红外图像与rgb图像的图像内容较为一致,提高后续人脸检测的准确性。

在一个实施例中,如图8所示,提供了一种图像处理装置,包括:指令获取模块810、图像采集模块820以及特征配准模块830,其中:

指令获取模块810,用于获取图像采集指令。

图像采集模块820,用于根据图像采集指令在第一运行环境中采集红外图像,并提取红外图像中的第一特征,以及在第二运行环境中采集rgb图像,并提取rgb图像中的第二特征。

特征配准模块830,用于将第一特征传输至第二运行环境,并在第二运行环境中根据第一特征和第二特征进行配准处理。

其中,第一运行环境的安全级别高于所述第二运行环境。

在一个实施例中,图像采集模块820可以包括图像类型确定单元、第一特征提取单元以及第二特征提取单元,其中:

图像类型确定单元,用于当第二处理器接收到第一处理器发送的图像采集指令,根据图像采集指令确定图像类型。

第一特征提取单元,用于若图像类型为第一类型,则开启摄像头模组中的第一光发射器,并通过第一pwm模块向第一控制器发送脉冲,点亮第一光发射器,再通过摄像头模组中的红外摄像头在第一运行环境中采集与第一类型对应的红外图像,并提取红外图像中的第一特征。

第二特征提取单元,用于若图像类型为第二类型,则开启摄像头模组中的第二光发射器,并通过第二脉冲宽度调制pwm模块向第二控制器发送脉冲,点亮第二光发射器,再通过摄像头模组中的rgb摄像头在第二运行环境中采集与第二类型对应的rgb图像,并提取rgb图像中的第二特征。

在一个实施例中,第一处理器通过双向二线制同步串行i2c总线分别与所述第二光发射器和第一光发射器连接。当检测到摄像头模组启动时,第一处理器通过i2c总线分别对第二光发射器和第一光发射器进行配置。

在一个实施例中,第一处理器通过一个i2c总线与第二光发射器连接,并通过另一个i2c总线与第一光发射器连接。

在一个实施例中,第一处理器通过同一个i2c总线分别与第二光发射器和第一光发射器连接。

在一个实施例中,第一pwm模块向第一控制器发送脉冲的时刻与第二pwm模块向第二控制器发送脉冲的时刻不同,向第一控制器发送脉冲的时刻与向第二控制器发送脉冲的时刻之间的时间间隔小于时间阈值。

在一个实施例中,特征配准模块830还用于生成二进制文件,并存储在第二运行环境中。

上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1