图像处理方法、装置和增强现实设备与流程

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置和增强现实设备。

背景技术：

增强现实(augmentedreality，简称ar)技术是一种实时的计算摄像头摄像的位置和角度，结合图像处理技术将虚拟世界的场景叠加到现实世界的场景中并显示给用户。ar技术具有实时交互性、真实世界和虚拟世界的信息集成以及在三维尺度空间中增加定位虚拟物体的特点，为人们带来新的视觉体验。

ar场景中的现实场景是由摄像头拍得的。一般地，会在ar设备中设置某种类型的摄像头，以用于采集现实场景图像，比如通常设置电荷耦合元件(chargecoupleddevice，简称ccd)摄像头。但是，如果拍摄现实场景的实际环境是处于较暗的低照度环境中，此时拍得的图像的清晰度往往会很不理想，使得用户最终看到的图像质量不佳，影响用户体验。

技术实现要素：

有鉴于此，本发明实施例提供一种图像处理方法、装置和增强现实设备，通过对同一场景的非同源图像进行图像融合处理，提高图像质量。

第一方面，本发明实施例提供一种图像处理方法，包括：

接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；

获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；

采用所述坐标变换矩阵对所述第一图像进行坐标变换；

对坐标变换后的第一图像与所述第二图像进行图像融合处理。

第二方面，本发明实施例提供一种图像处理装置，包括：

接收模块，用于接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像；

获取模块，用于获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像；

变换模块，用于采用所述坐标变换矩阵对所述第一图像进行坐标变换；

融合模块，用于对坐标变换后的第一图像与所述第二图像进行图像融合处理。

第三方面，本发明实施例提供一种增强现实设备，包括：

第一摄像头、第二摄像头、存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如上所述的图像处理方法。

第四方面，本发明实施例提供另一种增强现实设备，包括：

第一摄像头、第二摄像头、fpga组件；其中，

所述fpga组件中包含有实现如上所述的图像处理方法的功能逻辑。

本发明实施例提供的图像处理方法和装置，在ar设备中设置两种不同类型的摄像头即第一摄像头和第二摄像头，通过第一摄像头和第二摄像头同时拍摄同一场景来获得非同源的第一图像和第二图像；以第二图像为基准图像，获取与第一图像对应的坐标变换矩阵，以采用该坐标变换矩阵对第一图像进行坐标变换，以使得变换后的第一图像与第二图像中的各像素点对应；进而，对坐标变换后的第一图像与第二图像进行图像融合处理。由于第一图像和第二图像是非同源图像，两者的优势特征不同，通过对两者进行融合，有利于融合两者的优势特征，增强融合后的图像质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像处理方法实施例一的流程图；

图2为本发明实施例提供的图像处理方法实施例二的流程图；

图3为本发明实施例提供的图像处理方法实施例三的流程图；

图4为本发明实施例提供的图像处理装置实施例一的结构示意图；

图5为本发明实施例提供的图像处理装置实施例二的结构示意图；

图6为本发明实施例提供的图像处理装置实施例三的结构示意图；

图7为本发明实施例提供的增强现实设备实施例一的结构示意图；

图8为本发明实施例提供的增强现实设备实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述xxx，但这些xxx不应限于这些术语。这些术语仅用来将xxx区分开。例如，在不脱离本发明实施例范围的情况下，第一xxx也可以被称为第二xxx，类似地，第二xxx也可以被称为第一xxx。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

进一步值得说明的是，本发明各实施例中各步骤之间的顺序是可以调整的，不是必须按照以下举例的顺序执行。

图1为本发明实施例提供的图像处理方法实施例一的流程图，本实施例提供的该图像处理方法可以由一图像处理装置来执行，该图像处理装置可以实现为现场可编程门阵列(field-programmablegatearray，简称fpga)组件中的部分硬件器件的组合，该fpga组件可以集成设置在ar设备中。如图1所示，该方法包括如下步骤：

101、接收第一图像和第二图像，第一图像和第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像。

102、获取与第一图像对应的坐标变换矩阵，坐标变换矩阵以第二图像为基准图像。

103、采用坐标变换矩阵对第一图像进行坐标变换。

104、对坐标变换后的第一图像与第二图像进行图像融合处理。

本发明实施例中，在同一ar设备中可以设置不同类型的摄像头，比如上述第一摄像头和第二摄像头，用于对同一场景进行拍摄。其中，第一摄像头和第二摄像头在ar设备中的设置可以是：在一水平面上，左右分别设置第一摄像头和第二摄像头。

可选地，第一摄像头可以是红外摄像头，第二摄像头可以是ccd摄像头。相应地，第一摄像头拍得的第一图像为红外图像，第二摄像头拍得的第二图像为可见光图像。

下面结合红外摄像头和ccd摄像头来说明本发明实施例考虑采用不同类型的摄像头进行同一场景的图像采集以及图像融合的初衷：采用红外摄像头和ccd摄像头同时对同一场景进行拍照，并将获取的红外图像和可见光图像的优势特征信息进行融合，最终可以得到特征点明显，信息量丰富的融合图像。

具体来说，自然界中温度高于绝对零度时，物体就会产生红外辐射，红外成像就是利用红外摄像头将不可见的红外辐射转换成可见的温度分布图像。红外图像不易受环境影响，在雨雪、烟雾以及黑暗的环境下，都可以获取物体的温度分布图。但红外摄像头的分辨率往往较低，使得获得的红外图像的清晰度差、场景细节信息不明显并且所成的图像不符合人的视觉习惯。反之，ccd摄像头获取的图像是根据物体反射光的能量来实现的，这种图像能够较好的刻画场景的细节信息，分辨率高，更是符合人的视觉系统的要求。但ccd摄像头同时也存在着一些不足之处：在恶劣天气下，图像的捕捉能力差，丢失有用信息，不能获取描述场景中全面细致的图像信息。由此可见，红外图像和可见光图像各有优点和缺点，因此，如果能够采用融合算法将红外图像和可见光图像的优势特征融合，使融合后的图像含有丰富的特征点信息，适合人眼视觉系统，将大大提高用户观看的视觉体验。

另外，本发明实施例提供的图像处理方法可以基于fpga组件这一硬件平台实现，即基于fpga实现多源图像的融合。相比于单纯的软件处理方法，fpga的存储资源等资源丰富，运算速度更快。当在视频图像采集与展示的场景中，会使得融合后的视频流畅度更高，能够实时输出融合后的图像，达到更好的视觉体验效果。

在某些情景中，集成上述第一摄像头和第二摄像头的ar设备往往用于采集现实场景的视频图像。可以理解的是，由于第一摄像头和第二摄像头用于对同一场景进行拍摄，因此，需要保证两者的时钟同步，即在同一时刻，这两个摄像头是对场景中的同一对象进行拍摄。但是，由于这两个摄像头的拍摄位置、拍摄角度等拍摄参数会有所差异，即使是对同一对象进行拍摄，拍得的图像也往往会有所不同。

在上述情景中，第一摄像头和第二摄像头将拍得的视频图像通过fpga组件的视频接口同时输入到fpga组件，经过fpga组件的视频解码芯片后，解码为比如bt.656格式的ycbcr视频图像。此情景中，本发明实施例提供的图像处理方法是对各时刻分别对应的两幅图像进行融合处理。为便于描述，仅以任一时刻对应的上述第一图像和第二图像为例进行图像融合过程的说明。

由于第一图像和第二图像在分辨率、拍摄角度等拍摄参数方面存在差异，因此，要实现第一图像和第二图像的图像融合，首先需要对第一图像和第二图像进行图像配准处理，以建立第一图像和第二图像中各像素点的对应关系，从而，才能基于像素点的对应关系进行第一图像和第二图像的融合。

以第一图像为红外图像、第二图像为可见光图像为例进行图像配准处理过程的说明。

图像配准处理包括了图像的缩放、旋转和平移操作。由于相比于红外图像来说，可见光图像具有更高的分辨率，更符合人眼视觉习惯，因此，本实施例中，以可见光图像为基准图像，红外图像作为待配准图像，针对红外图像进行缩放、旋转和平移操作。而对红外图像进行缩放、旋转和平移操作是基于获得的坐标变换矩阵进行的，也就是说，该坐标变换矩阵中包含了进行缩放操作所需的缩放参数，进行旋转操作所需的旋转参数，以及进行平移操作所需的平移参数。而这些缩放参数、旋转参数和平移参数可以是预先获得的，从而，基于预先获得的这些参数可以生成得到坐标变换矩阵。

值得说明的是，本实施例中，之所以采用坐标变换矩阵的方式对红外图像进行变换，是因为相比于对红外图像依次分别进行三种变换的方式，这样变换的效率更高，因为只需用一个矩阵就可以对红外图像中的各像素点一次进行了三种变换。

在获得上述坐标变换矩阵之后，可以基于红外图像与该坐标变换矩阵的矩阵乘法运算，得到坐标变换后的红外图像。由于上述坐标变换矩阵中的变换参数是以可见光图像为基准的，因此，基于该变换，可以得到坐标变换后的红外图像中的像素点与可见光图像中的像素点间的对应关系。从而，基于该对应关系，可以对坐标变换后的红外图像和可见光图像进行图像融合。

在fpga硬件平台实施图像的融合，要考虑到的硬件平台的资源，存储空间和处理速度等问题。为了得到较好的融合效果并充分利用fpga的资源，本实施例中选择采用基于像素级的融合方法：灰度值加权平均的方法，即通过对应像素点的灰度值的加权平均计算，实现两幅图像的融合。

综上，本实施例中，在ar设备中设置两种不同类型的摄像头即第一摄像头和第二摄像头，通过第一摄像头和第二摄像头同时拍摄同一场景来获得非同源的第一图像和第二图像；以第二图像为基准图像，获取与第一图像对应的坐标变换矩阵，以采用该坐标变换矩阵对第一图像进行坐标变换，以使得变换后的第一图像与第二图像中的各像素点对应；进而，对坐标变换后的第一图像与第二图像进行图像融合处理。由于第一图像和第二图像是非同源图像，两者的优势特征不同，通过对两者进行融合，有利于融合两者的优势特征，增强融合后的图像质量。

图2为本发明实施例提供的图像处理方法实施例二的流程图，如图2所示，在图1所示实施例基础上，步骤103之后，还可以包括如下步骤：

201、接收第一图像和第二图像，第一图像和第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像。

202、对第一图像和第二图像进行预处理，预处理包括：对第一图像进行灰度值取逆处理，对第二图像进行图像增强处理。

203、根据本地存储的旋转参数和缩放参数，分别生成旋转矩阵b和缩放矩阵c。

204、将预处理后的第一图像、预处理后的第二图像以及旋转参数和缩放参数发送至图像配准处理组件，以使图像配准处理组件以预处理后的第二图像为基准图像，结合旋转参数和缩放参数对预处理后的第一图像进行配准处理，以获得平移参数。

205、根据图像配准处理组件反馈的平移参数，生成平移矩阵a。206、确定与第一图像对应的坐标变换矩阵t为：平移矩阵a、旋转矩阵b和缩放矩阵c依次相乘的结果。

207、采用坐标变换矩阵对第一图像进行坐标变换。

208、对坐标变换后的第一图像与第二图像进行图像融合处理。

本实施例中，为了保证后续的融合图像的质量，可选地，可以对接收到的第一图像和第二图像进行一定的预处理。

以第一图像为红外图像、第二图像为可见光图像为例。

由于红外图像根据物体的热辐射成像的，亮度太高，不适合人的视觉系统。本实施例中，通过对第一图像进行灰度值取逆处理来降低红外图像的亮度，突出特征点。

具体地，假设红外图像simage1的大小为m*n，每个像素点的灰度值是8bits，即灰度等级划分为28即256个灰度级，构造m*n的单位矩阵e，取逆后的红外图像为simage2，则根据如下公式确定取逆后的红外图像：simage2＝256*e-simage1。

可见光图像是根据能量的反射原理所成的像，由于是在低照度的恶劣环境下获取的可见光图像，画面比较暗，突出的特征点少，因此，需要对可见光图像进行图像增强处理。具体地，可以对可见光图像的像素点的灰度值进行阈值划分，采用传统的三段式图像增强的方法，对不同阈值范围内的像素点通过拉伸变换系数的方法，实现图像画面的增强。

在对红外图像和可见光图像进行预处理之后，可以以预处理后的红外图像和可见光图像为基础，获取与预处理后的红外图像对应的坐标变换矩阵。

具体地，该坐标变换矩阵可以根据平移矩阵a、旋转矩阵b和缩放矩阵c获得，其中，平移矩阵a、旋转矩阵b和缩放矩阵c分别是用于表现平移参数、旋转参数和缩放参数的。因此，需要先根据平移参数、旋转参数和缩放参数分别生成对应的平移矩阵a、旋转矩阵b和缩放矩阵c，进而，可以确定与预处理后的红外图像对应的坐标变换矩阵t为：平移矩阵a、旋转矩阵b和缩放矩阵c依次进行矩阵相乘的结果：t＝abc。

针对缩放参数来说，图像的缩放变换操作主要是针对不同分辨率的图像进行的。由于红外图像与可见光图像的分辨率不同，因此，需要以预处理后的可见光图像为基准，对预处理后的红外图像进行缩放操作，以使得其分辨率与预处理后的可见光图像的分辨率一致。

假设像素点p(x,y)为预处理后的红外图像中的任一像素点，在x轴方向的缩放系数为tx，y轴方向的缩放系数为ty，经过缩放变换后得到对应像素点为p'(x',y')，则有：x'＝x*tx；y'＝y*ty。若用矩阵表示，则为：

从而，缩放矩阵

由此可知，若要生成上述缩放矩阵c，需要获得缩放参数tx和ty。而缩放参数tx和ty可以根据红外摄像头和ccd摄像头的分辨率确定，即两者x轴分辨率的比值即可确定tx，两者y轴分辨率的比值即可确定ty。因此，当ar设备中的红外摄像头和ccd摄像头设定后，即可确定出缩放参数tx和ty，该缩放参数tx和ty可以被预先存储在fpga组件的存储空间中。

针对旋转参数来说，图像的旋转变换操作主要由于拍摄红外图像和可见光图像时，由于人为因素使得红外图像和可见光图像之间存在角度的偏移，为了使两幅图像中对应的特征点能够准确的匹配，需要以预处理后的可见光图像为基准，对预处理后的红外图像在二维空间内做图像的旋转变换。

假设像素点p(x,y)为预处理后的红外图像中的任一像素点，经过旋转变换后得到对应像素点为p'(x',y')，若用矩阵表示p'(x',y')与p(x,y)的旋转关系，则为：

其中，以预处理后的红外图像中的原点为中心，建立直角坐标系。假设p(x,y)与原点的连接与x轴的夹角为第一角度；p'(x',y')与原点的连接与x轴的夹角为第二角度，则第二角度与第一角度的差值即为θ，代表的含义是：p'(x',y')与p(x,y)之间的偏转角度。

从而，旋转矩阵

由此可知，若要生成上述旋转矩阵b，需要获得旋转参数θ。而旋转参数θ可以根据红外摄像头和ccd摄像头的在ar设备中的设置情况确定，具体来说，可以测量红外摄像头的镜头中心与水平面表面的夹角，以及ccd摄像头的镜头中心与水平面表面的夹角，两个夹角的角度差即为旋转参数θ。因此，当ar设备中的红外摄像头和ccd摄像头设定后，即可确定出旋转参数θ，该旋转参数θ可以被预先存储在fpga组件的存储空间中。

针对平移参数来说，与上述旋转参数、缩放参数不同，当需要对红外图像进行平移变换操作时，平移参数需要基于当前的红外图像和可见光图像计算获得。也就是说，旋转参数和缩放参数可以认为是与当前拍得的图像无关的，不需依赖于当前拍得的图像确定，但是，平移参数是与当前拍得的图像有关的，需要依赖于当前拍得的图像确定。

平移参数的确定需要涉及到负责的计算过程，由于本发明实施例提供的图像处理方法是可基于fpga组件这一硬件平台来实现的，若用fpga组件来计算该平移参数，则比较受限，因此，可选地，可以基于图像配准处理组件来计算该平移参数，该图像配准处理组件可以实现为软件程序，经过该图像配准处理组件的计算处理，得到平移参数，反馈至fpga组件，以便fpga组件生成对应的平移矩阵a。

而图像配准处理组件主要是以预处理后的可见光图像为基准图像，以预处理后的红外图像为待配准图像，对预处理后的红外图像进行图像配准处理后得到平移参数。而该图像配准处理过程中，也会涉及到对预处理后的红外图像的缩放、旋转变换操作，因此，fpga可以将预处理后的红外图像、预处理后的可见光图像以及本地存储的旋转参数和缩放参数发送至图像配准处理组件，以使图像配准处理组件以预处理后的可见光图像为基准图像，结合该旋转参数和缩放参数对预处理后的红外图像进行图像配准处理，以获得平移参数。

简单来说明下图像配准处理组件的图像配准过程：

首先，基于缩放参数和旋转参数，分别对预处理后的红外图像进行缩放变换和旋转变换；其次，识别变换后的红外图像和预处理后的可见光图像的公共区域，识别公共区域的特征点；之后，建立变换后的红外图像和预处理后的可见光图像之间公共区域特征点的对应关系，以基于该对应关系确定出平移参数。

其中，对公共区域的识别可以通过比如感兴趣区域提取(roi)算法进行识别，主要思路为：把像素点在颜色、亮度、方向等方面与背景的对比定义为该像素点的显著值(saliency)，对比越强，该像素点的显著值就越大。所有像素点的显著值构成一张显著图。这里显著图是一副表明图像各像素点显著性的灰度图像，越亮表明该像素点的显著度越大。基于该显著图可以获得图像的感兴趣区域。两幅图像各自的感兴趣区域可以认为是公共区域。

对于特征点来说，可以采用差分的高斯金字塔算法进行特征点的检测。

在得到两幅图像中的特征点之后，建立两幅图像中的特征点之间的对应关系。举例来说，假设变换后的红外图像中任意一特征点的坐标为(x,y),预处理后的可见光图像上所有检测出的特征点的坐标为(x1,y1)、(x2,y2)…(xn,yn),确定(x,y)分别与(x1,y1)、(x2,y2)…(xn,yn)之间的余弦的最小值：即min(arctan(x-x1,y-y1),arctan(x-x2,y-y2)......arctan(x-xn,y-yn))，(x1,y1)、(x2,y2)…(xn,yn)中对应于该最小值的特征点即为与(x,y)对应的特征点，假设对应于该最小值的特征点为(x1,y1)。则(x,y)相对于(x1,y1)在x轴方向的偏移量δx可以根据x与x1的坐标差确定，在y轴方向的偏移量δy可以根据y与y1的坐标差确定。最后，对于所有特征点对，可以求取所述特征点对的偏移量的均值，以得到平移参数(dx,dy)。

从而，fpga基于该平移参数可以生成如下的平移矩阵a：

平移矩阵

从而，在fpga中，假设像素点p(x,y)为预处理后的红外图像中的任一像素点，经过平移变换后得到对应像素点为p'(x',y')，则有：

fpga在生成平移矩阵a、旋转矩阵b和缩放矩阵c，可以计算获得坐标变换矩阵t。

在基于前述过程得到坐标变换矩阵t后，fpga组件可以将预处理后的红外图像与该矩阵t相乘，得到坐标变换后的红外图像，进而，将坐标变换后的红外图像与预处理后的可见光图像进行图像融合处理。

具体地，该图像融合处理过程可以包括：

根据如下公式对坐标变换后的红外图像与预处理后的可见光图像进行灰度融合处理，以获得融合后的灰度图像：

g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)为坐标变换后的红外图像中的任一像素点(x,y)的灰度值，f2(x,y)为预处理后的可见光图像中的对应像素点的灰度值,g(x,y)为灰度图像中对应像素点的灰度值；w1(x,y)和w2(x,y)为加权系数，w1(x,y)+w2(x,y)＝1；

进而，以预处理后的可见光图像中各像素点的色度值渲染灰度图像中的对应像素点，以获得最终的融合后图像。由于该融合后的图像相当于是红外图像和可见光图像的优势特征的互补融合结果，图像质量较佳。

图3为本发明实施例提供的图像处理方法实施例三的流程图，如图3所示，在图1所示实施例基础上，步骤101之前，还可以包括如下步骤：

301、接收第二摄像头拍得的第三图像。

302、根据第三图像的平均灰度值与预设灰度阈值的比较结果，确定是否触发第一摄像头和第二摄像头同时工作，若是，则执行步骤101-104。

由于在实际应用中，包含了不同类型的第一摄像头和第二摄像头的ar设备不光仅用于恶劣环境中，比如光线较暗的环境中，还会被用于正常的环境中。而在正常的环境中，如果ar设备中的第一摄像头和第二摄像头都同时工作，可能是没有必要的。

因此，本实施例还提供了基于当前环境的不同，控制第一摄像头和第二摄像头是否工作的方案。

以第一摄像头为红外摄像头、第二摄像头为ccd摄像头为例。在正常环境中，可以仅让ccd摄像头工作，而在某些恶劣环境中，可以让红外摄像头和ccd摄像头同时工作。

本实施例中，对于当前的环境是正常环境还是恶劣环境的识别，可以通过识别ccd摄像头拍得的图像的像素灰度值的情况来判定。

具体来说，当ar设备被启动时，可以先控制ccd摄像头随机拍得一幅图像，即上述第三图像。通过对该第三图像中全部或部分像素的灰度值进行求平均运算，得到平均灰度值。进而，将该平均灰度值与某预设的灰度阈值进行比较，如果大于该灰度阈值，说明此时ccd摄像头拍得的图像分辨率即可满足观看需求，当前的环境属于正常环境，此时控制ccd摄像头单独工作即可。相反地，如果小于该灰度阈值，说明此时ccd摄像头拍得的图像分辨率不足以满足观看需求，当前的环境属于恶劣环境，此时需控制红外摄像头和ccd摄像头同时工作。

本实施例中，通过对当前环境是正常环境还是异常的恶劣环境的识别，对ar设备中设置的不同摄像头进行工作与否的控制，提高ar设备的智能化。

以下将详细描述本发明的一个或多个实施例的图像处理装置。本领域技术人员可以理解，这些图像处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图4为本发明实施例提供的图像处理装置实施例一的结构示意图，如图5所示，该装置包括：接收模块11、获取模块12、变换模块13、融合模块14。

接收模块11，用于接收第一图像和第二图像，所述第一图像和所述第二图像是分别通过第一摄像头和第二摄像头拍摄同一场景获得的非同源图像。

获取模块12，用于获取与所述第一图像对应的坐标变换矩阵，所述坐标变换矩阵以所述第二图像为基准图像。

变换模块13，用于采用所述坐标变换矩阵对所述第一图像进行坐标变换。

融合模块14，用于对坐标变换后的第一图像与所述第二图像进行图像融合处理。

图4所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。

图5为本发明实施例提供的图像处理装置实施例二的结构示意图，如图5所示，在图4所示实施例基础上，还包括：预处理模块21。

预处理模块21，用于对所述第一图像和所述第二图像进行预处理，所述预处理包括：对所述第一图像进行灰度值取逆处理，对所述第二图像进行图像增强处理。

可选地，所述获取模块12包括：生成单元121、确定单元122。

生成单元121，用于分别生成平移矩阵a、旋转矩阵b和缩放矩阵c。

确定单元122，用于确定与所述第一图像对应的坐标变换矩阵t为：所述平移矩阵a、所述旋转矩阵b和所述缩放矩阵c依次相乘的结果。

可选地，所述生成单元121具体用于：

根据本地存储的旋转参数和缩放参数，分别生成所述旋转矩阵b和所述缩放矩阵c；

将所述第一图像、所述第二图像以及所述旋转参数和所述缩放参数发送至图像配准处理组件，以使所述图像配准处理组件以所述第二图像为基准图像，结合所述旋转参数和所述缩放参数对所述第一图像进行配准处理，以获得平移参数；

根据所述图像配准处理组件反馈的所述平移参数，生成所述平移矩阵a。

可选地，所述融合模块14包括：灰度融合单元141、色度渲染单元142。

灰度融合单元141，用于根据如下公式对所述坐标变换后的第一图像与所述第二图像进行灰度融合处理，以获得融合后的灰度图像：

g(x,y)＝w1(x,y)*f1(x,y)+w2(x,y)*f2(x,y)，其中，f1(x,y)为所述坐标变换后的第一图像中的任一像素点(x,y)的灰度值，f2(x,y)为所述第二图像中的对应像素点的灰度值,g(x,y)为灰度图像中对应像素点的灰度值；w1(x,y)和w2(x,y)为加权系数，w1(x,y)+w2(x,y)＝1；

色度渲染单元142，用于以所述第二图像中各像素点的色度值渲染所述灰度图像中的对应像素点。

图5所示装置可以执行图2所示实施例的方法，本实施例未详细描述的部分，可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述，在此不再赘述。

图6为本发明实施例提供的图像处理装置实施例三的结构示意图，如图6所示，在前述实施例基础上，所述接收模块11，还用于接收所述第二摄像头拍得的第三图像。

该装置还可以包括：确定模块31。

确定模块31，用于根据所述第三图像的平均灰度值与预设灰度阈值的比较结果，确定是否触发所述第一摄像头和所述第二摄像头同时工作。

图6所示装置可以执行图3所示实施例的方法，本实施例未详细描述的部分，可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

图7为本发明实施例提供的增强现实设备实施例一的结构示意图，如图7所示，该ar设备可以包括：第一摄像头41、第二摄像头42、存储器43和处理器44；其中，

所述存储器43用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器44执行时实现如图1至图3所示实施例提供的图像处理方法。

第一摄像头41和第二摄像头42在ar设备中的设置可以是：在一水平面上，左右分别设置第一摄像头41和第二摄像头42，即第一摄像头和第二摄像头距离用户ar设备的显示屏的垂直距离相等。

可选地，所述第一摄像头41为红外摄像头，所述第二摄像头42为ccd摄像头。

图8为本发明实施例提供的增强现实设备实施例二的结构示意图，如图8所示，该ar设备中包括：

第一摄像头51、第二摄像头52、fpga组件53；其中，

所述fpga组件53中包含有实现如图1至图3所示实施例提供的图像处理方法的功能逻辑。fpga组件可以设置在ar设备的主板上。

基于fpga组件这一平台实现多源图像的融合，由于fpga的存储资源等资源丰富，运算速度会更快。在视频图像采集与展示的场景中，会使得融合后的视频流畅度更高，能够实时输出融合后的图像，达到更好的视觉体验效果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。