一种图像处理方法及电子设备与流程

本发明涉及电子技术，尤其涉及一种图像处理方法及电子设备。

背景技术：

即时定位与地图构建(simultaneouslocalizationandmapping，slam)也称为并发建图与定位(concurrentmappingandlocalization，cml)，即机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，从而实现机器人的自主定位和导航。slam空间位姿定位是增强现实(augmentedreality，ar)/虚拟现实(virtualreality，vr)应用中的关键技术，slam空间位姿定位需要提取周围环境图像的稳定静止的特征点作为“路标”，当周围环境中有运动目标时，运动目标上的特征点会影响定位的精度和稳定性。在ar/vr应用中，手势操作是一种常见的交互方式，然而手势操作中手掌的运动会影响上述slam定位精度和稳定性。

技术实现要素：

有鉴于此，本发明实施例为解决现有技术中存在的问题而提供一种图像处理方法及电子设备，能够消除手势操作的运动对slam定位影响，从而提升定位的精度和稳定性。

本发明实施例的技术方案是这样实现的：

一方面，本发明实施例提供一种图像处理方法，应用于电子设备，所述方法包括：

获取所述电子设备的第一图像采集装置采集的第一图像，以及第二图像采集装置采集的第二图像；

确定第一图像采集装置采集的包括目标对象的第一图像；

根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域；

对所述第二图像中的特征区域进行过滤，以进行空间定位。

另一方面，本发明实施例提供一种电子设备，所述电子设备包括第一图像采集装置、第二图像采集装置和处理器，其中所述处理器用于：

获取所述电子设备的第一图像采集装置采集的第一图像，以及第二图像采集装置采集的第二图像；

确定第一图像采集装置采集的包括目标对象的第一图像；

根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域；

对所述第二图像中的特征区域进行过滤，以进行空间定位。

本发明实施例提供一种像处理方法及电子设备，其中，获取所述电子设备的第一图像采集装置采集的第一图像，以及第二图像采集装置采集的第二图像；确定第一图像采集装置采集的包括目标对象的第一图像；根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域；对所述第二图像中的特征区域进行过滤，以进行空间定位；如此，能够消除手势操作的运动对slam定位影响，从而提升定位的精度和稳定性。

附图说明

图1为本发明实施例一种图像处理方法的实现流程示意图；

图2为本发明实施例另一图像处理方法的实现流程示意图；

图3a为本发明实施例的场景示意图一；

图3b为本发明实施例的场景示意图二；

图4为本发明实施例一种图像处理装置的组成结构示意图；

图5为本发明实施例一种电子设备的组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

本实施例提供一种图像处理方法，该方法应用于电子设备，该图像处理方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。

图1为本发明实施例一种图像处理方法的实现流程示意图，如图1所示，该方法包括：

步骤s101，获取所述电子设备的第一图像采集装置采集的第一图像，以及第二图像采集装置采集的第二图像；

这里，所述电子设备在具体实施例的过程中可以为各种类型的具有信息处理能力的ar或vr设备，例如所述电子设备可以包括手机、平板电脑等。

一般来说，vr或ar设备都包括至少两个相机，其中一个相机用于获取包括手势的图像(第一图像)，另一个相机用于获取周围环境图像(第二图像)。

步骤s102，确定第一图像采集装置采集的包括目标对象的第一图像；

这里，目标对象可以包括用户的手势，这样即判断所述第一图像中是否包括用户的手势区域，如果所述第一图像中包括用户的手势区域，则确定所述第一图像包括目标对象；如果所述第一图像中没有包括用户的手势区域，则确定所述第一图像不包括目标对象。

步骤s103，根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域；

这里，所述第一图像除了包括目标对象外，所述第一图像还包括周围的环境对象，例如稳定静止的特征点，而这样特征点往往可以作为路标。

步骤s104，对所述第二图像中的特征区域进行过滤，以进行空间定位。

这里，所述过滤是指去除第二图像中的特征区域，或者提取除所述特征区域之外的图像区域。在实现的过程中，所述方法还包括：提取特征区域的特征点，对应地，对所述第二图像中的特征区域进行过滤，包括对对所述第二图像中的特征区域中的特征点进行过滤。

本发明实施例中，获取所述电子设备的第一图像采集装置采集的第一图像，以及第二图像采集装置采集的第二图像；确定第一图像采集装置采集的包括目标对象的第一图像；根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域；对所述第二图像中的特征区域进行过滤，以进行空间定位；如此，能够消除手势操作的运动对slam定位影响，从而提升定位的精度和稳定性。

在本发明的其他实施例中，所述对所述第二图像中的特征区域进行过滤，以进行空间定位包括：

步骤s141，对所述第二图像中的特征区域进行过滤，得到第三图像；

步骤s142，利用所述第三图像进行定位。

这里，去除第二图像中的特征区域，得到第三图像，或者提取除第二图像中所述特征区域之外的图像区域，得到第三图像。

这里，所述利用所述第三图像进行定位，包括：

步骤a1，从所述第三图像中提取周围环境图像的特征点作为路标；

这里，路标一般采用轮廓清晰、路标的图像区域满足预设的大小，如果路标的图像区域过大或过小，对定位的精度都会产生影响，一般设置一个图像占比，例如将图像区域满足图像占比的对象确定为路标。

步骤a2，将所述第三图像的路标与预存的图像中的路标进行对比，得到所述电子设备的相对位置。

这里，由于vr、ar为三维地图，那么相对位置也是三维方向上的。

从以上实施例提供的技术方案可以看出，1)在包括手势的图像中分割出手势(例如手掌、手指)的区域；2)标定手势获取相机(第一图像采集装置)与slam应用相机(第二图像采集装置)的相对位姿信息，将手势应用相机图像中的手势区域映射到slam应用相机图像坐标系下，得到slam应用相机图像的手势区域；3)在slam算法中对提取到的特征区域进行过滤，去掉slam应用相机采集的图像中的手势区域，在此基础上再进行后续slam算法定位。

本实施例提供一种图像处理方法，该方法应用于电子设备，该图像处理方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。

图2为本发明实施例另一图像处理方法的实现流程示意图，如图2所示，该方法包括：

步骤s201，获取所述电子设备的第一图像采集装置采集的第一图像，以及第二图像采集装置采集的第二图像；

步骤s202，确定第一图像采集装置采集的包括目标对象的第一图像；

步骤s203，确定所述第一图像采集装置与第二图像采集装置之间的相对位姿信息；

步骤s204，根据所述第一图像和所述相对位姿信息确定所述目标对象在所述第二图像中所对应的特征区域。

在本发明的其他实施例中，步骤s203和步骤204提供了一种实现所述根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域的方法。

步骤s205，对所述第二图像中的特征区域进行过滤，以进行空间定位。

在本发明的其他实施例中，所述根据所述第一图像和所述相对位姿信息确定所述目标对象在所述第二图像中所对应的特征区域，包括：

根据所述相对位姿信息将所述第一图像中的目标对象映射至所述第二图像采集装置的第二图像中，得到所述特征区域。

在本发明的其他实施例中，步骤s204，所述根据所述第一图像和所述相对位姿信息确定所述目标对象在所述第二图像中所对应的特征区域，包括：

步骤s241，利用所述第一图像采集装置的类型信息对所述第一图像进行分析，得到第一位置信息，所述第一位置信息为所述目标对象在所述第一图像中的位置信息；

步骤s242，根据所述相对位姿信息和所述第一位置信息确定第二位置信息，所述第二位置信息为所述目标对象在所述第二图像中的位置信息；

步骤s243，根据所述第二图像中的位置信息确定所述特征区域。

这里，所述利用所述第一图像采集装置的类型信息对所述第一图像进行分析，得到第一位置信息，包括：所述第一图像采集装置为深度相机时，基于点云的分割算法对所述第一图像进行分析，得到所述第一位置信息。

这里，所述利用所述第一图像采集装置的类型信息对所述第一图像进行分析，得到第一位置信息，包括：所述第一图像采集装置为rgb相机时，基于肤色的分割算法对所述第一图像进行分析，得到所述第一位置信息。

在本发明实施例提供一种图像处理方法，该方法包括：

1)在手势应用相机图像中分割出手掌的区域。

这里，针对深度相机，可以使用基于点云的分割算法得到手掌区域。针对rgb相机，可以使用基于肤色的分割算法得到手掌区域。

2)标定手势获取相机与slam应用相机的相对位姿信息；如图3a所示，a图中示出了在三维场景中手势30在两个相机中的位置，b图示出了手势在手势应用相机所采集的图像中的位置，c图示出了手势在手势应用相机所采集的图像中的位置，这样可以将手势应用相机图像中的手势区域映射到slam应用相机图像坐标系下，得到slam应用相机图像的手势区域。

3)如图3b所示，在slam算法中对提取到的特征点进行过滤，去掉手势区域中的特征点。在此基础上再进行后续slam算法定位。

本发明实施例中，为了辨别设备中是否应用了该方法，可以通过在一个白墙无纹理的区域进行手势操作，查看手势运动是否对slam的定位产生干扰。

下面简要介绍一下slam理论，在slam理论中，第一个问题称为定位，第二个称为建图，第三个则是随后的路径规划。在实现的过程中，slam应用相机一般可以采用kinect相机，其测量范围在3米(m)至12m之间，精度约3厘米(cm)。

一般来说，机器转过了一定的角度，但究竟转过多少度就要靠计算机来求解了。这个问题称为相机相对姿态估计，经典的算法是迭代最近点(iterativeclosestpoint，icp)。这个算法要求知道这两个图像间的一组特征点(匹配点)，即牵涉到两个简单的问题：特征点的提取和匹配。在应用过程中可以通过尺度不变特征变换(scale-invariantfeaturetransform，sift)提取的特征点与匹配结果。得到一组特征点后，计算两个图像间的转换关系(即映射关系)，也叫pnp问题，它的模型中是关于r和c的函数，其中r为相机的姿态，c为相机的标定矩阵。r是不断运动的，而c则是随着相机固定的。只要不断匹配下去，定位问题就能够解决，不过还需要引入一个关键帧的结构(发现位移超过一个固定值时，定义成一个关键帧)。然后，把新的图像与关键帧比较就行了。至于建图，就是把这些关键帧的点云拼起来。

本发明实施例提供一种图像处理装置，该装置所包括的各单元、各单元所包括的各模块，以及各模块所包括的各子模块，都可以通过电子设备中的处理器来实现，当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)或现场可编程门阵列(fpga)等。

图4为本发明实施例一种图像处理装置的组成结构示意图，如图4所示，所述装置400包括获取单元401、第一确定单元402、第二确定单元403和定位单元404，其中：

所述获取单元401，用于获取所述电子设备的第一图像采集装置采集的第一图像，以及第二图像采集装置采集的第二图像；

所述第一确定单元402，用于确定第一图像采集装置采集的包括目标对象的第一图像；

所述第二确定单元403，用于根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域；

所述定位单元404，用于对所述第二图像中的特征区域进行过滤，以进行空间定位。

所述定位单元404包括过滤模块和定位模块，其中：

在本发明的其他实施例中，所述过滤模块，用于对所述第二图像中的特征区域进行过滤，得到第三图像；

所述定位模块，用于利用所述第三图像进行定位。

在本发明的其他实施例中，所述定位模块包括提取子模块和对比子模块，其中：

所述提取子模块，用于从所述第三图像中提取周围环境图像的特征点作为路标；

所述对比子模块，用于将所述第三图像的路标与预存的图像中的路标进行对比，得到所述电子设备的相对位置。

在本发明的其他实施例中，所述第二确定单元包括第一确定模块和第二确定子模块，其中：

所述第一确定模块，用于确定所述第一图像采集装置与第二图像采集装置之间的相对位姿信息；

所述第二确定模块，用于根据所述第一图像和所述相对位姿信息确定所述目标对象在所述第二图像中所对应的特征区域。

在本发明的其他实施例中，所述第二确定模块，用于根据所述相对位姿信息将所述第一图像中的目标对象映射至所述第二图像采集装置的第二图像中，得到所述特征区域。

在本发明的其他实施例中，所述第二确定模块，包括分析子模块、第一确定子模块和第二确定子模块，其中

所述分析子模块，用于利用所述第一图像采集装置的类型信息对所述第一图像进行分析，得到第一位置信息，所述第一位置信息为所述目标对象在所述第一图像中的位置信息；

所述第一确定子模块，用于根据所述相对位姿信息和所述第一位置信息确定第二位置信息，所述第二位置信息为所述目标对象在所述第二图像中的位置信息；

所述第二确定子模块，用于根据所述第二图像中的位置信息确定所述特征区域。

在本发明的其他实施例中，所述分析子模块，用于所述第一图像采集装置为深度相机时，基于点云的分割算法对所述第一图像进行分析，得到所述第一位置信息。

在本发明的其他实施例中，所述分析子模块，用于所述第一图像采集装置为rgb相机时，基于肤色的分割算法对所述第一图像进行分析，得到所述第一位置信息。

这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解。

基于前述的实施例，本发明实施例提供一种电子设备，图5为本发明实施例一种电子设备的组成结构示意图，如图5所示，该电子设备500包括第一图像采集装置501、第二图像采集装置502和处理器503，其中所述处理器503用于：

获取所述电子设备的第一图像采集装置采集的第一图像，以及第二图像采集装置采集的第二图像；

确定第一图像采集装置采集的包括目标对象的第一图像；

根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域；

对所述第二图像中的特征区域进行过滤，以进行空间定位。

在本发明的其他实施例中，所述对所述第二图像中的特征区域进行过滤，以进行空间定位，包括：

对所述第二图像中的特征区域进行过滤，得到第三图像；

利用所述第三图像进行定位。

在本发明的其他实施例中，所述利用所述第三图像进行定位，包括：

从所述第三图像中提取周围环境图像的特征点作为路标；

将所述第三图像的路标与预存的图像中的路标进行对比，得到所述电子设备的相对位置。

在本发明的其他实施例中，所述根据所述第一图像确定所述目标对象在所述第二图像中所对应的特征区域包括：

确定所述第一图像采集装置与第二图像采集装置之间的相对位姿信息；

根据所述第一图像和所述相对位姿信息确定所述目标对象在所述第二图像中所对应的特征区域。

在本发明的其他实施例中，所述根据所述第一图像和所述相对位姿信息确定所述目标对象在所述第二图像中所对应的特征区域，包括：

根据所述相对位姿信息将所述第一图像中的目标对象映射至所述第二图像采集装置的第二图像中，得到所述特征区域。

在本发明的其他实施例中，所述根据所述第一图像和所述相对位姿信息确定所述目标对象在所述第二图像中所对应的特征区域，包括：

利用所述第一图像采集装置的类型信息对所述第一图像进行分析，得到第一位置信息，所述第一位置信息为所述目标对象在所述第一图像中的位置信息；

对应地，根据所述相对位姿信息和所述第一位置信息确定第二位置信息，所述第二位置信息为所述目标对象在所述第二图像中的位置信息；

根据所述第二图像中的位置信息确定所述特征区域。

在本发明的其他实施例中，所述利用所述第一图像采集装置的类型信息对所述第一图像进行分析，得到第一位置信息，包括：

所述第一图像采集装置为深度相机时，基于点云的分割算法对所述第一图像进行分析，得到所述第一位置信息。

在本发明的其他实施例中，所述利用所述第一图像采集装置的类型信息对所述第一图像进行分析，得到第一位置信息，包括：

所述第一图像采集装置为rgb相机时，基于肤色的分割算法对所述第一图像进行分析，得到所述第一位置信息。

这里需要指出的是：以上电子设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果。对于本发明电子设备实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(readonlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。