增强现实图像处理方法、装置、电子设备和存储介质与流程

本申请涉及影像技术领域，特别是涉及一种增强现实图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术：

随着影像技术及计算机技术的发展，ar(augmentedreality，增强现实)技术的使用越来越普遍。ar技术广泛应用于娱乐游戏、购物试用、家居装修展示等场景。目前，电子设备可以通过摄像头采集包含真实世界信息的图像与虚拟物体融合进行增强现实处理。

技术实现要素：

本申请实施例提供一种增强现实图像处理方法、装置、电子设备和计算机可读存储介质，可以提高增强现实图像处理的准确性。

一种增强现实图像处理方法，包括：

通过处理器接收图像传感器发送的组合数据，对所述组合数据进行解析得到对应的角速度数据和图像帧，其中，所述角速度数据用于表示在采集所述图像帧时所述图像传感器对应的透镜的抖动程度；

根据所述角速度数据对所述图像帧进行补偿处理，得到对应的中间图像帧；

获取虚拟物体，将所述虚拟物体与所述中间图像帧进行融合处理，得到目标图像帧。

一种增强现实图像处理装置，包括：

数据解析模块，用于通过处理器接收图像传感器发送的组合数据，对所述组合数据进行解析得到对应的角速度数据和图像帧，其中，所述角速度数据用于表示在采集所述图像帧时所述图像传感器对应的透镜的抖动程度；

补偿处理模块，用于根据所述角速度数据对所述图像帧进行补偿处理，得到对应的中间图像帧；

融合处理模块，用于获取虚拟物体，将所述虚拟物体与所述中间图像帧进行融合处理，得到目标图像帧。

一种电子设备，包括处理器和存储器，所述处理器与所述存储器连接；所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

通过处理器接收图像传感器发送的组合数据，对所述组合数据进行解析得到对应的角速度数据和图像帧，其中，所述角速度数据用于表示在采集所述图像帧时所述图像传感器对应的透镜的抖动程度；

根据所述角速度数据对所述图像帧进行补偿处理，得到对应的中间图像帧；

获取虚拟物体，将所述虚拟物体与所述中间图像帧进行融合处理，得到目标图像帧。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

通过处理器接收图像传感器发送的组合数据，对所述组合数据进行解析得到对应的角速度数据和图像帧，其中，所述角速度数据用于表示在采集所述图像帧时所述图像传感器对应的透镜的抖动程度；

根据所述角速度数据对所述图像帧进行补偿处理，得到对应的中间图像帧；

获取虚拟物体，将所述虚拟物体与所述中间图像帧进行融合处理，得到目标图像帧。

上述增强现实图像处理方法、装置、电子设备和计算机可读存储介质，可以通过处理器接收图像传感器发送的组合数据，对组合数据进行解析得到对应的角速度数据和图像帧，其中，角速度数据用于表示在采集图像帧时图像传感器对应的透镜的抖动程度，根据角速度数据对图像帧进行补偿处理，得到对应的中间图像帧，获取虚拟物体，将虚拟物体与中间图像帧进行融合处理，得到目标图像帧。由于处理器可以根据组合数据解析得到的角速度数据对图像帧进行补偿处理，可以避免分别从图像传感器获取图像帧及从陀螺仪获取角速度数据时数据不同步，图像补偿效果较差而导致ar应用时图像与虚拟物体融合不准确的问题，提高了增强现实图像处理的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中增强现实图像处理方法的应用环境示意图；

图2为一个实施例中增强现实图像处理方法的流程图；

图3为一个是实施例中确定目标图像区域的流程图；

图4为一个实施例中对图像帧的目标图像区域进行补偿处理的流程图；

图5为一个实施例中将虚拟物体和中间图像帧融合处理的流程图；

图6为一个实施例中实现增强现实图像处理方法的硬件结构图；

图7为一个实施例中对图像帧进行补偿处理的流程图；

图8为一个实施例的增强现实图像处理装置的结构框图；

图9为一个实施例中电子设备的内部结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一差值称为第二差值，且类似地，可将第二差值称为第一差值。第一差值和第二差值两者都是差值，但其不是同一差值。

图1为一个实施例中增强现实图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110可以通过处理器接收图像传感器发送的组合数据，对组合数据进行解析得到对应的角速度数据和图像帧，其中，角速度数据用于表示在采集图像帧时图像传感器对应的透镜的抖动程度，根据角速度数据对图像帧进行补偿处理，得到对应的中间图像帧，获取虚拟物体，将虚拟物体与中间图像帧进行融合处理，得到目标图像帧。可以理解的是，上述电子设备110可以不限于是各种手机、电脑、可携带设备等。

图2为一个实施例中增强现实图像处理方法的流程图。如图2所示，增强现实图像处理方法包括步骤202至步骤206。

步骤202，通过处理器接收图像传感器发送的组合数据，对组合数据进行解析得到对应的角速度数据和图像帧，其中，角速度数据用于表示在采集图像帧时图像传感器对应的透镜的抖动程度。

处理器可以是cpu(centralprocessingunit,中央处理器)，isp(imagesignalprocessing，图像信号处理)，mcu(microcontrollerunit，微控制单元)等，不限于此。处理器的功能主要是解释电子设备中的指令以及处理电子设备中软件的数据。图像传感器指的是利用光电器件的光电转换功能，将感光面上的光像转换为与光像成相应比例关系的电信号的一种功能器件。在本实施例中，通过图像传感器可以获取图像数据并将图像数据发送至处理器。可选地，图像传感器可以通过mipi(mobileindustryprocessorinterface，移动产业处理器接口)将图像数据发送至处理器，也可以通过网络无线接口发送至处理器，不限于此。

组合数据指的是图像帧与角速度数据进行绑定得到的数据。绑定的方式包括但不限于将角速度数据插入到图像帧中，也可以是将角速度数据拼接在第一图像帧的头部或者尾部。其中，图像帧是指摄像头采集的图像，摄像头采集的图像帧可以展示在电子设备的显示屏上。角速度数据用于表示在采集图像帧时图像传感器对应的透镜的抖动程度。可以理解的是，角速度数据中的角速度越大，表示图像传感器在采集图像帧时透镜的抖动程度越大。处理器可以接收到＝图像传感器发送的组合数据，并对组合数据进行解析得到对应的角速度数据和图像帧。

步骤204，根据角速度数据对图像帧进行补偿处理，得到对应的中间图像帧。

摄像头在采集图像时，通常需要一定的曝光时间，若摄像头在曝光时间内发生抖动，则会影响成像的清晰度，使得采集的图像模糊。在曝光时间相同的情况下，抖动幅度越大，则成像越模糊。补偿处理即为根据拍摄过程中抖动幅度的大小对采集的图像帧进行处理，以减弱抖动对图像造成的影响。中间图像帧是图像帧经过抖动补偿后得到的。每一个图像帧对应至少一个角速度数据。当图像帧对应的一个角速度数据时，角速度数据表示图像传感器在采集图像时透镜的抖动程度；图像帧也可以对应多个角速度数据，此时，每个角速度数据表示图像传感器在采集图像帧的不同像素点时的透镜的抖动程度。

处理器解析得到角速度数据后，根据角速度数据对图像帧进行抖动补偿。具体地，处理器可以根据角速度数据对图像帧进行剪切、平移、旋转等处理，不限于此。

步骤206，获取虚拟物体，将虚拟物体与中间图像帧进行融合处理，得到目标图像帧。

ar技术是一种将真实世界信息和虚拟世界信息集成的技术。ar技术可以将真实的环境和虚拟的物体实时叠加到同一画面或空间中同时存在。在本申请实施例中，图像帧包含的信息即为真实世界信息，虚拟物体即为虚拟世界信息。虚拟物体可以根据当前的应用场景来确定，例如，在游戏场景中，对应的虚拟物体可以是游戏中的角色、游戏工具等；在购物场景中，对应的虚拟物体中可以是衣物、配饰、家具等；在翻译场景中，对应的虚拟物品可以是图像帧包含的文字信息等，不限于此。电子设备可以根据当前的应用场景确定对应的虚拟物体，也可以获取由用户选中的当前应用场景中的虚拟物品；还可以基于具体的应用需求和图像帧中确定虚拟物体等。

融合处理是指将多张图像或图像与其他信息按照一定规则生成最终的图像的操作。电子设备可以将得到的虚拟物品与中间图像帧进行融合处理，得到目标图像帧。具体地，电子设备可以确定虚拟物品在中间图像帧的位置，根据该位置将虚拟物体和中间图像帧进行融合以得到目标图像帧。其中，虚拟物品在中间图像帧的位置可以是一定的，也可以根据中间图像帧包含的图像信息来确定，还可以根据虚拟物体的运动轨迹等来确定，在此不做限定。可选地，在一些实施例中，电子设备可以对中间图像帧进行3d(dimension，维)渲染处理，将渲染处理后的中间图像帧与虚拟物体进行融合处理，得到目标图像帧。

本申请实施例中，通过处理器接收图像传感器发送的组合数据，对组合数据进行解析得到对应的角速度数据和图像帧，根据角速度数据对图像帧进行补偿处理，得到对应的中间图像帧，将虚拟物体与中间图像帧进行融合处理，得到目标图像帧。由于组合数据中包含图像帧及对应角速度数据，处理器直接根据解析的角速度数据对图像帧进行补偿处理，可以避免了分别从图像传感器获取图像帧及从陀螺仪获取角速度数据时数据不同步，图像补偿效果较差而导致ar应用时图像与虚拟物体融合不准确的问题，即提高了增强现实图像处理的准确性。

在一个实施例中，提供的增强现实图像处理方法中对组合数据进行解析得到对应的加速度数据和图像帧的过程包括：对组合数据进行解析，得到图像帧以及图像帧中至少两个不同的目标图像区域分别对应的子区域角速度数据；根据角速度数据对图像帧进行补偿处理的过程包括：根据至少两个子区域角速度数据分别对图像帧中对应的目标图像区域进行补偿处理。

图像传感器在采集图像帧时可以逐行获取像素点的像素值，在图像传感器采集整个图像帧的像素值的过程中，可以分区域获取图像帧对应的角速度数据，即获取图像帧中至少两个不同的图像区域分别的子区域角速度数据。目标图像区域可以是图像帧包含的所有图像区域，也可以是指定的图像区域如靠近图像中心的预设数量个图像区域，还可以是图像帧中拍摄主体所在的图像区域等。例如，图像传感器采集的图像帧竖向包含400个像素点，则可以每40行获取一个角速度数据，该图像帧分别10个不同的图像区域，每一个图像区域对应一个子区域角速度数据。处理器根据至少两个子区域角速度数据分别对图像帧中对应的目标图像区域进行补偿处理。例如，当图像帧分为5个不同的图像区域，每个不同的图像区域对应一个子区域角速度数据，通过子区域角速度数据可以知道对应的图像区域的偏移情况，如当根据第3个目标图像区域对应的子区域速度数据确定第3个目标图像区域向上偏移时，则根据该子区域角速度数据对第3个目标图像区域进行补偿处理可以使得处理后的第3个目标图像区域相比于处理前向下偏移。

通过将图像帧分为多个不同的图像区域，每个图像区域对应的一个子区域角速度数据，分别根据子区域角速度数据对对应的目标图像区域进行处理，可以提高图像补偿的精确度。

图3为一个是实施例中确定目标图像区域的流程图。如图3所示，在一个实施例中，该方法中确定目标图像区域的过程包括：

步骤302，获取虚拟物体在图像帧中的目标物体区域。

虚拟物体在图像帧中的目标物体区域即为目标图像帧中目标物体所在的区域。处理器可以获取虚拟物体在图像帧中的目标物体区域。具体地，目标物体区域可以是预设的固定的区域，目标物体区域可以位于图像帧中从左至右的第100个像素点至第150像素点之间，及从上至下的第200个像素点至第380个像素点之间；目标物体区域也可以根据虚拟物体的运动轨迹计算的，如当接收用户对虚拟物体的抛出指令时，处理器可以根据虚拟物品抛出的角速度和速度计算每一帧图像帧中虚拟物体对应的目标物体区域；目标物体区域还可以根据图像帧包含的图像信息来确定，例如，处理器预设虚拟物体的放置规则，如当虚拟物体为衣服时，则处理器可以检测图像帧中人像及手部、腿部等所在的位置，则人像中身体所在部位即为目标物体区域等不限于此。

步骤304，获取图像帧包含的每一个图像区域与目标物体区域重合的面积。

图像区域是根据实际应用需求进行划分的，具体地，图像帧划分的图像区域的数量可以是2个、4个、8个、10个等不限于此。电子设备可以计算图像帧中每一个图像区域与目标物体区域重合的面积。

步骤306，将面积大于面积阈值的图像区域作为目标图像区域。

面积阈值可以根据图像区域的面积的大小来确定。具体地，面积阈值可以是图像区域的面积的20％、40％、50％、60％等，不限于此。例如，当图像帧的面积大小为300*300像素，每一个图像区域的面积为300*60像素，则面积阈值可以是2000像素、4000像素、5500像素等，不限于此。电子设备可以将面积大于面积阈值的图像区域作为目标图像区域，根据目标图像区域对应的子区域角速度数据对该目标图像区域进行处理，可以在保证图像增强现实效果的同时提高增强现实图像的处理效率。

图4为一个实施例中对图像帧的目标图像区域进行补偿处理的流程图。如图4所示，在一个实施例中，提供的增强现实图像处理方法中根据至少两个子区域角速度数据分别对图像帧中对应的目标图像区域进行补偿处理的过程包括：

步骤402，获取至少两个子区域角速度数据之间的第一差值。

角速度越大，表示电子设备的抖动程度越大。当角速度为0时，表示电子设备未抖动。电子设备可以获取至少两个子区域角速度数据之间的第一差值。第一差值越大，则表示电子设备的抖动越不均匀，各子区域角速度数据对应的图像区域的抖动偏差相差越大；第一差值越小，则表示电子设备的抖动均匀，各子区域角速度数据对应的图像区域的抖动偏差相差较小。

步骤404，当第一差值大于或等于第一阈值时，根据至少两个子区域角速度数据分别对图像帧中对应的目标图像区域进行补偿处理。

第一阈值可以根据实际应用需求设定，在此不做限定。电子设备在当第一差值大于或等于第一阈值时，根据至少两个子区域角速度数据分别对图像帧中对应的目标图像区域进行补偿处理。

步骤406，当第一差值小于第一阈值时，从至少两个子区域角速度数据中确定图像帧的目标角速度数据，并根据目标角速度数据对图像帧进行补偿处理。

当第一差值小于第一阈值时，从至少两个子区域角速度数据中确定图像帧的目标角速度数据。具体地，电子设备可以从至少两个子区域角速度数据中随机获取一个子区域角速度数据作为目标角速度数据，也可以选择其中一个子区域角速度数据作为目标角速度点数据，还可以将至少两个子区域角速度数据的平均值作为目标角速度数据等，不限于此。电子设备可以根据确定的目标角速度数据对图像帧进行抖动补偿处理，得到对应的中间图像帧。

通过获取至少两个子区域角速度数据之间的第一差值，当第一差值大于或等于差值阈值时，根据至少两子区域角速度数据分别对图像帧中至少两个不同的目标图像区域进行抖动补偿；当第一差值小于第一阈值时，从至少两个子区域角速度数据中确定图像帧的目标角速度数据，并根据目标角速度数据对图像帧进行抖动补偿，即可以在抖动幅度相同或接近的情况下根据同一目标角速度数据对图像帧进行补偿处理，在抖动幅度差别较大的情况下根据每一个子区域角速度数据对图像帧中对应的目标图像区域进行补偿处理，可以在保证图像抖动补偿准确性的同时提高抖动补偿的效率。

图5为一个实施例中将虚拟物体和中间图像帧融合处理的流程图。如图5所示，在一个实施例中，提供的增强现实图像处理方法中将虚拟物体与中间图像帧进行融合处理的过程，包括：

步骤502，获取图像帧对应的角速度数据与前一图像帧对应的角速度数据之间的第二差值。

电子设备可以通过处理器获取图像帧对应的角速度数据与前一图像帧对应的角速度数据之间的第一差值。

步骤504，当第二差值小于第二阈值时，将虚拟物体与中间图像帧进行融合处理。

第二阈值可以根据实际应用需求确定，在此不做限定。第一阈值与第二阈值可以是相同的，也可以是不同的。第二差值小于第二阈值，则说明该图像帧与前一图像帧之间由于电子设备抖动而导致的图像偏移的差距不大。电子设备可以在当第二差值小于第二阈值时，将虚拟物体与中间图像帧进行融合处理。

步骤506，当第二差值大于或等于第二阈值时，根据第二差值调整虚拟物体的位置，将调整后的虚拟物体与中间图像帧进行融合处理。

第二差值大于或等于第二阈值，则说明该图像帧与前一图像帧之间由于抖动而导致的图像偏移的差距较大，若此时直接将虚拟物体与中间图像帧进行融合处理，则处理得到的目标图像帧中可能会存在虚拟物体位置不准确的问题。电子设备可以在当第二差值大于或等于第二阈值时，根据第二差值调整虚拟物体的位置。具体地，电子设备可以结合图像帧的角速度数据确定虚拟物体调整的方向，根据第二差值确定虚拟物体调整的幅度，以根据该方向和幅度对虚拟物体的位置进行调整。例如，当根据图像帧的角速度数据确定图像帧向x轴负方向偏移时，则可以确定虚拟物体的调整方向为x轴负方向。其中，第二差值越大，则虚拟物体位置调整的幅度越大；第二差值越小，则调整的幅度越小。

通过获取图像帧与前一图像帧的角速度数据之间的第二差值，当第二差值小于第二阈值时，将虚拟物体与中间图像帧进行融合处理，当第二差值大于或等于第二阈值时，则根据第二差值调整虚拟物体的位置，将调整后的虚拟物体与中间图像帧进行融合处理，得到目标图像帧，可以提高增强现实图像处理的准确性，提高增强现实图像的质量。

在一个实施例中，提供的增强现实图像处理方法中通过处理器接收图像传感器发送的组合数据之前，还包括：控制图像传感器采集图像帧，并读取陀螺仪采集的角速度数据；将图像帧与角速度数据进行绑定处理得到组合数据，并将组合数据发送给处理器。

陀螺仪是任意可用于采集设备角速度数据的装置。在本申请实施例中，陀螺仪可以通过spi(serialperipheralinterface，串行外设接口)与图像传感器连接，图像传感器可以获取陀螺仪采集的角速度数据。电子设备可以在启动图像传感器采集图像帧的同时控制陀螺仪开始采集角速度数据并发送给图像传感器。具体地，陀螺仪采集的角速度数据频率通常为比图像传感器采集图像帧的频率大，因此，在图像帧或图像帧每一个图像区域的曝光时间内陀螺仪传输的角速度数据可能是一个或多个，当为多个时，图像传感器可以从多个角速度数据中获取一个角速度数据与图像帧进行绑定处理，可选地，还可以从图像区域对应的多个角速度中获取一个角速度数据，将图像帧中每一个图像区域对应的角速度数据进行绑定处理。其中，图像传感器从多个角速度数据中获取的一个角速度数据可以是多个角速度数据的中值、或者平均值、或者出现次数最大的角速度值等，不限于此。

图像传感器可以在采集图像帧时，读取陀螺仪采集的角速度数据，将图像帧与角速度数据进行绑定处理得到组合数据并发送给处理器，通过处理器对组合数据进行分析得到图像帧及对应的角速度数据，根据角速度数据对图像帧进行补偿处理，将补偿得到的中间图像帧与虚拟物体进行融合处理，得到目标图像帧，避免将图像传感器和陀螺仪分别与处理连接时，处理器从图像传感器获得的图像帧与从陀螺仪接收的角速度数据存在时延的问题，可以提高增强现实图像的实时性。

图6为一个实施例中实现增强现实图像处理方法的硬件结构图。如图6所示，陀螺仪610可以通过spi接口与图像传感器620连接，图像传感器620通过mipi(mobileindustryprocessorinterface，移动产业处理器接口)与处理器630连接。图像传感器620可以在采集图像帧的同时读取陀螺仪610采集的角速度数据，将图像帧与角速度数据进行绑定处理得到组合数据并发送给处理器630，处理器630可以对组合数据进行解析，得到图像帧及对应的角速度数据，根据角速度数据对图像帧进行补偿处理得到中间图像帧，获取虚拟物体，将虚拟物体与中间图像帧进行融合处理，得到目标图像帧。可选地，目标图像帧可以展示于电子设备的显示屏上。

在一个实施例中，提供的增强现实图像处理方法中将图像帧与角速度数据进行绑定处理得到组合数据的过程包括：获取数据绑定格式，根据数据绑定格式将图像帧与角速度数据进行绑定处理，得到组合数据；对组合数据进行解析得到对应的角速度数据和图像帧的过程包括：获取与数据绑定格式对应的数据解绑格式；根据数据解绑格式对组合数据进行解析，得到图像帧和对应的角速度数据。

数据绑定格式即为将图像帧与角速度数据进行绑定处理的数据格式。数据绑定格式包含了图像帧和角速度数据绑定的位置和编码格式，例如，将角速度数据绑定于图像帧的后面，也可以将角速度数据与图像帧并列绑定，还可以将角速度数据或图像帧加密处理后再进行绑定，其中，加密的方式可以多种，在此不做限定。具体地，图像传感器可以获取预存的数据绑定格式，也可以获取处理器发送的数据绑定格式。数据绑定格式与数据解绑格式相对应，例如，当数据绑定格式包含了加密处理方式，则对应的数据解绑格式中包含了对应的解密处理方式；当数据绑定格式为将角速度数据绑定于图像帧的后面时，则对应的数据解绑格式对组合数据进行解析可以先得到图像帧再得到对应的角速度数据。

在一个实施例中，根据数据绑定格式将图像帧与角速度数据进行绑定处理，得到组合数据的过程包括：获取启动图像传感器的目标应用程序；当目标应用程序为预设应用程序时，通过第一绑定格式将图像帧与角速度数据进行绑定处理，得到组合数据；当目标应用程序不为预设应用程序时，通过第二绑定格式将图像帧与角速度数据进行绑定处理，得到组合数据；其中，第一绑定格式的安全性高于第二绑定格式。

应用程序是指可用于执行特定功能的软件。启动图像传感器的目标应用程序即为启动摄像头的目标应用程序。例如，可以是摄像头应用程序、wechat应用程序、pokemongo应用程序、支付应用程序等，不限于此。预设应用程序可以根据实际应用需求设定，在此不做限定。具体地，预设应用程序可以是对摄像头采集的图像帧内容的安全性要求较高的应用程序。例如，预设应用程序可以是支付类应用程序、识别解锁类应用程序等。第一绑定格式的安全性高于第二绑定格式。具体地，第一绑定格式可以是具有加密处理的绑定格式，则第二绑定格式可以是不包含加密处理的绑定格式，第二绑定格式可以是加密处理的复杂度低于第一绑定格式的绑定格式。

电子设备可以获取启动图像传感器的目标应用程序，当目标应用程序为预设应用程序时，则控制图像传感器以第一绑定格式将图像帧与角速度数据进行绑定处理，得到组合数据；当目标应用程序不为预设应用程序时，则控制图像传感器以第二绑定格式将图像帧与角速度数据进行绑定处理，得到组合数据。

通过针对不同的应用程序采用不同的数据绑定格式，即可以满足不同应用程序的绑定需求，可以提高组合数据的安全性，同时在安全性要求较低的情况下也可以提高增强现实图像的处理效率。

图7为一个实施例中对图像帧进行补偿处理的流程图。如图7所示，在一个实施例中，提供的增强现实图像处理方法中根据角速度数据对图像帧进行补偿处理，得到对应的中间图像帧的过程包括：

步骤702，根据角速度数据确定镜头在采集图像帧时的位置偏移数据。

位置偏移数据是指图像传感器采集图像帧时镜头所在位置的偏移数据。具体地，位置偏移数据可以包括镜头偏移的角度、方向、偏移量等。电子设备可以根据图像帧对应的角速度数据确定镜头在采集图像帧时的位置偏移数据。

步骤704，根据位置偏移数据计算图像帧的图像偏移数据。

图像偏移数据是指图像中各个像素点相对于设备没有抖动的情况采集的图像的像素点的位置之间的偏差。具体地，图像偏移数据包括了图像中各个像素点偏移的角度、方向、偏移量等。电子设备可以在获取到位置偏移数据时，通过预设偏移转换函数来确定图像的图像偏移数据。预设偏移转换函数可以根据特定的标定方式获取，预设偏移转换函数可以用于将镜头的位置偏移数据转换为图像偏移数据。其中，可以将镜头在不同方向的偏移量带入至预设偏移转换函数中对应的变量，通过计算以获取对应的图像偏移数据。

步骤706，根据图像偏移数据对图像帧进行补偿处理，得到中间图像帧。

电子设备在抖动过程中采集的多帧图像帧之间包含的图像信息存在偏移。电子设备的处理器可以根据图像偏移数据对图像帧进行补偿处理，具体地，处理器可以根据图像偏移数据中的角度、方向、偏移量对图像帧进行包括但不限于是旋转、平移、剪切等调整，以得中间图像帧。

在一个实施例中，根据图像偏移数据对图像帧进行补偿处理，得到中间图像帧的过程可以包括：获取预先设置的参考补偿量；根据参考补偿量和图像偏移数据计算图像帧在各个补偿方向对应的目标补偿量，根据目标补偿量在各个补偿方向上对图像帧进行补偿处理，得到中间图像帧。

参考补偿量是指图像帧进行抖动补偿时参考的补偿量。参考补偿量可以包括横向参考补偿量和纵向参考补偿量，如参考补偿量为100*50，即表示横向参考补偿量为100，纵向参考补偿量为50。处理器可以以图像帧的中心为原点建立二维坐标系，则图像帧的补偿方向可以有4个，即x轴正方向、x轴负方向、y轴正方向和y轴负方向。可以理解的是，补偿方向的数量也可以是2个、5个、7个等，在此不做限定。

电子设备根据参考补偿量和图像偏移数据计算图像帧在各个补偿方向对应的目标补偿量，具体地，电子设备可以获取各个补偿方向对应的目标补偿量的计算公式，根据该计算公式、参考补偿量和图像偏移数据计算各个补偿方向对应的目标补偿量。例如，当参考补偿量为参考补偿量100*纵向参考补偿量50，图像偏移数据为第一图像帧向x轴正方向偏移了80，则通过各个补偿方向对应的目标补偿量的计算公式，计算得到x轴正方向的目标补偿量为80，x轴负方向的目标补偿量为20，y轴正方向和y轴负方向的目标补偿量各为25，即电子设备可以将图像帧中x轴正方向剪切80个像素，x轴负方向裁剪20个像素，y轴正方向和负方向各剪切25个像素点，以确保图像帧包含的图像信息与其他图像帧中包含的图像信息一致。

通过根据角速度数据确定镜头在采集图像帧时的位置偏移数据，根据位置偏移数据计算图像帧的图像偏移数据，根据图像偏移数据对图像帧进行补偿处理，得到中间图像帧，可以提高中间图像帧补偿处理的准确性。

应该理解的是，虽然图2-5、7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5、7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8为一个实施例的增强现实图像处理装置的结构框图。如图8所示，该增强现实图像处理装置包括数据解析模块802、补偿处理模块804、融合处理模块806。其中：

数据解析模块802，用于通过处理器接收图像传感器发送的组合数据，对所述组合数据进行解析得到对应的角速度数据和图像帧，其中，所述角速度数据用于表示在采集所述图像帧时所述图像传感器对应的透镜的抖动程度；

补偿处理模块804，用于根据所述角速度数据对所述图像帧进行补偿处理，得到对应的中间图像帧；

融合处理模块806，用于获取虚拟物体，将所述虚拟物体与所述中间图像帧进行融合处理，得到目标图像帧。

本申请实施例提供的增强现实图像处理装置，可以通过处理器接收图像传感器发送的组合数据，对组合数据进行解析得到对应的角速度数据和图像帧，其中，角速度数据用于表示在采集图像帧时图像传感器对应的透镜的抖动程度，根据角速度数据对图像帧进行补偿处理，得到对应的中间图像帧，获取虚拟物体，将虚拟物体与中间图像帧进行融合处理，得到目标图像帧。由于处理器可以对组合数据解析得到图像帧及对应的角速度数据，不需要再从陀螺仪获取角速度数据，可以提高增强现实图像处理的准确性。

在一个实施例中，数据解析模块802还可以用于对所述组合数据进行解析，得到所述图像帧以及所述图像帧中至少两个不同的目标图像区域分别对应的子区域角速度数据；补偿处理模块804还可以用于根据至少两个所述子区域角速度数据分别对所述图像帧中对应的目标图像区域进行补偿处理。

在一个实施例中，补偿处理模块804还可以用于获取所述虚拟物体在所述图像帧中的目标物体区域，获取所述图像帧包含的每一个图像区域与所述目标物体区域重合的面积，将所述面积大于面积阈值的图像区域作为所述目标图像区域，根据至少两个所述子区域角速度数据分别对所述图像帧中对应的目标图像区域进行补偿处理。

在一个实施例中，补偿处理模块804还可以用于获取至少两个所述子区域角速度数据之间的第一差值；当所述第一差值大于或等于第一阈值时，根据所述至少两个子区域角速度数据分别对所述图像帧中对应的目标图像区域进行补偿处理；当所述第一差值小于所述第一阈值时，从所述至少两个子区域角速度数据中确定所述图像帧的目标角速度数据，并根据所述目标角速度数据对所述图像帧进行补偿处理。

在一个实施例中，融合处理模块806还可以用于获取所述图像帧对应的角速度数据与前一图像帧对应的角速度数据之间的第二差值；当所述第二差值小于第二阈值时，将所述虚拟物体与所述中间图像帧进行融合处理；当所述第二差值大于或等于所述第二阈值时，根据所述第二差值调整所述虚拟物体的位置，将调整后的所述虚拟物体与所述中间图像帧进行融合处理。

在一个实施例中，提供的增强现实图像处理装置还包括数据绑定模块808，数据绑定模块808用于控制所述图像传感器采集所述图像帧，并读取陀螺仪采集的所述角速度数据；将所述图像帧与所述角速度数据进行绑定处理得到所述组合数据，并将所述组合数据发送给处理器。

在一个实施例中，数据绑定模块808还可以用于获取数据绑定格式；根据所述数据绑定格式将所述图像帧与所述角速度数据进行绑定处理，得到所述组合数据；数据解析模块802还可以用于获取与所述数据绑定格式对应的数据解绑格式；根据所述数据解绑格式对所述组合数据进行解析，得到所述图像帧和对应的所述角速度数据。

在一个实施例中，数据绑定模块808还可以用于获取启动所述图像传感器的目标应用程序；当所述目标应用程序为预设应用程序时，通过第一绑定格式将所述图像帧与所述角速度数据进行绑定处理，得到所述组合数据；当所述目标应用程序不为预设应用程序时，通过第二绑定格式将所述图像帧与所述角速度数据进行绑定处理，得到所述组合数据；其中，所述第一绑定格式的安全性高于所述第二绑定格式。

在一个实施例中，补偿处理模块804还可以用于根据所述角速度数据确定镜头在采集所述图像帧时的位置偏移数据；根据所述位置偏移数据计算所述图像帧的图像偏移数据；根据所述图像偏移数据对所述图像帧进行补偿处理，得到所述中间图像帧。

在一个实施例中，补偿处理模块804还可以用于获取预先设置的参考补偿量；根据所述参考补偿量和所述图像偏移数据计算所述图像帧在各个补偿方向对应的目标补偿量，根据所述目标补偿量在各个所述补偿方向上对所述图像帧进行补偿处理，得到所述中间图像帧。

上述增强现实图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将增强现实图像处理装置按照需要划分为不同的模块，以完成上述增强现实图像处理装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种增强现实图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的增强现实图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括isp处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由isp处理器1040处理，isp处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器1040。传感器1020接口可以利用smia(standardmobileimagingarchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器1014也可将原始图像数据发送给传感器1020，传感器1020可基于传感器1020接口类型把原始图像数据提供给isp处理器1040，或者传感器1020将原始图像数据存储到图像存储器1030中。

isp处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

isp处理器1040还可从图像存储器1030接收图像数据。例如，传感器1020接口将原始图像数据发送给图像存储器1030，图像存储器1030中的原始图像数据再提供给isp处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时，isp处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。isp处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。isp处理器1040处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，isp处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，isp处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由cpu或gpu或协处理器实现。

isp处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数及isp处理器1040的控制参数。例如，成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

运用图10中图像处理技术可以实现上述增强现实图像处理方法。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行增强现实图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行增强现实图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。