图像处理方法以及电子设备和存储介质与流程

本申请涉及图像处理技术领域，具体涉及一种图像处理方法以及电子设备和存储介质。

背景技术：

现有增强现实(augmentedreality，简称ar)系统存在延迟，比如你佩戴ar眼镜，并给一个人头上戴个帽子，此过程中，你会发现在ar眼镜中该帽子会往返运动。

技术实现要素：

本申请提供一种图像处理方法以及电子设备和存储介质；旨在减少图像处理时间，以降低延迟。

为了解决上述技术问题，采用的技术方案为：一种图像处理方法，用于电子设备，包括：

在显示界面中检测眼球的注视位置；

在所述显示界面待显示的目标图像上，确定与所述注视位置对应的第一区域以及除所述第一区域之外的第二区域；

调低所述第二区域的图像质量；

对所述第一区域和图像质量调低后的所述第二区域分别进行图像渲染处理；

在所述显示界面显示处理后的所述目标图像。

进一步的技术方案在于，所述在显示界面中检测眼球的注视位置，包括：

追踪并锁定所述眼球的运动角度；

根据所述眼球的运动角度确认出瞳孔当前的空间坐标；

将所述瞳孔当前的空间坐标映射到所述显示界面的二维坐标系上，将所述瞳孔在所述二维坐标系上的落点标记为所述眼球的注视位置。

进一步的技术方案在于，所述调低所述第二区域的图像质量，包括：

对所述第二区域的图像分辨率进行调小以使得调低所述第二区域的图像质量。

进一步的技术方案在于，所述对所述第一区域和图像质量调低后的所述第二区域分别进行图像渲染处理，包括：

对所述第一区域和图像质量调低后的所述第二区域分别进行图像渲染处理，且所述第一区域的图像渲染质量大于图像质量调低后的所述第二区域的图像渲染质量。

进一步的技术方案在于，所述第二区域包括多个依次环绕在所述第一区域周围的环状区域；相邻两个所述环状区域无缝拼接，与所述第一区域相邻的所述环状区域与所述第一区域无缝拼接；

所述调低所述第二区域的图像质量，包括：

对所述多个环状区域分别进行图像质量调低，其中，相邻两个所述环状区域中，靠近所述第一区域的所述环状区域的图像质量大于或等于远离所述第一区域的所述环状区域的图像质量。

进一步的技术方案在于，所述第二区域环绕在所述第一区域的周围；或，所述第二区域位于所述第一区域的一侧或相对两侧；所述第二区域与所述第一区域无缝拼接；所述第二区域包括多个无缝拼接在一起的第三区域；所述第三区域位于所述第一区域的一侧；

所述调低所述第二区域的图像质量，包括：

对所述多个第三区域分别进行图像质量调低，其中，相邻两个所述第三区域中，靠近所述第一区域的所述第三区域的图像质量大于或等于远离所述第一区域的所述第三区域的图像质量。

进一步的技术方案在于，所述第一区域设置基准点；

所述确定与所述注视位置对应的第一区域以及除所述第一区域之外的第二区域，包括：

获取所述注视位置在所述显示界面的二维坐标系上的落点的第一坐标；以及

获取所述基准点在所述二维坐标系上的第二坐标；

检测所述第一坐标和所述第二坐标之间的距离是否大于设定距离

若是，则将所述基准点的第二坐标修正为所述注视位置的第一坐标。

进一步的技术方案在于，所述对所述第一区域和图像质量调低后的所述第二区域分别进行图像渲染处理，包括：

对图像质量调低后的所述第二区域进行扭曲特效处理而不进行图像渲染处理，对所述第一区域进行图像渲染处理。

进一步的技术方案在于，对所述第一区域和图像质量调低后的所述第二区域分别进行图像渲染处理，包括：

若检测到所述电子设备的移动速度大于设定速度，则不对所述第一区域和图像质量调低后的所述第二区域分别进行图像渲染处理；

或，若检测到所述电子设备的角速度大于设定角速度，则不对所述第一区域和图像质量调低后的所述第二区域分别进行图像渲染处理。

为了解决上述技术问题，采用的技术方案为：一种电子设备，所述电子设备包括处理器以及与所述处理器连接的显示屏、摄像头和存储器；

其中，所述摄像头用于采集图像，所述显示屏用于显示目标图像；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述所述的图像处理方法。

为了解决上述技术问题，采用的技术方案为：一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述所述的图像处理方法。

采用本申请所述技术方案，具有的有益效果为：本申请基于眼球的注视位置对目标图像进行分区域，并对各个区域分别进行图像处理，便于降低部分区域比如第二区域的图像处理难度，从而减少了图片整体处理的时间，进而降低了延迟。

附图说明

图1为本申请中一实施例的电子设备的方块图；

图2为本申请中一实施例的电子设备的图像处理方法的流程图；

图3为本申请中一实施例的在显示界面中检测眼球的注视位置的流程图；

图4为本申请中一实施例的在显示界面待显示的目标图像上，确定与注视位置对应的第一区域以及除第一区域之外的第二区域的流程图；

图5为本申请中一实施例的第一区域和第二区域的不同划分示意图；

图6为本申请中一实施例的第一区域和第二区域的不同划分示意图；

图7为本申请中一实施例的第一区域和第二区域的不同划分示意图；

图8为本申请中一实施例的第一区域和第二区域的不同划分示意图；

图9为本申请中一实施例的第一区域和第二区域的不同划分示意图；

图10为本申请中一实施例的第一区域和第二区域的不同划分示意图；

图11为本申请中一实施例的电子设备的方块图；

图12为本申请中一实施例的一种存储介质的方块图。

具体实施方式

本申请阐述了一种电子设备，该电子设备用于进行图像处理，该电子设备可以是硬件设备，如手机、电脑、玩具、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理、可穿戴设备等；对于可穿戴设备，其可以是虚拟现实或增强现实设备，比如虚拟现实或增强现实眼镜。

请参阅图1，其揭露了一实施例中的电子设备10的方框图；该电子设备10可包括处理器13以及与处理器13连接的摄像头11、存储器12和显示屏14。其中，处理器13运行存储器12中存储的程序数据，以完成图像处理；对于图像的来源，可以是通过摄像头11获取，也可以是人工合成，也可以是事先已存储在存储器12上，对于其图像的来源，在此可不做具体限定；对于经过处理器13处理后的图像，可以存储在存储器12上，也可以在显示屏14上显示，对于经过处理器13处理后的图像还可以进行其他操作，在此可不做具体限定。

请参阅图1，该摄像头11用于摄取图像，比如眼球的图像、现实生活中的图像等；此图像可以存储在存储器12中，也可以在经过处理器13处理后存储在存储器12中，也可以在经过处理器13处理后显示在显示屏13上；该摄像头11可以为通用的摄像头。

该电子设备10为增强现实设备时，该摄像头11可置于增强现实设备内部用于摄取用户眼球的图像；该摄像头11可置于增强现实设备外部前端用于摄取现实中的图像，摄像头11可包括tof(timeofflight，即飞行时间，简称tof)摄像头、rgb摄像头以及两个鱼眼摄像头；该tof摄像头可包括光发射模块、感光接收模块和fpc；光发射模块和感光接收模块均连接于fpc。该tof摄像头工作时，光发射模块用于发射经过调制的光束，该光束经目标物体反射后被感光接收模块接收，感光接收模块通过解调可以获得光束在空间中的飞行时间，进而计算出对应的目标物体的距离。因此，通过tof摄像头，当用户佩戴增强现实设备在例如房间的环境中走一圈，就可以把房间的形状和模型建模出来；也就是说，通过测量每个点到用户佩戴的增强现实设备的距离就可以判断用户所在房间的形状和模型，从而构建出场景；该rgb摄像头可用于采集二维彩色图像、拍摄图像的色差等，与tof摄像头相邻设置；两个鱼眼摄像头位于tof摄像头和rgb摄像头两侧且对称设置。两个鱼眼摄像头主要可用于配合成像，比如摄取左、右图像。tof摄像头、rgb摄像头和两个鱼眼摄像头这四个摄像头可进行相互补充；其中，鱼眼摄像头拍摄角度较大，可为广角摄像头，但是其分辨率可比较低。rgb摄像头的分辨率可比较高，但是其拍摄角度可比较小，通过结合rgb摄像头与鱼眼摄像头，可形成拍摄角度较大，又比较清晰的图像。

请参阅图1，该存储器12可用于存储处理器13执行的程序数据，可用于存储处理器13在处理过程中的数据；具体的，该存储器12可用于存储经处理器13处理后的图像，可用于存储摄像头11摄取到的图像，比如眼球的图像、现实生活中的图像等。

该存储器12包括非易失性存储部分，用于存储上述程序数据。在另一实施例中，该存储器12可仅作为处理器13的内存而缓存该处理器13执行的程序数据，该程序数据实际存储于电子设备10之外的设备中，处理器13通过与外部设备连接，通过调用外部存储的程序数据，以执行相应处理。

请参阅图1，该处理器13用于运行存储器12存储的程序数据。具体地，处理器13控制电子设备10的操作，比如，该处理器13可用于控制显示屏13显示图像，可用于对摄像头11采集的图像进行处理，比如从眼球图像检测眼球的注视位置，比如对图像进行图像处理例如图片质量的调整、渲染处理、特效处理等，以形成自己需要的图像。

该处理器13可以是cpu(centralprocessingunit，中央处理单元)也可以是gpu(graphicsprocessingunit，图形处理器)。处理器13可能是一种集成电路芯片，具有信号、图形的处理能力。处理器13还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

下面介绍一种电子设备10的图像处理方法，该图像处理方法可应用于上述电子设备10中，以完成图像处理。请参阅图2，其揭露了一实施例中的电子设备10的图像处理方法的流程图，该图像处理方法可包括：

步骤s21，在显示界面中检测眼球的注视位置。

在本实施例中，目标图像会显示在显示界面以供用户观看，而用户眼球的注视范围是有限的，在用户眼球注视的范围内的目标图像会给用户呈现良好的视觉效果，而在用户眼球注视的范围外的目标图像，用户眼球也是可以看到的，但是此区域内的目标图像的图像质量好坏并不会过多的影响用户的视觉效果；因此，可以在目标图像上通过眼球的注视位置来确定影响用户视觉效果的分布图。

步骤s22，在显示界面待显示的目标图像上，确定与注视位置对应的第一区域以及除第一区域之外的第二区域。

在此实施例中，由于在目标图像上确定的影响用户视觉效果的分布图中，目标图像上的某一位置离眼球的注视位置越远，影响用户视觉效果的程度越小，所以可以将目标图像依据影响用户视觉效果的分布图分成若干区域，比如第一区域和第二区域，第一区域与注视位置对应，所以第一区域影响用户视觉效果的程度大于第二区域；当然第一区域的范围可以在用户眼球注视的范围的基础上根据自己的需要进行调整，比如调大或调小第一区域的范围；另外，也可以根据自己的需要将第一区域和第二区域按照影响用户视觉效果的分布图再次划分，比如将第二区域划分为第三区域、第四区域、第五区域等。

步骤s23，调低第二区域的图像质量。

由于第一区域和第二区域对用户视觉效果的影响程度不同，所以对影响程度小的第二区域的图像质量例如分辨率调低再进行后续处理，并不会影响用户观看目标图像时的整体视觉效果；通过如此处理，可以降低部分区域比如第二区域后续的图像处理难度；使得对目标图像进行图像处理的时间减少，避免了对目标图像整体采用同一处理要求进行图像处理耗费很多时间的问题；进而达到了节约硬件性能的目的，以及降低了电子设备的延迟。

步骤s24，对第一区域和图像质量调低后的第二区域分别进行图像渲染处理。

在此步骤中，经过图像渲染处理，使得目标图像呈现唯美的视觉效果，其中，由于第二区域在步骤s23中先进行了图像质量调低，所以在步骤s24中进行图像渲染处理时，会进一步降低第二区域的图像渲染处理时间，进一步地降低了电子设备的延迟。

步骤s25，在显示界面显示处理后的目标图像。

在本实施例中，处理后的目标图像可以显示在显示界面，也可以进行存储备份。

在一实施例中，请参阅图3，其揭露了本申请中一实施例的步骤s21中在显示界面中检测眼球的注视位置的流程图，步骤s21可包括：

步骤s31，追踪并锁定眼球的运动角度。

在本实施例中，可通过电子设备10的摄像头11，例如置于增强现实设备内部的摄像头，采集到佩戴电子设备10的用户的眼球图像，而此眼球图像被处理器13处理后可以获取用户眼球相对于基准的运动角度，比如基准为用户眼球平视前方的状态，比如基准为用户眼球平视电子设备10的显示画面时的状态。

步骤s32，根据眼球的运动角度确认出瞳孔当前的空间坐标。

在本实施例中，可通过获取用户眼球相对于基准的运动角度，可以确定瞳孔的旋转角度和方向，以用户眼球的球心为中心(或原点)，而瞳孔与中心的连线长短、走向已知，在此空间内可以获取到用户瞳孔的空间坐标。

步骤s33，将瞳孔当前的空间坐标映射到显示界面的二维坐标系上，将瞳孔在二维坐标系上的落点标记为眼球的注视位置。

在本实施例中，将瞳孔与中心的连线延伸至摄像头采集界面即可完成眼球的注视位置的确定。

在一实施例中，第一区域设置基准点；请参阅图4，其揭露了本申请步骤s22中在显示界面待显示的目标图像上，确定与注视位置对应的第一区域以及除第一区域之外的第二区域的流程图；步骤s22可包括：

步骤s41，获取注视位置在显示界面的二维坐标系上的落点的第一坐标。

步骤s42，获取基准点在二维坐标系上的第二坐标。

步骤s43，检测第一坐标和第二坐标之间的距离是否大于设定距离。

步骤s44，若是，则将基准点的第二坐标修正为注视位置的第一坐标。

在本实施例中，通过判断第一坐标和第二坐标的距离，可以确定注视位置是否脱离第一区域，在注视位置脱离第一区域后可以马上修正第一区域，使得第一区域跟随注视位置移动而移动；对于步骤s41和步骤s42没有先后顺序的限定，步骤s41和步骤s42也可以同时进行。

在一实施例中，步骤s23中可包括：对第二区域的图像分辨率进行调小以使得调低第二区域的图像质量，在此实施例中，图像渲染处理的难易程度以及耗费时间是基于目标图像的质量；质量越高的目标图像，图像渲染过程将耗费更多的时间。所以在图像渲染之前先降低第二区域的图像分辨率，进而减少图像渲染过程所耗费的时间，进而降低了延迟。

在一实施例中，步骤s24中可包括：对第一区域和图像质量调低后的第二区域分别进行图像渲染处理，且第一区域的图像渲染质量大于图像质量调低后的第二区域的图像渲染质量。对于图像渲染过程，同样会因为图像渲染的要求不同而耗费的时间也不同；因此，针对图像质量调低后的第二区域的图像采用低质量的图像渲染处理，可以进一步地降低图像渲染处理时间，进而降低延迟，在此实施例中，同样可以在图像渲染处理之前采用分辨率调低的方式对第二区域的图像质量调低。

在一实施例中，该图像处理方法也可以具体用于虚拟现实或增强现实设备。无论虚拟现实技术，还是增强现实技术，在虚拟现实或增强现实设备进行图像显示之前，都需要进行图像的预处理、渲染处理等操作；并将处理后的图像显示出来；用户佩戴虚拟现实或增强现实设备的时候，虚拟现实或增强现实设备内部的摄像头将摄取眼球的注视位置，根据眼球的注视位置对于图像进行区域划分，比如划分为第一区域和第二区域，也可以继续划分出第三区域、第四区域，对于区域划分可以根据自己的需要进行区域数量、区域范围的调节；而各个区域的图像处理也可以采用上述实施例中的图像处理方法。

在一实施例中，请参阅图5、图6和图7，其分别揭露了不同实施例中的第一区域51和第二区域52的不同划分示意图；在目标图像53上划分出了第一区域51和第二区域52，第二区域52包括多个依次环绕在第一区域51周围的环状区域521；相邻两个环状区域521无缝拼接，与第一区域51相邻的环状区域521与第一区域51无缝拼接；当然第一区域51、第二区域52以及环状区域521的范围也可以根据自己的需要进行范围调整，在此并不做过多限定。

在本实施例中，该步骤s23可包括：对多个环状区域521分别进行图像质量调低，其中，相邻两个环状区域521中，靠近第一区域51的环状区域521的图像质量大于或等于远离第一区域51的环状区域521的图像质量；然后在步骤s24中再对第二区域52进行图像渲染处理，对于图像质量调低，可以通过调节图像分辨率的方式进行，比如相邻两个环状区域521中，靠近第一区域51的环状区域521的图像分辨率大于或等于远离第一区域51的环状区域521的图像分辨率；当然也可以从色彩、色相、对比度等图像要素上来进行调节以调节图像质量；对于步骤s24中的图像渲染处理，也可以对不同的环状区域521进行不同渲染质量的图像渲染处理，比如可对靠近第一区域51的环状区域521和远离第一区域51的环状区域521分别进行图像渲染处理，且靠近第一区域51的环状区域521的图像渲染质量大于远离第一区域51的环状区域521的图像渲染质量。

在此实施例中，也可以划分足够的区域，以使得目标图像53从第一区域51到第二区域52之间形成一个过渡，使得画面处理渐变。

在本实施例中，请参阅图5，第一区域51可为圆形，环状区域521可为圆环形。请参阅图6，第一区域51可为椭圆形，环状区域521可为椭圆环形。请参阅图7，第一区域51可为矩形，当然，第一区域51也可以是其他形状，比如三角形、六边形、七边形等等，可以根据自己的需要进行调整；相应的环状区域521也可以适应性修改，在此不做具体限定。

在一实施例中，请参阅图8、图9和图10，其分别揭露了不同实施例中的第一区域51和第二区域52的不同划分示意图；请参阅图8和图9，第二区域52环绕在第一区域51的周围；请参阅图10，第二区域52位于第一区域51的相对两侧，当然根据情况也可以使得第二区域52位于第一区域51的一侧；请参阅图8、图9和图10，在目标图像53上划分出了第一区域51和第二区域52，第二区域52与第一区域51无缝拼接；第二区域52包括多个无缝拼接在一起的第三区域521，第三区域521位于第一区域51的一侧；当然第一区域51、第二区域52以及第三区域521的范围也可以根据自己的需要进行范围调整，在此并不做过多限定。

在本实施例中，步骤s23可包括：对多个第三区域521分别进行图像质量调低，其中，相邻两个第三区域521中，靠近第一区域51的第三区域521的图像质量大于或等于远离第一区域51的第三区域521的图像质量；然后在步骤s24中再对第二区域52进行图像渲染处理，对于图像质量调低，可以通过调节图像分辨率的方式进行，比如相邻两个第三区域521中，靠近第一区域51的第三区域521的图像分辨率大于或等于远离第一区域51的第三区域521的图像分辨率；当然也可以从色彩、色相、对比度等图像要素上来进行调节以调节图像质量；对于步骤s24中地图像渲染处理，也可以是对不同的第三区域521进行不同渲染质量的图像渲染处理，比如可对靠近第一区域51的第三区域521和远离第一区域51的第三区域521分别进行图像渲染处理，且靠近第一区域51的第三区域521的图像渲染质量大于远离第一区域51的第三区域521的图像渲染质量。

在此实施例中，也可以划分足够的区域，以使得目标图像53从第一区域51到第二区域52之间形成一个过渡，使得画面处理渐变。

请参阅图8、图9和图10，第一区域51和第三区域521可以均为矩形，当然也可以是其他多边形的混合排列，第一区域51和第三区域521的形状在此不做具体限定。

请参阅图11，其揭露了一实施例中的电子设备10的图像处理方法的流程图；在该图像处理方法中，在步骤s24中可包括：

步骤s111，对图像质量调低后的第二区域进行扭曲特效处理而不进行图像渲染处理。对所述第一区域进行图像渲染处理。

请参阅图5、图6和图7，在步骤s23中，可以对多个环状区域521分别进行图像质量调低，然后在步骤s111中进行扭曲特效处理而不进行渲染处理；其中，相邻两个环状区域521中，靠近第一区域51的环状区域521的图像质量大于或等于远离第一区域51的环状区域521的图像质量；对于图像质量调节在上文已详细阐述在此就不做过多阐述；请参阅图8、图9和图10，在步骤s23中，可以对多个第三区域521分别进行图像质量调低，然后在步骤s111中进行扭曲特效处理而不进行渲染处理；其中，相邻两个第三区域521中，靠近第一区域51的第三区域521的图像质量大于或等于远离第一区域51的第三区域521的图像质量；对于图像质量调节在上文已详细阐述在此就不做过多阐述。对于扭曲特效处理，其可以在不损坏图像质量的前提下对图像进行拉长、扭曲、挤压等操作，从而模拟出3d空间效果，实现画面的立体感；当然扭曲特效处理也可以替换为其他能模拟3d空间效果，实现画面立体感的特效处理，而且此特效处理对同一图像进行图像处理的时间小于图像渲染处理的时间。

在一实施例中，请参阅图11，在该图像处理方法中，在步骤s24可包括：

步骤s112，若检测到电子设备的移动速度大于设定速度，则不对第一区域和图像质量调低后的第二区域分别进行图像渲染处理。

由于电子设备在移动过程中，用户无法完全集中精神观看电子设备10的画面，所以此时电子设备10的显示画面所显示的图像无需耗费大量地时间去进行图像处理，比如调节分辨率、图像渲染处理等操作；对于设定移动速度可以根据自己的需要进行确定，比如设定速度可以是在移动过程中仍能看清楚图像时的速度。

在一实施例中，请参阅图11，在该图像处理方法中，在步骤s24可包括：

步骤s113，若检测到电子设备的角速度大于设定角速度，则不对第一区域和图像质量调低后的第二区域分别进行图像渲染处理。

由于电子设备在旋转、翻转过程中，用户也是无法完全集中精神观看电子设备10的画面，所以此时电子设备10的显示画面所显示的图像无需耗费大量地时间去进行图像处理，比如调节分辨率、图像渲染处理等操作，对于设定移动速度可以根据自己的需要进行确定，比如设定角速度可以是在旋转、翻转过程中仍能看清楚图像时的角速度。

一实施例中，请参阅图11，步骤s112和步骤s113可以优先于步骤s24、步骤s111执行；另外可根据需要在步骤s24、步骤s111中二选一进行执行即可。

接下来阐述一种存储介质，请参阅图12，其揭露了本申请中一实施例的一种存储介质121的方块图；此存储介质121存储有计算机程序122，此计算机程序122被处理器执行时实现上述图像处理方法。

该存储介质121具体可以为u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。

在一实施例中，存储介质121还可以为如图1所示的存储器12。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。