1.本发明涉及头戴显示技术领域，尤其涉及一种显示方法、显示装置、头戴显示设备及计算机可读存储介质。
背景技术：2.头戴显示设备作为目前主流的交互工具，其vst(vi deo see-through,视频透视)的工作原理如下，用户戴上头戴显示设备后，头戴显示设备上的相机采集到真实场景图像，然后将相机采集得到的真实场景图像通过头戴显示设备的显示屏幕上展示以供用户观看。
3.但是目前的视频透视存在以下问题：用户只能观看相机采集得到的固定焦段下的真实场景图像，无法调整或改变默认焦段下的真实场景图像。
技术实现要素：4.本发明的主要目的在于提供一种显示方法、显示装置、头戴显示设备及计算机可读存储介质，旨在解决现有技术中用户无法调整或改变默认焦段下的真实场景图像的技术问题。
5.为实现上述目的，本发明提供一种显示方法，所述显示方法应用于头戴显示设备，所述显示方法包括：
6.确定用户在真实场景图像上待调整的指定区域；
7.确定所述指定区域待调整的调整操作；
8.基于所述调整操作对所述指定区域进行调整，将调整后的真实场景图像进行显示。
9.可选地，所述确定用户在真实场景图像上待调整的指定区域的步骤，包括：
10.获取用户的眼部图像，并根据所述眼部图像确定用户在真实场景图像上待调整的指定区域。
11.可选地，所述根据所述眼部图像确定用户在真实场景图像上待调整的指定区域的步骤，包括：
12.根据所述眼部图像计算出用户的注视点坐标，基于所述注视点坐标确定所述指定区域。
13.可选地，所述确定用户在真实场景图像上待调整的指定区域的步骤，包括：
14.识别用户的第一手势动作，并根据所述第一手势动作确定用户在真实场景图像上待调整的指定区域。
15.可选地，所述显示方法，还包括：
16.识别所述指定区域中的主要物体；
17.基于所述调整操作对所述主要物体进行调整，将调整后的所述主要物体进行显示。
18.可选地，所述确定所述指定区域待调整的调整操作的步骤，包括：
19.识别用户的第二手势动作，并根据所述第二手势动作确定所述指定区域待调整的调整操作。
20.可选地，所述确定所述指定区域待调整的调整操作的步骤，包括：
21.获取用户在预设选择界面上确定的选择指令，基于所述选择指令确定所述指定区域待调整的调整操作。
22.此外，为实现上述目的，本发明还提供一种显示装置，所述显示装置，包括：
23.区域确定模块，用于确定用户在真实场景图像上待调整的指定区域；
24.操作确定模块，用于确定所述指定区域待调整的调整操作；
25.调整显示模块，用于基于所述调整操作对所述指定区域进行调整，将调整后的真实场景图像进行显示。
26.此外，为实现上述目的，本发明还提供一种头戴显示设备，所述头戴显示设备包括：采集真实场景图像的第一相机、采集用户的眼部图像的第二相机、采集用户的手势动作的第三相机、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的显示方法的步骤。
27.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的显示方法的步骤。
28.本发明实施例提出的一种显示方法、显示装置、头戴显示设备及计算机可读存储介质,所述显示方法应用于头戴显示设备，所述显示方法包括：确定用户在真实场景图像上待调整的指定区域；确定所述指定区域待调整的调整操作；基于所述调整操作对所述指定区域进行调整，将调整后的真实场景图像进行显示。
29.在确定用户在真实场景图像上待调整的指定区域以及对指定区域待调整的调整操作之后，根据调整操作对指定区域进行调整，将调整后的真实场景图像进行显示。从而基于指定区域和对应的调整操作对真实场景图像进行调整，使得用户可以通过调整操作改变真实场景图像的焦段，解决用户只能观看相机采集得到的固定默认焦段下的真实场景图像，无法调整或改变默认焦段下的真实场景图像的技术问题。进而提升头戴显示设备的vst视频透视显示效果，提升用户体验。
附图说明
30.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
31.图2为本发明显示方法一实施例的流程示意图；
32.图3为本发明显示方法一实施例的数据流向示意图；
33.图4为本发明显示方法一实施例的应用示意图；
34.图5为本发明显示装置一实施例的装置示意图。
35.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
36.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
37.参照图1，图1为本发明实施例方案涉及的硬件运行环境的运行设备的结构示意
图。
38.如图1所示，该运行设备可以包括：处理器1001，例如中央处理器(centra l process i ng unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(di sp l ay)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wi re l ess-fide l ity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-vo l at i l e memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
39.本领域技术人员可以理解，图1中示出的结构并不构成对运行设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
40.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及计算机程序。
41.在图1所示的运行设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明运行设备中的处理器1001、存储器1005可以设置在运行设备中，所述运行设备通过处理器1001调用存储器1005中存储的计算机程序，并执行以下操作：
42.确定用户在真实场景图像上待调整的指定区域；
43.确定所述指定区域待调整的调整操作；
44.基于所述调整操作对所述指定区域进行调整，将调整后的真实场景图像进行显示。
45.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
46.所述确定用户在真实场景图像上待调整的指定区域的步骤，包括：
47.获取用户的眼部图像，并根据所述眼部图像确定用户在真实场景图像上待调整的指定区域。
48.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
49.所述根据所述眼部图像确定用户在真实场景图像上待调整的指定区域的步骤，包括：
50.根据所述眼部图像计算出用户的注视点坐标，基于所述注视点坐标确定所述指定区域。
51.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
52.所述确定用户在真实场景图像上待调整的指定区域的步骤，包括：
53.识别用户的第一手势动作，并根据所述第一手势动作确定用户在真实场景图像上待调整的指定区域。
54.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
55.所述显示方法，还包括：
56.识别所述指定区域中的主要物体；
57.基于所述调整操作对所述主要物体进行调整，将调整后的所述主要物体进行显示。
58.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
59.所述确定所述指定区域待调整的调整操作的步骤，包括：
60.识别用户的第二手势动作，并根据所述第二手势动作确定所述指定区域待调整的调整操作。
61.进一步地，处理器1001可以调用存储器1005中存储的计算机程序，还执行以下操作：
62.所述确定所述指定区域待调整的调整操作的步骤，包括：
63.获取用户在预设选择界面上确定的选择指令，基于所述选择指令确定所述指定区域待调整的调整操作。
64.参照图2，本发明提供一种显示方法，所述显示方法应用于头戴显示设备；所述显示方法包括：
65.步骤s10，确定用户在真实场景图像上待调整的指定区域。
66.参照图3，头戴显示设备如ar眼镜采集真实场景图像的第一相机为图3中的相机(可以是单色相机或者rgb相机)，头戴显示设备如ar眼镜采集用户的眼部图像的第二相机为图3中的eyetracki ng(眼部追踪)相机，头戴显示设备如虚拟现实设备采集用户的手势动作的第三相机为图3中的tof(t ime of f l i ght，飞行时间)相机。其中，真实场景图像是指虚拟现实设备上的相机采集到的真实世界的场景图像，待调整的指定区域是指通过eyetracki ng相机采集用户注视点具体坐标位置而确定的区域。
67.进一步的，确定用户在真实场景图像上待调整的指定区域的步骤，还包括：获取用户的语音信息，解析所述语音信息得到待调整的主要物体，基于所述主要物体在所述真实场景图像上匹配与所述主要物体相似度大于预设阈值的目标主体，对所述目标主体进行待调整的调整操作。从而除了通过用户注视点确定用户待操作的指定区域之外，还可以让用户主动在真实场景图像上确定待操作的指定区域，进而提高显示方法的适用性，给用户提供更多的实现显示的可选操作。
68.可选地，所述确定用户在真实场景图像上待调整的指定区域的步骤，包括：识别用户的第一手势动作，并根据所述第一手势动作确定用户在真实场景图像上待调整的指定区域。除了通过用户的语音信息确定真实场景图像上待调整的指定区域之外，还可以通过用户的第一手势动作确定所述指定区域。用户可以在经过预设划分方式划分之后的真实场景图像上通过第一手势动作选取其中的一个或多个子区域作为所述指定区域，也可以在未经过划分的真实场景图像上通过第一手势动作圈选出一个区域作为所述指定区域。在本实施例中，对第一手势动作的具体手势和动作不做限定。从而，充分利用头戴显示设备的显示能力，给用户提供除语音选取之外通过选中或者圈选的指定区域确定方式。
69.步骤s20，确定所述指定区域待调整的调整操作。
70.在确定了指定区域之后，就需要进一步确定对所述指定区域进行调整的调整操
作。其中，调整操作包括对指定区域进行放大、缩小、改变其最终的显示位置等。其中，确定对所述指定区域进行调整的调整操作的方式可以是语音、手势等方式。从而根据确定的调整操作对指定区域进行调整，得到最终调整后的真实场景图像，进一步将调整后的真实场景图像进行显示。
71.可选地，所述确定所述指定区域待调整的调整操作的步骤，包括：
72.识别用户的第二手势动作，并根据所述第二手势动作确定所述指定区域待调整的调整操作。
73.进一步的，在识别用户的第二手势动作之前，在头戴显示设备上展示不同调整操作对应的手势动作示意图，用户在实现对应的调整操作时，基于展示的手势动作示意图实现更为精准的手势动作。进一步的，在识别用户的第二手势动作之前，在头戴显示设备上播放不同调整操作对应的手势动作示意语音，用户在实现对应的调整操作时，基于播放的手势动作示意语音同样可以实现精准的手势动作。
74.其中，根据所述第二手势动作确定所述指定区域待调整的调整操作的步骤依靠手势识别实现，手势识别是通过tof相机捕捉用户的手势动作之后使用相关算法进行手势追踪和分类等，手势识别的关键步骤是手势的检测与分割、手势的追踪、特征的提取和手势的分类，采用对应的相关算法识别用户的第二手势动作。
75.可选地，所述确定所述指定区域待调整的调整操作的步骤，包括：
76.获取用户在预设选择界面上确定的选择指令，基于所述选择指令确定所述指定区域待调整的调整操作。
77.进一步的，当调整操作包括在真实场景图像上放大或缩小指定区域时，在确定所述指定区域待调整的调整操作的步骤之前，头戴显示设备展示预设选择界面给用户，用户基于预设选择界面选择调整操作为放大或者缩小指定区域。
78.进一步的，可以通过相机变焦实现放大或者缩小指定区域，相机变焦是指通过移动镜头中的某些片组(变焦组+补偿组)来改变镜头焦距，使像的大小发生变化。可以通过增大焦距来“拉近”远距离的目标，使像增大，从而看清目标的更多的细节。也可以通过减小焦距来“缩小”目标，使有限的ccd(charge coup l ed device，电荷耦合器件)容纳更宽更多的目标或者内容，从而增大了视场角并扩大了视野。参照图3，相机变焦算法通过tof相机采集到的用户手势以及eyetracki ng相机采集到的注视点位置对rgb相机采集到的真实场景进行变焦的调整操作，比如放大注视区域，并将其与虚拟场景图像进行光学融合之后对用户进行展示。其中，在对指定区域的场景图像进行放大的调整操作时，先对原始的场景图像进行整体放大，再以注视点为中心根据放大倍数进行裁剪，反之缩小同理。
79.同样的，在预设选择界面的选择指令也可以是通过语音、手势等操作触发。进一步的，当选择指令由语音触发时，获取用户在预设选择界面上确定的选择指令的步骤包括：采集用户的语音并解析语音从而确定所述语音对应的预设的所述选择指令；当选择指令由手势触发时，获取用户在预设选择界面上确定的选择指令的步骤包括：采集用户的动作并识别动作从而确定所述动作对应的预设的所述选择指令。
80.步骤s30，基于所述调整操作对所述指定区域进行调整，将调整后的真实场景图像进行显示。
81.进一步的，在一实施例中，基于所述调整操作对所述指定区域进行调整的步骤包
括：通过tof相机和手势识别算法识别追踪用户的手势，用户的手势对应于对注视区域要放大的倍数。然后相机变焦算法结合用户的注视点具体位置以及放大手势，对注视点区域进行相应的放大，最后将目标区域放大场景图像传输到显示屏上，通过视频透视进行融合现实。从而可以提升头戴显示设备的视频透视显示效果，解决头戴显示设备的用户无法看清远处目标或者无法查看完整场景的技术问题。
82.其中，视频透视(vst)是指头戴显示设备如ar眼镜通过安装在眼镜上的微型摄像头采集真实场景的图像，ar眼镜再通过场景理解和分析将所要添加的信息和图像信号叠加在摄像机的视频信号上，同时将ar眼镜生成的虚拟场景与真实场景进行融合，最后通过ar眼镜显示屏幕呈现给用户。
83.可选的，所述显示方法，还包括：
84.识别所述指定区域中的主要物体；
85.基于所述调整操作对所述主要物体进行调整，将调整后的所述主要物体进行显示。
86.除了对指定区域的整个区域进行调整操作之外，还可以只对指定区域的主要物体进行精准的调整操作。进一步的，所述识别所述指定区域中的主体物体的步骤包括：识别所述指定区域中的各个待选物体，在所述待选物体中选择物体面积最大的待选物体作为所述主体物体，或者在所述待选物体中选择处于最上图层的待选物体作为所述主体物体，或者确定各个所述待选物体所处为前景或背景，将前景中的一个或者多个待选物体作为所述主体物体。同样的，在多个待选物体中确定得到所述主要物体也可以是通过语音、手势等操作实现，具体操作步骤与上述确定对所述指定区域进行调整的调整操作的方式、在预设选择界面触发选择指令等类似，在此不做赘述。
87.对所述指定区域中被识别到的主要物体执行所述调整操作，并将调整后的主要物体进行显示，从而可以降低头戴显示设备进行显示时的数据量以及计算量，进一步降低头戴显示设备的功耗，提升头戴显示设备的处理效率，最终提升头戴显示设备的显示效果以及用户的增强现实的体验。
88.在本实施例中，确定用户在真实场景图像上待调整的指定区域；确定所述指定区域待调整的调整操作；基于所述调整操作对所述指定区域进行调整，将调整后的真实场景图像进行显示。在确定用户在真实场景图像上待调整的指定区域以及对指定区域待调整的调整操作之后，根据调整操作对指定区域进行调整，将调整后的真实场景图像进行显示。从而基于指定区域和对应的调整操作对真实场景图像进行调整，使得用户可以通过调整操作改变真实场景图像的焦段，解决用户只能观看相机采集得到的固定默认焦段下的真实场景图像，无法调整或改变默认焦段下的真实场景图像的技术问题。进而提升头戴显示设备的vst视频透视显示效果，提升用户体验。
89.进一步的，在本发明显示方法的另一实施例中，所述确定用户在真实场景图像上待调整的指定区域的步骤，包括：获取用户的眼部图像，并根据所述眼部图像确定用户在真实场景图像上待调整的指定区域。
90.注视点追踪又称眼球追踪，是利用传感器如红外摄像机捕获、提取眼球特征信息，测量眼睛的运动情况从而估计视线方向或眼睛注视点位置。参照图3，头戴显示设备如ar眼镜采集用户的眼部图像的第二相机为图3中的eyetracki ng(眼部追踪)相机，通过头戴显
示设备的第二相机采集获取得到用户的眼部图像，从而可以根据眼部图像确定用户在真实场景图像上待调整的指定区域。
91.可选地，所述根据所述眼部图像确定用户在真实场景图像上待调整的指定区域的步骤，包括：根据所述眼部图像计算出用户的注视点坐标，基于所述注视点坐标确定所述指定区域。
92.参照图3，在通过头戴显示设备的第二相机采集获取得到用户的眼部图像之后，根据眼部图像计算出用户的注视点坐标，从而基于注视点坐标确定指定区域。
93.在本实施例中，首先通过eye-tracki ng摄像头和红外补光灯i r-led来采集用户眼部图像，利用注视点追踪算法经过包括图像的灰度化、二值化和图像边缘检测等的图像预处理，然后分别进行瞳孔中心定位和角膜反射光斑中心定位，计算出用户的注视点坐标，以此得出用户的注视方向和具体的注视点坐标值。从而除了通过用户的语音信息确定真实场景图像上待调整的指定区域、以及通过选中或者圈选的方式确定指定区域之外，还可以仅需要根据用户的注意力关注的注视点即可确定用户在真实场景图像上待调整的指定区域，进一步做到无感智能的显示，提升头戴显示设备的增强现实现实效果和体验。
94.参照图4，在本发明显示方法的另一实施例中，首先用户戴上ar眼镜，在eyetracki ng相机、tof相机和rgb相机的功能均正常时，调用注视点追踪算法计算出用户的注视点具体坐标位置。具体的，利用eye-tracki ng摄像头和i r-led采集清晰的眼部图像，之后经过图像预处理包括图像的灰度化、二值化和图像边缘检测等，然后分别进行瞳孔中心定位和角膜反射光斑中心定位，计算出用户的注视点坐标。之后再调用手势追踪算法识别出用户的手势，具体的，利用tof相机追踪识别用户手势。然后相机变焦算法结合用户注视点坐标位置和用户手势，放大指定区域的场景图像。最后将放大后的场景图像传输到显示屏上。从而利用注视区域坐标和用户手势作为相机变焦算法的调节机制，可以提升ar眼镜的视频透视显示效果，解决ar眼镜用户无法看清远处目标的问题，提升了用户体验。
95.此外，参照图5，本发明实施例还提供一种显示装置，所述显示装置，包括：
96.区域确定模块m1，用于确定用户在真实场景图像上待调整的指定区域；
97.操作确定模块m2，用于确定所述指定区域待调整的调整操作；
98.调整显示模块m3，用于基于所述调整操作对所述指定区域进行调整，将调整后的真实场景图像进行显示。
99.可选的，区域确定模块，还用于获取用户的眼部图像，并根据所述眼部图像确定用户在真实场景图像上待调整的指定区域。
100.可选的，区域确定模块，还用于根据所述眼部图像计算出用户的注视点坐标，基于所述注视点坐标确定所述指定区域。
101.可选的，区域确定模块，还用于识别用户的第一手势动作，并根据所述第一手势动作确定用户在真实场景图像上待调整的指定区域。
102.可选的，所述显示装置，还包括：
103.识别模块，用于识别所述指定区域中的主要物体；
104.融合模块，用于基于所述调整操作对所述主要物体进行调整，将调整后的所述主要物体进行显示。
105.可选的，调整显示模块，还用于识别用户的第二手势动作，并根据所述第二手势动
作确定所述指定区域待调整的调整操作。
106.可选的，调整显示模块，还用于获取用户在预设选择界面上确定的选择指令，基于所述选择指令确定所述指定区域待调整的调整操作。
107.本发明提供的显示装置，采用上述实施例中的显示方法，解决现有技术中用户无法调整或改变默认焦段下的真实场景图像的技术问题。与现有技术相比，本发明实施例提供的显示装置的有益效果与上述实施例提供的显示方法的有益效果相同，且该显示装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
108.此外，本发明实施例还提供一种头戴显示设备，所述头戴显示设备包括：采集真实场景图像的第一相机、采集用户的眼部图像的第二相机、采集用户的手势动作的第三相机、存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的显示方法的步骤。
109.此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的显示方法的步骤。
110.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
111.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
112.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
113.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。