头戴式显示设备及其视觉辅助方法与流程

本发明涉及一种显示设备，尤其涉及一种头戴式显示设备及其视觉辅助方法。

背景技术：

目前，头戴式显示设备由于便捷性，且能实现立体显示及立体声等效果，已经逐渐被人们所喜爱。近年来，随着虚拟现实(virtualreality，vr)技术的出现，头戴式显示设备作为vr技术的硬件支持设备，更加应用广泛了。由于用户穿戴头戴式显示设备后，无法看到外面的情况，往往需要取下头戴式显示设备才能看到外面环境。例如，当用户需要使用外部输入装置时，需要取下头盔并观看确认外部输入装置的位置，如果外部输入装置有按键时，可能还需要用户一会取下头戴式显示设备，看清楚要操作的按键的位置，一会要戴上头戴式显示设备，看头戴式显示设备上显示的内容，给用户输入带来了极大的不便。

技术实现要素：

本发明实施例公开一种头戴式显示设备及其视觉辅助方法，能够在用户穿戴头戴式显示设备时，辅助用户观看外部环境，方便用户的操作。

本发明实施例公开的头戴式显示设备，包括显示装置及处理器，其中，所述头戴式显示设备还包括：摄像装置，用于摄取头戴式显示设备周围的影像画面；运动传感器，用于侦测所述头戴式显示设备相对于一参考位置的运动角度；所述处理器与所述显示装置、摄像装置及运动传感器连接，用于在所述运动传感器侦测到所述头戴式显示设备相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置拍摄影像画面；所述处理器并用于根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域。

本发明实施例公开的视觉辅助方法，应用于头戴式显示设备，所述头戴式显示设备包括显示装置、摄像装置及运动传感器，其中，所述视觉辅助方法包括：在所述运动传感器侦测到所述头戴式显示设备相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置拍摄影像画面；以及根据所述运动传感器侦测到的运动角度的变化，控制所述显示装置显示所拍摄的影像画面中的与所述运动角度对应的区域。

本发明的头戴式显示设备及其视觉辅助方法，能够在头戴式显示设备相对于参考位置向下运动了第一预设角度时开启摄像装置以拍摄影像画面，并根据运动角度的变化显示影像画面的对应区域，能够辅助穿戴有所述头戴式显示设备的用户进行观察外部环境，并可根据所显示的影像画面的区域的变化，显示一个视野渐变的过程。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中的头戴式显示设备的示意图。

图2为本发明一实施例中的头戴式显示设备的功能模块图；

图3-图6为第一实施例中头戴式显示设备的显示装置跟随运动角度的变化进行显示的具体过程示例图。

图7为本发明一实施例中的头戴式显示设备的显示装置显示完整的影像画面的示意图。

图8为本发明第二实施例中的头戴式显示设备的显示装置在一运动角度下进行显示的示意图。

图9为本发明一实施例中的视觉辅助方法的流程图。

图10为图9中步骤s902的子流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为头戴式显示设备100的示意图。如图1所示，所述头戴式显示设备100包括显示装置1以及摄像装置2。所述显示装置1用于输出显示画面。所述摄像装置2设置于显示装置1上，用于拍摄头戴式显示设备100周围环境的影像画面。在一些实施例中，如图1所示，所述摄像装置2设置于显示装置1的前方，用于拍摄头戴式显示设备100前方的影像画面。

请一并参阅图2，图2为头戴式显示设备100的结构框图。所述头戴式显示设备100除包括所述显示装置1以及摄像装置2以外，还包括运动传感器3以及处理器4。

所述运动传感器3设置于所述耳机装置1或所述显示装置1上，用于侦测所述头戴式显示设备100相对于一参考位置的运动角度。

所述处理器4与所述显示装置1、摄像装置2及运动传感器3连接，用于在所述运动传感器3侦测到所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置2拍摄影像画面。所述处理器4并根据所述运动传感器3侦测到的运动角度的变化，控制所述显示装置1显示所拍摄的影像画面中的与所述运动角度对应的区域。在一些实施例中，所述运动传感器3侦测所述头戴式显示设备100相对于一参考位置的运动角度产生对应的感应信号，所述处理器4接收所述感应信号后，确定所述运动传感器3侦测到的所述头戴式显示设备100相对所述参考位置的运动角度。

从而，本申请可在头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时，自动开启摄像装置2作为视觉辅助，无需取下头戴式显示设备100。

其中，所述处理器4在所述运动传感器3侦测到的运动角度变大时，控制所述显示装置1显示所述影像画面中更大面积的区域。所述处理器4在所述运动传感器3侦测到的运动角度变小时，控制所述显示装置1显示所述影像画面中更小面积的区域。

其中，所述参考位置为用户穿戴所述头戴式显示设备100后，用户面向正前方时，所述头戴式显示设备100的位置。

在第一实施例中，所述处理器4并根据所述运动传感器3侦测到的运动角度的变化，控制所述显示装置1显示所拍摄的影像画面中的与所述运动角度对应的区域，包括：所述处理器4在所述运动传感器3侦测到的运动角度变大过程或变小过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面，并截取当前运动角度下拍摄的影像画面中的与所述运动角度对应的区域，并控制显示装置1显示所述影像画面中截取的区域。

请一并参阅图3-图6，为第一实施例中所述处理器4控制显示装置1进行显示的具体过程示例图。图3为摄像装置2在第一预设角度拍摄的第一影像画面im1的示意图。即，图3所示的第一影像画面im1为所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时所拍摄的影像画面。

如图3所示，所述摄像装置2当前拍摄到的第一影像画面im1中包括笔p1、书本b1以及输入装置t1的一部分。

请一并参阅图4，为显示装置1显示的第一影像画面im1中部分区域的示意图。所述处理器4获取所述摄像装置2在第一预设角度如角度a时拍摄的第一影像画面im1。如图4所示，所述处理器4并控制显示装置1显示摄像装置2当前拍摄到的第一影像画面im1中与所述第一预设角度对应的部分区域a1。

其中，所述部分区域a1为从所述第一影像画面im1中截取的从所述第一影像画面im1上边往下延伸的高度为h1的区域。

设第一影像画面im1的高度为h，此时，显示装置1显示所述第一影像画面im1中的h1/h比例的区域。

请一并参阅图5，为摄像装置2在一大于所述第一预设角度的特定角度如角度b拍摄的第二影像画面im2的示意图。即，图5所示的第二影像画面im2为所述头戴式显示设备100相对所述参考位置向下运动达到所述特定角度b时所拍摄的影像画面。

如图5所示，随着用户头部往下运动，带动所述头戴式显示设备100及摄像装置2往下移动，当移动到所述特定角度时，所述摄像装置2拍摄的第二影像画面im2会变化成如图5所示的画面。

如图5所示，所述摄像装置2当前拍摄到的第二影像画面im2中包括笔p1的下半部分、书本b1的下半部分、输入装置t1的全部以及手z1的部分。

所述处理器4并获取所述摄像装置2在所述特定角度时拍摄的第二影像画面im2。

请一并参阅图6，为显示装置1显示的第二影像画面im2中部分区域的示意图。如图6所示，所述处理器4控制显示装置1显示摄像装置2当前拍摄到的第二影像画面im2中与所述特定角度对应的部分区域a2。

其中，所述部分区域a2为处理器4从所述第二影像画面im2中截取的从所述第二影像画面im2上边往下延伸的高度为h2的区域。

设第二影像画面im2的高度为h，此时，显示装置1显示所述第二影像画面im2中的h2/h比例的区域。

其中，所述区域a2的高度h2与所述区域a1的高度h1的比值等于所述特定角度与第一预设角度之比。设第一预设角度为a，特定角度为b，则h1/h2＝a/b，从而h2＝h1*b/a。

如图2所示，所述头戴式显示设备100还包括存储器5，在一些实施例中，所述存储器5中预存有第一预设角度a与高度h1的对应关系。所述处理器4可根据所述对应关系确定所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时对应的高度h1，并从第一影像画面im1中截取从第一影像画面im1的上边往下延伸的高度为h1的区域a1，并控制显示装置1显示从所述第一影像画面im1中截取的区域a1。所述处理器4并可在所述头戴式显示设备100相对所述参考位置向下运动达到任一特定角度b时，根据公式h2＝h1*b/a计算相对于参考位置向下运动达到所述特定角度b时所需截取的区域a2的高度h2。所述处理器4并从第二影像画面im2中截取从第二影像画面im2上边往下延伸的高度为h2的区域作为所述区域a2，并控制显示所述第二影像画面im2中截取的区域a2。

在一些实施例中，所述存储器5中也可以预存有多个角度与高度的对应关系，所述多个角度与高度的对应关系包括第一预设角度a与高度h1的对应关系、其他多个角度与高度的对应关系。所述处理器4可根据所述对应关系确定所述头戴式显示设备100相对所述参考位置向下运动当前达到的角度所对应的高度。所述处理器4并从当前影像画面中截取从影像画面上边往下延伸到对应高度的区域，并控制显示所述从当前影像画面中截取的区域。

请一并参阅图7，在一些实施例中，所述处理器4在所述运动传感器3侦测到的相对所述参考位置向下运动的运动角度达到第二预设角度c时，控制所述显示装置1显示所述摄像装置2当前拍摄的完整的影像画面im3。其中，所述第二预设角度大于所述特定角度及第一预设角度。所述特定角度为所述第一预设角度a及第二预设角度c之间的任意角度。

其中，上述描述中仅以一个特定角度作为说明，显然，头戴式显示设备100相对所述参考位置向下运动时，所述摄像装置2在第一预设角度与第二预设角度之间，经过多个特定角度的位置都会拍摄影像画面，所述处理器4根据公式h2＝h1*b/a计算相对于参考位置向下运动达到所述特定角度b时所需截取的区域a2的高度h2，从当前影像画面中截取从第二影像画面im2上边往下延伸的具有相应高度的区域，而控制显示装置1依次显示在每一特定角度位置拍摄的影像画面中的具有相应高度的区域。

从而，随着用户的低头，显示装置1显示的画面也逐渐变大，给用户一个逐渐打开视野的感觉。

如图7所示，在向下运动的运动角度达到第二预设角度c时，此时，影像画面im3显示了整个输入装置t1及人手z1。

从而，用户无需摘下头戴式显示设备100，可通过摄像装置2拍摄的影像画面得知，当前手与输入装置t1的相对位置，并可移动到所述输入装置t1的位置处，对输入装置t1进行操作，而输入相应内容，极大地方便了用户的操作。

如图6-7所示，在一些实施例中，所述输入装置t1中可包括实体的或虚拟的按键k1，用户通过输入装置t1进行输入时，可以通过摄像装置2拍摄的影像画面清楚地知道按键k1的位置，并可将手z1移动到对应的按键k1处进行操作。

其中，当用户抬起头而带动所述头戴式显示设备100向上时，如前所述，所述处理器4在所述运动传感器3侦测到的运动角度变小的过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面，并截取当前运动角度下拍摄的影像画面中相应的区域。

其中，所述头戴式显示设备100向上运动为所述头戴式显示设备100的逆过程。例如，当运动角度变小至所述特定角度b时，此时，摄像装置2当前拍摄到的为如图5所示的第二影像画面im2，所述处理器4控制显示装置1显示如图6所示的所述第二影像画面im2中的与所述第二预设角度对应的高度为h2的部分区域a2。当运动角度继续变小至所述第一预设角度a时，此时，摄像装置2当前拍摄到的为如图1所示的第一影像画面im1，所述处理器4控制显示装置1显示如图4所示的所述第一影像画面im1中的与所述第一预设角度对应的高度为h1的部分区域a1。

从而，随着用户的抬头，显示装置1显示的画面也逐渐变小，给用户一个逐渐关闭视野的感觉。

在一些实施例中，所述处理器4并在所述运动传感器3侦测到的相对所述参考位置向下的运动角度减小至小于所述第一预设角度a时，控制关闭摄像装置2和/或控制所述显示装置1停止显示所述影像画面。

在其他实施例中，所述处理器4并根据所述运动传感器3侦测到的运动角度的变化，控制所述显示装置1显示所述影像画面中的与所述运动角度对应的区域，包括：所述处理器4在所述运动传感器3侦测到的运动角度变大过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面，并截取不同影像画面中的不同区域，并控制所述显示装置1显示当前截取的区域与之前截取的所有区域的拼接区域；所述处理器4在所述运动传感器3侦测到的运动角度变小过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面，并截取当前运动角度下拍摄的影像画面中与所述运动角度对应的区域，并控制显示装置1显示当前影像画面中截取的区域。

如前面的图3及图4所述，当所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时，所述摄像装置2拍摄得到第一影像画面im1。所述摄像装置2当前拍摄到的第一影像画面im1中包括笔p1、书本b1以及输入装置t1的一部分。

如图4所示，所述处理器4控制显示装置1显示当前摄像装置2当前拍摄到的第一影像画面im1中的与所述第一预设角度对应的部分区域a1。其中，所述部分区域a1为从所述第一影像画面im1中截取的包括所述第一影像画面im1上边的高度为h1的区域。

请一并参阅图8，为第二实施例中所述处理器4在所述头戴式显示设备100相对所述参考位置向下运动到特定角度b时，控制显示装置1显示的区域a3的示意图。

如前所述，运动到特定角度b时，所述摄像装置2拍摄的影像画面为图5所示的第二影像画面im2。所述处理器4根据h2＝h1*b/a确定第二影像画面im2中的包括所述第二影像画面im2上边的高度为h2的区域a2。

所述处理器4并确定所述区域a2中与所述图4中所述的运动到第一预设角度时显示的区域a1重叠的区域，并将所述区域a2中位于重叠的区域中的图像去除，得到如图8中(2)所示的h2-h1的区域。

所述处理器4并将如图8中(1)所示的所述运动到第一预设角度时显示的区域a1与图8中(2)所示的所述区域a2去除与所述区域a1重叠区域后的区域部分叠加，得到如图8中(3)所示的叠加区域a3。其中，所述叠加区域a3的上部分区域为从所述第一影像画面im1中截取的高度为h1的区域，所述叠加区域a3的下部分区域为从所述第二影像画面im2中截取的高度为h2-h1的区域。

而当用户抬起头而带动头戴式显示设备100向上时，所述处理器4控制显示装置1的显示与第一实施例相同，不在此赘述。

显然，当所述头戴式显示设备100相对所述参考位置向下运动到第二预设角度时，所述处理器4同样控制当前显示装置1显示当前获取的整个影像画面。

其中，如图1所示，所述头戴式显示设备100包括所述输入装置t1，所述输入装置t1与所述显示装置1和/或耳机装置6通过有线或无线连接。所述输入装置t1可为具有实体按键的输入装置或者可为显示有虚拟按键的触摸屏、触摸板等输入装置。

在一些实施例中，所述输入装置t1可为与所述头戴式显示设备100适配的外部装置，不为所述头戴式显示设备100的一部分。

所述摄像装置2可为摄像头，拍摄的影像画面可为间隔预定时间或预设运动角度所拍摄的图像画面，也可为视频画面。当为视频画面时，所述处理器4可在运动角度大于等于所述第一预设角度后，控制显示装置1实时显示视频画面中的部分区域，并在达到一些特定角度时，改变所述视频画面中所显示的部分区域的面积，以及在达到所述第二预设角度时，控制显示装置1显示完整的视频画面。

其中，图3-8所示仅仅是示例性的图，用户可通过摄像装置2的辅助观看到外部景象，从而寻找到输入装置t1以及其他所需的物件，或者实现与其他人对话等等功能。

如图1所示，所述头戴显示设备还包括耳机装置6、所述耳机装置6用于输出声音，所述耳机装置6可包括耳机环带61及两个耳机听筒62，所述两个耳机听筒62通过所述耳机环带61连接。

其中，该处理器4可为中央处理器、微处理器、微控制器、单片机、数字信号处理器等。该存储器5可为闪存卡、固态存储器、随机存储器等。

所述运动传感器3可为陀螺仪或加速度传感器等。

该头戴式显示设备100可为智能眼镜、智能头盔等头戴式显示设备。

请参阅图9，为本发明一实施例中的辅助视觉方法的流程图。该方法用于前述的头戴式显示设备100中。该方法包括如下步骤：

所述处理器4在运动传感器3侦测到所述头戴式显示设备100相对所述参考位置向下运动达到第一预设角度时，控制开启所述摄像装置2以拍摄影像画面(s901)。

所述处理器4并根据所述运动传感器3侦测到的运动角度的变化，控制所述显示装置1显示所拍摄的影像画面中的与所述运动角度对应的区域(s902)。具体的，所述处理器4在所述运动传感器3侦测到的运动角度变大时，控制所述显示装置1显示所述影像画面中更大面积的区域。所述处理器4在所述运动传感器3侦测到的运动角度变小时，控制所述显示装置1显示所述影像画面中更小面积的区域。

其中，在一些实施例中，所述辅助视觉方法还包括步骤：

所述处理器4判断所述运动传感器3侦测到的运动角度是否大于或等于第二预设角度(s903)。如果是，则执行步骤s904，如果否，则返回步骤s902。

控制显示装置1显示所述摄像装置2拍摄的完整的影像画面(s904)。

显然，在一些实施例中，所述步骤s903及步骤s904也可包含在所述步骤s902中，显示完整的影像画面表示此时显示的影像画面中的区域为所述整个影像画面。

其中，在一些实施例中，所述辅助视觉方法还包括步骤：

所述处理器4判断所述运动传感器3侦测到的运动角度是否小于第一预设角度(s905)。如果是，则执行步骤s906，如果否，则返回步骤s902。其中，所述步骤s905也可执行于所述步骤s903之前。

处理器4控制关闭所述摄像装置2和/或控制所述显示装置1停止显示所述摄像装置2拍摄的影像画面(s906)。

请参阅图10，为图9中步骤s902在本发明一实施例中的子流程图。如图10所示，在一实施例中，所述步骤s902包括：

处理器4获取摄像装置2在第一预设角度a拍摄的第一影像画面im1(s9021)。

处理器4控制显示装置1显示所述第一影像画面im1中的具有第一高度h1的区域a1(s9022)。在一些实施例中，所述头戴式显示设备100的存储器5中预存有第一预设角度a与高度h1的对应关系。所述处理器4可根据所述对应关系确定所述第一预设角度a对应的高度h1，并从第一影像画面im1中截取从第一影像画面im1上边往下延伸的高度为h1的区域作为所述对应的区域a1，并控制显示所述第一影像画面im1中截取的区域a1。

所述处理器4获取摄像装置2在大于所述第一预设角度的特定角度b拍摄的第二影像画面im2(s9023)。

所述处理器4控制显示装置1显示当前摄像装置2当前拍摄到的第二影像画面im2中与所述特定角度b对应的区域a2(s9024)。在一些实施例中，所述处理器4根据公式h2＝h1*b/a计算相对于参考位置向下运动达到所述特定角度b时对应的高度h2，并从第二影像画面im2中截取从第二影像画面im2上边往下延伸的高度为h2的区域作为所述对应的区域a2，并控制显示所述第二影像画面im2中截取的区域a2。在另一些实施例中，所述头戴式显示设备100的存储器5中预存有多个角度与高度的对应关系，所述处理器4根据所述对应关系确定所述特定角度b对应的高度h2，然后从第二影像画面im2中截取从第二影像画面im2上边往下延伸的高度为h2的区域作为所述对应的区域a2，并控制显示所述第二影像画面im2中截取的区域a2。

在其他实施例中，步骤s902包括：所述处理器4在所述运动传感器3侦测到的运动角度变大过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面；截取不同影像画面中的不同区域，并控制所述显示装置1显示当前截取的区域与之前截取的所有区域拼接而成的区域；所述处理器4在所述运动传感器3侦测到的运动角度变小过程中，获取不同的运动角度下所述摄像装置2拍摄的影像画面；截取当前运动角度下拍摄的影像画面中与所述运动角度对应的区域，并控制显示装置1显示所述截取的区域。

从而，本申请中，通过使用摄像装置2作为辅助视觉装置，可以在用户需要低头寻找东西时开启，以辅助用户寻找如输入装置等在内的物件。

以上所述是本发明的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。