图像显示方法、智能眼镜及存储介质与流程

本公开涉及电子技术领域，具体涉及一种图像显示方法、智能眼镜及存储介质。

背景技术：

盲和视力损伤是世界范围内的严重公共卫生、社会和经济问题，据统计，在我国，每年会出现新盲人大约45万，低视力135万，即约每分钟就会出现1个盲人，3个低视力患者。全世界每年有700万人成为盲人，2100万人成为低视力。目前，低视力患者可以通过配戴低视力视觉增强眼镜等设备对视觉进行辅助。

低视力视觉增强眼镜可以对环境的图像进行拍摄，然后将拍摄的图像复制到左右眼显示屏上，进而辅助低视力患者观看环境中的物体。然而在实际生活中，人的左右眼存在视差，这样的显示方式可能使得大脑立体视觉混乱、产生重影，甚至人眼会产生不适感。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种图像显示方法、智能眼镜及存储介质，用于提升智能眼镜呈现的图像的真实感和立体感。

根据本公开实施例的第一方面，提供一种图像显示方法，应用于智能眼镜，包括：

确定所述智能眼镜的工作模式；

在所述智能眼镜的工作模式为夜间模式时，获取所述智能眼镜采集的深度图像；

根据所述深度图像中每个像素点的深度信息，在三维空间中建立三维模型；

分别在所述智能眼镜的左眼显示屏及右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像。

根据本公开实施例的第二方面，提供一种智能眼镜，包括：

左眼显示屏；

右眼显示屏；

深度摄像头，用于采集深度图像；

处理器，与所述左眼显示屏、所述右眼显示屏及所述深度摄像头均相连，用于确定所述智能眼镜的工作模式；在所述智能眼镜的工作模式为夜间模式时，获取所述深度摄像头采集的深度图像；根据所述深度图像中每个像素点的深度信息，在三维空间中建立三维模型；分别在所述左眼显示屏及所述右眼显示屏显示针对所述三维模型的左眼视角图像及右眼视角图像。

根据本公开实施例的第三方面，提供一种计算机程序产品，所述计算机程序产品包含能够由可编程的装置执行的计算机程序，所述计算机程序具有当由所述可编程的装置执行时用于执行上述第一方面中所述的方法的代码部分。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质中包括一个或多个程序，所述一个或多个程序用于执行上述第一方面所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，智能眼镜在夜间工作模式下，可以采集深度图像，然后根据深度信息在三维空间中建立三维模型，再针对建立的三维模型，确定分别适应与左眼视角和右眼视角的左眼视角图像和右眼视角图像，最后分别显示到智能眼镜左眼显示屏和右眼显示屏上。这样，最终呈现的图像是适应于左右眼视点分别观看同一三维模型时的图像，用户观看到的物体与真实的物体是重合的，提升了观看体验，且不会导致立体视觉混乱以及重影现象，智能眼镜呈现的图像的真实感和立体感较好。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的深度图像显示的示意图；

图2是根据一示例性实施例示出的一种图像显示方法的流程图；

图3是根据一示例性实施例示出的一种智能眼镜的示意图；

图4是根据一示例性实施例示出的一种智能眼镜的另一示意图；

图5是根据一示例性实施例示出的一种遮光镜片的示意图；

图6是根据一示例性实施例示出的一种关闭智能眼镜的示意图；

图7是根据一示例性实施例示出的一种智能眼镜的结构示意图；

图8是根据一示例性实施例示出的一种智能眼镜的另一结构示意图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。

首先请参见图1，图1是根据一示例性实施例示出的深度图像显示的示意图。分别通过人眼的左眼视点与通过右眼视点观看同一物体时，得到的图像会有所不同，假设深度摄像头的位置和朝向与左眼接近，那么将深度摄像头采集的深度图(图1所示的图像1)直接送给左眼对应的显示屏，通过左眼看到的图像与真实场景的物体便可基本对应上。但是，如果将同样的深度图(图1所示的图像2)送到右眼对应的显示屏上显示，那么就可能出现图像与真实物体对应不上的情况，左右眼的两张深度图上所有物体的视差量是相同的，这样做会导致以下问题：

一、前后位置的深度不匹配问题。因为在实际生活中，人的左右眼看远近不同物体时是存在不同的双目视差的，而上述处理中左右眼看到的深度图相同，即深度图上的所有物体的视差量均相等，这样会导致深度图上的所有物体在大脑中合成后都处在一个固定平面上，从而导致双眼看到的深度图上的物体深度与真实场景中的物体深度不符合，三维纵深感不同，进而导致大脑立体视觉混乱。

二、左右位置的重影问题。因为在实际生活中，左右眼看到的远近物体的遮挡程度不同。若左右眼看到的是同样一张深度图，则难免会导致左眼或者右眼看到的深度图中的物体边缘与实际物体边缘不重合，从而产生重影，造成视觉混乱。

考虑到上述问题，本公开提出一种图像显示方法，请参考图2，图2是根据一示例性实施例示出的一种应用于智能眼镜的图像显示方法的流程图。如图2所示，该方法包括以下步骤。

步骤s11：确定智能眼镜的工作模式。

步骤s12：在智能眼镜的工作模式为夜间模式时，获取智能眼镜采集的深度图像。

步骤s13：根据深度图像中每个像素点的深度信息，在三维空间中建立三维模型。

步骤s14：分别在智能眼镜的左眼显示屏及右眼显示屏显示针对三维模型的左眼视角图像及右眼视角图像。

智能眼镜的工作模式可以由用户自行选择，包括夜间模式和日间模式，用户可以通过设置在智能眼镜上的按钮(旋钮)或者语音等方式来选择工作模式，本公开实施例对此不作限定。

在智能眼镜的工作模式为夜间模式时，可以通过深度摄像头采集深度图像，对于深度摄像头设置在智能眼镜的哪个位置，本公开实施例不作限定，比如可以设置在左眼显示屏上方，或者设置在右眼显示屏上方，等等。

深度图中每个像素点都有深度信息(比如通过像素点的灰度值来表征)，深度信息可以用来表示空间中的点到摄像头的距离。那么可以根据每个像素点的深度信息，在真实的三维空间中构建对应的三维模型。然后再通过建立的三维模型找到从智能眼镜左眼的视点及右眼的视点分别观看三维模型时的左眼视角图像及右眼视角图像，最后分别显示到左眼显示屏和右眼显示屏中。

请继续参见图1，比如深度摄像头的位置和朝向与左眼接近，基于深度信息建立三维模型后，得到的左眼视角图像为图像1，右眼视角图像为图像3，再通过左右显示屏分别进行显示。此时用户看到的图像便可以避免前后位置深度不匹配及重影的问题。

可选的，根据深度图像中每个像素点的深度信息，在三维空间中建立三维模型，可以是根据深度图像中每个像素点的深度信息，将深度图像映射到三维空间中，以得到三维模型。

也就是说在建立三维模型时，可以是将深度图像按照各像素点的深度信息投影到三维空间中，那么得到的左眼视角图像和右眼视角图像均为灰度图，这样，可以为配戴智能眼镜的用户直接呈现灰度图，辅助用户观看物体。

可选的，还可以在获取深度图像的同时，获取智能眼镜采集的目标图像，目标图像为红外图像或可见光图像，那么可以根据深度图像中的像素点与目标图像中的像素点之间的对应关系，给目标图像中每个像素点添加深度信息，然后将携带有深度信息的目标图像映射到三维空间中，以得到三维模型。

如图3所示，智能眼镜还可以配置有红外摄像头和/或可见光摄像头，图3以配置有红外摄像头为例。为例使得红外摄像头和/或可见光摄像头能够在夜间光线不足的情况下拍摄到更为清晰的图像，智能眼镜还可以配置有照度传感器，比如设置在图3所示的位置上，用于给红外摄像头和/或可见光摄像头补光。

在采集到目标图像后，以目标图像是红外摄像头采集的红外图像为例，首先要找出红外图像中的点对应于深度图像中的点(即在空间中针对的是同一位置的点)，然后便可以给红外图像中每个像素点赋予深度信息，进而可以根据深度信息将红外图像映射到三维空间中。这样最终的到的左眼视角图像和右眼视角图像均为红外图像。同理，当目标图像为通过可见光摄像头采集的可见光图像时，最终的到的左眼视角图像和右眼视角图像均为彩色图像。通过这样的方式，可以为用户呈现适应于人眼的红外图像或彩色图像，辅助用户在夜间观看物体，为用户出行提供便利。

可选的，在将携带有深度信息的目标图像映射到三维空间中之前，还可以根据目标图像中每个像素点携带的深度信息，对目标图像中像素点的亮度进行调整，以使得目标图像中各像素点的亮度随深度的增加而减小。

由于对于低视力人群而言，会更为关注近处的物体，对于远近的区分不是很明显，因此可以通过亮度来提示物体的远近。因此，可以对目标图像的亮度进行调整，比如按着深度，将近处物体亮度增强，远处物体亮度减弱，然后再将经过亮度调整的目标图像根据各像素点的深度信息映射到三维空间中。

可选的，可以根据dibr(depthimage-basedrendering，基于深度图像呈现)算法，确定左眼视角图像和右眼视角图像。

dibr解决的主要技术是根据当前视点的数据，得到周围任意点的视点数据。其核心是深度信息的利用，通过深度信息构建当前视点的三维信息，进而通过映射变换，得到其他视点的三维信息。可以通过dibr得到的三维图像映射方程来计算左眼视角图像和右眼视角图像。

可选的，在确定智能眼镜的工作模式之后，还可以在智能眼镜的工作模式为日间模式时，获取设置在智能眼镜上的长焦摄像头采集的彩色图像；按照预设比例对彩色图像进行放大；获取放大后的彩色图像和放大后的彩色图像的副本；将放大后的彩色图像和副本按照预设的位置分别显示在左眼显示屏及右眼显示屏上，以使得左眼显示屏及右眼显示屏显示的图像的视差为零。

请参见图4，智能眼镜上可以设置有长焦摄像头，在日间模式下可以使用长焦摄像头采集彩色图像。由于长焦摄像头视角较小，可以得到更加清晰的远处的物体的图像，对远处物体的彩色图像进行放大后也能得到较为清晰的图像。将放大后的图像进行复制便可以得到两个彩色图像，然后可以分别显示在左眼显示屏和右眼显示屏上，这样用户便可以看到远处的较为清晰的图像。同时可以控制左右图像的水平是差量为零(即通过水平平移调整图像在两个显示屏上的位置)，进而使得显示的图像更为适应于人眼，观看起来更加舒适。

本公开实施例中，长焦摄像头在采集了彩色图像后，智能眼镜还可以对采集的图像进行处理，比如改变白平衡，调整对比度等，进而提高彩色图像的图像质量。

可选的，在智能眼镜的工作模式为日间模式时，根据环境光照度对左眼显示屏及右眼显示屏的透光率进行调整，以使得左眼显示屏及右眼显示屏的透光率随环境光照度的增强而减小。

智能眼镜的左眼显示屏及右眼显示屏可以是led(lightemittingdiode，发光二极管)显示屏、lcd(liquidcrystaldisplay，液晶显示器)显示屏，等等。在智能眼镜的左眼显示屏及右眼显示屏为可调节透光率的透明玻璃材质的显示屏，那么在检测到环境光照度较强的时候(比如超过200lux，等等)，可以减小显示屏的透光率，从而相对提升显示屏上显示的图像的亮度，有利于用户更加清晰地观看。

本公开实施例中，请参见图5，还可以在左眼显示屏和右眼显示屏的前方增加专门用来遮挡光线的镜片，在日间模式下，或者在检测到环境光照度较强的情况下，可以控制遮光镜片旋转到显示屏前方来遮挡环境光，以提高图像的亮度。或者用户也可以在感受到环境光较强时，自行旋转遮光镜片来遮挡环境光。

可选的，还可以对采集的彩色图像进行识别，以获取交通状况信息，然后根据交通状况信息，输出第一提示信息，以提示配戴智能眼镜的用户当前的交通状况。

交通状况信息例如可以包括红绿灯信息、公交车路线信息、当前道路名称信息，等等。识别之后，可以通过语音或图像的方式输出提示信息(即第一提示信息)，进而帮助用户更好地了解当前的交通状况。

可选的，还可以通过设置在智能眼镜上的障碍物检测传感器，对智能眼镜周围的障碍物进行检测，在检测到障碍物时输出第二提示信息，以向配戴智能眼镜的用户指示障碍物的位置。

智能眼镜上还可以配置有障碍物检测传感器，比如超声波传感器、雷达等等。在检测到附近有障碍物时可以通过语音或图像的方式输出提示信息(即第二提示信息)，进而帮助配戴智能眼镜的低视力患者更加安全的出行。

在用户不使用智能眼镜时，可以关闭智能眼镜，如图6所示，关闭智能眼镜后，显示屏可以向上翻转至不影响视线的角度。

本公开实施例中，上述的图像显示方法可以由如图3或图4所示的智能眼镜的处理单元来执行，或者也可以由与智能眼镜连接的云端来执行，或者智能眼镜的处理器执行一部分云端执行一部分，等等，本公开实施例对此不作限定。

请参见图7，基于同一发明构思，本公开实施例提供一种智能眼镜700，该智能眼镜700可以包括：

左眼显示屏701；

右眼显示屏702；

深度摄像头703，用于采集深度图像；

处理器704，与所述左眼显示屏、所述右眼显示屏及所述深度摄像头均相连，用于确定所述智能眼镜的工作模式；在所述智能眼镜的工作模式为夜间模式时，获取所述深度摄像头采集的深度图像；根据所述深度图像中每个像素点的深度信息，在三维空间中建立三维模型；分别在所述左眼显示屏701及所述右眼显示屏702显示针对所述三维模型的左眼视角图像及右眼视角图像。

可选的，请参见图8，所述智能眼镜700还包括以下摄像头中的至少一者：

红外摄像头801，用于采集红外图像；

可见光摄像头802，用于采集可见光图像；

所述处理器704还用于：

在获取所述深度图像的同时，获取所述智能眼镜采集的目标图像，所述目标图像为所述红外摄像头采集的红外图像或所述可见光摄像头采集的可见光图像；

根据所述深度图像中的像素点与所述目标图像中的像素点之间的对应关系，给所述目标图像中每个像素点添加深度信息；

将携带有深度信息的目标图像映射到所述三维空间中，以得到所述三维模型。

可选的，所述处理器704还用于：

在将携带有深度信息的目标图像映射到所述三维空间中之前，根据所述目标图像中每个像素点携带的深度信息，对所述目标图像中像素点的亮度进行调整，以使得所述目标图像中各像素点的亮度随深度的增加而减小。

可选的，所述处理器704用于：

根据所述深度图像中每个像素点的深度信息，将所述深度图像映射到所述三维空间中，以得到所述三维模型。

可选的，所述处理器704还用于：

在分别在所述智能眼镜的左眼显示屏701及右眼显示屏702显示针对所述三维模型的左眼视角图像及右眼视角图像之前，根据dibr算法，确定所述左眼视角图像和所述右眼视角图像。

可选的，请继续参见图8所述智能眼镜700还包括：

长焦摄像头803，用于采集彩色图像；

所述处理器704还用于：

在确定所述智能眼镜700的工作模式之后，在所述智能眼镜700的工作模式为日间模式时，获取所述长焦摄像头803采集的彩色图像；

按照预设比例对所述彩色图像进行放大；

获取放大后的彩色图像和所述放大后的彩色图像的副本；

将所述放大后的彩色图像和所述副本按照预设的位置分别显示在所述左眼显示屏701及所述右眼显示屏702上，以使得所述所述左眼显示屏701及所述右眼显示屏702显示的图像的视差为零。

可选的，所述处理器704还用于：

在所述智能眼镜700的工作模式为日间模式时，根据环境光照度对所述左眼显示屏701及所述右眼显示屏702的透光率进行调整，以使得所述左眼显示屏701及所述右眼显示屏702的透光率随环境光照度的增强而减小。

可选的，所述处理器704还用于：

对所述彩色图像进行识别，以获取交通状况信息；

根据所述交通状况信息，输出第一提示信息，以提示配戴所述智能眼镜700的用户当前的交通状况。

可选的，请继续参见图8其特征在于，所述智能眼镜700还包括：

障碍物检测传感器804，用于对所述智能眼镜周围的障碍物进行检测；

所述处理器704还用于：

在所述障碍物检测传感器804检测到障碍物时输出第二提示信息，以向配戴所述智能眼镜700的用户指示障碍物的位置。

在另一示例性实施例中，还提供了一种计算机程序产品，所述计算机程序产品包含能够由可编程的装置执行的计算机程序，所述计算机程序具有当由所述可编程的装置执行时用于执行上述的图像显示方法的代码部分。

在另一示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，所述非临时性计算机可读存储介质中包括一个或多个程序，所述一个或多个程序用于执行上述的图像显示方法。

在本公开所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以对本公开的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本公开的方法及其核心思想，不应理解为对本公开的限制。本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。