基于增强现实的管状视野图像变形显示方法及眼镜与流程

本发明涉及图像处理技术领域，特别涉及一种基于增强现实的管状视野图像变形显示方法及一种增强现实眼镜。

背景技术：

增强现实(augmentedreality，ar)技术，是一种通过实时计算影像的位置及角度，在影像上叠加相应的图像、视频、3d模型，进而对虚拟世界与现实世界进行融合的技术。ar客户端可以结合直接存储在其本地的图片识别物料，对用户的线下环境进行实时的图像识别，并在识别出的特定的线下目标在真实场景中的位置上，按照预配置的展示效果增强显示相应的展示数据。

视野缺损(defectofvisualfield)指视野范围受损。视野是眼球不动，向前注视一点，所能看到的空间范围，是黄斑中心凹以外的视力。视野缺损是一种病症状况，可能表示患者有某种疾病，可算作具有视野缺损的疾病，属於眼科的重症。各人对视野缺损的感受都不一样，有的轻微，有的严重，程度相差很大。研究发现，青光眼视野缺损早期表现为周边缺损，后期为中心缺损，但一些研究显示，旁中心暗点也可发生在青光眼早期，如高眼压治疗研究中，16％患者视野缺损最初为旁中心暗点。管状视野缺损可能造成视野中出现盲区，多见于高度近视患者及老年患者。

为了使患者避免视野缺损带来的困扰，缺损区域的检测是非常关键的，现有技术中尚未见关于缺损区域的检测方案。

技术实现要素：

针对上述现有技术出现的问题，本发明旨在提出一种基于增强现实的管状视野图像变形显示方法及一种增强现实眼镜，以实现对连续图像管状视野缺损区域的处理，给予患者更好的视物体验。

本发明公开了一种基于增强现实的管状视野图像变形显示方法，包括：

采集并获得反映用户视野所见的实景图像；

调用反映用户视野的缺损区域的视野图像缺损模式；

根据所述视野图像缺损模式对所述实景图像进行变形处理，用于获得用户能够完整可见的处理图像；

输出所述处理图像。

进一步地，所述采集并获得反映用户视野所见的实景图像，包括：

以用户自然视线中心线为中心采集所述实景图像。

进一步地，所述根据所述视野图像缺损模式对所述图像进行变形处理，用于获得用户能够完整可见的处理图像，包括：

所述实景图像变形至整体处于所述实景图像的缺损区域外的可见区域。

进一步地，所述根据所述视野图像缺损模式对所述图像进行变形处理，用于获得用户能够完整可见的处理图像，包括：

对所述实景图像进行尺寸压缩以获得压缩图像，并移动所述压缩图像至所述实景图像中所述缺损区域外的的所述可见区域。

进一步地，采集并获得反映用户视野所见的实景图像，包括：

连续的采集并获得反映用户视野所见的若干实景图像；

所述根据所述视野图像缺损模式对所述实景图像进行变形处理，用于获得用户能够完整可见的处理图像，包括：

根据所述视野图像缺损模式对连续的若干所述实景图像进行变形处理，用于获得用户能够完整可见的连续的若干所述处理图像。

进一步地，该方法还包括所述视野图像缺损模式的获取方法：

采集并获得反映用户视野的检测图像；

显示所述检测图像；

标注用户所见的所述检测图像中的缺损区域；

保存标注结果为视野图像缺损模式。

进一步地，所述标注用户所见的所述图像中的缺损区域，包括：

在对所述图像放大的情况下，对所述图像中所述缺损区域的边缘进行标注。

此外，本发明还公开了一种增强现实眼镜，包括：

图像采集单元，用于采集并获得反映用户视野所见的实景图像；

数据库单元，用于保存可被调用的反映用户视野的缺损区域的视野图像缺损模式；

图像处理单元，用于调用所述视野图像缺损模式对所述实景图像进行变形处理，获得用户能够完整可见的处理图像；

图像显示单元，输出所述处理图像。

进一步地，所述图像采集单元，用于以用户自然视线中心线为中心采集所述实景图像。

进一步地，所述图像处理单元，用于将所述实景图像变形至整体处于所述实景图像的缺损区域外的可见区域。

进一步地，所述图像处理单元，对所述实景图像进行尺寸压缩以获得压缩图像，并移动所述压缩图像至所述实景图像的所述可见区域。

进一步地，所述图像采集单元，用于连续的采集并获得反映用户视野所见的若干实景图像；

所述图像处理单元，用于根据所述视野图像缺损模式对连续的若干所述实景图像进行变形处理，用于获得用户能够完整可见的连续的若干所述处理图像。

进一步地，所述图像采集单元，还用于采集并获得反映用户视野的所述检测图像；

所述图像显示单元，用于显示所述检测图像；

控制单元，用于标注用户所见的所述检测图像中的所述缺损区域；

所述数据库单元，用于保存标注结果为所述视野图像缺损模式。

进一步地，包括图像处理单元，用于在控制单元进行标注前对所述图像放大。

进一步地，所述控制单元包括：

触控板，用于控制显示于所述图像上的光标的移动；

标注按键，用于对所述光标对应的所述图像上的位置进行标注。

本发明至少具有以下有益效果：

基于视野图像缺损模式对实景图像进行变形处理，用于获得用户能够完整可见的处理图像，使得连续实景图像中的缺损区域得到更好的显示，提高患者的视物体验，明显提高其生活质量。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。

在附图中：

图1为本发明实施例所述的基于增强现实的管状视野图像变形显示方法的流程图；

图2为本发明实施例所述的方法中采集并获得反映用户视野所见的实景图像的区域划分图；

图3为本发明实施例所述的方法中处理图像的区域划分图。

图4为本发明实施例所述的基于增强现实的管状视野图像变形检测方法的流程图；

图5为本发明实施例所述的方法中采集并获取的检测图像的区域划分图；

图6为本发明实施例所述的方法中标注了缺损区域的检测图像的区域划分图；

图7为本发明实施例所述的方法中检测图像放大后的区域划分图；

图8为本发明实施例所述的增强现实眼镜中控制单元的结构示意图。

附图标记说明

1-光标2-触控板

3-标注按键

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。

实施例一

如图1～3所示，本发明公开了一种基于增强现实的管状视野图像变形显示方法，包括：

(1)首先，采集并获得反映用户视野所见的实景图像；

随着用户头部转动或眼球转动所述实景图像同步变换，保证所采集的实景图像能够真实的反映用户实际视野，对于ar设备而言，可以通过其自带的摄像头进行采集；

(2)调用反映用户视野的缺损区域的视野图像缺损模式；

视野图像缺损模式可以是预先通过对缺损区域标注并保存的，可以随时被调用；

(3)根据所述视野图像缺损模式对所述实景图像进行变形处理，用于获得用户能够完整可见的处理图像，即实景图像的全部内容；

(4)输出所述处理图像；

视力低下患者也能够获取图像全部内容，可以采用近眼显示的方式输出。

本发明基于视野图像缺损模式对实景图像进行变形处理，用于获得用户能够完整可见的处理图像，使得连续实景图像中的缺损区域得到更好的显示，提高患者的视物体验，明显提高其生活质量。

在本发明的一些实施方式中，可以采用单个或多个摄像头采集并获得反映用户视野的实景图像，为保证后续检测的准确性，摄像头以用户自然视线中心线为中心采集所述实景图像，保证图像能够真实的反映用户的视野情况。

在本发明的一些实施方式中，所述实景图像变形至整体处于所述实景图像的缺损区域外的可见区域，具体的，可以通过对所述实景图像进行全部或部分变形，绕开所述缺损区域，使得实景图形的全部内容均处于对应的可见区域中，有助于提高用户的视物体验。

优选的，如图3所示，对所述实景图像进行尺寸压缩以获得压缩图像，并移动所述压缩图像至所述实景图像中所述缺损区域外的的所述可见区域，通过完成上述过程以获得处理图像。优选的，选定压缩中心点，压缩完成同时改变处理图像的位置。

在本发明的一些实施方式中，本发明除了能够对静态图片进行处理，同样能够对由连续实景图像组成的视频进行处理，进一步提高患者的视物体验，具体包括：连续的采集并获得若干连续的反映用户视野所见的实景图像；根据所述视野图像缺损模式对所述若干连续的实景图像进行变形处理，用于获得用户能够完整可见的若干连续的处理图像。本发明通过数据库单元保存标注的缺损区域的数据为管状视野缺损模式，对后续连续的实景图像进行自动调整修复应用，并针对用户使用记录长期智能改善最佳连续图像的输出。

如图4所示，本实施例公开了一种基于增强现实的管状视野图像变形检测方法，通过该方法能够获得用于变形处理的视野图像缺损模式，具体包括以下步骤：

(1)采集并获得反映用户视野的检测图像；

对于ar设备而言，可以通过其自带的摄像头进行采集；

(2)显示所述检测图像；

优选的，采用ar设备中常见的近眼显示方式显示所述检测图像，此时，用于视野中的图像包括一个或多个待标注的缺损区域；

(3)标注用户所见的所述检测图像中的缺损区域；

可以根据个人的实际情况采用手动标注的方式来标注缺损区域，该标准结果具有很强的个性化，能够较为准确的反应用户的视野缺损情况；

(4)保存标注结果为视野图像缺损模式。

通过上述步骤(1)～(4)确定该用户的管状视野缺损模式，该模式可以使具有图像处理能力的数据处理设备确定要处理的实景图像的缺损区域，是对实景图像后续进行变形处理以获得处理图像的必不可少的条件。

在本发明的一些实施方式中，如图5所示，可以采用单个或多个摄像头采集并获得反映用户视野的检测图像，为保证后续检测的准确性，摄像头以用户自然视线中心线为中心采集所述检测图像，保证检测图像能够真实的反映用户的视野情况。

在本发明的一些实施方式中，可以采用多种方式标注缺损区域，只要满足被标准缺损区域能够被相关处理单元识别即可，例如，对于圆形的视野缺损，可以标注其圆心与半径/直径，但在实际标注中发现，每个患者的缺损区域各不相同且大多都并非是规则图形，因此，本发明优选采用边缘标注的方法，即标注缺损区域与检测图像中可见区域相接的边缘，也就是缺损区域的外界边缘，通过对所有外界边缘的标注形成封闭的区域，该区域即缺损区域。上述的标注方式更好的适配了各种形状的缺损区域，且操作相对简单，适合用户手动标注。

在本发明的一些实施方式中，为进一步优化用户的标注过程，也为了获得更准确的标注结果，可以对检测图像进行局部放大。如图6和图7所示的实施例，将检测图像分为四个区域，分别为：第一象限、第二象限、第三象限和第四象限，选取第三象限进行放大，可以使得需要被标注的边缘更加明显并保证被用户可见，优选的，放大至原检测图像的大小或者铺满用于显示原检测图像的显示器，最后，用户对放大后的第三象限所示的缺损区域进行标注。通过上述实施例，使得用户的标注过程更加方便和准确。

在本发明的一些实施方式中，由于患者具有较低的视力水平，如果所采集检测图像因为其本身成像内容比较模糊，也会导致标注的不便与结果的失真，特别是对检测图像进行局部放大后，可能导致分辨率的降低，因此，本实施例公开了对检测图像进行清晰度优化的方法，具体的，对原检测图像或者放大后的检测图像调整亮度、对比度、锐化度，既可以单独调整其中的一项，也可以综合调整上述的几项，通过调整亮度、对比度、锐化度可以使得缺损区域与可见区域相接的边缘更加明显，易于用户进行更加准确的标注。

上述的基于增强现实的管状视野图像变形显示方法能够应用于增强现实装置中，由于例如ar眼镜等增强现实装置具有轻便、易携带、数据处理能力强等优点，能够更好地实现上述方法。

基于上述实施例，本文公开了一种基于增强现实眼镜的管状视野图像变形显示方法的具体流程，具体包括：

用户首先佩戴自然形态的眼镜(ar眼镜)，其包括图像采集单元、控制单元、图像处理单元、图像显示单元(光线可穿透性近眼显示器)；

用户将头部正面、眼部朝向需要看清的现实环境；

图像采集单元采集以用户自然视线中心为中心的连续实景图像；

随着用户头部正面、眼部的运动，图像采集单元同步连续采集实景图像；

连续的实景图像通过图像处理单元做如下处理：首先调出数据库单元保存的视野图像缺损模式，其能够反映此用户的视力情况，然后将实景图像根据视野图像缺损模式进行变形处理，优选的，如图3所示，压缩实景图像的尺寸，使得实景图像整体被显示于患者可见区域，该图像为处理图像，最后，将计算产生的处理图像输出到图像显示单元，优选采用光线可穿透性近眼显示器。

通过上述流程，用户可以连续地整体观察到实景图像的全部内容而非管状局限的连续影像。随着用户头部带动ar眼镜移动，图像处理单元连续的将处理图像输出到图像显示单元，进而达成持续改善用户视力的目的。

优选的，用户可以对处理图像进行进一步缩放，以获得更好的视物体验。

优选的，在ar眼镜的使用过程中，用户可以使用控制单元的触摸板，随时调出光标1，对于显示得不理想的区域，对视野缺损模式进行修正和补充，数据库单元中储存的视野图像缺损模式的数据会被记录和更新。重复上述流程可以实现对连续实景图像组成的视频进行处理。

实施例二

本实施例公开了一种增强现实眼镜，也称ar眼镜，具体包括：

图像采集单元，用于采集并获得反映用户视野所见的实景图像，优选的，所述图像采集单元可以采用ar眼镜本体上设置的单/双摄像头；

数据库单元，用于保存可被调用的反映用户视野的缺损区域的视野图像缺损模式；

图像处理单元，用于调用所述视野图像缺损模式对所述实景图像进行变形处理，获得用户能够完整可见的处理图像；

图像显示单元，用于输出所述处理图像，优选的，图像显示单元采用ar眼镜中常用的近眼显示器。

在本发明的一些实施方式中，图像采集单元可以采用单个或多个摄像头采集并获得反映用户视野的实景图像，为保证后续检测的准确性，摄像头以用户自然视线中心线为中心采集所述实景图像，保证实景图像能够真实的反映用户的视野情况。

在本发明的一些实施方式中，图像处理单元，用于将实景图像变形至整体处于所述实景图像的缺损区域外的可见区域，具体的，可以通过对所述实景图像进行全部或部分变形，绕开所述缺损区域，使得实景图形的全部内容均处于用于对应的可见区域中，有助于提高用户的视物体验。

优选的，如图3所示，图像处理单元用于将对所述实景图像进行尺寸压缩以获得压缩的实景图像，并移动所述压缩图像至所述实景图像的所述可见区域，完成上述过程以获得处理图像。

在本发明的一些实施方式中，本发明除了能够对静态图片进行处理，同样能够对由连续实景图像组成的视频进行处理，进一步提高患者的视物体验，具体包括：图像采集单元连续的采集并获得反映用户视野所见的若干连续的实景图像；图像处理单元根据所述视野图像缺损模式对所述若干连续的实景图像进行变形处理，用于获得用户能够完整可见的若干连续的处理图像。本发明通过数据库单元保存标注的缺损区域的数据为管状视野缺损模式，对后续连续的实景图像进行自动调整修复应用，并针对用户使用记录长期智能改善最佳连续处理图像的输出。

通过本发明公开的增强现实眼镜，还能够检测所述缺损区域，以获得视野缺损模式，具体包括：

所述图像采集单元还用于采集并获得反映用户视野的所述检测图像；

所述图像显示单元还用于显示所述检测图像；

所述ar眼镜还包括控制单元，用于标注用户所见的所述检测图像中的缺损区域；

所述数据库单元还用于保存标注结果为所述视野图像缺损模式。

所述控制单元用于标注用户所见的所述检测图像中的缺损区域，控制单元具有微处理器或其他类似的能够处理数据的芯片，芯片可以采用现有ar眼镜配置的任意型号，除此之外，控制单元还包括用于与用户实现交互的交互设备。

在本发明的一些实施方式中，为保证后续检测的准确性，图像采集单元以用户自然视线中心线为中心采集所述检测图像，保证检测图像能够真实的反映用户的视野情况。

在本发明的一些实施方式中，用户可以使用控制单元进行多种方式来标注缺损区域，只要满足被标准缺损区域能够被相关处理单元识别即可，因此，本发明优选利用控制单元进行缺损区域边缘的标注，即标注缺损区域与检测图像中可见区域相接的边缘，也就是缺损区域的外界边缘，通过对所有外界边缘的标注形成封闭的区域，该区域即缺损区域。上述的标注方式更好的适配了各种形状的缺损区域，且操作相对简单，适合用户手动标注。

如图8所示，所述控制单元包括：

触控板2，用于控制显示于所述检测图像上的光标1的移动，用户通过手指触碰触控板2，光标1便能够随着手指的滑动同步移动；

标注按键3，在触发的情况下对所述光标1对应的所述检测图像上的位置进行标注，配合触控板2，用户可以边移动光标1边标注，以获得连续的线状标注结果。

除此之外，控制单元还能够通过其上设置的相应人机交互按键，实现对图像采集单元进行开启/关闭控制、对后续的管状视野缺损区域变形处理后图像进行自适应调节控制等功能。

在本发明的一些实施方式中，为进一步优化用户的标注过程，也为了获得更准确的标注结果，本发明所述的增强现实眼镜还包括图像处理单元，可以对检测图像进行局部放大。如图6和图7所示的实施例，将检测图像分为四个区域，分别为：第一象限、第二象限、第三象限和第四象限，选取第三象限进行放大，可以使得需要被标注的边缘更加明显并保证被用户可见，优选的，放大至原检测图像的大小或者铺满用于显示原检测图像的显示器，最后，用户对放大后的第三象限所示的缺损区域进行标注。通过上述实施例，使得用户的标注过程更加方便和准确。

在本发明的一些实施方式中，由于患者具有较低的视力水平，如果所采集检测图像因为其本身成像内容比较模糊，也会导致标注的不便与结果的失真，特别是对检测图像进行局部放大后，可能导致分辨率的降低，因此，需要对检测图像进行清晰度优化的方法，具体的，通过图像处理单元对原检测图像或者放大后的检测图像调整亮度、对比度、锐化度，既可以单独调整其中的一项，也可以综合调整上述的几项，通过调整亮度、对比度、锐化度可以使得缺损区域与可见区域相接的边缘更加明显，易于用户进行更加准确的标注。

本实施例公开了利用增强现实眼镜获得管状视野缺损模式的具体流程，包括：

用户首先佩戴自然形态的眼镜(ar眼镜)，其至少包括镜上图像采集单元(摄像头，单或多)、控制单元、图像显示单元(光线可穿透性近眼显示器)；控制单元包含如图8所示的触控板2和标注按键3；

通过图像采集单元采集检测图像，ar眼镜的图像显示单元显示静态的、满屏的纯色图像，此时在用户视野中即会出现类似图1所示的缺损区域；

用户可以利用触控板2和标注按键3，标注缺损区域的边缘，具体的，划动触摸板，光标1“+”相应移动，按下标注按键3，开始记录光标1轨迹，不断滑动修正，再次按下该按键，标注此完整轨迹，不断重复，直到所有缺损区域的边缘被标注；

在进行标注时，可以放大检测图像局部区域，采用调节亮度、对比度、锐化度的方式，使得标注结果更详细、准确；

将标注结果的数据在数据库单元保存为初始“管状视野缺损模式”，供使用时作为用户的个性化数据作为对实景图像后续处理的计算的基础。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。