针对视觉障碍患者的头戴式视觉辅助系统的制作方法
【专利摘要】本发明提供了一种针对视觉障碍患者的头戴式视觉辅助系统，包括：用于安装及连接该系统的各个部件以及方便用户佩戴的头戴式眼镜支架；分别用于显示左、右眼图像的左、右眼显示面板；以人眼的视角采集图像的双路图像采集设备；用于检测外部环境和检查眼镜状态的各传感器；用于该系统的总体控制，图像的采集、处理及投影显示，传感器数据的接受和处理，以及相关的图像处理算法实现的数据处理中心；配套的针对视觉障碍患者设计的为增强其视觉的图像处理程序，以及为了治疗不同视觉病症所设计的训练与康复程序。本发明所述系统能够实时地采集现实场景，对采集到的图像进行处理，以视觉障碍患者更能接受的方式显示，达到辅助视觉的目的。
【专利说明】针对视觉障碍患者的头戴式视觉辅助系统
【技术领域】
[0001]本发明涉及视觉辅助【技术领域】，具体地，涉及一种针对视觉障碍患者的头戴式视觉辅助系统。
【背景技术】
[0002]视觉障碍，亦称“视力残疾”、“视觉缺陷”、“视力损伤”，是指由各种原因导致视觉器官(包括眼球、眼神经)及大脑视神经中枢的构造或功能发生部分或全部障碍，表现为双眼不同程度的视力损伤或视野缩小，而难以做到一般人所能从事的工作、学习和其他活动，以致限制或阻碍了根据其年龄、性别、社会与文化条件能发挥的正常作用。
[0003]根据世界卫生组织的估计，全世界有盲人4000万到4500万，低视力人口是盲人的3倍，约为1.4亿人。我国8300多万残疾人中，视力残疾人1233万，盲人约500万，低视力人口约710万，是世界上盲人和低视力人口最多的国家之一。如何解决他们正常学习、工作和生活问题成为社会关注的焦点。
[0004]视觉障碍是由于先天或者后天原因致使视觉系统部分或全部丧失功能，以致无法对外界事物进行准确辨识。依据相关规定，视觉未达0.3，或视野在20°以内者即为视觉障碍。根据障碍程度不同，视觉障碍可以分为两类:两眼视力测定值在0.03以上未达0.3或其视野在20°以内为弱视；两眼视力测定值未达0.03为全盲。弱视人群通常可以利用视觉进行日常生活，但是在视物方面有一定障碍，一般需要借助光学辅助设备或特殊放大设备来观察事物。但是弱视本身也有极大不同:既有缺乏立体感的，对光线敏感的，无法辨识色彩的，也有视野过于狭窄的。所以需要的光学辅助设备或特殊放大设备也有极大不同。全盲人群则完全不能依赖视觉进行日常生活，通常只能采取替代方式进行日常生活。例如，利用触觉辅助设备、听觉辅助设备和其它类型辅助设备来替代视觉。可以说，视觉障碍人群需要的辅助技术和设备是最多的。大多数信息无障碍技术和设备都可以应用于视觉障碍人群。几乎所有的视力残疾人都可以通过辅助器具补偿功能，不同程度地提高生活质量，参与社会生活。然而，第二次抽样调查显示，我国的视力残疾人中获得辅助器具服务的仅占7.97% ;其中城市 14.49%，农村 5.82%。
[0005]视觉障碍辅助器具可分为视觉性和非视觉性器具两大类:
[0006]视觉性辅具是指可以通过视觉途径帮助视障者提高视觉能力的设备或装置，又分为光学、非光学、电子助视器三类。光学助视器比较常见，有手持、立式放大镜，眼镜式、单筒、双筒望远镜等。光学助视器具有容易使用、携带方便、价格低等特点，也是低视力患者使用的主要助视器具；但它也存在一些使用上的局限性，如放大倍数低，阅读范围小，长期使用会引起姿势不良，会受到光源的影响等。非光学助视器，指通过改善周围的环境来提高视觉效果。如:放大的印刷品以改变阅读物的大小，高强度的照射器以增加对比度，高对比度的物件以利于局部物品的区分等。电子助视器是一种电子视讯装置，能将阅读的文件、图片、观察的物品等通过摄影镜头，将影像传送到屏幕上供使用者浏览。电子助视器种类丰富，包括:看远的、看近的(放大)、近远两用的，口袋型的、便携式的等。其特点是放大倍率、亮度、对比度等便于调整，能避免眩光的产生；有反白、半彩等多种显示模式；符合人体工学设计，可提供较大工作空间等。
[0007]非视觉助视器，指充分利用视觉以外的功能，如听觉、触觉等功能来弥补视觉功能的缺陷从而提高视障者生存质量的辅助器具，涉及到视觉障碍者生活、工作、学习、娱乐等的方方面面。例如:用于日常生活的盲用手机和电话、发声钟表；用于出行的盲杖、盲道；用于学习交流的盲文、点显器、有声读物、各种读屏软件等。这类辅具，全盲的患者使用较多。
[0008]综上所述，不同视觉障碍人群需要的辅助技术和设备也各有不同。现有的种类繁杂的视觉障碍辅助器具有功能单一、可扩展性差等特点，不符合易用、适用、简单便携、可扩展等原则。
【发明内容】
[0009]针对现有技术中的缺陷，本发明的目的是提供一种针对视觉障碍患者的头戴式视觉辅助系统，该系统可实时地采集现实场景，对采集到的图像进行处理并以视觉障碍患者更能接受的方式显示，提高视觉障碍患者获取视觉信息的能力，达到辅助视觉的目的。
[0010]为实现以上目的，本发明提供一种针对视觉障碍患者的头戴式视觉辅助系统，包括:
[0011]头戴式眼镜支架，用于安装及连接系统的各个部件以及方便用户佩戴；
[0012]显示面板，嵌入在头戴式眼镜支架的镜框上，用于显示图像；
[0013]图像采集设备，设置在头戴式眼镜支架上；
[0014]多个传感器，用于检测外部信息和眼镜所处状态并将信号传输给数据处理中心；
[0015]数据处理中心，所述数据处理中心用于系统的总体控制，包括图像采集设备的图像的采集、处理及显示面板的显示，传感器数据的接受和处理；其中的图像处理通过图像处理模块实现，该图像处理模块实时地从图像采集设备采集图像，并对采集的图像进行处理，针对视觉障碍患者的不同病患类型，利用图像处理及机器视觉算法对图像进行处理，将处理后的图像以视觉障碍患者更能接受的形式进行实时显示，从而达到视觉辅助的目的。
[0016]优选地，所述系统的显示是双眼显示或单眼显示；所述图像采集设备是双通道采集或单通道采集；如果是单眼、单通道，所述显示面板、图像采集设备都只需要一路。
[0017]进一步的，如果是双眼、双通道，所述显示面板、图像采集设备则为左右两路，即:所述显示面板包括:
[0018]左眼显示面板，嵌入在头戴式眼镜支架的左眼镜框上，用于显示左眼图像；
[0019]右眼显示面板，嵌入在头戴式眼镜支架的右眼镜框上，用于显示右眼图像；
[0020]所述双路图像采集设备，由两个微型摄像头组成，分布在头戴式眼镜支架的左右两侧。
[0021]优选地，所述系统的显示方式为投影式或非投影式；如果采用投影式显示，所述系统还包括投影装置，投影装置投影在显示面板上，在人眼前方一定距离形成虚拟的图像；所述投影装置为一路或者左右两路；如果采用非投影式显示方式，图像直接显示在显示面板的屏幕上。
[0022]更优选地，所述非投影式显示方式的显示面板可以是高清液晶显示屏，也可以是LED点阵显示器，显示器的选择根据患者的病患实际情况来调整。
[0023]更优选地，如果采用投影式显示方式显示面板采用可穿透式，投影在显示面板上形成的图像与现实场景叠加达到视觉改善的效果。
[0024]优选地，所述系统的显示可以是双眼也可以是单眼；图像采集设备可以是双通道采集也可以是单通道采集。
[0025]优选地，所述的双路图像采集设备以人眼的视角分别采集左、右眼看到的现实场景，经过所述数据处理中心处理后实时地投影到所述左、右显示面板上。
[0026]优选地，所述的数据处理中心图像处理算法根据所需功能不同，而有不同的设定；针对不同的患者有不同的图像处理算法与之对应。
[0027]与现有技术相比，本发明具有如下的有益效果:
[0028]本发明为可穿戴式设备，具有简单便携、易扩展等优点，可以让视觉障碍患者在日常生活中使用；同时，采用了智能控制器，除了视觉辅助功能外，还可以拥有智能设备的其他功能；此外，本发明所公开的硬件可以作为一个视觉障碍辅助器具平台，对于不同类型及不同程度的视觉障碍，可以针对性地设计配套的图像处理程序，达到辅助与增强视觉的目的。同时对于不同类型及不同程度的视觉障碍，可以针对性地设计配套的程序，用于相应视觉障碍的治疗与康复训练。
【专利附图】
【附图说明】
[0029]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0030]图1为本发明一较优实施例的结构示意图；
[0031]图2为本发明一较优实施例的工作原理框图；
[0032]图3为本发明一实施例以弱视为例的效果图；其中:图(a)为摄像头采集到的现实场景图片，图(b)为经过图像处理(图像放大)后投影显示的图片。
[0033]图中:1为头戴式眼镜支架，2为左眼眼镜镜片，3为左眼显示面板，4为左眼投影装置；5为右眼眼镜镜片，6为右眼显示面板，7为右眼投影装置，8为双路图像采集设备，9为数据处理中心，10为双路图像采集设备采集到的现实场景图片，11为经过处理后投影显示的图片，12、13为传感器。
【具体实施方式】
[0034]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0035]如图1所示，为本发明一较优实施例的针对视觉障碍患者的头戴式视觉辅助系统结构示意图，图中:头戴式眼镜支架1、左眼眼镜镜片2、左眼显示面板3、左眼投影装置4、右眼眼镜镜片5、右眼显示面板6、右眼投影装置7、双路图像采集设备8、数据处理中心9、传感器12，13，其中:
[0036]所述的头戴式眼镜支架1用于安装、连接和固定系统的各个部件，以及方便用户佩戴；
[0037]所述的左眼眼镜镜片2和所述的右眼眼镜镜片5用于分别固定左眼显示面板3和右眼显示面板6，左眼眼镜镜片2和右眼眼镜镜片5为可穿透式的，用户除了可以看到投影显示的画面之外还可以透过镜片看到现实场景；
[0038]所述的左眼显示面板3和所述的右眼显示面板6，如果采用投射显示方式，投影设备以一定的角度和距离嵌入在透明的眼镜镜片中，该显示面板也是可穿透式的，投影显示的虚拟图像和透过镜片看到的显示场景是叠加的；如果采用非投影显示方式，显示的图像为实像；
[0039]所述的左眼投影装置4和所述的右眼投影装置7分别与左眼显示面板3和右眼显示面板6相配合，分别向左眼显示面板3和右眼显示面板6投影图像，在人眼前方形成一幅虚拟图像；
[0040]所述的双路图像采集设备8是两个摄像头，两个摄像头分别安装于头戴式眼镜支架I的左右两侧，可以实时地以人眼的视角分别采集左、右眼看到的现实场景并传输给数据处理中心9，经过数据处理中心9处理后再实时地分别投影到左眼显示面板3和右眼显示面板6上，形成虚拟的场景；此外，由于双路图像采集设备8是以人眼的视角进行双路的图像采集，而且采集到的左、右眼画面经过处理后分别投影到左眼显示面板3和右眼显示面板6进行显示，所以人眼看到的虚拟场景是3D场景；
[0041]所述的数据处理中心9用于系统的总体控制，图像的采集、处理及投影显示；数据处理中心9用于系统的总体控制及各个模块的驱动。
[0042]本实施例中，所述的数据处理中心9可以是市面上现有的处理数据处理设备，t匕如智能手机、便携电脑等，也可以是自行开发的数据处理终端，其中的图像处理算法根据所需功能不同而有不同的设定。比如数据处理中心9除了针对色盲患者的图像矫正和标定任务外，还可以有智能设备所具备的其他功能。
[0043]本实施例中，所述的数据处理中心9可以通过数据线与眼镜连接，也可以直接以无线方式与眼镜连接。
[0044]本实施例中，所述的传感器12、13用于检测外部信息和眼镜所处状态并将信号传输给数据处理中心；包括红外传感器，加速度计，陀螺仪等各种传感器，它们各自将采集到的数据传给数据处理中心9，图像处理及机器视觉算法会利用这些数据进行分析。其中，红外传感器用于采集红外信号，以用于可能的夜间视野探测、或者用于障碍物距离检测；加速度计和陀螺仪分别采集眼镜的各个方向加速度以及角度。通过分析这些传感器采集的数据，数据处理中心可以对将要显示的图像做出相应的处理。
[0045]本实施例所述系统的主要功能是为视觉障碍患者提供一个视觉辅助的系统，该系统不仅可以对不同的视觉病症有不同的视觉增强效果，让患者在生活中依靠该仪器的辅助提高视觉，而且在数据处理中心中可以对症地设计出不同的纠正和治疗的程序，让患者在练习的过程中改善其自身的视觉能力。
[0046]本实施例所述系统除了以上所述的实体部件外，还包含配套的针对视觉障碍患者设计的图像处理模块。本模块从双路图像采集设备8实时地采集图像，传输到数据处理中心9后利用图像处理模块对采集的图像进行处理，针对不同的视觉障碍患者，利用相应的图像处理及机器视觉算法对图像进行处理，再将更加直观的视觉障碍患者更能接受的图像进行投影显示，视觉障碍患者可以通过本系统观看处理后的图像，从而达到辅助视觉的目的。具体的:
[0047]针对夜盲症患者，通过提高对比敏感度，增加患者夜间视觉；
[0048]针对年龄相关性黄斑变性、中心性浆液性视网膜病，白内障等视物变形的患者，通过图像变形反而使患者产生正常的图像，比如在眼镜里显示网格图，让患者自行调整，使每条线都是直线(其实调整后正常人看到是弯曲的线)，然后通过图像处理让摄像机捕捉的图像产生同样的形变；
[0049]针对红绿色盲患者，让计算机将红色和绿色改变为患者能区别的颜色，如黄蓝两色；
[0050]针对高度近视等的低视力患者，让计算机能将图像放大，方便阅读；
[0051]对于运动物体增加对比度并发声提示，让病人有所警觉等；
[0052]针对其他病症引起的视觉障碍，使用相应的算法，改善或者治疗患者的视力。
[0053]还有其他的病患以及对应的图像处理方法在此不一一列举，改变图像处理算法并不影响本系统的实质。图像处理的算法可以采用现有技术，也可以采用为了适应本视觉辅助系统而创新的算法。
[0054]如图2所示，为系统的工作原理框图，工作流程包括如下步骤:
[0055]一、图像采集
[0056]该部分由双路图像采集设备8的两个摄像头完成，左、右两路摄像头分别以人眼的视角采集现实场景的图像，摄像头采集到的现实场景图片10以视频流的形式传输至数据处理中心9 ；
[0057]二、图像处理
[0058]该部分由系统的数据处理中心9完成，数据处理中心9利用相关的图像处理算法对从双路图像采集设备8采集到的图像进行特定的处理，如:放大、增强、颜色校正等；该步骤中需要利用图像处理及机器视觉相关算法；本系统对相关的图像处理算法性能要求较高，要求能够达到实时性的要求，所以在进行图像处理算法设计时要考虑到实时性的问题，不能采用复杂度过高、无法满足实时要求的算法；如果有一些较为复杂的算法也要针对本系统做出相应的简化或者创新，以使算法更好地配合本系统。图像处理的算法可以采用现有技术，也可以采用为了适应本视觉辅助系统而创新的算法。对双路图像采集设备8采集到的图像实时地进行处理，再分别传输至左眼显示面板3和右眼显示面板6 ；
[0059]三、投影显示(对于透射式显示方法)或利用显示屏显示(对于非投射式显示方式)，
[0060]本发明系统的显示方式可以是投影式，也可以是非投影式。如果采用投影式显示，其中左右眼投影装置分别投影在左右显示面板3、6上，在人眼前方一定距离形成虚拟的图像；如果采用非投影式显示方式，其形成的是实像，但是需要在眼镜与左右显示面板3、6中间加入凸透镜使成像更清晰。非投射式显示的显示面板可以是高清液晶显示屏，也可以是LED点阵显示器，显示器的选择可以根据患者的病患实际情况来调整。这并不影响本系统的实质。具体的:
[0061]1)投影显示(对于透射式显示方法)
[0062]该部分由左、右眼投影装置4、7和左、右眼显示面板3、6完成，左、右眼投影装置4、7将数据处理中心9传输过来的经过色盲图像校正、标定后的左、右眼画面分别投影至左、右眼显示面板3、6，使用户从左、右眼显示面板3、6上看到的画面是利用图像处理及机器视觉相关算法处理后的图像；
[0063]2)利用显示屏显示(对于非投射式显示方式)
[0064]该部分由左、右显示面板3、6显示画面完成，左、右眼显示面板3、6将数据处理中心9传输过来的经过色盲图像校正、标定后的左、右眼画面分别显示，使用户从左、右显示面板3、6上看到的画面是利用图像处理及机器视觉相关算法处理后的图像。
[0065]如图3所示，为以弱视为例的效果图，其中:图(a)为双路图像采集设备采集到的现实场景图片10，图(b)为经过相关图像处理(图像放大)后投影显示的图片11。
[0066]与传统的视觉障碍辅助器具相比，本发明为可穿戴式设备，具有简单便携、易扩展等优点，可以让视觉障碍患者在日常生活中使用；此外，本发明所公开的硬件可以作为一个视觉障碍辅助器具平台，对于不同类型及不同程度的视觉障碍，可以针对性地设计配套的图像处理程序和治疗程序，达到辅助视觉与治疗疾病的目的。
[0067]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
【权利要求】
1.一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，包括: 头戴式眼镜支架，用于安装及连接系统的各个部件以及方便用户佩戴； 显示面板，嵌入在头戴式眼镜支架的镜框上，用于显示图像； 图像采集设备，设置在头戴式眼镜支架上； 多个传感器，用于检测外部信息和眼镜所处状态并将信号传输给数据处理中心； 数据处理中心，所述数据处理中心用于系统的总体控制，包括图像采集设备的图像的采集、处理及显示面板的显示，传感器数据的接受和处理；其中的图像处理通过图像处理模块实现，该图像处理模块实时地从图像采集设备采集图像，并对采集的图像进行处理，针对视觉障碍患者的不同病患类型，利用图像处理及机器视觉算法对图像进行处理，将处理后的图像以视觉障碍患者更能接受的形式进行实时显示，从而达到视觉辅助的目的。
2.根据权利要求1所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，所述系统的显示是双眼显示或单眼显示；所述图像采集设备是双通道采集或单通道采集；如果是单眼、单通道，所述显示面板、图像采集设备都只需要一路。
3.根据权利要求2所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，如果是双眼、双通道，所述显示面板、图像采集设备则为左右两路，即:所述显示面板包括: 左眼显示面板，嵌入在头戴式眼镜支架的左眼镜框上，用于显示左眼图像； 右眼显示面板，嵌入在头戴式眼镜支架的右眼镜框上，用于显示右眼图像； 所述双路图像采集设备，由两个微型摄像头组成，分布在头戴式眼镜支架的左右两侧。
4.根据权利要求1所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，所述系统的显示方式为投影式或非投影式； 如果采用投影式显示，所述系统还包括投影装置，投影装置投影在显示面板上，在人眼前方一定距离形成虚拟的图像；所述投影装置为一路或者左右两路； 如果采用非投影式显示方式，图像直接显示在显示面板的屏幕上。
5.根据权利要求4所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，如果采用非投影式显示方式，进一步在眼睛与显示面板中间加入凸透镜以使成像更加清晰。
6.根据权利要求5所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，所述非投影式显示方式的显示面板是高清液晶显示屏，或是[￡0点阵显示器。
7.根据权利要求4所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，所述的显示面板采用可穿透式，投影在显示面板上形成的图像与现实场景叠加达到视觉改善的效果。
8.根据权利要求2所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，所述的双路图像采集设备以人眼的视角分别采集左、右眼看到的现实场景，经过所述数据处理中心处理后实时地投影到所述左、右显示面板上。
9.根据权利要求1-8任一项所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，所述的数据处理中心图像处理算法根据所需功能不同，而有不同的设定；针对不同的患者有不同的图像处理算法与之对应。
10.根据权利要求9所述的一种针对视觉障碍患者的头戴式视觉辅助系统，其特征在于，针对夜盲症患者，通过提高对比敏感度，增加患者夜间视觉； 针对年龄相关性黄斑变性，中心性浆液性视网膜病，白内障这些视物变形的患者，通过图像变形，使患者产生正常的图像； 针对红绿色盲患者，让计算机将红色和绿色改变为患者能区别的颜色； 针对低视力患者，让计算机能将图像放大，方便阅读； 对于运动物体增加对比度并发声提示，让病人有所警觉； 针对其他病症引起的视觉障碍，使用相应的算法，改善或者治疗患者的视力。
【文档编号】A61F9/00GK104306102SQ201410531536
【公开日】2015年1月28日 申请日期:2014年10月10日 优先权日:2014年10月10日
【发明者】杨小康, 翟广涛, 李铎, 闵雄阔 申请人:上海交通大学