一种在线自助视力检测系统、移动终端及存储介质的制作方法
本发明涉及自助体检系统领域，具体涉及一种在线自助视力检测系统、移动终端及存储介质。
背景技术：
视力检测是身体状况检测的重要指标，比如申请机动车驾驶证的人，针对不同的准驾车型对申请人有不同的视力要求。
目前的视力检测大多采用符合国标《gb11533-2011》要求的标准对数视力表，需要在固定位置或固定空间并在医务人员引导下进行现场检测，便捷性不好。现有技术中也出现部分基于移动终端的视力检测方法，但其准确性有待提高，对于机动车驾驶人这类需要准确测定视力值的群体并不适用，且在第三方需要获取真实客观有效的视力检测结果时无法较好的规避作弊问题。
技术实现要素：
有鉴于此，本发明公开了一种在线自助视力检测系统，用于解决现有视力检测方法对于需要准确测定视力值的群体的适用性不好的问题。
本发明第一方面，公开一种在线自助视力检测系统，所述系统包括：
距离计算模块：用于获取显示屏上随机生成的e形视标中心位置，实时计算人眼结点与e形视标中心位置的距离；
大小计算模块：用于基于显示屏的ppi像素密度及人眼结点与e形视标中心位置的距离，实时计算在显示屏上显示正方形e形视标的边长所需占用的像素点的个数；
显示调节模块：用于基于e形视标所占像素点的个数及眼睛到显示屏的角度、方向实时调整e形视标的大小及四个顶点的位置，使得在眼睛的视角方向上虚拟显示出始终是正方形的e形视标；
视力判断模块：用于获取每一组e形视标显示时对应的方向判断结果，进行视力判断；
作弊检测模块：用于随机变换每一组e形视标在显示屏上的显示位置、开口方向，通过前置摄像头模组采集的人体图像数据进行作弊检测。
优选的，所述距离计算模块具体包括：
深度提取单元：用于采用前置摄像头模组对人体上半身的深度结构信息进行提取，以前置3d深感摄像头为原点建立三维世界坐标系，并实时绘制3d面部网格；
位置获取单元：用于以显示屏左上角第一个像素点为原点建立显示屏坐标系，获取作弊检测模块随机生成的e形视标在显示屏上的坐标位置，所述坐标位置为欲显示的e形视标中心点的位置；
距离计算单元：根据3d面部网格中获取的眼球光轴上角膜顶点的位置坐标，可计算出人眼结点与e形视标中心位置之间的距离，即眼部距离，公式为：
式中d0为眼球屈光系统的光心至眼球光轴上角膜顶点的距离；（x1,y1,z1）为眼球光轴上角膜顶点在世界坐标系中的位置坐标；（x2,y2,z2）为随机生成的e形视标中心在世界坐标系中的位置坐标。
优选的，所述大小计算模块的计算公式为：
式中n为在显示屏上显示正方形e形视标的边长在所需占用的正方形像素点的个数；d为人眼结点与e形视标中心位置之间的距离，即眼部距离，单位为mm；ppi为显示屏的像素密度；l为5分记录。
优选的，所述作弊检测模块具体包括：
视标变换单元：用于在每一组e形视标方向判断完成之后，随机变换下一组e形视标在显示屏上的显示位置、开口方向，并按顺序记录每一组e形视标中心在显示屏坐标系中的位置坐标；
数据获取单元：用于实时获取人眼结点与e形视标中心位置的距离d，若所述距离小于预设的第一距离阈值，发出距离过近的提示；若所述距离大于等于第一距离阈值，通过前置摄像头模组采集每一组e形视标方向判断过程中的人体姿态图像，根据人体姿态图像实时提取人体上半身的深度结构信息，根据人体上半身的深度结构信息提取人体上半身关节点坐标；
标准姿态检测单元：用于根据人体上半身关节点坐标识别人体姿态，与显示屏上提示的标准的视力检测姿态比对，判断姿态的标准程度；
作弊姿态检测单元：用于结合随机变换的e形视标位置及对应的人体姿态，判断是否有包括手臂前伸、手持异物、e形视标位置跟随在内的一种或多种作弊嫌疑，判断是否作弊。
优选的，所述标准姿态检测单元具体用于：获取与每一组e形视标判断结果相对应的人体姿态图像及人体上半身关节点坐标，计算各个关节点坐标组成的肢体夹角，分别计算各个肢体夹角与标准姿态图像的各个对应的肢体夹角之间的相似度，将各个相似度加权求和计算得到最终的姿态相似度；将姿态相似度作为姿态标准程度，若姿态相似度大于等于第一相似度阈值，则认为姿态标准。
优选的，获取与每一组e形视标判断结果相对应的人体姿态图像及人体上半身关节点坐标，计算各个关键点坐标组成的肢体夹角，具体包括：
当进行左眼视力检测时，引导测试者用右手捂住右眼，根据与判断结果相对应的人体姿态图像提取左眼坐标、左肩坐标、左肘关节坐标、左手腕关节坐标、右肘关节坐标、右手腕关节坐标、右手四指指尖坐标，根据左眼至显示屏距离、角度及人体左右对称原理计算右眼坐标、右肩坐标；计算人体姿态图像中左眼坐标、左肩坐标、左肘关节坐标连线之间的肢体夹角，左肩坐标、左肘关节坐标、左手腕关节坐标连线之间的肢体夹角；计算人体姿态图像中右肩坐标、右肘关节坐标、右手腕关节坐标连线之间的肢体夹角及右手腕关节坐标、右眼坐标分别与右手四指指尖坐标之间连线的肢体夹角；
当进行右眼视力检测时，引导测试者用左手捂住左眼，根据与判断结果相对应的人体姿态图像提取右眼坐标、右肩坐标、右肘关节坐标、右手腕关节坐标、左肘关节坐标、左手腕关节坐标、左手四指指尖坐标，根据右眼至显示屏距离、角度及人体左右对称原理计算左眼坐标、左肩坐标；计算人体姿态图像中右眼坐标、右肩坐标、右肘关节坐标连线之间的肢体夹角，右肩坐标、右肘关节坐标、右手腕关节坐标连线之间的肢体夹角；计算人体姿态图像中左肩坐标、左肘关节坐标、左手腕关节坐标连线之间的肢体夹角及左手腕关节坐标、左眼坐标分别与左手四指指尖坐标之间连线的肢体夹角。
优选的，作弊姿态检测单元具体用于：
手臂前伸判定，当某一肘关节与显示屏的距离小于预设的第二距离阈值时，判定存在手臂前伸情况；
手持异物判定，通过图像识别进行异物检测，判断是否手持异物；
视标位置跟随判定，在同一只眼的视力检测过程中，获取已显示的各个e形视标在显示屏上的位置坐标，并按照显示顺序组成视标变换向量集；获取与每一组e形视标判断结果相对应的人体上半身关节点坐标中的肘关节坐标，并按照判断顺序生成肘关节运动向量集；计算视标变换向量集与肘关节运动向量集之间的相似度，当所述相似度大于等于预设的第二相似度阈值时，判定手臂跟随e形视标的位置变动，即存在视标位置跟随情况；
作弊判定，在每一组e形视标方向判断的过程中，若姿态标准程度小于第一相似度阈值且存在手臂前伸、手持异物、视标位置跟随中的任一情况时，判定作弊，发出作弊提醒。
优选的，设已显示的各个e形视标中心在显示屏坐标系中的位置坐标为(x1,i，y1,i)，与每一组e形视标判断结果相对应的人体上半身关节点坐标中的肘关节在世界坐标系的x、y平面的坐标为(x2,i，y2,i)，i=0,1,2，…,m，则所述视标变换向量集为t1={(x1,i-x1,i-1，y1,i-y1,i-1)|i=1,2,…,m}，肘关节运动向量集为t2={(x2,i-x2,i-1，y2,i-y2,i-1)|i=1,2,…,m}；
所述计算视标变换向量集与肘关节运动向量集之间的相似度的公式为：
式中m为单眼视力检测的e形视标显示总数减1，
本发明第二方面，公开一种移动终端，包括：至少一个处理单元、至少一个存储单元、通信接口和总线；其中，所述处理单元、存储单元、通信接口通过所述总线完成相互间的通信；所述存储单元存储有可被所述处理单元执行的程序指令，所述处理单元调用所述程序指令，以实现本发明第一方面所述的系统；所述移动终端的类型包括：智能手机、便携式电脑、平板电脑、pda智能终端、车载智能终端、可穿戴设备，可穿戴设备包括：智能手表、智能手环、智能戒指。
本发明第三方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的系统。
本发明相对于现有技术具有以下有益效果：
1）本发明可实现在线自助视力检测，没有时间、地点限制及辅助人员帮助即可实现准确的自助视力检测，提高了视力检测的便捷性；
2）本发明实时计算人眼结点与e形视标中心位置的距离，并根据距离实时调整显示屏上显示的e形视标大小，并根据眼睛到显示屏的角度、方向实时调整e形视标的大小及四个顶点的位置，使得在眼睛的视角方向上虚拟显示出始终是正方形的e形视标，可减少测量误差，使其完全符合国标《gb11533-2011》要求的视力检测标准；
3）本发明随机变换每一组e形视标在显示屏上的显示位置、开口方向，防止测试者作弊，同时在每一组方向判断的过程中通过前置摄像头模组采集的视力检测过程中的人体姿态图像进一步进行作弊检测，通过将人体姿态图像与显示屏上提示的标准的视力检测姿态比对，判断姿态的标准程度；结合随机变换的e形视标位置及对应的人体姿态，判断是否有包括手臂前伸、手持异物、e形视标位置跟随在内的一种或多种作弊嫌疑，最终判断是否作弊，防止测试者借助放大镜等外物作弊，保证视力检测结果的真实有效；
4）本发明除了适用于普通用户的自助视力检测，同时可适用于机动车驾驶人等应第三方需求需要准确、真实测定视力值的群体，在保证便捷性的同时，可进一步保证视力检测结果的真实客观，有效防止作弊。
附图说明
图1为本发明一种在线自助视力检测系统的结构示意图；
图2为本发明一种机动车驾驶人在线自助体检的工作流程框图；
图3为以移动终端的后置摄像头为例进行球形全景拍摄的示意图；
图4为本发明球形全景照片拼接方法的工作流程框图；
图5为世界坐标系中眼球光轴上角膜顶点与e形视标中心位置的距离的示意图；
图6为e形视标大小随眼部距离变化实时动态调整的示意图；
图7为左眼视力检测示意图；
图8为视角α的定义中眼部距离d与视标笔划宽度h关系的示意图；
图9为视角α、眼部距离d、视标笔划宽度h形成等腰三角形的示意图；
图10为以iphone12promax为例进行e形视标中心位置的坐标转换的实例图；
图11为非标准眼部距离与标准眼部距离的对比计算示意图；
图12为传统的视力表灯箱与移动终端显示屏在不同距离上眼中实际看到效果对比图；
图13为e形视标大小及四个顶点位置调整前后显示效果对比图；
图14为随机变换每一组e形视标在显示屏上显示位置的效果示意图；
图15为本发明准备工作的步骤流程图；
图16为本发明环境检测的部分步骤流程图；
图17为本发明听力检测的部分步骤流程图；
图18为本发明肢体检测的部分步骤流程图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本发明公开一种在线自助视力检测系统，所述系统包括：距离计算模块10、大小计算模块20、显示调节模块30、视力判断模块40、作弊检测模块50，还可以进一步包括环境检测模块60，环境检测模块60用于在视力检测中的距离计算模块之前同时调用手持式移动终端的前置摄像头和后置摄像头按照指定的拍摄方式拍摄室内环境图像，通过后置摄像头采集的环境图像生成第一球形全景照片，通过前置摄像头采集的环境图像生成第二球形全景照片，同时获取室内环境的音视频影像文件；将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片；基于第三球形全景照片和音视频影像文件进行环境检测，若环境中无其他人员的图像或音频数据且只有一个已关闭的房间出入口，则环境检测合格。然后将移动终端安放在支架上，前置摄像头正对视力测试者面部和上半身拍摄、后置摄像头正对房间的唯一出入口拍摄，开始视力检测。
所述距离计算模块10，用于获取显示屏上随机生成的e形视标中心位置，实时计算人眼结点与e形视标中心位置的距离；距离计算模块10具体包括：
深度提取单元：用于采用前置摄像头模组对人体上半身的深度结构信息进行提取，以前置3d深感摄像头为原点建立三维世界坐标系，并实时绘制3d面部网格；
位置获取单元：用于以显示屏左上角第一个像素点为原点建立显示屏坐标系，获取作弊检测模块随机生成的e形视标在显示屏上的坐标位置，所述坐标位置为欲显示的e形视标中心点的位置；
距离计算单元：用于根据3d面部网格中获取的眼球光轴上角膜顶点的位置坐标，计算出人眼结点与e形视标中心位置之间的距离，即眼部距离，公式为：
式中d0为眼球屈光系统的光心至眼球光轴上角膜顶点的距离，通常为固定值7mm；（x1,y1,z1）为眼球光轴上角膜顶点在世界坐标系中的位置坐标；（x2,y2,z2）为随机生成的e形视标中心在世界坐标系中的位置坐标。
所述大小计算模块20，用于基于显示屏的ppi像素密度及人眼结点与e形视标中心位置的距离，实时计算在移动终端显示屏上显示正方形e形视标的边长所需占用的像素点的个数；计算公式为：
式中n为在移动终端显示屏上显示正方形e形视标的边长所需占用的正方形像素点的个数；d为人眼结点与e形视标中心位置之间的距离，即眼部距离，单位为mm；ppi为显示屏的像素密度；l为5分记录。
所述显示调节模块30，用于基于e形视标的边长所占像素点的个数及眼睛到显示屏的角度、方向实时调整e形视标的大小及四个顶点的位置，使得在眼睛的视角方向上虚拟显示出始终是正方形的e形视标；
具体的，请参阅图5、6、13，图5为世界坐标系中眼球光轴上角膜顶点与e形视标中心位置的距离的示意图；图6为e形视标大小随眼部距离变化实时动态调整的示意图；图13为e形视标大小及四个顶点位置调整前后显示效果对比图；
所述视力判断模块40，用于获取每一组e形视标显示时对应的方向判断结果，进行视力判断；
所述作弊检测模块50，用于随机变换每一组e形视标在显示屏上的显示位置、开口方向，通过前置摄像头模组采集的人体图像数据进行作弊检测。
所述作弊检测模块50具体包括：视标变换单元501、数据获取单元502、标准姿态检测单元503、作弊姿态检测单元504；
所述视标变换单元501，用于在每一组e形视标方向判断完成之后，随机变换下一组e形视标在显示屏上的显示位置、开口方向，并按顺序记录每一组e形视标中心在显示屏坐标系中的位置坐标；
所述数据获取单元502，用于实时获取人眼结点与e形视标中心位置的距离d，若所述距离小于预设的第一距离阈值，发出距离过近的提示；若所述距离大于等于第一距离阈值，通过前置摄像头模组采集每一组e形视标方向判断过程中的人体姿态图像，根据人体姿态图像实时提取人体上半身的深度结构信息，根据人体上半身的深度结构信息提取人体上半身关节点坐标；所述人体上半身关节点坐标包括双眼坐标、左肩坐标、左肘关节坐标、左手腕关节坐标、左手除拇指外的四指指尖坐标、右肩坐标、右肘关节坐标、右手腕关节坐标、右手除拇指外的四指指尖坐标；
所述标准姿态检测单元503，用于根据人体上半身关节点坐标识别人体姿态，与显示屏上提示的标准的视力检测姿态比对，判断姿态的标准程度；所述标准姿态检测单元具体用于：获取与每一组e形视标判断结果相对应的人体姿态图像及人体上半身关节点坐标，计算各个关节点坐标组成的肢体夹角；
具体的，当进行左眼视力检测时，引导测试者用右手捂住右眼，根据与判断结果相对应的人体姿态图像提取左眼坐标、左肩坐标、左肘关节坐标、左手腕关节坐标、右肘关节坐标、右手腕关节坐标、右手四指指尖坐标，根据左眼至显示屏距离、角度及人体左右对称原理计算右眼坐标、右肩坐标；计算人体姿态图像中左眼坐标、左肩坐标、左肘关节坐标连线之间的肢体夹角，左肩坐标、左肘关节坐标、左手腕关节坐标连线之间的肢体夹角；计算人体姿态图像中右肩坐标、右肘关节坐标、右手腕关节坐标连线之间的肢体夹角及右手腕关节坐标、右眼坐标分别与右手四指指尖坐标之间连线的肢体夹角；
当进行右眼视力检测时，引导测试者用左手捂住左眼，根据与判断结果相对应的人体姿态图像提取右眼坐标、右肩坐标、右肘关节坐标、右手腕关节坐标、左肘关节坐标、左手腕关节坐标、左手四指指尖坐标，根据右眼至显示屏距离、角度及人体左右对称原理计算左眼坐标、左肩坐标；计算人体姿态图像中右眼坐标、右肩坐标、右肘关节坐标连线之间的肢体夹角，右肩坐标、右肘关节坐标、右手腕关节坐标连线之间的肢体夹角；计算人体姿态图像中左肩坐标、左肘关节坐标、左手腕关节坐标连线之间的肢体夹角及左手腕关节坐标、左眼坐标分别与左手四指指尖坐标之间连线的肢体夹角。
分别计算各个肢体夹角与标准姿态图像的各个对应的肢体夹角之间的相似度，将各个相似度加权求和计算得到最终的姿态相似度；将姿态相似度作为姿态标准程度，若姿态相似度大于等于第一相似度阈值，则认为姿态标准。
所述作弊姿态检测单元504，用于结合随机变换的e形视标位置及对应的人体姿态，判断是否有包括手臂前伸、手持异物、e形视标位置跟随在内的一种或多种作弊嫌疑，判断是否作弊。作弊姿态检测单元504具体包括：
手臂前伸判定子单元，当某一肘关节与显示屏的距离小于预设的第二距离阈值时，判定存在手臂前伸情况；
手持异物判定子单元，通过图像识别进行异物检测，判断是否手持异物；
视标位置跟随判定，在同一只眼的视力检测过程中，获取已显示的各个e形视标在显示屏上的位置坐标，并按照显示顺序组成视标坐标集，分别计算视标坐标集中相邻两个坐标之间的变换向量，生成视标变换向量集；获取与每一组e形视标判断结果相对应的人体上半身关节点坐标中的肘关节坐标，并按照判断顺序组成肘关节坐标集，分别计算肘关节坐标集中相邻两个坐标之间的变换向量，生成肘关节运动向量集；计算视标变换向量集与肘关节运动向量集之间的相似度，当所述相似度大于等于预设的第二相似度阈值时，判定手臂跟随e形视标的位置变动，即存在视标位置跟随情况；
具体的，设已显示的各个e形视标中心在显示屏坐标系中的位置坐标为(x1,i，y1,i)，与每一组e形视标判断结果相对应的人体上半身关节点坐标中的肘关节在世界坐标系的x、y平面的坐标为(x2,i，y2,i)，i=0,1,2，…,m，则所述视标变换向量集为t1={(x1,i-x1,i-1，y1,i-y1,i-1)|i=1,2,…,m}，肘关节运动向量集为t2={(x2,i-x2,i-1，y2,i-y2,i-1)|i=1,2,…,m}；
所述计算视标变换向量集与肘关节运动向量集之间的相似度的公式为：
式中m为单眼视力检测的e形视标显示总数减1，
作弊判定子单元，在每一组e形视标方向判断的过程中，若姿态标准程度小于第一相似度阈值且存在手臂前伸、手持异物、视标位置跟随中的任一情况时，判定作弊，发出作弊提醒。
本发明在视力检测的过程中通过随机变换每一组e形视标在显示屏上的显示位置、开口方向，防止测试者作弊，若每一组e形视标在显示屏某一位置固定不动显示，测试者可能会通过在移动终端显示屏前固定放大镜等方式作弊，因此本发明中e形视标在显示屏上的显示位置是随机变换的。为了进一步保证视力测试真实有效，通过前置摄像头模组采集每一组e形视标方向判断过程中的人体姿态图像进一步进行作弊检测，通过将人体姿态图像与显示屏上提示的标准的视力检测姿态比对，判断姿态的标准程度。姿态标准程度高的直接采纳测试者对这一组e形视标方向的判断结果，否则进一步判断，当出现手臂前伸、手持异物或者手臂跟随e形视标的位置变动时，很有可能是在作弊。因此本申请结合姿态标准程度及随机变换的e形视标位置及对应的人体姿态，判断是否有包括手臂前伸、手持异物、e形视标位置跟随在内的一种或多种作弊嫌疑，最终判断是否作弊，在尽可能减少误判的情况下防止测试者借助放大镜等外物作弊，保证视力检测结果的真实有效。
本发明除了适用于普通用户的在线自助视力检测，同时可适用于机动车驾驶人等应第三方需求需要准确、真实测定视力值的群体，在保证便捷性的同时，可进一步保证视力检测结果的真实客观，有效防止作弊。
基于以上系统，本实施例将以上在线自助视力检测系统应用到机动车驾驶人体检项目中，可进一步实现机动车驾驶人在线自助体检。本实施例提供一种机动车驾驶人在线自助体检的方法，是通过移动终端内预设的应用程序、后台系统相配合实现的，检测内容包括：身高检测、身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测。图2为本发明一种机动车驾驶人在线自助体检系统的工作流程框图。
一、前期准备
s1、用户登录；
s2、准备工作：图15为本发明准备工作的步骤流程图；
s21、应用程序引导驾驶人选择一间有桌椅、宽敞、明亮、面积6平米以上、只有一个出入口的房间，调整好桌椅的摆放，将座位正对房间入口，准备一部支架、一副耳机、一位亲友，并将支架、耳机置于桌面，以正对房间入口的方向就座，并将移动终端放置于支架上，调整支架角度，让前置摄像头正对驾驶人面部和上半身的同时，后置摄像头正对房间的唯一出入口；
s3、信息录入：
s31、应用程序通过调用后置摄像头采集驾驶人相关证件照片及驾驶人手持本人身份证的照片；获取体检人姓名、性别、证件类型、证件号码、手机号码、驾驶证档案编号、当前准驾车型的信息。
二、身高检测
s41、应用程序根据其检测到的移动终端内部传感器模块的配置情况，自动采取不同的ar测量方案，并将摄像头采集的画面呈现在显示屏的取景框内，引导亲友操作移动终端在取景框内手动标记或自动ai识别驾驶人的脚底和头顶并拍摄全身照片的方式，实现身高检测。
三、身份验证
s51、应用程序通过前置摄像头对驾驶人进行活体检测和人脸比对，以完成身份验证。
四、环境检测
环境检测步骤用于同时调用手持式移动终端的前置摄像头、后置摄像头按照指定的拍摄方式采集室内环境图像进行体检环境检测。通过移动终端采集室内环境图像的方式有多种，包括引导驾驶人双手握持移动终端，绕移动终端与地面的垂线为轴心水平旋转拍摄，同时转动双手手腕使移动终端绕其轴线±90°的俯仰翻转拍摄；或者采用可同时水平旋转和垂向翻转的支撑装置来支撑移动终端以设定的水平旋转速度和翻转速度实现360度球形全景拍摄。本实施例以第一种采集方式为例说明环境检测的具体步骤。
s61、在应用程序中进入环境检测引导页，应用程序引导驾驶人起身站立，并随座椅一起往后移动，座椅与桌面边缘留出指定的距离，为后续站立和转身预留足够的活动空间；
s62、应用程序引导驾驶人拿起移动终端，双手横向水平握持抬高至与眼部同高，距离15至20厘米，且让显示屏与视线保持水平，用后置摄像头对准房间的出入口。
s63、应用程序引导驾驶人，以手中的移动终端与地面的垂点为轴心，以面部与移动终端的距离为半径，驾驶人绕着轴心往左横向的转圈移动。
s64、应用程序引导驾驶人在每横向移动一步时，用手腕上下转动移动终端，以完成一轮±90°的俯仰翻转，直至房间内的真实影像将取景器中空白区域完全覆盖，当全景照拍摄进度至100%时，显示屏上通过箭头提示引导驾驶人将后置摄像头对准房间的出入口，以结束全景拍摄，并开启后置摄像头持续进行视频录像，直至步骤s68结束进入步骤s71时停止录像，并将采集到的视频影像上传至后台系统审核。图3为以移动终端的后置摄像头为例进行球形全景拍摄的示意图；图16为本发明环境检测的部分步骤流程图。
s65、移动终端在步骤s62~s64的拍摄过程中，同时调用前置摄像头、麦克风mic、后置摄像头、imu惯性测量单元，在调用imu惯性测量单元和后置摄像头采集室内环境图像同时还调用前置摄像头、imu惯性测量单元和麦克风mic采集室内环境图像并自动录制驾驶人手持移动终端拍摄过程中的音视频影像，且前置摄像头和后置摄像头同时开始拍摄同时完成球形全景照片拍摄，当拍摄进度达到100%，即完全覆盖房间内所有空间角度时完成球形全景照片的拍摄，并自动拼接生成体检环境的第一、第二球形全景照片；具体的，分别以对应的摄像头为坐标原点，在对应的摄像头采集环境图像的同时同步调用imu惯性测量单元，持续获取移动终端的姿态角数据，得到一组包含姿态角的连续照片序列；对包含姿态角的连续照片序列进行特征匹配和图像拼接，合成一张体检环境的球形全景照片。图4为本发明球形全景照片拼接方法的工作流程框图；其中，在生成第一、第二球形全景照片之前，获取预先存储的驾驶人多角度全身照片，将驾驶人全身多角度照片与前置摄像头采集和/或后置摄像头的环境图像进行特征匹配，从前置摄像头和/或后置摄像头采集的环境图像中剔除驾驶人躯体所在区域。
s66、将采集的环境数据发送至后台系统自动审核，展示环境检测结果，若合格进入下一步骤，若不合格重新采集环境数据检测；
在后台中将第一球形全景照片与第二球形全景照片进行融合，得到第三球形全景照片，具体为：
根据前置摄像头和后置摄像头之间的位置关系确定第一球形全景照片与第二球形全景照片对应的室内位置关系；提取第一球形全景照片合成过程中的各个拼接缝，确定各个拼接缝与第二球形全景照片对应的位置映射关系，预先按照差分法比较第一球形全景照片与第二球形全景照片，从中筛选出差异较大的拼接缝并编号，按照筛选出的拼接缝的大小对第一球形全景照片进行网格划分，使得各个拼接缝位于各个网格片区内；将第二球形全景照片按照对应位置进行相同的网格划分，将第一球形全景照片与第二球形全景照片对应位置的各个网格片区进行图像融合，拼接得到第三球形全景照片。
所述将第一球形全景照片与第二球形全景照片对应位置的各个网格片进行图像融合具体为：判断待融合的两个网格片区的大小，若大于预设阈值则分别对网格片区进行等距划分，得到多个子区域，分别计算各个子区域的信息熵；采用黄金正弦算法优化各个子区域的融合权重，优化目标为使得各个信息熵小于预设熵阈值的子区域在融合前后的信息熵的变化率均小于预设的变化率阈值且融合后的单个网格片区的总信息熵最小；对于网格片区的大小小于等于预设阈值的情况，采用黄金正弦算法直接优化各个像素的融合权重；当对应位置的各个网格片中存在留白区域时，留白区域的融合权重均为0；根据融合权重对对应的两个网格片区进行加权图像融合。以某组待融合的两个网格片区为例，采用黄金正弦算法进行优化时，首先随机初始化种群位置，每个个体位置代表其中一个网格片区的各个子区域的融合权重初始解，设置黄金正弦相关参数，以所述优化目标为适应度函数计算最优个体位置，并进行位置更新，迭代运算直至找到最优个体位置xbest作为其中一个网格片区的各个子区域的融合权重，设xbest=(w1,w2,…,wd)，则另一个网格片区的对应的各个子区域的融合权重为(1-w1,1-w2,…,1-wd)，其中d为子区域个数，根据对应的各个子区域的融合权重进行两两融合。以采用黄金正弦算法直接优化各个像素的融合权重同理。
最后采用卷积神经网络对第三球形全景照片进行目标识别，识别出第三球形全景照片中是否有人员的图像痕迹，并识别是否只有一个已关闭的房间出入口，对音视频影像文件进行音频分析，判断是否有说话声。若体检环境中无其他人员的图像和音频数据且只有一个已关闭的房间出入口，则环境检测合格。
s67、环境检测合格后，应用程序提示驾驶人保持后置摄像头始终对准房间的出入口，并在30秒内严格执行并完成以下操作：按上一次的摆放位置和角度，将移动终端放置到支架上（放置过程中和安放好后后置摄像头始终对准房间的出入口），驾驶人将座椅归位并面对房间入口就座，确认耳机的左、右声道，并佩戴好耳机，连接耳机与移动终端，调节耳机音量至50%以上，在30秒后自动进入下一步。
s68、提示驾驶人注意事项，包括：在上肢检测项目结束前切勿再拿起移动终端、改变支架的摆放位置或角度，切勿移动桌面，请按照页面提示，在后续体检项目中尽可能通过语音操作，请勿在显示屏上操作按钮以外的区域，并在10秒后自动进入视力检测步骤。
五、视力检测
利用本发明前述的一种在线自助视力检测系统可实现机动车驾驶人的在线自助视力检测。
s71、应用程序开启后置摄像头进行画面移动侦测；
s72、在视力检测前，应用程序根据其检测到的移动终端的品牌、型号、参数及内部传感器模块配置情况，以匹配显示屏的ppi值，并使用前置摄像头模组，建立以前置3d深感摄像头为原点的三维世界坐标系，对人体面部的深度结构信息进行提取，并实时绘制3d面部网格，通过对驾驶人眼部进行追踪定位，获取眼球光轴上角膜顶点的位置坐标，根据前置摄像头模组的配置情况，自动采取不同的眼部测距技术方案，结合信息录入环节提交的驾驶人当前准驾车型，判断本环节视力检测的标准，根据对应的5分记录l值加载对应的e形视标的显示参数，动态调节显示屏上e形视标的大小，以达到视力检测标准。
s73、应用程序引导驾驶人判断自己是否有佩戴眼镜，并通过调用麦克风mic采集驾驶人按照显示屏上的提示说出的语音指令，基于语音识别技术以获取驾驶人的视力矫正状态。
s74、应用程序引导驾驶人尽可能保持视线与显示屏垂直，在左眼视力检测时，用右手掌心遮住右眼，在右眼视力检测时，用左手掌心遮住左眼，请参阅图7，图7为左眼视力检测示意图；并在视力检测过程中始终保持遮眼姿势，等待倒计时结束后自动开始视力检测。
s75、应用程序通过距离计算模块、大小计算模块，实时计算在移动终端显示屏上显示正方形e形视标边长需要占用的正方形像素点的个数，由此动态调节e形视标在移动终端显示屏上的大小。首先，距离计算模块根据检测到的移动终端内部前置摄像头模组的配置情况，自动采取不同的眼部距离计算方案（包括采用3d飞行时间法、3d结构光法、双目立体视觉法或虹膜追踪测距法），来实时测量和计算人眼结点与e形视标中心位置之间的距离。比如采用3d结构光技术的前置摄像头模组，通过面部提取单元在对人体面部的深度结构信息进行提取时，将以前置3d深感摄像头为原点建立三维世界坐标系，并实时绘制3d面部网格，通过对人眼的追踪定位，通过位置获取单元获取眼球光轴上角膜顶点在世界坐标系中的位置坐标，表示为（x1,y1,z1），单位为mm；获取随机生成的e形视标中心点在显示屏坐标系中的位置坐标，表示为（m,n），单位为像素点，通过坐标系变换将显示屏坐标系中的位置坐标换算到世界坐标系中，表示为（x2,y2,z2），单位为mm。
请参阅图5，图5为世界坐标系中眼球光轴上角膜顶点与e形视标中心位置的距离的示意图；通过距离计算单元根据从3d面部网格中获取的眼球光轴上角膜顶点的位置坐标，可计算出人眼结点与e形视标中心位置之间的距离，即眼部距离，公式为：
式中d0为眼球屈光系统的光心至眼球光轴上角膜顶点的距离，通常为固定值7mm；（x1,y1,z1）为眼球光轴上角膜顶点在世界坐标系中的位置坐标；（x2,y2,z2）为随机生成的e形视标中心在世界坐标系中的位置坐标。
由于应用程序在显示屏上显示e形视标时，通常是以e形视标中心点在显示屏坐标系中的位置坐标来进行定位和显示，因此需要通过坐标系变换将显示屏坐标系中的位置坐标换算到世界坐标系中。由于每一款移动终端的显示屏都有不同的ppi像素密度，即每英寸对角线上所拥有的像素数目，设k为显示屏上正方形像素点的边长，单位为mm，则根据像素密度的定义，结合1英寸=25.4mm可推算出
由于前置3d深感摄像头通常与显示屏处于同一平面，则
式中d为人眼结点与e形视标中心的距离，单位为mm；（x1,y1,z1）为眼球光轴上角膜顶点在世界坐标系中的位置坐标，单位为mm；（m,n）为e形视标中心在显示屏坐标系中的位置坐标，单位为像素点；a为前置3d深感摄像头与显示屏坐标系y’轴的距离，单位为mm；b为前置3d深感摄像头与显示屏坐标系x’轴的距离，单位为mm。
其次，大小计算模块根据显示屏的ppi像素密度及人眼结点与e形视标中心位置的距离，实时计算在移动终端显示屏上显示正方形e形视标的边长所需占用的像素点的个数；请参阅图8、图9，图8为视角α的定义中眼部距离d与视标笔划宽度h关系的示意图；图9为视角α、眼部距离d、视标笔划宽度h所形成的等腰三角形的示意图；由于国标《gb11533-2011》要求的视力表设计标准中，正方形e形视标的边长h为视标笔划宽度h的5倍，即h=5h，再结合三角形勾股定理，可采用以下公式实时动态计算e形视标边长的大小：
式中h为e形视标的边长，单位为mm；d为人眼结点与e形视标中心的距离，单位为mm；α为e形视标中间笔划的上下边缘在眼结点处所夹的角，单位为分（′）；
设n为在移动终端显示屏上显示正方形e形视标的边长所需要占用的正方形像素点的个数，则：
式中k为显示屏上正方形像素点边长，单位为mm；ppi为移动终端显示屏的像素密度，即显示屏上每英寸所拥有的像素数量；
请参阅图6，图6为e形视标大小随眼部距离变化实时动态调整的示意图；通过以上公式，结合国标《gb11533-2011》中5分记录的表达公式
式中n为在移动终端显示屏上显示正方形e形视标的边长所需要占用的正方形像素点的个数；d为人眼结点与e形视标中心位置之间的距离，即眼部距离，单位为mm；ppi为移动终端显示屏的像素密度；l为5分记录。
若以苹果公司的iphone12promax移动终端进行机动车驾驶人的视力检测为例，由于其显示屏的像素密度ppi为458，根据机动车驾驶人的准驾车型不同，l可取值4.9或5.0，由此推导出下表1中视标边长所占用的正方形像素点的个数n与眼部距离d的对应关系：
表1iphone12promax中视标边长所用像素点数量n与眼部距离d的对应关系
由于本发明中的眼部距离计算方法完全按照国标《gb11533-2011》中的要求执行，即为标准眼部距离。为了证明本发明的标准眼部距离计算方法较现有技术中部分非标准眼部距离计算方法，在视力检测上有更高的精准性和更小的误差，请参阅图10，图10为以iphone12promax为例进行e形视标中心位置的坐标转换的实例图；通过制造商公布的工程文件和实际测量得知，iphone12promax的显示屏分辨率1284×2778，像素密度ppi为458，其前置3d深感摄像头（图10中红外镜头）与显示屏坐标系y’轴的距离为21.5mm，与显示屏坐标系x’轴的距离为2mm。此时标准眼部距离为：
请参阅图11，图11为非标准眼部距离与标准眼部距离的对比计算示意图；若视力检测过程中直接使用非标准眼部距离，比如前置3d深感摄像头到眼球光轴上角膜顶点位置的距离，则该非标准眼部距离s的计算公式为：
非标准眼部距离与标准眼部距离的比值计算公式为：
通常，眼球光轴上角膜顶点与e形视标中心在移动终端显示屏的平面投影上存在
按照非标准眼部距离与标准眼部距离的比值计算公式推断，在x1、y1为固定值时，z1的值越小则非标准眼部距离与标准眼部距离的比值越大。按表1中5分记录l为4.9时，眼部距离d最小值为151.44mm，则此时z1的值也最小为144.44mm，此时非标准眼部距离与标准眼部距离的比值为：
根据e形视标边长在移动终端显示屏上需要占用的正方形像素点的个数的公式得知：像素点个数n与眼部距离d为线性关系。由此可推断，若视力检测过程中使用非标准眼部距离来计算并动态调整e形视标的大小，则视力检测的结果误差可达39.64%。
综上所述，本发明中使用的标准眼部距离，即人眼结点（眼球屈光系统的光心，在眼球光轴上角膜顶点后约7mm）与e形视标中心位置之间的距离，来计算e形视标边长需要占用的正方形像素点的个数，由此动态调节e形视标在移动终端显示屏上的大小，更符合国标《gb11533-2011》中视力检测标准的要求。
s76、应用程序通过显示调节模块，基于e形视标边长所占像素点的个数及眼睛到显示屏的角度、方向实时调整e形视标的大小及四个顶点的位置，使得在眼睛的视角方向上虚拟显示出始终是正方形的e形视标；由于视力检测时，很难要求驾驶人将被测眼垂直正对移动终端显示屏上的e形视标中心，因此本发明通过移动终端的前置摄像头模组测量眼球光轴上角膜顶点在世界坐标系中的位置坐标，来计算眼睛到显示屏的距离、角度和方向，通过投影变换使得在眼睛的视角方向上虚拟显示出始终是正方形的e形视标，视觉效果上不随眼睛的角度变化而变化。
请参阅图12，图12为传统的视力表灯箱与移动终端显示屏在不同距离上眼中实际看到效果对比图；通常在视力测试时，如果使用传统的视力表灯箱，由于标准（检查）距离为5m较远，在眼睛横向移动10cm后，眼中实际看到的效果差异不大，而采用在移动终端显示屏上显示e形视标的方式进行视力检测，由于眼部距离通常为表1中的15~110cm较近，在眼睛横向移动10cm后，眼中实际看到的效果差异明显。因此，本发明通过角度、距离、方向对移动终端屏幕上显示的e形视标进行调节是有必要的。
请参阅图13，图13为e形视标大小及四个顶点位置调整前后显示效果对比图；所示为采用常规显示方案与采用本发明的显示方案的效果对比，其中，左侧第一行的三个图为采用常规显示方案时，当眼睛角度变换时，眼中实际看到的e形视标的效果；右侧第一行的三个图为采用本发明的显示方案时，当眼睛角度变换时，眼中实际看到的e形视标的效果，不管从哪个角度看，通过实时动态调整e形视标的大小及四个顶点的位置，e形视标始终为正方形；右侧第二行的三个图为采用本发明的显示方案时，当眼睛角度变换时，移动终端显示屏上e形视标的实际显示效果（e形视标的大小及四个顶点的位置，随眼睛的位置和角度而变化）。
综上所述，本发明中基于e形视标边长所占像素点的个数及眼睛到显示屏的角度、距离、方向进行投影变换，调整e形视标的大小及四个顶点的位置，使得在眼睛的视角方向上虚拟显示出始终是正方形的e形视标，这样测得的视力值是完全符合国标《gb11533-2011》中视力检测标准的要求，更准确反应测试者真实视力值。
s77、应用程序通过作弊检测模块，随机变换每一组e形视标在显示屏上的显示位置、开口方向，请参阅图14，图14为随机变换每一组e形视标在显示屏上显示位置的效果示意图；通过前置摄像头模组采集的人体图像数据进行作弊检测；根据实时获取人眼结点与e形视标中心位置的距离d，若所述距离小于预设的第一距离阈值，发出距离过近的提示；若所述距离大于等于第一距离阈值，通过前置摄像头模组采集每一组e形视标方向判断过程中的人体姿态图像，根据人体姿态图像提取人体上半身的深度结构信息，根据人体上半身的深度结构信息提取人体上半身关节点坐标；
应用程序根据人体上半身关节点坐标识别人体姿态，与显示屏上提示的标准的视力检测姿态比对，判断姿态的标准程度；结合随机变换的e形视标位置及对应的人体姿态，判断是否有包括手臂前伸、手持异物、e形视标位置跟随在内的一种或多种作弊嫌疑，判断是否作弊。判断作弊嫌疑的具体方式请参阅本发明前述的一种在线自助视力检测系统的作弊检测模块50，在此不再赘述。
此外，作弊检测模块还通过调用显示屏触控面板，对触摸点击操作和触摸点坐标（指针位置）进行持续监测，当侦测到对显示屏中按钮以外区域的触摸点击操作时，应用程序将调用前置摄像头拍摄1份照片、动态图或音视频影像并上传至后台系统审核，同时应用程序将以弹出警告窗口，并临时暂停检测的方式，能有效甄别和防止视力检测过程中测试者使用移动终端系统自带的显示屏虚拟放大镜功能作弊的情况。
s78、应用程序通过视力判断模块，引导驾驶人分别用左眼和右眼判断每一组e形视标的开口方向，请参阅图7，图7为左眼视力检测示意图；并通过调用麦克风mic采集驾驶人按照显示屏上的提示说出的语音指令“上”、“下”、“左”、“右”或“看不清”，基于语音识别技术以获取每一组e形视标显示时驾驶人对方向判断的结果，进行视力判断；辨认正确的将调用前置摄像头拍摄驾驶人遮眼的照片、动态图或音视频影像并上传至后台系统审核，并在作弊检测模块随机变换e形视标的显示位置和开口方向后，进行下一组e形视标方向判断。以此循环，对左眼和右眼分别进行8组检测，当每只眼有不少于4组方向判断正确时该眼视力判定为合格。
六、辨色力检测
s81、应用程序在移动终端显示屏上随机显示多组色盲检查图，引导驾驶人辨认色盲检查图中的图案，获取驾驶人多组辨认结果，以实现辨色力检测。
七、听力检测
s91、应用程序引导驾驶人判断自己是否有佩戴助听器，随机调用连接移动终端的耳机在左声道或右声道中播放音乐，获取驾驶人对声源方向的辨认结果，以实现听力检测。图17为本发明听力检测的部分步骤流程图。
八、肢体检测
s101、应用程序通过前置摄像头分别获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像，以进行躯干和颈部检测、上肢检测，上肢检测完成后关闭后置摄像头结束画面移动侦测。通过同时调用前置摄像头和后置摄像头获取驾驶人按照显示屏上的动作提示所做动作的图像、动态图或音视频影像，以进行下肢检测，图18为本发明肢体检测的部分步骤流程图。
九、防作弊措施
应用程序在身份验证、环境检测、视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测、下肢检测的过程中，通过对运行在移动终端系统前台的应用程序进程进行检测，当检测到本应用程序在运行过程中被最小化、切换至后台、锁屏、退出、返回系统桌面、有电话进来被接听、有sms短信息进来被回应中任意一种异常打断状态时，应用程序将弹出防作弊警告窗口，并终止检测；
应用程序在视力检测、辨色力检测、听力检测、躯干和颈部检测、上肢检测的过程中，通过调用后置摄像头对房间的出入口进行画面移动侦测，同时还通过调用imu惯性测量单元对移动终端的震动、位移和姿态进行持续监测，在侦测到画面中有物体移动或移动终端被移动或从支架上拿起时，将同时调用前置摄像头和后置摄像头自动拍摄照片、动态图或音视频影像并上传至后台系统审核，并通过弹出对应的防作弊警告窗口，以暂停检测；
应用程序在视力检测、辨色力检测、听力检测的过程中，驾驶人均需佩戴耳机，以防止外界干扰产生作弊风险；
应用程序在视力检测过程中，通过记录每一组在显示屏上随机变换的e形视标的位置，并结合前置摄像头模组采集到每一组视标辨认过程中的人体姿态图像，能有效甄别和防止视力检测过程中驾驶人手持放大镜或类似装置作弊的情况。
本实施例采用的是一种在线自助体检的方式，甄别和防止在线自助体检过程中作弊就显得尤为重要。本实施例通过综合对体检环境和工具的要求、对体检流程的设置、通过技术手段检测干预体检的异常行为这三方面来实现保证驾驶人在线自助体检的过程真实有效，以及在线自助体检的审核标准客观公正。
十、后续处理
s131、体检信息预览，应用程序将采集到的部分体检信息向驾驶人预览展示；s141、疾病申告确认，应用程序引导驾驶人如实填报疾病情况；s151、提交体检信息，应用程序将采集到的全部体检数据通过互联网上传至后台系统；s161、体检审核，根据需要后台系统中驾驶人的体检信息将由系统自动审核并由医生人工复审，复审结果为最终的体检结果；s162、最终的体检结果由后台系统自动推送至移动终端的应用程序中供驾驶人查询，其中复审通过的体检信息将由后台系统自动上传至互联网交通安全综合服务管理平台，由此机动车驾驶人在线自助体检的流程完成闭环。
本发明较线下体检模式更加方便、快捷、智能，驾驶人足不出户，仅需按照系统的标准流程和要求操作，即可完成在线自助体检。实现了线上驾驶人体检功能的前提下，在重要的检测项目中均设置有防作弊措施，以保证体检过程的真实有效和体检结果的客观公正，大幅提高效率。
本发明还公开一种移动终端，包括：至少一个处理单元、至少一个存储单元、通信接口和总线；其中，所述处理单元、存储单元、通信接口通过所述总线完成相互间的通信；所述处理单元包括：cpu中央处理器、gpu图形处理器、isp图像信号处理器、4g/5g基带、感测元件控制器、缓存；所述用户输入单元包括：显示屏触控面板、物理按键；所述音频输出单元包括：耳机、扬声器；所述感测单元包括：imu惯性测量单元、电子罗盘，其中imu惯性测量单元内置三轴陀螺仪、加速感应器；所述a/v输入单元包括：前置摄像头模组、后置摄像头模组、麦克风mic，其中前置摄像头模组包括：前置摄像头、前置3d深感摄像头，后置摄像头模组包括：后置摄像头、后置激光雷达扫描仪或后置tof景深摄像头；所述存储单元存储有可被所述处理单元执行的程序指令，所述处理单元调用所述程序指令，以实现本发明前述的在线自助视力检测系统；所述移动终端的类型包括但不限于：智能手机、便携式电脑、平板电脑、pda智能终端、车载智能终端、可穿戴设备，可穿戴设备包括：智能手表、智能手环、智能戒指等。
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述在线自助视力检测系统的全部或部分功能模块或单元。所述存储介质包括但不限于：u盘、移动硬盘、只读存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！