一种孤独症康复训练动作导引教育互动方法及系统与流程

本发明涉及3d显示领域，尤其是一种孤独症康复训练动作导引教育互动方法及系统。

背景技术：

孤独症(autism)，又称自闭症或孤独性障碍(autisticdisorder)等，是广泛性发育障碍(pervasivedevelopmentaldisorder，pdd)的代表性疾病。《dsm-iv-tr》将pdd分为5种：孤独性障碍、retts综合征、童年瓦解性障碍、asperger综合征和未特定的pdd。其中，孤独性障碍与asperger综合征较为常见。孤独症的患病率报道不一，一般认为约为儿童人口的2～5/万人，男女比例约为3：1～4：1，女孩症状一般较男孩严重。该症患儿在社会交往方面存在质的缺陷。在婴儿期，患儿回避目光接触，对人的声音缺乏兴趣和反应，没有期待被抱起的姿势，或抱起时身体僵硬、不愿与人贴近。在幼儿期，患儿仍回避目光接触，呼之常无反应，对父母不产生依恋，缺乏与同龄儿童交往或玩耍的兴趣，不会以适当的方式与同龄儿童交往，不能与同龄儿童建立伙伴关系，不会与他人分享快乐，遇到不愉快或受到伤害时也不会向他人寻求安慰。学龄期后，随着年龄增长及病情改善，患儿对父母、同胞可能变得友好而有感情，但仍明显缺乏主动与人交往的兴趣和行为。虽然部分患儿愿意与人交往，但交往方式仍存在问题，他们对社交常情缺乏理解，对他人情绪缺乏反应，不能根据社交场合调整自己的行为。成年后，患儿仍缺乏交往的兴趣和社交的技能，不能建立恋爱关系和结婚。

目前针对于孤独症患者的康复训练大多是在室内进行，由训练师开设训练课程与患者进行互动，进而打开患者心扉，克服心理障碍。但是上述方式存在很大的不足：室内训练时参加康复训练的人数受场地的限制，不利于大规模推广实施严重制约广大孤独症患者的治疗。

技术实现要素：

针对现有技术中的缺陷，本发明提供一种孤独症康复训练动作导引教育互动方法及系统，旨在克服现有技术的不足。

为了实现上述目的，第一方面，本发明提供的一种孤独症康复训练动作导引教育互动方法，所述孤独症康复训练动作导引教育互动方法适用于孤独症康复训练动作导引教育互动系统，所述孤独症康复训练动作导引教育互动系统包括图像观察单元、数据处理单元和裸眼显示单元，所述孤独症康复训练动作导引教育互动方法包括如下步骤：

所述数据处理单元接收所述图像观察单元获取的互动导引图像，所述互动导引图像由多个图元构成；

所述数据处理单元将所述图元的三维顶点坐标通过空间变换获得管线渲染后的图像；所述空间变换包括世界空间变换、观察空间变换、剪裁空间变换和显示空间变换；

所述数据处理单元根据所述管线渲染后的图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像，并控制所述裸眼显示单元对所述多视点图像进行裸眼显示。

作为本申请一种优选的实施方式，在将所述图元的三维顶点坐标从图元空间变换到世界空间中时具体包括：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵mmodel确定世界空间的位置坐标即：

其中px，py，pz分别为图元在世界空间中的位置，θ为旋转轴的角度，kx，ky，kz分别为缩放比例。

作为本申请一种优选的实施方式，在将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：

将所述图元的三维顶点通过变换矩阵mview从世界空间变换到观察空间即：

其中tx，ty，tz分别是世界空间中图像观察单元的位置坐标，-tx，-ty，-tz表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。

作为本申请一种优选的实施方式，在将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：

获取所述图像观察单元的最近图像的坐标范围near、最远图像的坐标范围far、视角fov；

利用投影矩阵mfrustum计算图像的高度比aspect即：

三维顶点坐标与所述投影矩阵mfrustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间pclip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标。

作为本申请一种优选的实施方式，在将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：

获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screenx为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screeny为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。

第二方面，本发明所提供的一种孤独症康复训练动作导引教育互动系统，所述孤独症康复训练动作导引教育互动系统包括图像观察单元、数据处理单元和裸眼显示单元：

所述数据处理单元接收所述图像观察单元获取的互动导引图像，所述互动导引图像由多个图元构成；

所述数据处理单元将所述图元的三维顶点坐标通过空间变换获得管线渲染后的图像；所述空间变换包括世界空间变换、观察空间变换、剪裁空间变换和显示空间变换；

所述数据处理单元根据所述管线渲染后的图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像，并控制所述裸眼显示单元对所述多视点图像进行裸眼显示。

作为本申请一种优选的实施方式，在将所述图元的三维顶点坐标从图元空间变换到世界空间中时具体包括：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵mmodel确定世界空间的位置坐标即：

其中px，py，pz分别为图元在世界空间中的位置，θ为旋转轴的角度，kx，ky，kz分别为缩放比例。

作为本申请一种优选的实施方式，在将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：

将所述图元的三维顶点通过变换矩阵mview从世界空间变换到观察空间即：

其中tx，ty，tz分别是世界空间中图像观察单元的位置坐标，-tx，-ty，-tz表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。

作为本申请一种优选的实施方式，在将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：

获取所述图像观察单元的最近图像的坐标范围near、最远图像的坐标范围far、视角fov；

利用投影矩阵mfrustum计算图像的高度比aspect即：

三维顶点坐标与所述投影矩阵mfrustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间pclip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标。

作为本申请一种优选的实施方式，在将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：

获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screenx为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screeny为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。

本发明的有益效果是：本发明打破了传统孤独症康复训练的模式，通过获取训练师、患者熟悉亲近的陪同人或受训人的图像，并对该图像进行处理最后在裸眼显示单元上进行立体显示，克服了场地等外界因素，以裸眼立体视觉实现受训人场景沉浸感刺激，同时通过获取的训练师或自己的受训图像，增强了受训人的受训熟悉感、亲切感、提升生动性与趣味性，使孤独症康复训练的教育效果更容易接受，从而实现大规模对孤独症患者的康复训练。

附图说明

图1为本发明第一实施例的孤独症康复训练动作导引教育互动方法的流程图；

图2为本发明第三实施例的孤独症康复训练动作导引教育互动系统的框图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。

如图1所示，本发明的第一实施例所示出的一孤独症康复训练动作导引教育互动方法，所述孤独症康复训练动作导引教育互动方法适用于孤独症康复训练动作导引教育互动系统，所述孤独症康复训练动作导引教育互动系统包括图像观察单元、数据处理单元和裸眼显示单元，所述孤独症康复训练动作导引教育互动方法包括如下步骤：

s101，所述数据处理单元接收所述图像观察单元获取的互动导引图像，所述互动导引图像由多个图元构成。

具体的，所述图像观察单元包括但不限于多台深度相机，利用所述深度相机可以对粤剧表演者表演时的图像进行抓拍，再将所述图像上传给数据处理单元，所述出现处理单元包括但不限于图像处理器(gpu)，本发明所采用的元件均为现有元件，其优点在于成本低廉，利于实现。

s102，所述数据处理单元将所述图元的三维顶点坐标通过空间变换获得管线渲染后的图像；所述空间变换包括世界空间变换、观察空间变换、剪裁空间变换和显示空间变换。

具体的，从图元空间依次变换剪裁空间输出的是经过变换投影处理后的顶点坐标和顶点对应的颜色、以及相关的纹理坐标等信息。上述处理方式是进行光照计算、三维顶点坐标的变换的一个复杂而又必不可少的过程。并且在进行顶点变换时顶点着色器必不可少，该阶段实现的第一个过程是将图元空间中的顶点坐标转换到以裁剪空间坐标系为标准的空间中去。

s103，所述数据处理单元根据所述管线渲染后的图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像，并控制所述裸眼显示单元对所述多视点图像进行裸眼显示。

具体的，所述裸眼显示单元包括但不限于裸眼显示器或3d屏幕，所述裸眼显示器或3d屏幕为现有技术，为了不引起混淆在本申请文件中就不再进行赘述。本发明利用shader获取深度相机的深度图，深度相机是普通相机和主机系统(数据处理单元)完成后期处理，连接裸眼3d屏幕实现显示效果共同控制，并通过着色器的帮助获取图像的深度信息。主机系统后期处理旨在渲染整个场景之后，让相机得到处理后的屏幕图像，通过再对这个图像进行各种操作实现例如获取景深、运动模糊等屏幕特效等。这里便是利用主机系统后期处理得到深度图，并完成裸眼3d图像的渲染传播给3d屏幕实现显示。

本发明的第二实施例所示出的一孤独症康复训练动作导引教育互动方法，所述孤独症康复训练动作导引教育互动方法适用于孤独症康复训练动作导引教育互动系统，所述孤独症康复训练动作导引教育互动系统包括图像观察单元、数据处理单元和裸眼显示单元，所述孤独症康复训练动作导引教育互动方法包括如下步骤：

s201，所述数据处理单元接收所述图像观察单元获取的互动导引图像，所述互动导引图像由多个图元构成。

具体得，处理的数据是从图像观察单元获取的互动导引图像，在后续步骤中需要对图元进行投影变换操作，几何阶段实现了将顶点坐标投影变换到屏幕空间的任务。几何阶段是负责几何信息的顶点变换、投影变换以及屏幕映射等工作。由于该阶段处理的数据相当庞大，不适合cpu处理故该阶段的数据处理工作采用gpu运算。

s202，所述数据处理单元将所述图元的三维顶点坐标通过空间变换获得管线渲染后的图像；所述空间变换包括世界空间变换、观察空间变换、剪裁空间变换和显示空间变换

(1)在将所述图元的三维顶点坐标从图元空间变换到世界空间中时具体包括：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵mmodel确定世界空间的位置坐标即：

其中px，py，pz分别为图元在世界空间中的位置，θ为旋转轴的角度，kx，ky，kz分别为缩放比例。

(2)在将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：

将所述图元的三维顶点通过变换矩阵mview从世界空间变换到观察空间即：

其中tx，ty，tz分别是世界空间中图像观察单元的位置坐标，-tx，-ty，-tz表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。

(3)在将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：

获取所述图像观察单元的最近图像的坐标范围near、最远图像的坐标范围far、视角fov；

利用投影矩阵mfrustum计算图像的高度比aspect即：

三维顶点坐标与所述投影矩阵mfrustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间pclip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标。

(4)在将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：

获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screenx为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screeny为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。

s203，所述数据处理单元根据所述管线渲染后的图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像，并控制所述裸眼显示单元对所述多视点图像进行裸眼显示。

具体的，为了实现屏幕后处理效果，首先需要unity中添加一个脚本，用于获取当前屏幕的渲染纹理，之后利用unity中提供的函数graphics.bilt来调用shader来进行图像后期的处理，其中shader部分的工作就是进行图片的处理工作，比如虚化，高斯模糊等图像操作，最后把渲染纹理显示到屏幕上即可。

unity中深度纹理实质上是一张渲染纹理，存储着高精度的纹理值，而不是颜色值。unity中的纹理的深度值进行了归一化，范围在0和1间，该深度值的分布是呈现非线性的。dnity中深度相机的深度值来源于经过顶点变换后的归一化之后的设备坐标。深度纹理的像素值则对应了设备坐标中顶点坐标的z值，但是由于归一化后的z∈[-1，1]，因此需要进行[-1，1]之间的转换即：

d＝0.5*zndc+0.5

其中，d表示深度纹理的像素值，zndc表示归一化设备坐标中的z值。

如图2所示，本发明的第三实施例所示出的一孤独症康复训练动作导引教育互动系统，所述孤独症康复训练动作导引教育互动系统包括图像观察单元100、数据处理单元200和裸眼显示单元300，所述图像观察单元100与所述数据处理单元200通信连接，所述图像观察单元100与所述裸眼显示单元300通信连接。

本实施例中，所述数据处理单元200接收所述图像观察单元100获取的互动导引图像，所述互动导引图像由多个图元构成。

具体得，处理的数据是从图像观察单元100获取的互动导引图像，在后续步骤中需要对图元进行投影变换操作，几何阶段实现了将顶点坐标投影变换到屏幕空间的任务。几何阶段是负责几何信息的顶点变换、投影变换以及屏幕映射等工作。由于该阶段处理的数据相当庞大，不适合cpu处理故该阶段的数据处理工作采用gpu运算。

本实施例中，所述数据处理单元200将所述图元的三维顶点坐标依次从图元空间、世界空间、观察空间、剪裁空间变换到裸眼显示空间中，进而获得管线渲染后的图像。

(1)在将所述图元的三维顶点坐标从图元空间变换到世界空间中时具体包括：

验证所述图元所述是否存在子图元；

若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；

若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵mmodel确定世界空间的位置坐标即：

其中px，py，pz分别为图元在世界空间中的位置，θ为旋转轴的角度，kx，ky，kz分别为缩放比例。

(2)在将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：

将所述图元的三维顶点通过变换矩阵mview从世界空间变换到观察空间即：

其中tx，ty，tz分别是世界空间中图像观察单元100的位置坐标，-tx，-ty，-tz表示图像观察单元100移到世界空间中的逆过程，θ为旋转轴的角度。

(3)在将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：

获取所述图像观察单元100的最近图像的坐标范围near、最远图像的坐标范围far、视角fov；

利用投影矩阵mfrustum计算图像的高度比aspect即：

三维顶点坐标与所述投影矩阵mfrustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间pclip的坐标即：

其中，x，y，z分别为图元的三维顶点坐标。

(4)在将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：

获取裸眼显示单元300的像素宽度pixelwidth、像素高度pixelheight；

根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：

其中，所述screenx为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screeny为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。

本实施例中，所述数据处理单元200根据所述管线渲染后的图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像，并控制所述裸眼显示单元300对所述多视点图像进行裸眼显示。

具体的，为了实现屏幕后处理效果，首先需要unity中添加一个脚本，用于获取当前屏幕的渲染纹理，之后利用unity中提供的函数graphics.bilt来调用shader来进行图像后期的处理，其中shader部分的工作就是进行图片的处理工作，比如虚化，高斯模糊等图像操作，最后把渲染纹理显示到屏幕上即可。

unity中深度纹理实质上是一张渲染纹理，存储着高精度的纹理值，而不是颜色值。unity中的纹理的深度值进行了归一化，范围在0和1间，该深度值的分布是呈现非线性的。dnity中深度相机的深度值来源于经过顶点变换后的归一化之后的设备坐标。深度纹理的像素值则对应了设备坐标中顶点坐标的z值，但是由于归一化后的z∈[-1，1]，因此需要进行[-1，1]之间的转换即：

d＝0.5*zndc+0.5

其中，d表示深度纹理的像素值，zndc表示归一化设备坐标中的z值。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。