一种基于混合现实的特征点定位方法与流程

本发明属于图像识别和医学图像处理领域，涉及一种基于混合现实的特征点定位方法。

背景技术

混合现实设备是微软首个不受线缆限制的全息计算机设备，能让用户与数字内容交互，并与周围真实环境中的全息影像互动。目前通过混合现实可以实现对术前的模拟规划与跨空间远程手术互动，进而实施精准手术，大大降低了手术的风险。当同一套混合现实设备服务于多个病患时，该技术需要应对混合现实模型与病人身份信息进行匹配的问题，如果不能正确的匹配，将带来难以预料的结果。所以本发明通过一种基于混合现实的特征点定位方法，来解决这一问题。

技术实现要素：

本发明的目的是提供一种基于混合现实的特征点定位方法，解决混合现实模型与病人身份信息进行匹配的问题。

本发明通过以下技术方案来实现：一种基于混合现实的特征点定位方法，该方法包括以下步骤：

(1)通过采集人体特征点，记录点云数据；

(2)将特征的点云数据生成二维码；

(3)通过混合现实设备自带的摄像头识别二维码，获取特征点云模型；

(4)通过与混合现实设备上的模型进行特征比对，配准并计算模型误差，判别人体与模型之间的相似度。

进一步的，步骤(1)中点云数据的构建方法为建立笛卡尔坐标系，拟定任意原点，记录特征点的坐标信息，形成点云数据。

进一步的，步骤(4)中的特征比对，混合现实设备上传的比对图片为3维，特征点生成的对比图像也同样是3维，通过点云配准的方法计算两组3维图像模型的误差，用来判断人体信息与混合现实设备中的模型是否吻合。

进一步的，所述的点云配准的方法为icp算法。

进一步的，所述的混合现实设备为微软hololens眼镜。

采用上述技术方案的积极效果：本发明将人体特征点构建点云数据，然后生成混合现实设备可识别的二维码，然后与混合现实设备中预存的模型进行比对，达到辨别该模型是否为这个人体的信息数据，解决混合现实模型与病人身份信息进行匹配的问题。

附图说明

图1是为面部图像特征点分布示意图；

图2是为混合设备中保存是病人的三维面部模型；

图3是本发明的基于混合现实的特征点定位方法示意图：

图4是icp配准结果示意图；

图5是配准的误差计算示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的说明，但不应理解为对本发明的限制：

一种基于混合现实的特征点定位方法，该方法包括以下步骤：

(1)通过采集人体特征点，记录点云数据；

(2)将特征的点云数据生成二维码；

(3)通过混合现实设备自带的摄像头识别二维码，获取特征点云模型；

(4)通过与混合现实设备上的模型进行特征比对，配准并计算模型误差，判别人体与模型之间的相似度。

进一步的，步骤(1)中点云数据的构建方法为建立笛卡尔坐标系，拟定任意原点，记录特征点的坐标信息，形成点云数据。

进一步的，步骤(4)中的特征比对，混合现实设备上传的比对图片为3维，特征点生成的对比图像也同样是3维，通过点云配准的方法计算两组3维图像模型的误差，用来判断人体信息与混合现实设备中的模型是否吻合。

进一步的，所述的点云配准的方法为icp算法。

进一步的，所述的混合现实设备为微软hololens眼镜。

实施例1

一种提取面部图像特征点数据方法包括：

步骤一、使用90个特征点定位人脸，其中特征点分布为：18个点标记嘴部，14个点标记下颚，12个点标记眼睛，6个点标记眉毛，4个点标记脸颊和腮部，10个点标记鼻子，4个点标记后颈，10个点标记耳朵，12个点标记头发。如图1所示。

步骤二、建立笛卡尔坐标系，拟定任意原点，记录特征点的坐标信息，构建点云数据。该点云数据为拥有90行3列的坐标数组，3列分布对应x、y、z坐标值，每行表示不同的特征点。

步骤三、将点云数据转换成二维码进行存储，方便混合现实设备扫描识别。

实施例2

一种基于混合现实的特征点定位方法，包括：

步骤一、医生通过佩戴混合现实设备，扫描带有病人特征的二维码，获取特征点云模型，过程如图3所示。

步骤二、将病人特征点云命名为p，模型的点云命名为q。通过如下公式计算出点云重心：

利用求得的点云重心构造协方差矩阵：

步骤三、接下来进入icp算法进行模型配准，icp的功能是可以匹配两个数目不同的数据集合，那么应用icp实现要利用协方差矩阵构建一个4×4的对称阵：

其中，通过这个对称阵的最大特征向量可以用来计算旋转参数，进而求出整个刚体变换所需要的r和t(r为最佳旋转向量，t为最佳位移向量)。获得了选择平移的方式就可以对两幅图像配准，进而达到计算误差的效果，配准结果如图4所示。

步骤四、接下来说明误差计算方式，如图5所示，model为p点云，data为q点云，mid为data点云的中间点的位置，iclosest表记录的为每一个data云中的点所匹配的点的编号(在model点云中的编号)。

步骤五、通过计算modle点到中间位置点云配准点的欧几里得距离，保证在该点云的一个区间内任意点到data点云的欧氏距离都小于这一点所运算出来的距离。同理计算mid±n的每一个点所匹配的最小欧氏距离，并且对这些距离进行累加，得到的结果作为误差值返回。

本发明将人体特征点构建点云数据，然后生成混合现实设备可识别的二维码，然后与混合现实设备中预存的模型进行比对，达到辨别该模型是否为这个人体的信息数据，解决混合现实模型与病人身份信息进行匹配的问题。