双眼定位方法及装置、电子设备和计算机可读存储介质与流程

本发明实施例涉及空间定位技术领域，特别涉及一种双眼定位方法及装置、电子设备和计算机可读存储介质。

背景技术：

三维(3d)高清视频技术逐步运用在胸腔镜手术中，医生只需佩戴辅助3d眼镜即可在3d显示器上看到立体效果的手术画面。但是，辅助3d的胸腔镜手术有一个缺点就是医生需要佩戴3d眼镜。临床医生发现戴着3d眼镜做手术存在诸多缺陷：一是光线经过偏光镜过滤后，亮度降低50％，医生会感觉视野偏暗，看久了会感觉疲劳；二是对于不习惯佩戴眼镜的医生，佩戴3d眼镜会带来的各种不适感，比如呼吸时水蒸气会使镜片模糊、长时间佩戴眼镜给鼻子、耳朵带来的压迫感，在手术中有可能产生晕眩感；三是平时戴眼镜的医生，要同时佩戴两副眼镜。

为了克服上述缺陷，目前在胸腔镜手术中引入了裸眼3d显示技术，医生不需要佩戴眼镜，即可在3d显示器上看到立体效果的手术画面。为了保证良好的视觉感受效果，需要在裸眼3d显示中追踪医生的人眼位置，即观看位置，基于医生的观看位置进行裸眼3d显示，为了进行人眼位置的追踪，一般需要医生佩戴一个像头箍一样的红外线跟踪器(本文称为头箍跟踪器)，通过对头箍跟踪器进行红外定位，从而实现观看位置的追踪。这对于不习惯戴眼镜的医生来说，可以免去佩戴辅助3d眼镜带来的各种不适感，但医生需要佩戴一个头箍跟踪器。

发明人发现现有技术中至少存在如下问题：佩戴头箍跟踪器会对头部产生压迫，并且需要定时为头箍跟踪器充电，用户体验差。

技术实现要素：

本发明实施方式的目的在于提供一种双眼定位方法及装置、电子设备和计算机可读存储介质，能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高用户体验。

为解决上述技术问题，本发明的实施方式提供了一种双眼定位方法，包括：获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像；

根据骨架信息确定定位对象的面部的空间位置信息；

根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置；

基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置；

根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息。

本发明的实施方式还提供了一种双眼定位装置，包括：获取模块，用于获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像；

第一处理模块，用于根据骨架信息确定定位对象的面部的空间位置信息；

第二处理模块，用于根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置；

第三处理模块，用于基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置；

第四处理模块，用于根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息；

本发明的实施方式还提供了一种电子设备，包括至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施方式中的双眼定位方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式中的双眼定位方法。

本发明的实施方式相对于现有技术而言，通过三维体感摄像机提供的定位对象的骨架信息和定位对象的图像，最终确定出定位对象的双眼空间位置信息，实现对定位对象的双眼进行定位。通过这种双眼定位方法，使用户能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高了用户体验。

另外，根据骨架信息确定定位对象的面部的空间位置信息，包括：

将骨架信息中的头部位置向左偏移第一预设值，得到定位对象面部区域的左边界值；

将骨架信息中的头部位置向右偏移第二预设值，得到定位对象面部区域的右边界值；

将骨架信息中的头部位置向上偏移第三预设值，得到定位对象面部区域的上边界值；

将骨架信息中的头部位置向下偏移第四预设值，得到定位对象面部区域的下边界值；

将左边界值、右边界值、上边界值和下边界值所限定的区域的位置信息，确定为定位对象的面部的空间位置信息。

该方式中，通过三维体感摄像机提供的骨架信息中的头部位置首先确定出定位对象的面部的空间位置信息，为进行双眼定位确定出一个基本范围，提高了双眼定位的效率。

另外，定位对象的图像包括定位对象的彩色图像；

根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置包括：

根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置；

基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置，包括：

根据定位对象的面部在定位对象的彩色图像中的位置，获取定位对象的面部彩色图像；

基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置；

根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位对象的彩色图像中的位置。

该方式中，通过在面部彩色图像中进行双眼检测，将双眼在面部彩色图像中的位置转换为双眼在彩色图像中的位置，降低了计算复杂度，提高了双眼检测效率。

另外，根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置，包括：调用三维体感摄像机提供的应用程序接口api函数，将面部的空间位置信息代入api函数，获取api函数返回的定位对象的面部在定位对象的彩色图像中的位置；

或者，

利用预先标定的三维体感摄像机的彩色相机拍摄参数对面部的空间位置信息进行坐标变换，获取定位对象的面部在定位对象的彩色图像中的位置。

另外，基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置包括：采用人脸对齐算法检测面部彩色图像中的人脸特征点，获取检测到的人脸特征点的位置，其中，人脸特征点为双眼处的特征点，或者，人脸特征点为眉毛和双眼处的特征点、或者，人脸特征点为双眼和脸部轮廓处的特征点，或者，人脸特征点为眉毛、双眼和脸部轮廓处的特征点；根据检测到的人脸特征点的位置，确定定位对象的双眼在面部彩色图像中的位置。

该方式中，通过对人脸特征点的简化处理，提高了采用人脸对齐算法进行双眼检测的效率，降低了检测复杂度。

另外，根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位对象的彩色图像中的位置包括：

计算定位对象的左眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的横坐标值；

计算定位对象的左眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的纵坐标值；

计算定位对象的右眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的横坐标值；

计算定位对象的右眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的纵坐标值；

其中，第一值为定位对象的面部在定位对象的彩色图像中的位置的左上角的横坐标值和右下角的横坐标值中的最小值，第二值为定位对象的面部在定位对象的彩色图像中的位置的左上角的纵坐标值和右下角的纵坐标值中的最小值。

另外，定位对象的图像还包括定位对象的深度图像；

根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息包括：

根据双眼在定位对象的彩色图像中的位置，获取定位对象的双眼在定位对象的深度图像中的位置处的深度值；

根据深度值以及定位对象的双眼在定位对象的彩色图像中的位置，确定双眼的空间位置信息。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明第一实施方式的双眼定位方法的流程图；

图2是本发明第二实施方式的双眼定位方法的流程图；

图3a是本发明第二实施方式的人脸特征点的分布图；

图3b是本发明第二实施方式的另一人脸特征点的分布图；

图4是本发明第三实施方式的双眼定位装置的结构图；

图5是本发明第四实施方式的双眼定位装置的结构图；

图6是本发明第五实施方式的电子设备的结构示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种双眼定位方法，该双眼定位方法应用于电子设备上，具体流程如图1所示，具体流程如下：

步骤101，获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像。

其中，通过三维体感摄像机对定位对象进行定位跟踪，可以得到的定位对象的骨架信息和定位对象的图像。

其中，定位对象的图像可以包括定位对象的彩色图像以及定位对象的深度图像。该实施方式中，假设定位对象的彩色图像表示为irgb，定位对象的深度图像表示为以idepth。

骨架的信息中包括定位对象的头部位置信息，该实施方式表示为phead。

在通过三维体感摄像机拍摄某一场景时，一般而言，三维体感摄像机可以提供场景的图像，即定位对象的图像，包括彩色图像和深度图像，还可以提供场景中人物的骨架数据等。具体的，针对场景中的人物，三维体感摄像机可以提供第一信息，第一信息包括骨架信息，身体信息等，该第一信息中，包括人物的面部信息、头部信息、手臂信息等人体各部位的信息。因此，可以利用三维体感摄像机的这些功能、所提供的这些数据来，进行人物的定位、人物的特定部位的定位。举例而言，三维体感摄像机可以为kinect体感摄像机或者xtion体感摄像机。

一般来讲，针对三维体感摄像机，骨架信息对应空间坐标系，定位对象的彩色图像对应彩色相机坐标系，定位对象的深度图像对应深度相机坐标系，这三个坐标系具有一定的坐标转换关系，对于至少部分三维体感摄像机而言，可以对外提供应用程序接口api函数，来进行这三个坐标系中至少两个坐标系之间的坐标转换。当然，在使用三维体感摄像机之前，也可以对空间坐标系、彩色相机坐标系和深度相机坐标系中的至少一个坐标系进行标定，从而获知三个坐标系之间的坐标转换参数。

步骤102，根据骨架信息确定定位对象的面部的空间位置信息。

其中，根据骨架信息中的头部位置信息phead，能够估计定位对象的面部空间位置。

一个具体实现中，假设三维体感摄像机为kinect，kinect给定的phead基本为鼻梁的位置，在phead的基础上进行扩展，可以得到定位对象的面部空间位置信息。

具体的，根据骨架信息中的头部空间位置得到定位对象的面部空间位置信息的具体过程为：将骨架信息中的头部位置向左偏移第一预设值，得到定位对象面部区域的左边界值；将骨架信息中的头部位置向右偏移第二预设值，得到定位对象面部区域的右边界值；将骨架信息中的头部位置向上偏移第三预设值，得到定位对象面部区域的上边界值；将骨架信息中的头部位置向下偏移第四预设值，得到定位对象面部区域的下边界值；将左边界值、右边界值、上边界值和下边界值所限定的区域的位置信息，确定为定位对象的面部的空间位置信息。

上述推倒过程用公式进行表示，具体如以下公式所示：

rectface＝(l,t,r,b)

l＝phead.x-δl

t＝phead.y+δt

r＝phead.x+δr

b＝phead.y-δb

其中，l为定位对象面部区域的左边界值，t为定位对象面部区域的上边界值，r为定位对象面部区域的右边界值，b为定位对象面部区域的下边界值，δl表示第一预设值，δr表示第二预设值，δt表示第三预设值，δb表示第四预设值，以左边界值l、右边界值r、上边界值t和下边界值b所限定的区域的位置信息用rectface表示，即为定位对象的面部的空间位置信息。其中，第一预设值、第二预设值、第三预设值和第四预设值为预先设定，例如δl、δr的取值分别为0.1，δt的取值为0.08，δb的取值为0.14，此处仅为举例说明，应用中可以根据经验值设置左边界值l、右边界值r、上边界值t和下边界值b的取值。

需要说明的是，左边界值l、右边界值r、上边界值t和下边界值b所限定的区域为矩形区域，并且在本实施方式中该矩形的左上角用plefttop表示，右下角用prightbottom表示。

步骤103，根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置。

具体的，根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置。

在一个具体实施例中，可以采用两种方式实现：

一种方式为：通过调用三维体感摄像机提供的应用程序接口(applicationprogramminginterface，api)函数，将面部的空间位置信息代入api函数，获取api函数返回的定位对象的面部在定位对象的彩色图像中的位置。

另一种方式为：利用预先标定的三维体感摄像机的彩色相机拍摄参数对面部的空间位置信息进行坐标变换，获取定位对象的面部在定位对象的彩色图像中的位置。

需要说明的是，假设定位对象的彩色图像所对应的坐标系为uv坐标系，并且经过坐标变换后得出定位对象的面部的空间位置信息中左上角plefttop与右下角prightbottom位置，分别在定位对象的彩色图像中所对应的位置：在彩色图像中定位对象的面部的左上角为plefttop，在彩色图像中定位对象的面部的右下角为prightbottom。

步骤104，基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中的位置。

具体的，是基于定位对象的面部在定位对象的彩色图像中的位置以及定位对象的的彩色图像进行双眼检测，获得定位对象的双眼在定位对象的彩色图像中的位置。

步骤105，根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息。

具体的说，根据双眼在定位对象的彩色图像中的位置，获得定位对象的双眼在定位对象的深度图像中的位置处的深度值，根据深度值以及定位对象的双眼在定位对象的彩色图像中的位置，确定双眼的空间位置信息。

具体计算过程如以下公式所示：

其中，表示双眼的空间位置坐标，d表示深度值，k表示三维体感摄像机中彩色相机的内参矩阵，k^-1表示内参矩阵的逆矩阵，表示定位对象的双眼在定位对象的彩色图像中的位置。内参矩阵可以是预先对彩色相机进行标定的过程中获得，例如采用张正友标定法进行标定。

与现有技术相比，本实施方式中，通过三维体感摄像机提供的定位对象的骨架信息和定位对象的图像，最终确定出定位对象的双眼空间位置信息，实现对定位对象的双眼进行定位。通过这种双眼定位方法，使用户能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高了用户体验。

本发明的第二实施方式涉及一种双眼定位方法，第二实施方式是在第一实施方式的基础上，对步骤104的具体实现方式进行说明，该方法的具体流程如图2所示。

其中，步骤201至步骤203，与第一实施方式中的步骤101至步骤103大致相同，此处不再赘述。步骤203之后执行步骤204。其中，步骤203中直接确定的是定位对象的面部在定位对象的彩色图像中的位置。

步骤204，根据定位对象的面部在定位对象的彩色图像中的位置，获取定位对象的面部彩色图像。

本实施方式中将定位对象的面部彩色图像记为iface。

步骤205，基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置。

其中，在面部彩色图像中进行双眼检测，获得定位对象的左眼在面部彩色图像中的位置(表示为plefteye)，以及定位对象的右眼在面部彩色图像中的位置(表示为prighteye)。

具体过程为：采用人脸对齐算法检测面部彩色图像中的人脸特征点，获取检测到的人脸特征点的位置，其中，人脸特征点为双眼处的特征点，或者，人脸特征点为眉毛和双眼处的特征点、或者，人脸特征点为双眼和脸部轮廓处的特征点，或者，人脸特征点为眉毛、双眼和脸部轮廓处的特征点。根据检测到的人脸特征点的位置，确定定位对象的双眼在面部彩色图像中的位置。

在一个具体实现中，采用人脸对齐算法检测到的面部彩色图像iface中的人脸的特征点包括眉毛、双眼和脸部轮廓处的特征点，并且特征点的总个数为39。人脸特征点的具体分布图如图3a所示。根据获得的39个人脸特征点，计算左眼在面部彩色图像中的位置plefteye，以及右眼在面部彩色图像iface中的位置prighteye，计算过程如以下公式所示：

其中，plefteye.u在面部彩色图像iface中左眼中心的横坐标值，plefteye.v为在面部彩色图像iface中左眼中心的纵坐标值，prighteye.u为在面部彩色图像iface中右眼中心的横坐标值，prighteye.v为在面部彩色图像iface中右眼中心的纵坐标值。shape(n)为检测到的39个特征点中的第n个特征点在彩色图像中的位置。

需要说明的是，现有技术中的人脸特征点对齐算法都以全脸即眉毛、双眼、脸部轮廓、鼻子和嘴部的特征点为目标，其具体的人脸特征点的分布图如图3b所示。相对于现有技术，本实施方式中不用对鼻子和嘴部的特征点进行检测，需要检测的特征点明显减少，因此提高了检测的速率。另外，在背景技术所言的胸腔镜手术等医疗场景，一般需要进行定位的医生都是带有口罩的，口罩遮挡住了嘴鼻等部位，是无法进行全脸特征点匹配的，而本实施方式中，不需要使用鼻子和嘴部的特征点，能够准确实现带有口罩等遮挡物的定位对象的双眼定位。

步骤206，根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位对象的彩色图像中的位置。

具体的，计算定位对象的左眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的横坐标值。计算定位对象的左眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的纵坐标值。计算定位对象的右眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的横坐标值。计算定位对象的右眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的纵坐标值。

其中，第一值为定位对象的面部在定位对象的彩色图像中的位置的左上角的横坐标值和右下角的横坐标值中的最小值，第二值为定位对象的面部在定位对象的彩色图像中的位置的左上角的纵坐标值和右下角的纵坐标值中的最小值。

该确定定位对象的双眼在彩色图像中的位置的过程可以通过以下公式表示：

p′lefteye.u＝plefteye.u+min(plefttop.u,prightbottom.u)

p′lefteye.v＝plefteye.v+min(plefttop.v,prightbottom.v)

p′righteye.u＝prighteye.u+min(plefttop.u,prightbottom.u)

p′righteye.v＝prighteye.v+min(plefttop.v,prightbottom.v)

其中，p′lefteye.u表示在定位对象的彩色图像irgb中左眼的横坐标值，p′lefteye.v表示在定位对象的彩色图像irgb中左眼的纵坐标值，p′righteye.u表示在定位对象的彩色图像irgb中右眼的横坐标值，p′righteye.v表示在定位对象的彩色图像irgb中右眼的纵坐标值，plefteye.u在面部彩色图像iface中左眼中心的横坐标值，plefteye.v为在面部彩色图像iface中左眼中心的纵坐标值，prighteye.u为在面部彩色图像iface中右眼中心的横坐标值，prighteye.v为在面部彩色图像iface中右眼中心的纵坐标值，min(plefttop.u,prighebottom.u)表示的是第一值，min(plefttop.v,prighebottom.v)表示的是第二值。由于三维体感摄像机坐标系与彩色图像的坐标系y轴方向相反，因此这里对偏移量进行了求最小值的计算。

步骤207，根据双眼在定位对象的彩色图像中的位置，确定双眼的空间位置信息。

其中，步骤207的具体实施可参见步骤105的具体描述，此处不再赘述。

与现有技术相比，本实施方式中，通过三维体感摄像机提供的定位对象的骨架信息和定位对象的图像，最终确定出定位对象的双眼空间位置信息，实现对定位对象的双眼进行定位，使用户能够在不佩戴头箍跟踪器等辅助设备的情况下实现双眼定位，提高了用户体验。并且，在基于定位对象的面部在定位对象的图像中的位置进行双眼检测时，通过人脸对齐算法检测人脸特征点的位置，根据检测到的人脸特征点的位置确定出定位对象的双眼在面部彩色图像中的位置，使最终确定出的双眼的空间位置信息更加准确。

需要说明的是，基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置，除了上述的人脸对齐算法对双眼进行检测外，还可以采用opencv或深度学习方法进行双眼检测。其中，opencv提供了haar级联分类器可进行特定物体检测，并提供了已经训练好的人眼检测文件，可以实现对双眼的检测，而深度学习方法则是利用深度学习方法进行训练，在人脸图像中直接检测处人眼。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的第三实施方式涉及一种双眼定位装置，该装置的具体结构如图4所示，双眼定位装置400具体包括：获取模块401、第一处理模块402、第二处理模块403、第三处理模块404和第四处理模块405。

其中，获取模块401用于获取三维体感摄像机提供的定位对象的骨架信息和定位对象的图像，第一处理模块402用于根据骨架信息确定定位对象的面部的空间位置信息，第二处理模块403用于根据面部的空间位置信息，确定定位对象的面部在定位对象的图像中的位置，第三处理模块404用于基于定位对象的面部在定位对象的图像中的位置以及定位对象的图像进行双眼检测，获得定位对象的双眼在定位对象的图像中位置，第四处理模块405用于根据双眼在定位对象的图像中的位置，确定双眼的空间位置信息。

其中，第一处理模块402具体用于，将骨架信息中的头部位置向左偏移第一预设值，得到定位对象面部区域的左边界值；将骨架信息中的头部位置向右偏移第二预设值，得到定位对象面部区域的右边界值；将骨架信息中的头部位置向上偏移第三预设值，得到定位对象面部区域的上边界值；将骨架信息中的头部位置向下偏移第四预设值，得到定位对象面部区域的下边界值；将左边界值、右边界值、上边界值和下边界值所限定的区域的位置信息，确定为定位对象的面部的空间位置信息。

其中，定位对象的图像包括定位对象的彩色图像，并且第二处理模块403具体用于，根据面部的空间位置信息，确定定位对象的面部在定位对象的彩色图像中的位置。第二处理模块403还用于调用三维体感摄像机提供的api函数，将面部的空间位置信息代入api函数，获取api函数返回的定位对象的面部在定位对象的彩色图像中的位置。或者，利用预先标定的三维体感摄像机的彩色相机拍摄参数对面部的空间位置信息进行坐标变换，获取定位对象的面部在定位对象的彩色图像中的位置。

其中，定位对象的图像还包括定位对象的深度图像，并且第四处理模块405具体用于，根据双眼在定位对象的彩色图像中的位置，获得定位对象的双眼在定位对象的深度图像中的位置处的深度值，根据深度值以及定位对象的双眼在定位对象的彩色图像中的位置，确定双眼的空间位置信息。

值得一提的是，第四处理模块405还用于按照公式确定所述双眼的空间位置信息。其中，表示所述双眼的空间位置坐标，d表示所述深度值，k表示所述三维体感摄像机中彩色相机的内参矩阵，k^-1表示所述内参矩阵的逆矩阵，表示所述定位对象的双眼在所述定位对象的彩色图像中的位置。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明的第四实施方式涉及一种双眼定位装置，该实施方式主要是在第三实施方式的基础上对第三处理模块404的具体划分，其中第三处理模块404具体包括了第一获取模块子4041、第二获取模块子4042和确定子模块4043，其它结构及连接关系与第一实施方式中相同。该装置的具体结构如图5所示。

其中，第一获取模块子4041用于根据定位对象的面部在定位对象的图像中的位置，获取定位对象的面部彩色图像，第二获取模块子4042用于基于面部彩色图像进行双眼检测，获得定位对象的双眼在面部彩色图像中的位置，确定子模块4043用于根据定位对象的双眼在面部彩色图像中的位置，确定定位对象的双眼在定位对象的彩色图像中的位置。

其中，第二获取模块子4042具体用于采用人脸对齐算法检测面部彩色图像中的人脸特征点，获取检测到的人脸特征点的位置，其中，人脸特征点为双眼处的特征点，或者，人脸特征点为眉毛和双眼处的特征点、或者，人脸特征点为双眼和脸部轮廓处的特征点，或者，人脸特征点为眉毛、双眼和脸部轮廓处的特征点。根据检测到的人脸特征点的位置，确定定位对象的双眼在面部彩色图像中的位置。

其中，确定子模块4043具体用于计算定位对象的左眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的横坐标值。计算定位对象的左眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的左眼在定位对象的彩色图像中的纵坐标值。计算定位对象的右眼在面部彩色图像中的横坐标值与第一值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的横坐标值。计算定位对象的右眼在面部彩色图像中的纵坐标值与第二值的和，将所得和值作为定位对象的右眼在定位对象的彩色图像中的纵坐标值。

其中，第一值为定位对象的面部在定位对象的彩色图像中的位置的左上角的横坐标值和右下角的横坐标值中的最小值，第二值为定位对象的面部在定位对象的彩色图像中的位置的左上角的纵坐标值和右下角的纵坐标值中的最小值。

由于第二实施方式与本实施方式相互对应，因此本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，在第二实施方式中所能达到的技术效果在本实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明的第五实施方式涉及一种电子设备，如图6所示为电子设备的结构示例图，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502。其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行双眼定位的方法。

其中，处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501、存储器502的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。