虚拟坐标系的构建方法、装置、终端设备及可读存储介质与流程

本发明涉及人机交互技术领域，尤其涉及一种虚拟坐标系的构建方法、装置、终端设备及可读存储介质。

背景技术

随着计算机技术的迅速发展及广泛普及化，人机交互技术成为了新的研究领域。

人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。在人机交互技术中，虚拟现实技术为人机交互技术的一个重要分支，虚拟现实技术主要是通过依靠实时计算三维空间中的各种姿态信息来确定虚拟现实与真实世界之间的映射关系，及待响应目标的空间姿态。

目前的虚拟现实技术主要包括：计算机生成的实时动态的三维立体逼真模型、感知、自然技能和传感器设备等。在使用过程中，操作者通过数据手套、三维(threedimensional，简称：3d)鼠标、3d眼镜、交互笔等交互装置做出人体行为动作，计算机系统则通过对动作相适应的数据进行处理，并对操作者的输入做出实时响应，达到操作者更真实的沉浸在虚拟场景中。

然而，由于现有虚拟现实技术中包括的设备类型及性能差异很大，因此在利用上述设备进行人机交互时，往往会由于设备类型的差异以及外界环境的影响，导致使用过程中，无法精准的实现对操作者动作的跟踪，也就无法及时做出响应，大大影响了交互效果。

因而，如何高精度的实现对操作者动作的跟踪，从而达到更好的交互效果，逐渐成为虚拟显示技术的研究热点。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种虚拟坐标系的构建方法、装置、终端设备及可读存储介质，旨在解决现有虚拟现实技术中，无法实现对操作动作的高精度跟踪，人机交互效果不理想的技术问题。

为实现上述目的，本发明提供了一种虚拟坐标系的构建方法，所述方法包括以下步骤：

确定成像图片中标记杆上第一标记点的第一坐标和第二标记点的第二坐标，所述成像图片通过图像传感器对所述标记杆进行图像采集获取；

根据所述第一坐标和所述第二坐标构建第一坐标系；

获取所述标记杆在显示屏上多个垂直接触位置的第三坐标，并根据多个所述第三坐标构建第二坐标系；

根据单应性变换原理，计算所述第一坐标系与所述第二坐标系在三维空间中的相对关系；

根据所述相对关系，构建用于标定交互装置在三维空间中所处位置坐标的虚拟坐标系。

优选地，所述图像传感器为多目相机模组，所述多目相机模组包含至少两个相机组件；

相应地，所述确定图像传感器采集到的关于标记杆的成像图像中所述标记杆上第一标记点的第一坐标和第二标记点的第二坐标，具体包括：

获取各相机组件采集到的与所述显示屏垂直接触的所述标记杆的成像图片；

根据多目测距原理，对各相机组件采集到的所述成像图片进行处理，确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标。

优选地，所述根据多目测距原理，对各相机组件采集到的所述成像图片进行处理，确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标，具体包括：

对各相机组件进行参数标定，获得各相机组件的内参、外参及各相机组件之间的相对位置关系；

根据各相机组件的内参、外参及任意两个相机组件之间的相对位置关系，对各相机组件进行校正；

将任意两个相机组件采集到的所述成像图片进行匹配，得到视差数据；

根据所述视差数据，确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标。

优选地，所述内参包括相机组件的焦距、成像原点和畸变参数，所述外参包括相机组件的世界坐标，所述相对位置关系包括旋转矩阵关系和平移向量关系；

相应地，所述根据各相机组件的内参、外参及任意两个相机组件之间的相对位置关系，对各相机组件进行校正，具体包括：

根据各相机组件的焦距、成像原点、畸变参数、世界坐标、旋转矩阵关系和平移向量关系，分别对各相机组件进行消除畸变和行对准，以使各相机组件的成像原点坐标一致，任意两个相机组件的光轴平行、成像平面共面。

优选地，所述根据单应性变换原理，计算所述第一坐标系与所述第二坐标系在三维空间中的相对关系，具体包括：

根据所述单应性变换原理，分别将所述第一坐标系和所述第二坐标系转换为三维坐标系；

计算所述第一坐标系对应的三维坐标系与所述第二坐标系对应的三维坐标系在三维空间中的相对关系。

优选地，所述根据所述第一坐标和所述第二坐标构建第一坐标系之前，所述方法还包括：

根据预设的精度校准规则，分别对所述第一坐标和所述第二坐标进行精度校准；

相应地，所述根据所述第一坐标和所述第二坐标构建第一坐标系，具体包括：

根据校准后的所述第一坐标和所述第二坐标构建第一坐标系。

优选地，所述根据多个所述第三坐标构建第二坐标系之前，所述方法还包括：

根据预设的精度校准规则，对各第三坐标进行精度校准；

相应地，所述根据多个所述第三坐标构建第二坐标系，具体包括：

根据校准后的各第三坐标，构建所述第二坐标系。

此外，为实现上述目的，本发明还提供了一种虚拟坐标系的构建装置，所述装置包括：

确定模块，用于确定成像图片中标记杆上第一标记点的第一坐标和第二标记点的第二坐标，所述成像图片通过图像传感器对所述标记杆进行图像采集获取；

第一构建模块，用于根据所述第一坐标和所述第二坐标构建第一坐标系；

获取模块，用于获取所述标记杆在显示屏上多个垂直接触位置的第三坐标；

第二构建模块，用于根据多个所述第三坐标构建第二坐标系；

计算模块，用于根据单应性变换原理，计算所述第一坐标系与所述第二坐标系在三维空间中的相对关系；

第三构建模块，用于根据所述相对关系，构建用于标定交互装置在三维空间中所处位置坐标的虚拟坐标系。

此外，为实现上述目的，本发明还提供了一种终端设备，所述终端设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的虚拟坐标系的构建程序，所述虚拟坐标系的构建程序配置为实现所述虚拟坐标系的构建方法的步骤。

此外，为实现上述目的，本发明还提供了一种可读存储介质，所述可读存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有虚拟坐标系的构建程序，所述虚拟坐标系的构建程序被处理器执行时实现所述虚拟坐标系的构建方法的步骤。

本发明借助设置有两个或两个以上标记点的标记杆，辅以视觉传感器和具备触摸功能的显示屏，在构建虚拟坐标系时，通过确定图像传感器采集到的关于标记杆的成像图片中所述标记杆上第一标记点的第一坐标和第二标记点的第二坐标，然后根据第一坐标和第二坐标构建视觉传感器视角的第一坐标系，并根据从显示屏处获取的标记杆在显示屏上多个垂直接触位置的第三坐标构建显示屏视角的第二坐标系，接着根据单应性变换原理，计算第一坐标系与第二坐标系在三维空间中的相对关系，最后根据计算所得的相对关系，便可以构建一个能够实现对操作动作的高精度跟踪，精准的标定交互装置在三维空间中所处位置坐标的虚拟坐标系，从而大大提高了人机交互效果。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的终端设备的结构示意图；

图2为本发明虚拟坐标系的构建方法第一实施例的流程示意图；

图3为本发明虚拟坐标系的构建方法第一实施例中显示设备和图像传感器的位置关系示意图；

图4为本发明虚拟坐标系的构建方法第一实施例中显示设备、图像传感器及标记杆的工作原理示意图；

图5为本发明虚拟坐标系的构建方法第二实施例的流程示意图；

图6为本发明虚拟坐标系的构建装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端设备的结构示意图，该终端设备可以是个人计算机、平板电脑、智能手机等能够访问网络的设备，此处不再一一列举，也不做具体限制。

如图1所示，该终端设备可以包括：处理器1001，例如中央处理器(centralprocessingunit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括可触摸显示屏、语音识别单元等，可选地，用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口、蓝牙接口等)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

因此，如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及虚拟坐标系的构建程序。

在图1所示的终端设备中，网络接口1004主要用建立终端设备与视觉传感器、显示屏的通信连接；用户接口1003主要用于接收用户的输入指令；所述终端设备通过处理器1001调用存储器1005中存储的虚拟坐标系的构建程序，并执行以下操作：

确定图像传感器采集到的关于标记杆的成像图片中所述标记杆上第一标记点的第一坐标和第二标记点的第二坐标；

根据所述第一坐标和所述第二坐标构建第一坐标系；

获取所述标记杆在显示屏上多个垂直接触位置的第三坐标，并根据多个所述第三坐标构建第二坐标系；

根据单应性变换原理，计算所述第一坐标系与所述第二坐标系在三维空间中的相对关系；

根据所述相对关系，构建用于标定交互装置在三维空间中所处位置坐标的虚拟坐标系。

进一步地，所述图像传感器为多目相机模组，所述多目相机模组包含至少两个相机组件，处理器1001可以调用存储器1005中存储的虚拟坐标系的构建程序，还执行以下操作：

获取各相机组件采集到的与所述显示屏垂直接触的所述标记杆的成像图片；

根据多目测距原理，对各相机组件采集到的所述成像图片进行处理，确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标。

进一步地，处理器1001可以调用存储器1005中存储的虚拟坐标系的构建程序，还执行以下操作：

对各相机组件进行参数标定，获得各相机组件的内参、外参及各相机组件之间的相对位置关系；

根据各相机组件的内参、外参及任意两个相机组件之间的相对位置关系，对各相机组件进行校正；

将任意两个相机组件采集到的所述成像图片进行匹配，得到视差数据；

根据所述视差数据，确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标。

进一步地，所述内参包括相机组件的焦距、成像原点和畸变参数，所述外参包括相机组件的世界坐标，所述相对位置关系包括旋转矩阵关系和平移向量关系，处理器1001可以调用存储器1005中存储的虚拟坐标系的构建程序，还执行以下操作：

根据各相机组件的焦距、成像原点、畸变参数、世界坐标、旋转矩阵关系和平移向量关系，分别对各相机组件进行消除畸变和行对准，以使各相机组件的成像原点坐标一致，任意两个相机组件的光轴平行、成像平面共面。

进一步地，处理器1001可以调用存储器1005中存储的虚拟坐标系的构建程序，还执行以下操作：

根据所述单应性变换原理，分别将所述第一坐标系和所述第二坐标系转换为三维坐标系；

计算所述第一坐标系对应的三维坐标系与所述第二坐标系对应的三维坐标系在三维空间中的相对关系。

进一步地，处理器1001可以调用存储器1005中存储的虚拟坐标系的构建程序，还执行以下操作：

根据预设的精度校准规则，分别对所述第一坐标和所述第二坐标进行精度校准；

相应地，所述根据所述第一坐标和所述第二坐标构建第一坐标系，具体包括：

根据校准后的所述第一坐标和所述第二坐标构建第一坐标系。

进一步地，处理器1001可以调用存储器1005中存储的虚拟坐标系的构建程序，还执行以下操作：

根据预设的精度校准规则，对各第三坐标进行精度校准；

相应地，所述根据多个所述第三坐标构建第二坐标系，具体包括：

根据校准后的各第三坐标，构建所述第二坐标系。

本实施通过上述方案，借助设置有两个或两个以上标记点的标记杆，辅以视觉传感器和具备触摸功能的显示屏，在构建虚拟坐标系时，通过确定图像传感器采集到的关于标记杆的成像图片中所述标记杆上第一标记点的第一坐标和第二标记点的第二坐标，然后根据第一坐标和第二坐标构建视觉传感器视角的第一坐标系，并根据从显示屏处获取的标记杆在显示屏上多个垂直接触位置的第三坐标构建显示屏视角的第二坐标系，接着根据单应性变换原理，计算第一坐标系与第二坐标系在三维空间中的相对关系，最后根据计算所得的相对关系，便可以构建一个能够实现对操作动作的高精度跟踪，精准的标定交互装置在三维空间中所处位置坐标的虚拟坐标系，从而大大提高了人机交互效果。

基于上述硬件结构，提出本发明虚拟坐标系的构建方法实施例。

参照图2，图2为本发明虚拟坐标系的构建方法第一实施例的流程示意图。

需要说明的是，在本实施例中，用于执行该虚拟坐标系的构建方法各步骤的执行主体，具体可以为3d显示设备内的处理器，也可以是部署于远端的服务器(物理服务器或虚拟云服务器)，具体的，本领域的技术人员可以根据需要进行设置，此处不做限制。

具体的，在第一实施例中，所述虚拟坐标系的构建方法包括以下步骤：

s10：确定成像图片中标记杆上第一标记点的第一坐标和第二标记点的第二坐标。

需要说明的是，本实施例中所说的成像图片具体是通过图像传感器对所述标记杆进行图像采集获取的。

此外，应当理解的是，在具体实现中，本实施中所说的图像传感器可以是相机模组，比如多目相机模组，即包含至少两个相机组件(摄像头单元)的相机模组。

以多目相机模组为例，上述步骤s10中所说的：确定图像传感器采集到的关于标记杆的成像图片中所述标记杆上第一标记点的第一坐标和第二标记点的第二坐标的操作，具体可以通过以下两个步骤方式实现：

首先，获取各相机组件采集到的与所述显示屏垂直接触的所述标记杆的成像图片。

然后，根据多目测距原理，对各相机组件采集到的所述成像图片进行处理，确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标。

关于根据多目测距原理，确定第一坐标和第二坐标的步骤大致如下：

如，先对各相机组件进行参数标定，获得各相机组件的内参、外参及各相机组件之间的相对位置关系；接着，根据各相机组件的内参、外参及任意两个相机组件之间的相对位置关系，对各相机组件进行校正；接着，将任意两个相机组件采集到的所述成像图片进行匹配，得到视差数据；最后，根据所述视差数据，即可确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标。

此外，值得一提的是，本实施例中所说内参主要包括相机组件的焦距、成像原点和畸变参数，所述外参主要包括相机组件的世界坐标，所述相对位置关系主要包括旋转矩阵关系和平移向量关系。因而，上述所说的所述根据各相机组件的内参、外参及任意两个相机组件之间的相对位置关系，对各相机组件进行校正，实质为：根据各相机组件的焦距、成像原点、畸变参数、世界坐标、旋转矩阵关系和平移向量关系，分别对各相机组件进行消除畸变和行对准，以使各相机组件的成像原点坐标一致，任意两个相机组件的光轴平行、成像平面共面。

应当理解的是，由于多目测距原理的应用已经较为成熟，关于其具体的测距方式，本领域的技术人员可以参照相关资料获知，此处不再赘述。

需要说明的是，以上给出的确定第一的方法坐标和第二坐标的方法，仅仅为一种具体的实现方式，并不局限于仅能使用多目测距原理实现，在具体应用中，本领域的技术人员可以根据需要设置合适的确定方式，此处不做限制。

s20：根据所述第一坐标和所述第二坐标构建第一坐标系。

s30：获取所述标记杆在显示屏上多个垂直接触位置的第三坐标，并根据多个所述第三坐标构建第二坐标系。

s40：根据单应性变换原理，计算所述第一坐标系与所述第二坐标系在三维空间中的相对关系。

具体的，可以先根据所述单应性变换原理，分别将所述第一坐标系和所述第二坐标系转换为三维坐标系；然后再计算所述第一坐标系对应的三维坐标系与所述第二坐标系对应的三维坐标系在三维空间中的相对关系。

s50：根据所述相对关系，构建用于标定交互装置在三维空间中所处位置坐标的虚拟坐标系。

为了便于理解，以下结合图3和图4进行具体说明：

图3中，100为立体显示设备(其显示屏即本实施例中所说的显示屏)，具体是由3d投影设备投射到大屏幕或者幕布上的具有3d显示功能的显示系统。200为视觉传感器，这里具体包括四个相机组件(分别为相机组件201、相机组件202、相机组件203及相机组件204)的多目相机模组。在具体实现中，相机模组200可以如图3所示，设置于立体显示设备100的上方，也可以根据需要设置于立体显示设备显示屏的四周。

需要说明的是，在具体实现中，还需要涉及计算机系统，该计算机系统可以是立体显示设备100内部的处理系统，也可以是部署于远端服务器上的处理系统，并且该计算机系统中部署有校正功能、对齐功能、计算功能及修正功能等。

另外，上述立体显示设备100和相机模组200需要分别与计算机系统通信连接。

此外，值得一提的是，在构建虚拟坐标系或者实现桌面式交互时，相机模组200中的各相机组件是同时曝光，获取图像的，即同一时刻捕获数据，同步触发，同时用来实现跟踪交互装置(如3d眼镜和交互笔)的。

为了保证上述桌面式交互系统能够高精度的跟踪3d眼镜和交互笔，提升用户的交互体验。本实施例中提出的虚拟坐标系的构建方法，可以参考图4所示的显示设备、视觉传感器及标记杆的示意图。

图4给出的为，标记杆300分别与立体显示设备100的屏幕的4个角垂直接触时，相机模组200中的相机组件204采集到的数据，即第一标记点301和第二坐标点302的成像图片。

具体的，在使用上述装置实现虚拟坐标系的构建操作时，用户手持长度固定，且设置有第一标记点301和第二标记点302的标记杆300指向立体显示设备100的屏幕上设置的固定标准位置点，如屏幕的四个顶角或中屏幕的中心位置，使标记杆300与立体显示设备100的屏幕垂直接触。

需要说明的是，在具体实现中，标记杆300亦可指向屏幕上非具体固定位置点，即标记杆300可指向屏幕范围的任何位置点。

在标记杆300对于屏幕垂直接触时，置于屏幕上方的相机模组采集到关于标记杆300的成像图片，然后由计算机系统确定采集到的成像图片中第一标记点301的第一坐标和第二标记点302的第二坐标。同时，屏幕上传标记杆300与屏幕接触位置的信息至计算机系统，由计算机系统确定标记杆300在于屏幕接触位置的第三坐标。

此外，为了使得构建的虚拟坐标系精确度更高，可以通过将标记杆300多次放置在屏幕固定位置，并确定每次放置在屏幕上的点的坐标。

然后，根据得到的第一坐标和第二坐标，构建第一坐标系；根据多个第三坐标，构建第二坐标系。并根据单应性变换原理，计算所述第一坐标系与所述第二坐标系在三维空间中的相对关系，最后根据所述相对关系，即可构建用于标定交互装置在三维空间中所处位置坐标的虚拟坐标系。从而使得空间交互笔(带有标记点)能够精确的操作屏幕中的3d模型，同时3d眼镜(带有标记点)能够真实的观看到屏幕中物体的3d效果。

需要说明的是，以上仅为具体说明，对本发明的技术方案不构成任何限定，在具体实现中，本领域的技术人员可以根据需要合理的设置各步骤的执行顺序，此处不做限制。

通过上述描述不难发现，本实施例中提供的虚拟坐标系的构建方法，借助设置有两个或两个以上标记点的标记杆，辅以视觉传感器和具备触摸功能的显示屏，在构建虚拟坐标系时，通过确定图像传感器采集到的关于标记杆的成像图片中所述标记杆上第一标记点的第一坐标和第二标记点的第二坐标，然后根据第一坐标和第二坐标构建视觉传感器视角的第一坐标系，并根据从显示屏处获取的标记杆在显示屏上多个垂直接触位置的第三坐标构建显示屏视角的第二坐标系，接着根据单应性变换原理，计算第一坐标系与第二坐标系在三维空间中的相对关系，最后根据计算所得的相对关系，便可以构建一个能够实现对操作动作的高精度跟踪，精准的标定交互装置在三维空间中所处位置坐标的虚拟坐标系，从而大大提高了人机交互效果。

此外，值得一提的是，在本实施例中，为了便于说明，采用的为设置有两个标记点的标记杆。但在具体实现中，本领域的技术人员可以根据需要，选取设置有两个以上的标记的标记杆，此处不做限制。

进一步地，如图5所示，基于第一实施例提出本发明虚拟坐标系的构建方法的第二实施例，在本实施例中，为了保证构建的第一坐标系和第二坐标系的精确度，在根据所述第一坐标和所述第二坐标构建第一坐标系之前，可以先对所述第一坐标和所述第二坐标进行精度校准。同样，在根据多个所述第三坐标构建第二坐标系之前，也可以先对对各第三坐标进行精度校准，详见图5中的步骤s01和步骤s02。

在步骤s01中，根据预设的精度校准规则，分别对所述第一坐标和所述第二坐标进行精度校准。

相应地，在具体实现中，原步骤s20中根据所述第一坐标和所述第二坐标构建第一坐标系的操作，应变为步骤s20’中的：根据校准后的所述第一坐标和所述第二坐标构建第一坐标系。

在步骤s02中，根据预设的精度校准规则，对各第三坐标进行精度校准。

相应地，在具体实现中，原步骤s30中根据多个所述第三坐标构建第二坐标系的操作，应变为s30’中的：根据校准后的各第三坐标，构建所述第二坐标系。

此外，应当理解的是，为了保证根据第一坐标系与第二坐标系在三维空间中的相对关系构建的虚拟坐标系精确度足够高，上述所说的对所述第一坐标和所述第二坐标进行精度校准和对各第三坐标进行精度校准的精度校准规则需要一致，具体的精度级别，可以根据需要达到的人家交互效果确定，此处不做限制。

需要说明的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

通过上述描述不难发现，本实施例提供的虚拟坐标系的构建方法，在构建第一坐标系和第二坐标系之前，通过根据预设的精度校准规则，分别对所述第一坐标、所述第二坐标进行精度校准及各第三坐标进行精度校准，有效的保证了后续根据第一坐标系与第二坐标系在三维空间中的相对关系，构建的虚拟坐标系的精确度，进一步提高了对操作动作的高精度跟踪，及人机交互效果。

此外，本发明实施例还提出一种虚拟坐标系的构建装置。如图6所示，该虚拟坐标系的构建装置包括：确定模块6001、第一构建模块6002、获取模块6003、第二构建模块6004、计算模块6005及第三构建模块6006。

其中，确定模块6001，用于确定成像图片中标记杆上第一标记点的第一坐标和第二标记点的第二坐标。

第一构建模块6002，用于根据所述第一坐标和所述第二坐标构建第一坐标系。获取模块6003，用于获取所述标记杆在显示屏上多个垂直接触位置的第三坐标。第二构建模块6004，用于根据多个所述第三坐标构建第二坐标系。计算模块6005，用于根据单应性变换原理，计算所述第一坐标系与所述第二坐标系在三维空间中的相对关系。第三构建模块6006，用于根据所述相对关系，构建用于标定交互装置在三维空间中所处位置坐标的虚拟坐标系。

需要说明的是，本实施例中所说的成像图片具体是通过图像传感器对所述标记杆进行图像采集获取的。

此外，应当理解的是，在具体实现中，本实施中所说的图像传感器可以是相机模组，比如多目相机模组，即包含至少两个相机组件(摄像头单元)的相机模组。

通过上述描述不难发现，本实施例中提供的虚拟坐标系的构建装置，借助设置有两个或两个以上标记点的标记杆，辅以视觉传感器和具备触摸功能的显示屏，在构建虚拟坐标系时，通过确定图像传感器采集到的关于标记杆的成像图片中所述标记杆上第一标记点的第一坐标和第二标记点的第二坐标，然后根据第一坐标和第二坐标构建视觉传感器视角的第一坐标系，并根据从显示屏处获取的标记杆在显示屏上多个垂直接触位置的第三坐标构建显示屏视角的第二坐标系，接着根据单应性变换原理，计算第一坐标系与第二坐标系在三维空间中的相对关系，最后根据计算所得的相对关系，便可以构建一个能够实现对操作动作的高精度跟踪，精准的标定交互装置在三维空间中所处位置坐标的虚拟坐标系，从而大大提高了人机交互效果。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的虚拟坐标系的构建方法，此处不再赘述。

此外，本发明实施例还提出一种可读存储介质，所述可读存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有虚拟坐标系的构建程序，所述虚拟坐标系的构建程序被处理器执行时实现如下操作：

确定图像传感器采集到的关于标记杆的成像图片中所述标记杆上第一标记点的第一坐标和第二标记点的第二坐标；

根据所述第一坐标和所述第二坐标构建第一坐标系；

获取所述标记杆在显示屏上多个垂直接触位置的第三坐标，并根据多个所述第三坐标构建第二坐标系；

根据单应性变换原理，计算所述第一坐标系与所述第二坐标系在三维空间中的相对关系；

根据所述相对关系，构建用于标定交互装置在三维空间中所处位置坐标的虚拟坐标系。

进一步地，所述图像传感器为多目相机模组，所述多目相机模组包含至少两个相机组件，所述虚拟坐标系的构建程序被处理器执行时还实现如下操作：

获取各相机组件采集到的与所述显示屏垂直接触的所述标记杆的成像图片；

根据多目测距原理，对各相机组件采集到的所述成像图片进行处理，确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标。

进一步地，所述虚拟坐标系的构建程序被处理器执行时还实现如下操作：

对各相机组件进行参数标定，获得各相机组件的内参、外参及各相机组件之间的相对位置关系；

根据各相机组件的内参、外参及任意两个相机组件之间的相对位置关系，对各相机组件进行校正；

将任意两个相机组件采集到的所述成像图片进行匹配，得到视差数据；

根据所述视差数据，确定所述第一标记点在所述成像图片中的第一坐标，所述第二标记点在所述成像图片中的第二坐标。

进一步地，所述内参包括相机组件的焦距、成像原点和畸变参数，所述外参包括相机组件的世界坐标，所述相对位置关系包括旋转矩阵关系和平移向量关系，所述虚拟坐标系的构建程序被处理器执行时还实现如下操作：

根据各相机组件的焦距、成像原点、畸变参数、世界坐标、旋转矩阵关系和平移向量关系，分别对各相机组件进行消除畸变和行对准，以使各相机组件的成像原点坐标一致，任意两个相机组件的光轴平行、成像平面共面。

进一步地，所述虚拟坐标系的构建程序被处理器执行时还实现如下操作：

根据所述单应性变换原理，分别将所述第一坐标系和所述第二坐标系转换为三维坐标系；

计算所述第一坐标系对应的三维坐标系与所述第二坐标系对应的三维坐标系在三维空间中的相对关系。

进一步地，所述虚拟坐标系的构建程序被处理器执行时还实现如下操作：

根据预设的精度校准规则，分别对所述第一坐标和所述第二坐标进行精度校准；

相应地，所述根据所述第一坐标和所述第二坐标构建第一坐标系，具体包括：

根据校准后的所述第一坐标和所述第二坐标构建第一坐标系。

进一步地，所述虚拟坐标系的构建程序被处理器执行时还实现如下操作：

根据预设的精度校准规则，对各第三坐标进行精度校准；

相应地，所述根据多个所述第三坐标构建第二坐标系，具体包括：

根据校准后的各第三坐标，构建所述第二坐标系。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。