空间坐标转换服务器以及方法与流程

【技术领域】

本发明是关于一种空间坐标转换服务器及其方法；更具体而言，本发明的空间坐标转换服务器及其方法是用于叠合虚拟空间的坐标以及实际空间的坐标。

背景技术：

虚拟实境(virtualreality,vr)、扩增实境(augmentedreality,ar)及混合实境(mixedreality,mr)是目前影像处理、电脑视觉及电脑图学领域发展相当热门的技术，其主要是通过虚拟环境或虚拟环境与实际环境的结合，让使用者可以高度拟真的使用者体验。

而在ar或mr技术中，通常会先依据真实环境的物件或场域进行扫描，以生成虚拟环境的模型，俾后续相应的利用。惟所生成的虚拟环境的空间坐标通常与真实环境的空间坐标不一致，因此，为达空间叠合的目的，多需针对空间的坐标进行转换及对齐的步骤。然而，就现有的技术观之，空间坐标转换及对齐的方式误差仍偏高，如此，将会使得ar或mr技术的利用产生明显错误。

据此，如何降低空间坐标转换及对齐的误差，提升空间叠的合正确性，以避免ar或mr技术在利用时产生错误，乃业界须共同努力的目标。

技术实现要素：

本发明主要是提供一种用于空间坐标转换服务器的空间坐标转换方法，包含：空间坐标转换服务器从摄像装置接收场域影片，其中，场域影片记录有立体标的物，立体标的物具有多个标记点；空间坐标转换服务器根据场域影片产生点云模型，其中，点云模型包含多个点云数据；空间坐标转换服务器判断场域影片的多个关键帧，其中，各关键帧包含关键影像以及摄像装置旋转与位移数据；空间坐标转换服务器基于各关键帧的摄像装置旋转与位移数据，将点云模型的点云数据投影至相应的各关键帧的关键影像，以产生相应于各关键帧的关键影像的三维坐标点集合。

接着，空间坐标转换服务器基于标记点，判断立体标的物在各关键帧的关键影像中的多个二维坐标点，其中，二维坐标点相应于标记点的至少二标记点；空间坐标转换服务器根据二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点，其中，三维坐标点相应于至少二标记点；空间坐标转换服务器根据至少二标记点的实际点坐标以及三维坐标点，决定空间坐标转换关系。

为达上述目的，本发明公开一种空间坐标转换服务器，包含传输接口以及处理单元。传输接口用以从摄像装置接收场域影片，其中，场域影片记录有立体标的物，立体标的物具有多个标记点。处理单元电性连结至传输接口，用以：根据场域影片产生点云模型，其中，点云模型包含多个点云数据；判断场域影片的多个关键帧，其中，各关键帧包含关键影像以及摄像装置旋转与位移数据；基于各关键帧的摄像装置旋转与位移数据，将点云模型的点云数据投影至相应的各关键帧的关键影像，以产生相应于各关键帧的关键影像的三维坐标点集合。

接着，处理单元用以：基于标记点，判断立体标的物在各关键帧的关键影像中的多个二维坐标点，其中，二维坐标点相应于标记点的至少二标记点；根据等二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点，其中，三维坐标点相应于至少二标记点；根据至少二标记点的实际点坐标以及三维坐标点，决定空间坐标转换关系。

【附图说明】

图1a是本发明第一实施例的空间坐标转换服务器的操作示意图；

图1b是本发明第一实施例的空间坐标转换服务器的方块图；

图2a是本发明第二实施例的空间坐标转换服务器的操作示意图；

图2b是本发明第二实施例的空间坐标转换服务器的方块图；

图3是本发明第三实施例的空间坐标转换方法的流程图；以及

图4a～4b是本发明第四实施例的空间坐标转换方法的流程图。

【符号说明】

1、4空间坐标转换服务器

11、41传输接口

13、43处理单元

2、5摄像装置

20、50场域影片

3、6立体标的物

30、60标记点

pm1、pm2点云模型

pmdata1、pmdata2点云数据

kf1、kf2关键帧

km1、km2关键影像

kdata1、kdata2摄像装置旋转与位移数据

cset1、cset2三维坐标点集合

2dp1、2dp2二维坐标点

3dp1、3dp2三维坐标点

【具体实施方式】

以下将通过本发明的实施例来阐释本发明。然而，所述多个实施例并非用以限制本发明需在如实施例所述的任何环境、应用程序或方式方能实施。因此，以下实施例的说明仅在于阐释本发明，而非用以限制本发明。在以下实施例及附图中，与本发明非直接相关的元件已省略而未示出，且示出在附图中的各元件之间的尺寸关系仅为便于理解，而非用以限制为实际的实施比例。

请同时参考图1a～1b。图1a是本发明第一实施例的空间坐标转换服务器1的操作示意图。图1b是本发明第一实施例的空间坐标转换服务器1的方块图，空间坐标转换服务器1包含一传输接口11以及一处理单元13。其中，传输接口11以及处理单元13间具有电性连结，而其间的互动将在下文中进一步阐述。

首先，如图1a所示，空间坐标转换服务器1的传输接口11，从一摄像装置2接收一场域影片20。如图所示，场域影片20是摄像装置2拍摄特定场域所得，而特定场域中设有一立体标的物3，且此立体标的物3具有多个标记点30，因此，拍摄产生的场域影片20将记录有立体标的物3。

接着，空间坐标转换服务器1的处理单元13先根据场域影片20产生一点云模型pm1。其中，点云模型pm1包含多个点云数据pmdata1。期间，处理单元13进一步判断场域影片20的多个关键帧kf1，而每一关键帧kf1包含一关键影像km1以及一摄像装置旋转与位移数据kdata1。须说明，摄像装置旋转与位移数据kdata1是摄像装置2拍摄关键影像km1当下的装置旋转与位移信息。

随后，针对每一关键帧kf1，处理单元13基于关键帧kf1的摄像装置旋转与位移数据kdata1，将点云模型pm1的点云数据pmdata1投影至关键帧kf1的关键影像km1，如此一来，将会得到相应于关键影像km1的一三维坐标点集合cset1。

更详细来说，由于点云数据pmdata1与关键影像km1是分别通过三维以及二维的方式记录特定场域中各特征点的数据，因此，点云数据pmdata1将会与关键影像km1所记录的特定场域具有相对应的特征点。据此，处理单元13主要是通过拍摄当下的摄像装置旋转与位移数据kdata1，将点云数据pmdata1投影至各关键影像km1，以产生相应的三维坐标点集合cset1。其中，三维坐标点集合cset1包含各关键影像km1记录的特定场域特征点所对应的三维坐标点。

进一步来说，由于场域影片20中记录有立体标的物3，因此，关键帧kf1的关键影像km1中亦记录有立体标的物3。据此，处理单元13便可基于立体标的物3的标记点30，判断立体标的物3的标记点30在不同关键帧kf1的关键影像km1中的多个二维坐标点2dp1。

需特别说明，由于拍摄角度及范围不同的因素，因此，关键影像中可能包含不同个数的立体标的物的标记点。而在第一实施例中，立体标的物3是立方体，二维坐标点2dp1相应于标记点30中的至少二标记点。另外，标记点可以立体标的物的顶点为主，并通过在立体标的物不同面设置不同辨识图样的方式，便在影像处理中完成不同顶点的辨识。

接着，处理单元13根据二维坐标点2dp1，在三维坐标点数据集合cset1中挑选关联性最高的多个三维坐标点3dp1，如此，三维坐标点3dp1则相应于标记点30的至少二标记点。最后，处理单元13便根据标记点30的至少二标记点的实际点坐标(可由使用者提供)以及三维坐标点3dp1，决定一空间坐标转换关系(未示出)，俾虚拟的坐标与实际的坐标间的转换。

请同时参考图2a～2b。图2a是本发明第二实施例的空间坐标转换服务器4的操作示意图。图2b是本发明第二实施例的空间坐标转换服务器4的方块图，空间坐标转换服务器4包含一传输接口41以及一处理单元43。其中，传输接口41以及处理单元43间具有电性连结。其中，第二实施例主要是进一步例示本发明空间坐标转换的操作细节。

首先，如图2a所示，空间坐标转换服务器4的传输接口41，从一摄像装置5接收一场域影片50。如图所示，场域影片50是摄像装置5拍摄特定场域所得，而特定场域中设有一立体标的物6，且此立体标的物6具有多个标记点60，因此，拍摄产生的场域影片50将记录有立体标的物6。

接着，空间坐标转换服务器4的处理单元43先根据场域影片50产生一点云模型pm2。其中，点云模型pm2包含多个点云数据pmdata2。期间，处理单元43进一步判断场域影片50的多个关键帧kf2，而每一关键帧kf2包含一关键影像km2以及一摄像装置旋转与位移数据kdata2。须说明，摄像装置旋转与位移数据kdata2是摄像装置5拍摄关键影像km2当下的装置旋转与位移信息。

需特别说明中，在第二实施例中，点云模型pm2主要是基于即时定位与地图构建(simultaneouslocalizationandmapping,slam)的技术完成(例如：orb-slam)，本领域技术人员应可轻易理解，在此不再赘述。

随后，针对每一关键帧kf2，处理单元43基于关键帧kf2的摄像装置旋转与位移数据kdata2，将点云模型pm2的点云数据pmdata2投影至关键帧kf2的关键影像km2，如此一来，将会得到相应于关键影像km2的一三维坐标点集合cset2。同样地，三维坐标点集合cset2包含各关键影像km2记录的特定场域特征点所对应的三维坐标点。

进一步来说，由于场域影片50中记录有立体标的物6，因此，关键帧kf2的关键影像km2中亦记录有立体标的物6。据此，处理单元43便可基于立体标的物6的标记点60，判断立体标的物6的标记点60在不同关键帧kf2的关键影像km2中的多个二维坐标点2dp2。需特别说明，在第二实施例中，立体标的物6是立方体，二维坐标点2dp2相应于标记点60中的四标记点60a～60d。

接着，处理单元43根据二维坐标点2dp2，在三维坐标点数据集合cset2中挑选关联性最高的四个三维坐标点3dp2(例如：投影点与二维坐标点2dp2距离最近的三维坐标点)，如此，三维坐标点3dp2则相应于标记点60的四标记点60a～60d。

随后，处理单元43根据立体标的物6的四标记点60a～60d的实际点坐标(使用者提供)计算一实际中心坐标点(未示出)，并分别计算标记点60a～60d与实际中心坐标点的四实际距离。另外，处理单元43根据三维坐标点3dp2计算一参考中心坐标点(未示出)，并分别计算三维坐标点3dp2与参考中心坐标点的多个参考距离。据此，处理单元43便可根据多个实际距离以及多个参考距离计算一空间比值。其中，空间比值是多个实际距离的平均距离与多个参考距离的平均距离的比值。

再者，处理单元43进一步根据标记点60a～60d的实际坐标点、三维坐标点3dp2以及空间比值，计算一空间旋转矩阵(未示出)以及一空间位移矩阵(未示出)，并基于空间旋转矩阵、空间位移矩阵或二矩阵的组合决定一空间坐标转换关系(未示出)。其中，空间坐标转换关系包含空间旋转矩阵、空间位移矩阵或二矩阵的组合。如此一来，虚拟空间的以及实际空间的坐标，便可通过空间旋转矩阵、空间位移矩阵或二矩阵的组合完成转换。

需特别说明，处理单元43可基于奇异值分解(singularvaluedecomposition,svd)技术或随机抽样一致性(randomsampleconsensus,ransac)技术，针对标记点的实际坐标点、三维坐标点以及空间比值计算前述的矩阵，本领域技术人员应可轻易理解，在此不再赘述。

另外，前述实施例的传输接口可为实体传输线路或无线网络收发器，处理单元可为中央处理单元、其他可执行相关指令的硬件电路元件或本领域技术人员可通过本发明内容理解的的其他计算电路中的任一者，惟其并非用以限制本发明的硬件实施态样。

本发明的第三实施例为空间坐标转换方法，其流程图请参考图3。第三实施例的方法是用于一空间坐标转换服务器(例如前述实施例的空间坐标转换服务器)。第三实施例的详细步骤如下所述。

首先，执行步骤301，空间坐标转换服务器从一摄像装置接收一场域影片。其中，场域影片记录有一立体标的物，立体标的物具有多个标记点。执行步骤302，空间坐标转换服务器根据场域影片产生一点云模型。其中，点云模型包含多个点云数据。执行步骤303，空间坐标转换服务器判断场域影片的多个关键帧。其中，各关键帧包含一关键影像以及一摄像装置旋转与位移数据。

接着，执行步骤304，空间坐标转换服务器基于各关键帧的摄像装置旋转与位移数据，将点云模型的点云数据投影至相应的各关键帧的关键影像，以产生相应于各关键帧的关键影像的一三维坐标点集合。执行步骤305，空间坐标转换服务器基于标记点，判断立体标的物在各关键帧的关键影像中的多个二维坐标点。其中，二维坐标点相应于标记点的至少二标记点。

随后，执行步骤306，空间坐标转换服务器根据二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点。其中，三维坐标点相应于至少二标记点。最后，执行步骤307，空间坐标转换服务器根据至少二标记点的实际点坐标以及三维坐标点，决定一空间坐标转换关系。

本发明的第四实施例为空间坐标转换方法，其流程图请参考图4a～4b。第四实施例的方法是用于一空间坐标转换服务器(例如前述实施例的空间坐标转换服务器)。第四实施例的详细步骤如下所述。

首先，执行步骤401空间坐标转换服务器从一摄像装置接收一场域影片。其中，场域影片记录有一立体标的物，立体标的物具有多个标记点。执行步骤402，空间坐标转换服务器基于slam技术，根据场域影片产生一点云模型。其中，点云模型包含多个点云数据。执行步骤403，空间坐标转换服务器判断场域影片的多个关键帧。其中，各关键帧包含一关键影像以及一摄像装置旋转与位移数据。

接着，执行步骤404，空间坐标转换服务器基于各关键帧的摄像装置旋转与位移数据，将点云模型的点云数据投影至相应的各关键帧的关键影像，以产生相应于各关键帧的关键影像的一三维坐标点集合。执行步骤405，空间坐标转换服务器基于标记点，判断立体标的物在各关键帧的关键影像中的多个二维坐标点。其中，二维坐标点相应于标记点的至少二标记点。执行步骤406，空间坐标转换服务器根据二维坐标点，在三维坐标点数据集合中挑选多个三维坐标点。其中，三维坐标点相应于至少二标记点。

随后，执行步骤407a及步骤407b。其中，步骤407a主要是空间坐标转换服务器根据立体标的物的至少二标记点的实际点坐标计算一实际中心坐标点，并分别计算至少二标记点与实际中心坐标点的至少二实际距离。步骤407b主要是空间坐标转换服务器根据三维坐标点计算一参考中心坐标点，并分别计算三维坐标点与参考中心坐标点的多个参考距离。

执行步骤408，空间坐标转换服务器根据至少二实际距离以及参考距离计算一空间比值。其中，空间比值是至少二实际距离的平均距离与参考距离的平均距离的比值。执行步骤409，空间坐标转换服务器基于svd或ransac技术，根据至少二标记点的实际坐标点、三维坐标点以及空间比值，计算一空间旋转矩阵或一空间位移矩阵，并据以决定一空间坐标转换关系。其中，空间坐标转换关系包含空间旋转矩阵或空间位移矩阵。

综合上述，本发明的空间坐标转换服务器及方法，主要可通过场域中特殊立体标的物的设置与辨识，大幅地增加坐标转换的可靠度，如此一来，便可降低空间坐标转换及对齐的误差，提升空间叠的合正确性，并改善先前技术的缺点。

惟上述实施例仅为例示性说明本发明的实施态样，以及阐释本发明的技术特征，并非用来限制本发明的保护范畴。任何熟悉此技艺的人士可轻易完成的改变或均等性的安排均属于本发明所主张的范围，本发明的权利保护范围应以申请专利范围为准。