智能终端及其3D成像方法、3D成像系统与流程

本发明涉及3d立体视觉技术领域，特别是涉及一种智能终端及其3d成像方法、3d成像系统。

背景技术：

智能相机是一种高度集成化的微小型机器视觉系统，它一般由图像采集单元、图像处理单元、图像处理软件、网络通信装置等构成，其将图像的采集、处理与通信功能集成于单一相机内，从而提供了具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案。其中，图像采集单元将光学图像转换为模拟/数字图像，并输出至图像处理单元；图像处理单元对图像采集单元的图像数据进行实时存储，并在图像处理软件的支持下进行图像处理；图像处理软件在图像处理单元硬件的支持下，完成图像处理功能；网络通信装置完成控制信息、图像数据的通信任务。目前而言，智能相机的3d基本视觉原理是先利用图像传感器对目标对象进行拍照，取得物体的图像信息，然后对图像信息进行计算处理得到目标物的3d图像。

但智能相机的计算量有限，一般只能处理简单的图像任务，且图像传感器和通讯模块无法扩展升级，从而限制了其应用程度，使得智能相机无法胜任复杂、高精度的3d成像。

技术实现要素：

本发明主要解决的技术问题是提供一种智能终端及其3d成像方法、3d成像系统，解决智能终端无法胜任复杂、高精度的3d成像的问题。

为解决上述技术问题，本发明采用的第一个技术方案是：一种智能终端的3d成像方法，该智能终端的3d成像方法包括：智能终端获取目标物的原始图像；智能终端提取原始图像中的特征信息，并将原始图像及特征信息传输给计算单元；计算单元根据原始图像及特征信息进行特征匹配及计算；智能终端根据特征匹配及计算结果形成目标物的3d图像。

为解决上述技术问题，本发明采用的第二个技术方案是：一种智能终端，该智能终端包括：通信电路、存储器及处理器；通信电路用于获取及传输指令；存储器用于处理器执行的程序以及在执行程序时所产生的中间数据；处理器执行智能终端程序时，实现上述智能终端的3d成像方法中的任一步骤。

为解决上述技术问题，本发明采用的第三个技术方案是：一种3d成像系统，该3d成像系统包括：智能终端和计算单元，计算单元与智能终端信号连接，该3d成像系统能够实现上述智能终端的3d成像方法中的任一步骤。

本发明的有益效果是：区别于现有技术的情况，本发明通过给智能终端外连一个计算单元，让智能终端对目标物进行自动追踪和提取特征信息，让计算单元接收智能终端输出的特征信息和原始图像，并进行特征匹配计算，再将匹配计算结果反馈给智能终端，智能终端根据反馈信息进行成像或者做进一步地特征提取。这样使智能终端只需要运行简单的计算任务，而将复杂的计算任务交由独立的计算单元进行处理，从而优化了智能终端的性能，并为其扩展了更多的应用能力，使其能胜任处理复杂、高精度的3d成像任务，提高了用户体验度。

附图说明

图1是本发明提供的一种智能终端的3d成像方法的流程示意图；

图2是本发明提供的一种智能终端的3d成像系统的结构示意图；

图3是本发明提供的一种智能终端的3d成像系统中智能终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。

本发明为了让智能终端能胜任处理复杂、高精度的3d成像任务，给智能终端外接一个计算单元，该计算单元与智能终端信号连接。智能终端主要用于对目标物进行追踪、提取目标物图像中的特征信息及进行简单的运算任务。具体地，以智能终端是智能相机为一具体实施方式对本发明中智能终端的3d成像方法进行说明。以下，结合附图进行详细说明。

请参阅图1，图1是本发明提供的一种智能终端的3d成像方法的流程示意图。该智能终端的3d成像方法主要包括四个步骤。

步骤101：智能终端获取目标物的原始图像。

该智能终端包括智能相机、智能手机、平板电脑等智能设备，以智能终端是智能相机为具体实施方式对本发明进行说明。先标定，让智能相机获取标定的参数信息，然后对目标物进行追踪，并获取目标物的原始图像。其中，智能相机为单目相机、双目相机或多目相机。

需要说明的是，在获取目标物图像信息的过程中，为确定目标物表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机的参数，获取这些参数的过程称之为相机的标定。

在一具体实施方式中，智能相机的标定包括智能相机内部参数和外部参数的标定，通过标定获取主点坐标、焦距、径向畸变系数、横向畸变系数等内部参数以及旋转矩阵、平移矩阵等外部参数。标定完后，对目标物进行追踪，即对目标物进行对焦，连续获取目标物的原始图像。

步骤102：智能终端提取原始图像中的特征信息，并将原始图像及特征信息传输给计算单元。

智能相机获取目标物的原始图像后，对目标物图像做特征检测和前后帧的特征预估，提取原始图像中的特征信息，其中，特征信息包括特征点和特征线。智能相机再将提取出来的特征信息及原始图像传输给计算单元，其中，计算单元包括云端服务器和具有逻辑门电路的运算器，在此不作具体限定。

在一具体实施方式中，智能终端的3d成像系统包括两个智能相机和一个计算单元，目标物是一个三角形状的物体，两个智能相机分别获取该三角形状物体的原始图像后，对该物体图像做特征检测和前后帧的特征预估，提取该物体图像中比较明显的三个特征点，比如提取三角形状物的三个顶点，两个智能相机分别将提取出的三个顶点以及拍摄的原始图像信息传输给计算单元。

在其他实施方式中，智能相机也可以提取目标物中的特征线，比如提取三角形状物的三条边线，两个智能相机分别将提取出的三条边线以及拍摄的原始图像信息传输给计算单元。在其他情形中，智能相机也可以既提取特征点又提取特征线，比如提取三角形状物的一条边线和两个顶点，两个智能相机分别将提取出的一条边线和两个顶点以及拍摄的原始图像信息传输给计算单元。

步骤103：计算单元根据原始图像及特征信息进行特征匹配及计算。

计算单元根据获取的原始图像及特征信息，先对全图进行特征匹配，再对子区域进行特征匹配，若匹配成功，则根据匹配结果进行分布式运算；若匹配不成功，则计算单元将匹配失败的特征信息反馈给智能相机，智能相机重新获取目标物的原始图像，提取图像中的特征信息，并将特征信息传输给计算单元重新进行匹配计算。

在一具体实施例中，目标物为具有三角形状的物体，计算单元根据从两个智能相机分别获取的三个顶点以及拍摄的原始图像信息进行特征匹配，匹配成功后进行分布式运算；若分别提取的三个顶点中有一个匹配失败，则计算单元将这个匹配失败顶点的信息反馈给智能相机，智能相机重新提取特征点，比如提取三角形状物一条边的中点为特征点，两个智能相机分别将提取的中点及图像信息传输给计算单元，计算单元重新进行匹配计算。

在其他实施例中，当提取的特征点匹配失败时，也可以重新提取特征线进行匹配。比如，分别提取三角形状物的三个顶点中有一个匹配失败时，计算单元将这个匹配失败顶点的信息反馈给智能相机，智能相机重新提取特征线，比如提取三角形状物的一条边线，两个智能相机分别将提取的边线及图像信息传输给计算单元，计算单元重新进行匹配计算。

智能相机在提取特征信息的过程中，增加匹配成功率高的特征类型所占的比例，减少匹配成功率低的特征类型所占的比例。例如，两个智能相机分别提取了目标物图像的100个特征点，并分别传输给计算单元进行匹配，只有30个特征点匹配成功，即匹配成功率为30％，计算单元将那70个匹配失败特征点的信息反馈给智能相机，两个智能相机重新提取70个特征线，并将分别提取的70个特征线传输给计算单元进行匹配，这70个特征线全部匹配成功，即匹配成功率为100％。则在对该三角形状物的继续拍摄过程中，智能相机会增加特征线所占的比例，而减少特征点所占的比例，比如同样提取100个特征时，提取90个特征线而只提取10个特征点，这样更有针对性的提取特征信息能增加匹配的成功率。

步骤104：智能终端根据特征匹配及计算结果形成目标物的3d图像。

当计算单元根据智能相机提取的特征信息及原始图像进行匹配计算成功时，智能终端根据特征匹配及计算结果形成目标物的3d图像，即可以通过智能相机观测到目标物的3d图像。

由上述可知，本发明通过给智能终端外连一个计算单元，让智能终端对目标物进行自动追踪和提取特征信息，让计算单元接收智能终端输出的特征信息和原始图像，并进行特征匹配计算，再将匹配计算结果反馈给智能终端，智能终端根据反馈信息进行成像或者做进一步地特征提取。这样使智能终端只需要运行简单的计算任务，而将复杂的计算任务交由独立的计算单元进行处理，从而优化了智能终端的性能，并为其扩展了更多的应用能力，使其能胜任处理复杂、高精度的3d成像任务，提高了用户体验度。

请参阅图2，图2是本发明提供的一种智能终端的3d成像系统的结构示意图，该3d成像系统包括：第一智能相机201、第二智能相机202、计算单元203，计算单元203与第一智能相机201和第二智能相机202信号连接，计算单元203为云端服务器或为具有逻辑门电路的运算器，具体不做限定。其中，第一智能相机201和第二智能相机202为两个型号参数完全相同的相机或型号参数有所不同的相机，具体根据实际情况而定。例如，设定第一智能相机201和第二智能相机202接收光波波长的具体范围有所不同，这样可以将两个智能相机得到的图像进行融合得到目标物更精确的图像信息，但这同时也会增加生产的难度。其中，两个智能相机为单目相机、双目相机或者多目相机，具体不做限定。第一智能相机201和第二智能相机202均用于对目标物进行追踪，获取目标物的原始图像，并提取图像中的特征信息，其中，特征信息包括特征点和特征线。在进行追踪前需先定标，通过定标获取智能相机的内部参数和外部参数，其中，追踪是指智能相机根据来自目标物的光场信息不断进行对焦，连续获取目标物的图像信息。第一智能相机201和第二智能相机202分别将提取的特征信息及原始图像信息传输给计算单元203，计算单元203根据获取的特征信息及原始图像进行特征匹配及分布式运算，其中，计算单元在进行特征匹配时先对全图进行特征匹配，再对子区域进行特征匹配。计算单元203匹配运算成功后，智能相机根据计算单元203的运算结果形成目标物的3d图像。

请参阅图3，图3是本发明提供的一种智能终端的3d成像系统中智能终端的结构示意图。智能终端301包括通信电路302、存储器303及处理器304，通信电路302用于获取及传输指令，存储器303用于存储处理器304执行的程序以及在执行程序时所产生的中间数据，处理器304执行智能终端301的程序时，实现上述的3d成像方法。

在一个具体的实施场景中，智能终端301为智能相机，智能相机包括单目相机、双目相机或者多目相机，具体不做限定。通信电路302获取到对目标进行追踪的指令时，智能终端301对目标物进行追踪，获取目标物的原始图像，提取图像中的特征信息，并将原始图像及特征信息存储在存储器303中，其中，特征信息包括特征点和特征线。在智能终端301对目标物进行追踪前需先定标，通过定标获取智能终端301的内部参数和外部参数，并将这些参数信息存储在存储器303中，其中，追踪是指智能终端301根据来自目标物的光场信息不断进行对焦，连续获取目标物的图像信息。智能终端301将提取的特征信息及原始图像信息传输给计算单元后，计算单元根据获取的特征信息及原始图像进行特征匹配及分布式运算，其中，计算单元在进行特征匹配时先对全图进行特征匹配，再对子区域进行特征匹配。计算单元匹配运算成功后，通信电路302获取匹配运算成功的指令，处理器304根据匹配运算的结果形成目标物的3d图像。

区别于现有技术的情况，本发明通过给智能终端外连一个计算单元，让智能终端对目标物进行自动追踪和提取特征信息，让计算单元接收智能终端输出的特征信息和原始图像，并进行特征匹配计算，再将匹配计算结果反馈给智能终端，智能终端根据反馈信息进行成像或者做进一步地特征提取。这样使智能终端只需要运行简单的计算任务，而将复杂的计算任务交由独立的计算单元进行处理，从而优化了智能终端的性能，并为其扩展了更多的应用能力，使其能胜任处理复杂、高精度的3d成像任务，提高了用户体验度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。