一种基于人机交互的三维绘图系统及方法

1.本发明涉及三维绘图技术领域，尤其涉及一种基于人机交互的三维绘图系统及方法。


背景技术：

2.现如今，随着3d打印技术的飞速发展，对涉及软件以及硬件的三维绘图技术提出了更为严格的标准，在服装、鞋子以及文物修复等技术领域，都需要进行三维绘图，从而获取相关物体的三维结构，于是，三维绘图系统的设计是十分必要的。
3.因此，提供一种新的技术方案改善上述问题，是本领域技术人员急需解决的问题。


技术实现要素：

4.有鉴于此，本发明提供一种基于人机交互的三维绘图系统及方法，以解决上述技术问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种基于人机交互的三维绘图系统，包括：信息输入模块、信息处理模块、三维图像制作模块、三维图像输出模块、无线传输模块和移动终端模块。
7.在上述的方案中，所述信息输入模块用于采集用户的绘图信息、具体实物的三维模型信息以及二维图像信息。
8.在上述的方案中，所述信息处理模块与所述信息输入模块相连接，所述信息处理模块用于对所述信息输入模块输入的相关信息进行分析处理。
9.在上述的方案中，所述三维图像制作模块用于根据所述信息处理模块的分析处理结果进行三维图像的制作。
10.在上述的方案中，所述三维图像输出模块与所述三维图像制作模块相连接，所述三维图像输出模块用于对所述三维图像制作模块制作的三维图像进行展示。
11.在上述的方案中，所述移动终端模块通过所述无线传输模块与所述信息输入模块和所述三维图像制作模块相互通信，所述移动终端模块用于无线传输待输入的信息至所述信息输入模块，远程控制所述信息输入模块的相关单元，并接收所述三维图像制作模块制作的三维图像。
12.在上述的方案中，所述信息输入模块包括绘图板单元、二维图像采集单元和三维扫描单元，所述绘图板单元包括绘图板主体、安装在绘图板主体内部的绘图板控制器、安装在绘图板主体上的操作按键组、安装在绘图板主体上的指示灯组、安装在绘图板主体上的电子屏、安装在所述绘图板主体上的画笔固定机构和触控画笔，所述操作按键组、所述指示灯组和所述电子屏均与所述绘图板控制器电连接，所述绘图板控制器用于对用户通过所述触控画笔输入的绘画信息进行缓存，并将用户通过所述操作按键组输入的操作信息进行解析，控制所述指示灯组对绘画板的状态进行指示，以及控制所述电子屏对绘画信息进行显示；所述二维图像采集单元包括云台摄像机和摄像机控制器，所述摄像机控制器与所述云
台摄像机电连接；所述三维扫描单元包括三维激光扫描仪、扫描仪云台、扫描仪驱动电机和扫描仪控制器，所述三维激光扫描仪安装在所述扫描仪云台上，所述扫描仪驱动电机与所述扫描仪云台电连接，所述扫描仪控制器与所述扫描仪驱动电机电连接。
13.在上述的方案中，所述信息处理模块包括二维图像处理单元，所述二维图像处理单元包括归一化模块、细化处理模块和滤波模块，所述归一化模块用于对所述信息输入模块输入的二维图像进行归一化处理，所述细化处理模块与所述归一化模块相连接，所述细化处理模块用于通过细化算法对经过归一化处理图像进行细化处理，对图像中的像素点进行判断，删除像素点中的背景点，所述滤波模块与所述细化处理模块相连接，所述滤波模块用于通过高斯滤波器对经过细化处理的图像进行滤波处理。
14.在上述的方案中，所述二维图像处理单元还包括特征提取模块、图片特征匹配模块和点云模型获取模块，所述特征提取模块与所述滤波模块相连接，所述特征提取模块用于通过sift算子查找经过滤波处理的图像的特征点，并计算特征点的位置、方向和尺寸，以及为每个特征点建立描述符，所述图片特征匹配模块与所述特征提取模块相连接，所述图片特征匹配模块用于通过快速近似最近邻算法对同一物体的多个图像之间进行两两特征匹配，所述点云模型获取模块与所述图片特征匹配模块相连接，所述点云模型获取模块用于对特征匹配的图像像对进行相对定向，计算图像像对中一个图像的旋转矩阵和平移向量，并根据旋转矩阵、平移向量和像素点坐标计算图像像对中各个像素点三维点坐标，并通过非线性优化获取物体对应的点云模型。
15.在上述的方案中，所述信息处理模块还包括三维模型处理单元，所述三维模型处理单元包括三维模型预处理模块、轮廓线获取模块和轮廓线处理模块，所述三维模型预处理模块包括去噪单元、孔洞修补单元和模型简化单元，所述去噪单元用于通过漂移双边滤波算法对所述信息输入模块输入的三维模型进行去噪处理，并通过非漂移双边滤波算法对经过漂移双边滤波算法处理的三维模型进行再次去噪处理，所述孔洞修补单元与所述去噪单元相连接，所述孔洞修补单元用于通过各向异性孔洞修补算法对去噪后的三维模型进行孔洞修补处理，所述孔洞修补单元与所述孔洞修补单元相连接，所述孔洞修补单元用于通过网格简化算法对经过孔洞修补处理的三维模型进行简化处理；所述轮廓线获取模块与所述三维模型预处理模块相连接，所述轮廓线获取模块用于通过脊线检测算法获取经过简化处理的三维模型的轮廓线；所述轮廓线处理模块与所述轮廓线获取模块相连接，所述轮廓线处理模块用于通过轮廓线演化算法对三维模型的轮廓线进行风格化处理。
16.在上述的方案中，所述三维图像制作模块包括点云模型处理单元、纹理贴图单元和三维图像获取单元，所述云模型处理单元用于对所述信息处理模块获取的点云模型输入预设的3dgan网络模型，根据输入的点云模型，获取全局三维模型点云数据，并得到三维模型点云数据对应的三维模型，所述纹理贴图单元与所述点云模型处理单元处理单元相连接，所述纹理贴图单元用于接收用户通过所述移动终端模块输入的纹理信息，并对所述点云模型处理单元获取的三维模型以及所述信息处理模块处理后的三维模型进行纹理贴图，所述三维图像获取单元用于根据纹理贴图后的三维模型得打三维图像。
17.在上述的方案中，所述三维图像输出模块包括lcd触摸显示屏、显示屏按键组、显示屏指示灯和显示屏主控板，所述显示屏按键组设置在所述lcd触摸显示屏的右侧，所述显示屏指示灯设置在所述lcd触摸显示屏的右下方，所述显示屏主控板与所述lcd触摸显示屏
和所述显示屏按键组电连接，所述显示屏主控板接收所述三维图像制作模块制作的三维图像，并发送至所述lcd触摸显示屏进行显示，并接收显示屏按键组的操控信息，控制所述lcd触摸显示屏进行相关信息的显示，以及控制所述显示屏指示灯进行开启和关闭。
18.本发明还一种基于人机交互的三维绘图方法，采用如上所述的基于人机交互的三维绘图系统进行绘制包括：
19.通过信息输入模块采集用户的绘图信息、具体实物的三维模型信息以及二维图像信息；
20.通过信息处理模块对所述信息输入模块输入的相关信息进行分析处理；
21.通过三维图像制作模块根据所述信息处理模块的分析处理结果进行三维图像的制作；
22.通过三维图像输出模块用于对所述三维图像制作模块制作的三维图像进行展示。
23.在上述的方案中，所述通过信息处理模块对所述信息输入模块输入的相关信息进行分析处理包括：
24.对所述信息输入模块输入的二维图像进行归一化处理；
25.通过细化算法对经过归一化处理图像进行细化处理，对图像中的像素点进行判断，删除像素点中的背景点；
26.通过高斯滤波器对经过细化处理的图像进行滤波处理；
27.通过sift算子查找经过滤波处理的图像的特征点，并计算特征点的位置、方向和尺寸，以及为每个特征点建立描述符；
28.通过快速近似最近邻算法对同一物体的多个图像之间进行两两特征匹配；
29.对特征匹配的图像像对进行相对定向，计算图像像对中一个图像的旋转矩阵和平移向量，并根据旋转矩阵、平移向量和像素点坐标计算图像像对中各个像素点三维点坐标，并通过非线性优化获取物体对应的点云模型。
30.在上述的方案中，所述通过信息处理模块对所述信息输入模块输入的相关信息进行分析处理还包括：
31.通过漂移双边滤波算法对所述信息输入模块输入的三维模型进行去噪处理，并通过非漂移双边滤波算法对经过漂移双边滤波算法处理的三维模型进行再次去噪处理；
32.通过各向异性孔洞修补算法对去噪后的三维模型进行孔洞修补处理；
33.通过网格简化算法对经过孔洞修补处理的三维模型进行简化处理；
34.通过脊线检测算法获取经过简化处理的三维模型的轮廓线；
35.通过轮廓线演化算法对三维模型的轮廓线进行风格化处理。
36.综上所述，本发明的有益效果是：通过信息输入模块用于采集用户的绘图信息、具体实物的三维模型信息以及二维图像信息，通过信息处理模块对信息输入模块输入的相关信息进行分析处理，并通过三维图像制作模块用于根据所述信息处理模块的分析处理结果进行三维图像的制作，同时，通过移动终端模块将信息传输至信息输入模块，远程控制信息输入模块的相关单元，并接收所述三维图像制作模块制作的三维图像，可根据用户需求进行三维模型获取，方便操作。
附图说明
37.构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
38.图1为本发明中基于人机交互的三维绘图系统的组成示意图。
39.图2为本发明中信息输入模块的组成示意图。
40.图3为本发明中信息处理模块的组成示意图。
41.图4为本发明中三维图像制作模块的组成示意图。
42.图5为本发明中三维图像输出模块的组成示意图。
43.图6为本发明中基于人机交互的三维绘图方法的步骤图。
44.图7为本发明中对二维图像处理的步骤图。
45.图8为本发明中对三维模型处理的步骤图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
47.如图1所示，本发明的一种基于人机交互的三维绘图系统，包括：信息输入模块、信息处理模块、三维图像制作模块、三维图像输出模块、无线传输模块和移动终端模块。
48.下面结合附图对本发明上述各模块间的连接关系做进一步详细说明。
49.所述信息输入模块用于采集用户的绘图信息、具体实物的三维模型信息以及二维图像信息；所述信息处理模块与所述信息输入模块相连接，所述信息处理模块用于对所述信息输入模块输入的相关信息进行分析处理；所述三维图像制作模块用于根据所述信息处理模块的分析处理结果进行三维图像的制作；所述三维图像输出模块与所述三维图像制作模块相连接，所述三维图像输出模块用于对所述三维图像制作模块制作的三维图像进行展示；所述移动终端模块通过所述无线传输模块与所述信息输入模块和所述三维图像制作模块相互通信，所述移动终端模块用于无线传输待输入的信息至所述信息输入模块，远程控制所述信息输入模块的相关单元，并接收所述三维图像制作模块制作的三维图像。
50.在本实施例中，所述无线传输模块包括wifi通信单元、4g通信单、5g通信单元以及蓝牙通信单元中的一种或多种，所述移动终端模块包括智能手机、ipad、笔记本电脑等设备中的一种或多种。
51.如图2所示，所述信息输入模块包括绘图板单元、二维图像采集单元和三维扫描单元，所述绘图板单元包括绘图板主体、安装在绘图板主体内部的绘图板控制器、安装在绘图板主体上的操作按键组、安装在绘图板主体上的指示灯组、安装在绘图板主体上的电子屏、安装在所述绘图板主体上的画笔固定机构和触控画笔，所述操作按键组、所述指示灯组和所述电子屏均与所述绘图板控制器电连接，所述绘图板控制器用于对用户通过所述触控画笔输入的绘画信息进行缓存，并将用户通过所述操作按键组输入的操作信息进行解析，控制所述指示灯组对绘画板的状态进行指示，以及控制所述电子屏对绘画信息进行显示；所述二维图像采集单元包括云台摄像机和摄像机控制器，所述摄像机控制器与所述云台摄像机电连接；所述三维扫描单元包括三维激光扫描仪、扫描仪云台、扫描仪驱动电机和扫描仪
控制器，所述三维激光扫描仪安装在所述扫描仪云台上，所述扫描仪驱动电机与所述扫描仪云台电连接，所述扫描仪控制器与所述扫描仪驱动电机电连接。
52.在本实施例中，所述操作按键组包括撤销按键、删除按键、屏幕按键和电源按键，所述指示灯组包括连接指示灯和电源指示灯，所述连接指示灯用于指示所述绘图板单元与所述信息处理模块通过信息通信接口的连接状态；所述摄像机控制器接收用户通过所述移动终端模块发送的摄像机控制信号，并控制所述云台摄像机进行二维图像采集；所述扫描仪控制器接收用户通过所述移动终端模块发送的扫描仪控制信号，并控制所述三维激光扫描仪进行三维模型采集，并控制所述扫描仪驱动电机驱动所述扫描仪云台进行转动。
53.在本实施例中，用户绘制的图像包括主视图、侧视图和俯视图，所述云台摄像机采集的图像包括物体多个维度的图像，所述三维激光扫描仪对物体的多个维度进行扫描。
54.如图3所示，所述信息处理模块包括二维图像处理单元，所述二维图像处理单元包括归一化模块、细化处理模块和滤波模块，所述归一化模块用于对所述信息输入模块输入的二维图像进行归一化处理，所述细化处理模块与所述归一化模块相连接，所述细化处理模块用于通过细化算法对经过归一化处理图像进行细化处理，对图像中的像素点进行判断，删除像素点中的背景点，所述滤波模块与所述细化处理模块相连接，所述滤波模块用于通过高斯滤波器对经过细化处理的图像进行滤波处理。
55.进一步地，所述二维图像处理单元还包括特征提取模块、图片特征匹配模块和点云模型获取模块，所述特征提取模块与所述滤波模块相连接，所述特征提取模块用于通过sift算子查找经过滤波处理的图像的特征点，并计算特征点的位置、方向和尺寸，以及为每个特征点建立描述符，所述图片特征匹配模块与所述特征提取模块相连接，所述图片特征匹配模块用于通过快速近似最近邻算法对同一物体的多个图像之间进行两两特征匹配，所述点云模型获取模块与所述图片特征匹配模块相连接，所述点云模型获取模块用于对特征匹配的图像像对进行相对定向，计算图像像对中一个图像的旋转矩阵和平移向量，并根据旋转矩阵、平移向量和像素点坐标计算图像像对中各个像素点三维点坐标，并通过非线性优化获取物体对应的点云模型。
56.进一步地，所述信息处理模块还包括三维模型处理单元，所述三维模型处理单元包括三维模型预处理模块、轮廓线获取模块和轮廓线处理模块，所述三维模型预处理模块包括去噪单元、孔洞修补单元和模型简化单元，所述去噪单元用于通过漂移双边滤波算法对所述信息输入模块输入的三维模型进行去噪处理，并通过非漂移双边滤波算法对经过漂移双边滤波算法处理的三维模型进行再次去噪处理，所述孔洞修补单元与所述去噪单元相连接，所述孔洞修补单元用于通过各向异性孔洞修补算法对去噪后的三维模型进行孔洞修补处理，所述孔洞修补单元与所述孔洞修补单元相连接，所述孔洞修补单元用于通过网格简化算法对经过孔洞修补处理的三维模型进行简化处理；所述轮廓线获取模块与所述三维模型预处理模块相连接，所述轮廓线获取模块用于通过脊线检测算法获取经过简化处理的三维模型的轮廓线；所述轮廓线处理模块与所述轮廓线获取模块相连接，所述轮廓线处理模块用于通过轮廓线演化算法对三维模型的轮廓线进行风格化处理。
57.在本实施例中，首先使用漂移双边滤波算法进行去噪，可以去除大块的噪声，再使用非漂移双边滤波算法进行去噪，可以去除小块噪声；通过演化算法对三维模型的轮廓线进行了风格化处理可以使线条变得更加圆润与连续，消除了线条过于僵硬与线条不连续的
问题,使三维模型的轮廓线更加自然美观。
58.如图4所示，所述三维图像制作模块包括点云模型处理单元、纹理贴图单元和三维图像获取单元，所述云模型处理单元用于对所述信息处理模块获取的点云模型输入预设的3dgan网络模型，根据输入的点云模型，获取全局三维模型点云数据，并得到三维模型点云数据对应的三维模型，所述纹理贴图单元与所述点云模型处理单元处理单元相连接，所述纹理贴图单元用于接收用户通过所述移动终端模块输入的纹理信息，并对所述点云模型处理单元获取的三维模型以及所述信息处理模块处理后的三维模型进行纹理贴图，所述三维图像获取单元用于根据纹理贴图后的三维模型得打三维图像。
59.如图5所示，所述三维图像输出模块包括lcd触摸显示屏、显示屏按键组、显示屏指示灯和显示屏主控板，所述显示屏按键组设置在所述lcd触摸显示屏的右侧，所述显示屏指示灯设置在所述lcd触摸显示屏的右下方，所述显示屏主控板与所述lcd触摸显示屏和所述显示屏按键组电连接，所述显示屏主控板接收所述三维图像制作模块制作的三维图像，并发送至所述lcd触摸显示屏进行显示，并接收显示屏按键组的操控信息，控制所述lcd触摸显示屏进行相关信息的显示，以及控制所述显示屏指示灯进行开启和关闭。
60.在本实施例中，所述显示屏按键组包括电源按键、亮度调节按键等，所述显示屏指示灯用于指示所述lcd触摸显示屏的电源连接状态。
61.如图6所示，本发明还一种基于人机交互的三维绘图方法，采用如上所述的基于人机交互的三维绘图系统进行绘制包括：
62.步骤s1:通过信息输入模块采集用户的绘图信息、具体实物的三维模型信息以及二维图像信息；
63.步骤s2:通过信息处理模块对所述信息输入模块输入的相关信息进行分析处理；
64.步骤s3:通过三维图像制作模块根据所述信息处理模块的分析处理结果进行三维图像的制作；
65.步骤s4:通过三维图像输出模块用于对所述三维图像制作模块制作的三维图像进行展示。
66.如图7所示，通过信息处理模块对二维图像处理过程包括：
67.步骤s211:对所述信息输入模块输入的二维图像进行归一化处理；
68.步骤s212:通过细化算法对经过归一化处理图像进行细化处理，对图像中的像素点进行判断，删除像素点中的背景点；
69.步骤s213:通过高斯滤波器对经过细化处理的图像进行滤波处理；
70.步骤s214:通过sift算子查找经过滤波处理的图像的特征点，并计算特征点的位置、方向和尺寸，以及为每个特征点建立描述符；
71.步骤s215:通过快速近似最近邻算法对同一物体的多个图像之间进行两两特征匹配；
72.步骤s216:对特征匹配的图像像对进行相对定向，计算图像像对中一个图像的旋转矩阵和平移向量，并根据旋转矩阵、平移向量和像素点坐标计算图像像对中各个像素点三维点坐标，并通过非线性优化获取物体对应的点云模型。
73.如图8所示，对三维模型处理的过程包括：
74.步骤s221:通过漂移双边滤波算法对所述信息输入模块输入的三维模型进行去噪
处理，并通过非漂移双边滤波算法对经过漂移双边滤波算法处理的三维模型进行再次去噪处理；
75.步骤s222:通过各向异性孔洞修补算法对去噪后的三维模型进行孔洞修补处理；
76.步骤s223:通过网格简化算法对经过孔洞修补处理的三维模型进行简化处理；
77.步骤s224:通过脊线检测算法获取经过简化处理的三维模型的轮廓线；
78.步骤s225:通过轮廓线演化算法对三维模型的轮廓线进行风格化处理。
79.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。