一种整形外科肘关节演示控制系统及控制方法与流程

本发明属于演示技术领域，尤其涉及一种整形外科肘关节演示控制系统及控制方法。

背景技术：

整形外科是外科学专科之一，是采用医学和艺术的手段，对人体组织、器官的残缺、畸形，进行修复和重建，以及对正常人形体的美化和再塑造，达到功能的恢复和重建，形态的改善和美化。治疗包括修复与再造两个内容。以手术方法进行自体的各种组织移植为主要手段，也可采用异体、异种组织或组织代用品来修复各种原因所造成的组织缺损或畸形，以改善或恢复生理功能和外貌。然而，现有整形外科肘关节演示过程中，动画演示制作涉及到大量枯燥复杂的人工操作，制作成本高，制作周期长；同时，对演示投影体验效果较差，影响演示。

综上所述，现有技术存在的问题是：

现有整形外科肘关节演示过程中，动画演示制作涉及到大量枯燥复杂的人工操作，制作成本高，制作周期长；同时，对演示投影体验效果较差，影响演示。同时现有对于外科肘关节整形过程数据的采集都是固定在一个视角采集的画面，这样就会导致采集的数据是不完全的，同时无法及时跟踪医生移动采集具体的整形图像数据，采集到数据可用性低。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种整形外科肘关节演示控制系统及控制方法。

本发明是这样实现的，一种整形外科肘关节演示控制系统的控制方法，包括：

利用基于优化的稳像技术以及积分直方图粒子滤波跟踪的摄像器采集肘关节整形过程视频数据；

利用照明灯为肘关节整形过程提供照明操作；利用模型软件构建整形主体模型；

利用动画软件制作肘关节整形过程三维动画视频；获取角色主体的实体模型的多视点图像；根据多视点图像生成与所述角色主体的实体模型对应的角色主体的虚拟模型；对比同一角度获取的角色主体的实体模型的相邻图像的变化，得到该相邻图像的变化信息；根据变化信息控制所述角色主体的虚拟模型；

利用存储器存储采集视频及三维动画视频；

利用投影仪投影肘关节整形过程视频、三维动画视频，投影仪投影中，获取用户发出的声音信号；根据所述用户发出的声音信号，定位出所述用户与所述投影设备之间的位置关系；根据所述用户与所述投影设备之间的位置关系，确定符合所述用户观看需求的投影图像朝向；根据所述投影图像朝向将待投影图像投影至投影平面上。

进一步，所述获取所述角色主体的实体模型的多视点图像利用照相机对角色主体从多个不同角度进行拍摄。

进一步，所述根据所述多视点图像生成与所述角色主体的实体模型对应的角色主体的虚拟模型的步骤包括：

基于尺度不变特征变换算法对所述多视点图像的特征点进行抽取和匹配；

利用ransac算法去除匹配结果中的野点；

根据匹配结果进行照相机的自标定，获取照相机的内参和外参；

利用照相机的参数，对特征点进行摄影重构以修正特征点中的误匹配对，得到稀疏点云模型；

以稀疏点云模型为基础，进行基于立体视觉的三维重建，对重建结果进行融合，得到密集点云模型。

进一步，所述对比同一角度获取的所述实体模型的相邻图像的变化，得到该相邻图像的变化信息的步骤之前，还包括：根据所述角色主体的实体模型选取若干节点，并将所述若干节点的位置对应于所述角色主体的虚拟模型上相应的位置。

进一步，所述根据所述变化信息控制所述角色主体的虚拟模型通过根据所述变化信息获取所述若干节点的变化，控制所述角色主体的虚拟模型上对应所述若干节点的位置进行相应的变化。

进一步，根据所述用户发出的声音信号，定位出所述用户与所述投影设备之间的位置关系，包括：

将所述投影设备发出的光束中线在所述投影平面上的映射中线所在的方向设置为声音信号的0度参考方向；

根据所述用户发出的声音信号，计算出所述用户与所述投影设备之间的连线方向相对于所述0度参考方向的方向角度；

所述根据所述用户与所述投影设备之间的位置关系，确定符合所述用户观看需求的投影图像朝向，包括：

根据所述方向角度以及角度范围与投影图像朝向之间的映射关系，确定所述方向角度所属角度范围对应的投影图像朝向为所述符合所述用户观看需求的投影图像朝向。

本发明的另一目的在于提供一种终端，所述终端搭载实现所述整形外科肘关节演示控制系统的控制方法的控制器。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的整形外科肘关节演示控制系统的控制方法。

本发明的另一目的在于提供一种实施所述的整形外科肘关节演示控制系统的控制方法的整形外科肘关节演示控制系统，所述整形外科肘关节演示控制系统包括：

供电模块，与主控模块连接，用于为整形外科肘关节演示控制系统进行供电；

视频采集模块，与主控模块连接，用于通过摄像器采集肘关节整形过程视频数据；

主控模块，与供电模块、视频采集模块、照明模块、模型构建模块、三维动画制作模块、数据存储模块、投影模块连接，用于通过单片机控制各个模块正常工作；

照明模块，与主控模块连接，用于通过照明灯为肘关节整形过程提供照明操作；

模型构建模块，与主控模块连接，用于通过模型软件构建整形主体模型；

三维动画制作模块，与主控模块连接，用于通过动画软件制作肘关节整形过程三维动画视频；

数据存储模块，与主控模块连接，用于通过存储器存储采集视频及三维动画视频；

投影模块，与主控模块连接，用于通过投影仪投影肘关节整形过程视频、三维动画视频。

本发明的另一目的在于提供一种实施所述的整形外科肘关节演示控制系统的控制方法的整形外科肘关节演示控制设备。

本发明的优点及积极效果为：

本发明通过三维动画制作模块获取多视点图像生成角色主体的虚拟模型后，对比相邻图像变化，控制三维虚拟模型，能够提高三维动画制作效率，减少制作时间；同时，通过投影模块获取用户发出的声音信号，并根据用户发出的声音信号自动定位出用户与投影设备之间的位置关系；以及根据用户与投影设备之间的位置关系，确定符合用户观看需求的投影图像朝向，并根据投影图像朝向将待投影图像投影至投影平面上，使得投影设备可自动定位用户的位置，并根据用户的位置自动调整投影图像朝向，以满足用户的观看需求。对于用户来说，只需要发出声音信号，即可观看到符合观看需求的正立投影图像，提高人机交互便利性和友好性。

本发明采用基于稳像技术与粒子滤波跟踪算法的摄像机采集整形过程的图像数据，能够根据医生的移动进行摄像机方位的调整，保证能够录取到较为完整、精确的整形视频，同时稳像技术保证了不会因为摄像机的移动导致图像数据出现抖动，大大提高了整形图像数据采集的精准度以及可用性，提高演示的高效性以及精确性。

附图说明

图1是本发明实施例提供的整形外科肘关节演示控制系统结构框图。

图中：1、供电模块；2、视频采集模块；3、主控模块；4、照明模块；5、模型构建模块；6、三维动画制作模块；7、数据存储模块；8、投影模块。

图2是本发明实施例提供的整形外科肘关节演示控制系统的控制方法流程图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明包括。

现有整形外科肘关节演示过程中，动画演示制作涉及到大量枯燥复杂的人工操作，制作成本高，制作周期长；同时，对演示投影体验效果较差，影响演示。同时现有对于外科肘关节整形过程数据的采集都是固定在一个视角采集的画面，这样就会导致采集的数据是不完全的，同时无法及时跟踪医生移动采集具体的整形图像数据，采集到数据可用性低。

为解决上述技术问题，面结合附图对本发明的结构作详细的描述。

如图1所示，本发明实施例提供的整形外科肘关节演示控制系统包括：供电模块1、视频采集模块2、主控模块3、照明模块4、模型构建模块5、三维动画制作模块6、数据存储模块7、投影模块8。

供电模块1，与主控模块3连接，用于为整形外科肘关节演示控制系统进行供电。

视频采集模块2，与主控模块3连接，用于通过摄像器采集肘关节整形过程视频数据。

主控模块3，与供电模块1、视频采集模块2、照明模块4、模型构建模块5、三维动画制作模块6、数据存储模块7、投影模块8连接，用于通过单片机控制各个模块正常工作。

照明模块4，与主控模块3连接，用于通过照明灯为肘关节整形过程提供照明操作。

模型构建模块5，与主控模块3连接，用于通过模型软件构建整形主体模型。

三维动画制作模块6，与主控模块3连接，用于通过动画软件制作肘关节整形过程三维动画视频。

数据存储模块7，与主控模块3连接，用于通过存储器存储采集视频及三维动画视频。

投影模块8，与主控模块3连接，用于通过投影仪投影肘关节整形过程视频、三维动画视频。

本发明提供的三维动画制作模块6制作方法包括：

(1)获取所述角色主体的实体模型的多视点图像。

(2)根据所述多视点图像生成与所述角色主体的实体模型对应的角色主体的虚拟模型。

(3)对比同一角度获取的所述角色主体的实体模型的相邻图像的变化，得到该相邻图像的变化信息。

(4)根据所述变化信息控制所述角色主体的虚拟模型。

本发明提供的获取所述角色主体的实体模型的多视点图像利用照相机对角色主体从多个不同角度进行拍摄。

本发明提供的根据所述多视点图像生成与所述角色主体的实体模型对应的角色主体的虚拟模型的步骤包括：

基于尺度不变特征变换算法对所述多视点图像的特征点进行抽取和匹配。

利用ransac算法去除匹配结果中的野点。

根据匹配结果进行照相机的自标定，获取照相机的内参和外参。

利用照相机的参数，对特征点进行摄影重构以修正特征点中的误匹配对，得到稀疏点云模型。

以稀疏点云模型为基础，进行基于立体视觉的三维重建，对重建结果进行融合，得到密集点云模型。

本发明提供的对比同一角度获取的所述实体模型的相邻图像的变化，得到该相邻图像的变化信息的步骤之前，还包括：根据所述角色主体的实体模型选取若干节点，并将所述若干节点的位置对应于所述角色主体的虚拟模型上相应的位置。

本发明提供的根据所述变化信息控制所述角色主体的虚拟模型通过根据所述变化信息获取所述若干节点的变化，控制所述角色主体的虚拟模型上对应所述若干节点的位置进行相应的变化。

本发明提供的投影模块8投影方法包括：

1)获取用户发出的声音信号。

2)根据所述用户发出的声音信号，定位出所述用户与所述投影设备之间的位置关系。

3)根据所述用户与所述投影设备之间的位置关系，确定符合所述用户观看需求的投影图像朝向。

4)根据所述投影图像朝向将待投影图像投影至投影平面上。

本发明提供的根据所述用户发出的声音信号，定位出所述用户与所述投影设备之间的位置关系，包括：

将所述投影设备发出的光束中线在所述投影平面上的映射中线所在的方向设置为声音信号的0度参考方向。

根据所述用户发出的声音信号，计算出所述用户与所述投影设备之间的连线方向相对于所述0度参考方向的方向角度。

所述根据所述用户与所述投影设备之间的位置关系，确定符合所述用户观看需求的投影图像朝向，包括：

根据所述方向角度以及角度范围与投影图像朝向之间的映射关系，确定所述方向角度所属角度范围对应的投影图像朝向为所述符合所述用户观看需求的投影图像朝向。

如图2所示，本发明实施例提供的整形外科肘关节演示控制系统的控制方法具体包括：

s101，供电模块为整形外科肘关节演示控制系统进行供电。利用基于优化的稳像技术以及积分直方图粒子滤波跟踪的摄像器采集肘关节整形过程视频数据。

s102，利用照明灯为肘关节整形过程提供照明操作。利用模型软件构建整形主体模型。利用动画软件制作肘关节整形过程三维动画视频。

s103，利用存储器存储采集视频及三维动画视频。

s104，利用投影仪投影肘关节整形过程视频、三维动画视频。

步骤s101中，本发明实施例提供的优化的稳像技术具体包括：

(1)摄像机开始录制整形过程图像，读取第一帧作为基准帧n＝0。

(2)选取基准帧局部匹配区域，提取特征点，计算特征描述符。

(3)摄像机实时获取图像，随着获取的图像增多，图像帧数也时刻增加，摄像机读入第n帧的图像。

(4)选取第n帧图像局部匹配区域，提取特征点，计算描述符。

(5)快速近似最临近算法对基准帧和当前帧进行局部区域特征点匹配。

(6)筛选优秀匹配点。

(7)利用最小二乘法求救仿射变换参数。

(8)利用双线性插值法对当前帧图像进行全局运动补偿，并判断n是否大于帧总数，如果是，则输出补偿后的稳定图像。如果否，则判断n％10＝＝0？如果是，则以第n帧图像作为基准帧，返回步骤(2)，如果否，则返回步骤(3)。

步骤s101中，本发明实施例提供的基于积分直方图的粒子滤波跟踪方法具体包括：

(1)进行粒子滤波器的初始化，令t＝0，产生初始粒子

(2)t时刻，以t-1时刻的有权粒子集

1)利用下式进行粒子位置重要性采样，

2)权值更新：

权值归一化：

3)重采样，采样置换位置向量：

4)采样：

并组装：

5)权值更新：

6)按下式计算有效粒子数

如果计算得到的有效粒子数低于某个阈值，需重采样：

需采样：

置换粒子集：

(3)增加t并返回步骤(2)。

本发明工作时，首先，通过供电模块1为整形外科肘关节演示控制系统进行供电。通过视频采集模块2利用摄像器采集肘关节整形过程视频数据。其次，主控模块3通过照明模块4利用照明灯为肘关节整形过程提供照明操作。通过模型构建模块5利用模型软件构建整形主体模型。通过三维动画制作模块6利用动画软件制作肘关节整形过程三维动画视频。然后，通过数据存储模块7利用存储器存储采集视频及三维动画视频。最后，通过投影模块8利用投影仪投影肘关节整形过程视频、三维动画视频。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。