一种基于双目相机手势交互的黑板控制方法及控制系统与流程

本发明属于手势控制技术领域，特别是涉及一种基于双目相机手势交互的黑板控制方法及控制系统。

背景技术：

当代教育用具中，黑板从来都是不可替代的教育工具之一。从单纯的黑板挂在墙上，到为了能够在不同的高度使用舒服姿势书写的，利用滑道的推拉式黑板。同时也利用滑道也出现了应用于大学教室的推拉式复合黑板。但多年过去，此类黑板所存在的问题也一一显示出来。比如滑道因黑板本身的重量导致需要很大力气才能移动。虽然在此之后也出现了通过遥控器和电机控制的黑板，但因其操作需要停止一切书写操作，进行黑板的位移。而且控制器由于需要与电机相连有时距离书写的区域较远，使用非常不方便。

解决方法中有通过语音识别或图像识别来控制黑板的操作，而黑板因为使用时的情况特殊性(一般是老师使用，讲课时需要不停说话)，很难使用语音识别通过判断特定语音指令来进行控制。

技术实现要素：

本发明目的是为了解决现有的技术问题，提出了一种基于双目相机手势交互的黑板控制方法及控制系统。本发明使用的双目相机对操作人员的手势进行识别以及空间定位。通过定位特定手势及其位移判断出指令控制电机进行位移。使用者可以一只手写字，另一只手通过手势控制黑板的位置，达到在不影响讲课节奏的同时在黑板前任意地方对黑板进行位移。

本发明是通过以下技术方案实现的，本发明提出一种基于双目相机手势交互的黑板控制方法，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目rgb图像捕获模块，所述双目rgb图像捕获模块为双目相机，所述方法包括以下步骤：

步骤1：调用双目rgb图像捕获模块捕获使用者的双目rgb图像数据，将每一帧双目rgb图像数据传输给图像分析模块；

步骤2：调用图像分析模块处理双目rgb图像数据，分析识别图像中手势类型，所述手势类型有两种：开始控制手势和结束控制手势；若识别出的手势为开始控制手势，记录其空间坐标，其他手势则循环本步骤；

步骤3：重复步骤2，若手势持续为开始控制手势，则提取出从开始控制手势的第一帧到当前帧的位移变化，分析出位移变化所代表的命令，并将命令转化为电信号给电机驱动模块；

步骤4：重复步骤3，直到识别出结束控制手势，代表一次控制流程的结束，返回步骤2。

进一步地，所述图像分析模块具体操作步骤为：

步骤1.1：接收双目rgb图像捕获模块传输过来的两张双目rgb图像数据；

步骤1.2：对两张双目rgb图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；

步骤1.3：使用神经网络对图像进行手势类型识别；

步骤1.4：若识别出为开始控制手势，将关键点坐标记录，重复步骤1.3，若持续为开始控制手势，并且关键点产生空间坐标位移，则将空间坐标位移转化为控制命令，控制电机驱动模块运动；

步骤1.5：若识别出为结束控制手势，则发送停止命令到电机驱动模块。

进一步地，所述人手检测具体步骤为：

步骤2.1：使用基于卷积神经网络的图像探测模型进行图像分析，发现并提取手部信息；

步骤2.2：若发现手部位置，则开启对前后帧图像时序信息的实时手部跟踪，根据检测结果确定目标位移；

步骤2.3：在步骤2.2的同时利用线程使用图像探测模型进行非实时探测，并利用对应帧的图像上运行的跟踪算法进行图像跟踪的初始位置的修正。

进一步地，所述手势类型识别具体步骤为：

步骤3.1：接收框选后截取的双目rgb图像；

步骤3.2：将双目rgb图像输入基于神经网络的模型回归出手部关键点坐标，并同时输出手势类型；

步骤3.3：关键点坐标根据之前帧的数据通过卡尔曼滤波的方式进行位置修正；

步骤3.4：根据两张双目rgb图像中的关键点所在图中的位置，确定关键点距离双目相机的距离，也确定了手和双目相机间的距离。

进一步地，所述电机驱动模块接收从图像分析模块获得的控制命令进行对黑板的位移，位移距离和方向为手从做出开始控制手势后到结束控制手势的位移和方向。

本发明还提出一种基于双目相机手势交互的黑板控制系统，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目rgb图像捕获模块，所述双目rgb图像捕获模块为双目相机，所述控制系统包括双目rgb图像捕获模块、图像分析模块和电机驱动模块；

所述双目rgb图像捕获模块捕获使用者的双目rgb图像数据，将每一帧双目rgb图像数据传输给图像分析模块；

所述图像分析模块接收双目rgb图像捕获模块传输过来的两张双目rgb图像数据；对两张双目rgb图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；进而使用神经网络对图像进行手势类型识别；从而将识别的结果转化为控制命令发送给电机驱动模块；

所述电机驱动模块接收从图像分析模块获得的控制命令进行对黑板的位移，位移距离和方向为手从做出开始控制手势后到结束控制手势的位移和方向。

本发明所述手势控制黑板可实现高效率的黑板移动，可实现边写边移动。尤其是巨大黑板，移动时无需人力，只需手势操作电机即可。双目rgb视觉要比红外深度视觉的在成本上有很大的优势。

附图说明

图1为本发明所述基于双目相机手势交互的黑板控制系统框图；

图2为图像分析模块具体操作流程图；

图3为本发明所述基于双目相机手势交互的黑板控制系统结构图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1和图2，本发明提出一种基于双目相机手势交互的黑板控制方法，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目rgb图像捕获模块，所述双目rgb图像捕获模块为双目相机，所述方法包括以下步骤：

步骤1：调用双目rgb图像捕获模块捕获使用者的双目rgb图像数据，将每一帧双目rgb图像数据传输给图像分析模块；

步骤2：调用图像分析模块处理双目rgb图像数据，分析识别图像中手势类型，所述手势类型有两种：开始控制手势和结束控制手势；若识别出的手势为开始控制手势，记录其空间坐标，其他手势则循环本步骤；

步骤3：重复步骤2，若手势持续为开始控制手势，则提取出从开始控制手势的第一帧到当前帧的位移变化，分析出位移变化所代表的命令，并将命令转化为电信号给电机驱动模块；

步骤4：重复步骤3，直到识别出结束控制手势，代表一次控制流程的结束，返回步骤2。

所述图像分析模块具体操作步骤为：

步骤1.1：接收双目rgb图像捕获模块传输过来的两张双目rgb图像数据；

步骤1.2：对两张双目rgb图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；

步骤1.3：使用神经网络对图像进行手势类型识别；

步骤1.4：若识别出为开始控制手势，将关键点坐标记录，重复步骤1.3，若持续为开始控制手势，并且关键点产生空间坐标位移，则将空间坐标位移转化为控制命令，控制电机驱动模块运动；

步骤1.5：若识别出为结束控制手势，则发送停止命令到电机驱动模块。

人手检测是通过模型对手部特征的比对以及前后帧的对比进行方位大小的定位，从而提取出使用者手部位置信息的检测方法。所述人手检测具体步骤为：

步骤2.1：使用基于卷积神经网络的图像探测模型进行图像分析，发现并提取手部信息；

步骤2.2：若发现手部位置，则开启对前后帧图像时序信息的实时手部跟踪，根据检测结果确定目标位移；

步骤2.3：在步骤2.2的同时利用线程使用图像探测模型进行非实时探测，并利用对应帧的图像上运行的跟踪算法进行图像跟踪的初始位置的修正。

检测到人手后，通过对图像进行手部分区域截取操作后，通过神经网络模型进行如下操作：1.回归出特征点坐标，2.判断手势类型；再通过两张rgb图关键点在各自图像的对应位置，确定手距离双目相机的距离；所述手势类型识别具体步骤为：

步骤3.1：接收框选后截取的双目rgb图像；

步骤3.2：将双目rgb图像输入基于神经网络的模型回归出手部关键点坐标，并同时输出手势类型；

步骤3.3：关键点坐标根据之前帧的数据通过卡尔曼滤波的方式进行位置修正；

步骤3.4：根据两张双目rgb图像中的关键点所在图中的位置，确定关键点距离双目相机的距离，也确定了手和双目相机间的距离。

所述电机驱动模块接收从图像分析模块获得的控制命令进行对黑板的位移，位移距离和方向为手从做出开始控制手势后到结束控制手势的位移和方向。

本发明还提出一种基于双目相机手势交互的黑板控制系统，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目rgb图像捕获模块，所述双目rgb图像捕获模块为双目相机，所述控制系统包括双目rgb图像捕获模块、图像分析模块和电机驱动模块；

所述双目rgb图像捕获模块捕获使用者的双目rgb图像数据，将每一帧双目rgb图像数据传输给图像分析模块；所述图像捕获模块包括双目rgb相机，用于在黑板前进行图像拍摄，该模块在上电后，持续捕获图像并传入图像分析模块。其中所含摄像头可捕获视场范围内两张rgb图像，且视场范围可根据实际应用调节，并将两张rgb图像输入到图像分析模块中。

所述图像分析模块接收双目rgb图像捕获模块传输过来的两张双目rgb图像数据；对两张双目rgb图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；进而使用神经网络对图像进行手势类型识别；从而将识别的结果转化为控制命令发送给电机驱动模块；

所述电机驱动模块接收从图像分析模块获得的控制命令进行对黑板的位移，位移距离和方向为手从做出开始控制手势后到结束控制手势的位移和方向。

实施例

一般的教室都会有黑板固定于墙上，有些甚至已经装配了手动控制的滑道。这样的话，就可以改造黑板背后的墙面，在墙面安装由电机驱动的滑道。再在黑板的最上边高于滑道最顶端处安装双目相机，如图3所示，使得双目相机的有效分析视场为黑板宽度×垂直黑板30cm长度。并通过图像分析模块连接电机和双目相机。当系统启动时，相机处于时刻采集图像的状态，当使用者需要进行书写板书的时候，一定处于黑板前很近的位置，并会进入到有效分析视场，一只手拿粉笔或其他书写笔，另一只手做出开始控制手势，图像分析模块识别后电机开始运作，此时保持手势，通过手的位移进行黑板的位移，移动到适合的位置后，做出结束控制手势。继续书写板书，整个操作过程中，使用者并没有移动脚步去做其他的操作，既不会打断思路，也不用花大力气去移动黑板。

以上对本发明所提供的一种基于双目相机手势交互的黑板控制方法及控制系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。