一种基于手势或眼神控制的教学方法与流程

本发明涉及教学设备控制领域，具体涉及一种基于手势或眼神控制的教学方法。

背景技术：

对于现有的教学，常常会用到一些教学辅助设备，比如：投影仪、电脑和麦克风等，另外，在教室内，为了增加学生学习的舒适度以及教师教学的舒适度，教师内还常常会设置空调或者风扇等，且由于不同教师身高不同，教师可能还会调整黑板高度以及讲桌高度进行调整，以方便教师在黑板上书写教学内容。

但是，对于现有教学辅助设备的调整常常都是单独控制，比如，空调、投影仪以及上课课件翻页常常通过遥控器控制，而电脑、黑板高度以及讲桌高度等都需要一一人工调整，这就需要教师到不同的教学辅助设备前进行一一调整，使得教师课前调整花费时间较多，可能还会浪费学生宝贵的上课学习时间，但不进行调整控制，可能又会不利于教师教学工作的开展。

技术实现要素：

本发明控制目的在于提供一种基于手势或眼神控制的教学方法，以解决现有教学辅助设备控制或者调整时需要教师到对应设备前进行分别调整给教师教学带来不便的问题。

本发明提供的基础方案为：一种基于手势或眼神控制的教学方法，包括如下步骤：

s1：采集人体各个关节点，然后建立原始坐标数据；

s2：人体发出指令动作，然后采集人体关节点的坐标数据，将各个关节点的坐标数据和原始坐标数据进行对比，进而整合成对应的指令动作坐标变化集，然后定义该指令动作坐标集对应的控制目的；

s3：教师上课时发出一个指令动作，然后根据其各个关节的坐标数据生成实时动作坐标变化集，然后将该实时动作坐标变化集和指令动作坐标变化集进行比较，当两者吻合时控制对应教学设备动作而实现其控制目的。

本发明的优点在于：

1、本方案中教师只需通过手势便可控制教学设备执行相应的动作，与现有技术中教师需要到对应教学设备前对分别对教学设备进行控制相比，使用更加方便，减小了教师课前准备时间。

2、若教学设备为空调和投影仪等现有需要通过遥控器控制的设备，本方案与通过遥控器控制相比，使用更加方便，教师无需寻找对应的遥控器，也无需按动遥控器，对于腿脚不便的教师或者身体不适的教师也能通过手势变化等方式实现教学设备的控制。

进一步，在步骤s2中，在采集人体关节点的坐标数据时，同时采集人体发出该动作指令时的眼神聚焦信息，然后将指令动作坐标变化集和眼神聚焦信息建立对应关系，生成一个动作指令执行关联组，并定义该动作指令执行关联组所想要实现的控制目的，当教师发出指令动作时，符合动作指令执行关联组时才能控制对应教学设备执行动作。

本方案中在进行中不仅对教师的手势等躯体动作进行识别，还能对教师的眼神聚焦情况进行识别，只有两者都符合动作指令执行关联组时才能控制对应的教学设备执行动作，能有效减小教学设备误动作的可能性。

进一步，在步骤s3前，在讲台上的区域内建立一个虚拟的三维坐标系，使得讲台上的所有物体均落入到三维坐标系中；当教师走到讲台上后，采集教师在三维坐标系中的位置，然后在该教师身边建立多个控制区域，每一个控制区域对应一个教学设备，教师只有在控制区域内发出正确的指令动作后，控制区域对应教学设备才执行相应的动作。

本方案中教师控制教学设备执行动作时教师只需在控制区域内发出指令动作即可，使用方便。

进一步，教师在三维坐标系中移动过程时，控制区域与教师之间的相对位置固定不变。

由于教师讲课时可能会在讲台上左右走动，本方案中控制区域与教师的相对位置固定不变，使得教师不管哪里都能够较为准确的找到对应的控制区域。

进一步，在步骤s3后，教师身旁设置有确认区域，教师在控制区域内发出正确的指令动作后，需要在确认区域内进行执行确定动作后对应的教学设备才执行相应的动作。

本方案中确认区域的设置，能减小教师误动作导致教学设备误动作的情况发生。

进一步，在步骤s3前，通过人脸识别的方式对发出指令动作后控制教学设备执行动作的权限进行限制。

本方案能够避免学生误操作导致教学设备误动作。

附图说明

图1为本发明实施例一中基于手势或眼神控制的教学方法的流程图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示，一种基于手势或眼神控制的教学方法，包括如下步骤：

s1：采集人体20个关节点，并建立人体关节点的坐标系，然后定义每一个关节点的原始坐标数据，之后将采集的原始坐标数据存储到数据库中；

s2：人体发出指令动作，然后采集人体各个关节点的坐标数据，将各个关节点的坐标数据和原始坐标数据进行对比，进而整合成对应的指令动作坐标变化集，同时，采集人体发出该动作指令时的眼神聚焦信息，然后将指令动作坐标变化集和眼神聚焦信息建立对应关系，生成一个动作指令执行关联组，并定义该动作指令执行关联组所想要实现的控制目的，然后将该指令执行关联组存储到数据库中。而定义该动作指令执行关联组所想要实现的控制目的，即定义了人体执行该指令动作坐标变化集同时出现该眼神聚焦信息时是想要实现什么样的目的。其中，眼神聚焦信息包括眼神聚焦位置、聚焦位置的变化趋势以及聚焦位置的变化方向等信息，指令动作坐标变化集包括人体关节之间的相对位置变化规律以及关节移动轨迹。

由于想要实现的控制目的不同，人体发出的指令动作便不相同，而人体发出的指令动作与眼神聚焦位置之间常常有对应关系，比如，想要告别时往往会摆动手掌，同时眼神聚焦位置常常是正视告别对象。因此，将指令动作坐标变化集和眼神聚焦信息建立对应关系将更加便于正确判断人体发出对应指令动作想要实现的控制目的，而对于教师教学时，其想要实现的控制目的无非便是自动执行相应的指令动作后想要相应的教学设备动作，比如：教师看着ppt讲解学习内容时，想要通过上下摆动手腕的方式实现ppt自动翻页，同时教师在翻页的时候会注视ppt，则教师发出的指令动作便是上下摆动手腕，然后整合成对应的指令动作坐标变化集；而教师的眼神聚焦位置便是在ppt上。再比如：假设教师教学的讲桌的桌腿为伸缩杆，且伸缩杆上设置有用于桌腿上下伸缩的电控气缸(如现有ksoe/科索尔品牌的气缸)，使得讲桌可上下升降，而教师想要在其眼神聚焦位置注视讲台同时向下移动手臂实现讲桌下降的工作，则教师发出的指令动作便是向下摆动手臂，然后整合成对应的指令动作坐标变化集，而其眼神聚焦位置便是讲桌。

s3：教师上课时，根据需求发出一个指令动作，然后采集教师人体各个关节的坐标数据，然后将各个关节点的坐标数据和原始坐标数据进行比较，然后生成实时动作坐标变化集，并将该实时动作坐标变化集和指令动作坐标变化集进行一一对比，当数据库中存储有与实时动作坐标变化集内容一致的指令动作坐标变化集时采集教师的眼神聚焦信息，当所采集的眼神聚焦信息符合对应动作指令执行关联组时，相应的教学设备执行对应的动作。

s4：进行教学设备执行动作准确度记录。进行教学设备执行动作准确度判断时，通过教师发出指令动作，然后教学设备执行相应的动作，之后教师自己记录判断该教学设备是否正确执行相应的动作。对教学设备执行动作准确度进行记录，便于对其错误动作对应的动作指令执行关联组进行调整，进而增加教学设备执行动作准确度。

具体实施时，在需要执行动作的教学设备上分别安装用于采集教师眼神聚焦信息和指令动作的深度摄像机或者在教室天花板上安装一个能拍摄所有需要执行动作的教学设备以及教师动作和眼神聚焦信息的深度摄像机，深度摄像机采用现有h9r型号。然后对摄像头采集的视频信息拆分为图像，利用ransac算法剔除天花板和底板，再根据采集图像中颜色深度分布将人体区域从图像中提取出来，之后利用现有的随机森林分类器对逐个像素点进行分类，并利用mean-shift定位人体各个部位关节点的位置，以此获取原始坐标数据和指令动作坐标变化集等信息，然后通过现有生物识别技术得到教师虹膜信息以此得到眼神聚焦信息。

本实施例的又一实施方式为：在步骤s2中没有将眼神聚焦信息和指令动作坐标变化集建立对应关系，而是单独针对不同的眼神聚焦信息建立了一个眼神控制指令组，该眼神控制指令组中不同的眼神聚焦信息对应有一个控制指令，即教师可以在人体关节没有进行动作时通过眼神控制教学设备执行相应的动作，还可以在没有获取眼神聚焦信息时通过关节动作而控制教学设备执行相应的动作。

实施例二

实施例二与实施例一的区别在于，实施例二中基于手势或眼神控制的教学方法还包括如下步骤：

s1：将讲台上的区域建立一个虚拟的三维坐标系，使得讲台上的所有物体均落入到三维坐标系中。具体实施时，在讲桌面向教师侧安装深度摄像机的摄像头，同时在讲台右侧墙面以及讲台上方的天花板上均设置有深度相机的摄像头，三个摄像头分别从不同角度对教师上课图像进行采集，并通过在摄像头外贴上防窥膜的方式缩小摄像头采集范围，使得摄像头采集范围集中在讲台上。

s2：当教师走到讲台上后，通过三个摄像头拍摄的图像判断教师在三维坐标系中的位置，并在距离教师一定距离的空间范围内设定多个代表不同教学设备的控制区域，只要当该教师的手臂在对应的控制区域内发出指令动作，对应的教学设备才执行该指令动作对应的动作。具体实施时，判断教师在三维坐标系中的位置时，三个摄像头相当于一个三维坐标，分别对教师不同角度进行拍摄，进而根据拍摄图像大小等判断教师与摄像头的距离关系，然后根据该距离关系利用勾股定理等现有计算方式计算教师在三维坐标系中的位置。控制区域生成时，该控制区域随教师的位置移动而移动，且和教师之间没有相对位移。

s3、教师需要控制教学设备执行相应的动作时，教师只需要在教学设备对应的控制区域内发出动作指令，以此来控制教学设备执行相应的动作。

比如：受控的教学设备包括空调、电脑、讲桌和麦克风，而通过手势可以控制电脑中课件翻页，通过手势还可以控制空调冷风开启和关闭，通过手势还可以控制麦克风音量调节，还可通过手势控制讲桌升降。假设控制区域共有a、b、c、d四个区域，空调对应a号控制区域，电脑对应b号控制区域，讲桌对应c号控制区域，麦克风对应d号控制区域，当教师需要控制课件翻页时，教师便可在b号控制区域内发出指令动作，当摄像头拍摄到教师的动作图像后并判断符合课件翻页的指令动作坐标变化集时，控制电脑中课件自动翻页。当教师需要控制空调冷风开启时，教师便可以在a号控制区域中执行相应的指令动作，当摄像头拍摄到教师的动作图像后并判断符合空调冷风开启的指令动作坐标变化集时，控制空调冷风开启，这样教师无需去寻找空调遥控器，也无需使用空调遥控器控制空调工作，使用方便。

实施例三

实施例三与实施例二的区别在于，实施例三中为了避免教师讲课时在讲台讲课时由于肢体动作而误触发教学设备误动作，本实施例中还设置有教师确认教学设备动作环节，通过在教师身边设置确认区域，教师在触发执行了指令动作后，需要在确定区域内执行确定动作，然后教学设备才能执行该指令动作对应的动作。确认区域可以是空间中的虚拟区域，也可以是讲桌上设置的触发按钮。确认区域若为虚拟区域，教师的确定动作便是在该确定区域内做一个ok手势或者其他动作；确认区域若为触发按钮，则教师的确定动作便是按动触发按钮。

另外，为了避免学生误触发，还可以通过人脸识别的方式设置通过手势控制教学设备动作的权限，使得只有教师可以在发出指令动作后控制教学设备动作。

本实施例的又一实施方式为：控制区域设置在讲桌上，该讲桌桌面上安装有电脑的显示屏，且该讲桌上设置有控制各个教学设备动作的控制模块(如at89c51系列单片机)，将控制区域设置在讲桌上，并将一个深度摄像机的摄像头设置在指示区的上方。本方案中教师讲课时只有在控制区域正对的区域空间内发出指令动作时，才能控制教学设备动作。采用该种方式控制教学设备动作，同样可以教学设备误动作的可能性。

实施例四

实施例四与实施例三的区别在于，实施例四中控制区域之间的排布顺序是根据所有教师使用该控制区域控制教学设备的次数进行排布的，将教师使用次数最多的教学设备对应的控制区域设置在教师正前方，便于教师使用；另外，还可以教师根据自己的喜好设置控制区域位置，并对教师自己设置的控制区域位置进行保存，使得教师没有自己调整前控制区域位置均保持其自己设定的位置。

本实施例的又一实施方式为：本方案中针对每一个教师上课动作习惯进行采集，对教师在没有发出指令动作时手臂活动区域频繁区域进行统计，称该区域为常见活动区域，在控制区域设置时便不设置在常见活动区域内，减小教师手臂动作时却被误识别为其发出指令动作进而使得教学设备动作的可能性。其外，还可以只通过眼神聚焦位置在控制区域内时采集的眼神聚焦信息控制教学设备执行相应的动作，这样身体残疾或者生病的教师也能控制教学设备动作。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。