一种运动轨迹的同步方法与流程

1.本发明涉及视频会议技术领域，具体是指一种运动轨迹的同步方法。


背景技术：

2.视频会议（videoconference）也可以称为电视会议，是利用视频技术和设备通过传输信道在两个或多个地点的用户终端之间举行会议，实时传送声音、图像的通信方式。参加视频会议的主讲人，可以通过电视发表意见，同时观察对方的形象、动作、表情等，并能出示实物、图纸、文件等实拍的电视图像或者显示在黑板、白板上写的字和画的图，使在不同地点参加会议的人感到如同和对方进行“面对面”的交谈，在效果上可以代替现场举行的会议。
3.由于技术发展，在展开一些技术讲解、培训等视频会议时，主讲人无法通过现场无法通过现场解说清楚所讲述内容，需要引入电子白板等技术设备完成技术细节或方案的展开，而且后续由于没有会议中过程文件的生成，使得与会人员不能很好的理解会议细节内容。


技术实现要素：

4.本发明要解决的技术问题，克服视频会议中需要引入电子白板等技术设备完成技术细节或方案的展开，而且后续由于没有会议中过程文件的生成，使得与会人员不能很好的理解会议细节内容等现有技术缺点，提供一种运动轨迹同步方法，通过获取发言人或主讲人的手部运动轨迹，呈现运动轨迹，生成并识别文字或图画，并记录在会议ppt或word的会议记录中。以使得参会人员能够准确的理解会议内容，提高用户体验。
5.为解决上述技术问题，本发明提供的技术方案为：一种运动轨迹同步方法，包括如下步骤：s1、确定主讲人id信息及所在显示设备中展示的画面信息，获取鼠标移动的第一画面信息；s2、判断鼠标的移动信息连续，则形成运动轨迹信息，从第一画面信息中开始提取鼠标移动的运动轨迹特征信息建立机器学习模型，形成预估的运动轨迹信息，将预估运动轨迹信息与实际运动轨迹信息的图形进行比较，差值小于0.3时，取平均值为最终运动轨迹特征值，形成最终运动轨迹信息；s3、识别所述形成的最终运动轨迹，判断是否为文字信息，如果是则记录文字信息，如果否则记录为图形信息；s4、鼠标在移动过程中，如果中断或停顿超过1s则确定取消获取鼠标运动信息，并返回s1重新获取鼠标移动的第一画面信息。
6.进一步地，所述步骤s3中将所述记录的文字信息和/或图形信息，根据会议主讲人id信息及当时所讲述的ppt或word展开页中同步记录。
7.进一步地，所述根据会议主讲人id信息及当时所讲述的ppt或word展开页中同步
记录，还包括根据鼠标光标所停留和/或所选择的ppt或word展开页中具体位置进行插入标记的所述识别的文字信息及图形信息。
8.进一步地，所述步骤s2中，在获取鼠标的移动信息连续，则形成运动轨迹信息时，当获取的运动轨迹信息没有停顿或停顿小于1秒时，则重新获取运动轨迹。
9.进一步地，所述重新获取运动轨迹时，之前获取的运动轨迹，进行保留，继续获取鼠标的运动轨迹信息，但当获取的鼠标运动为连续滑动或提起前移时则执行擦除动作，删除所保留的运动轨迹信息。
10.进一步地，所述步骤s2中，所述同步记录具体为：未获取到新的鼠标点击或画面翻页指令时，保留全部所述识别的文字信息及图形信息在一个内容页。
11.进一步地，所述机器学习模型包括人工神经网络，且不限于全连接的神经网络和/或卷积神经网络。
12.进一步地，视频会议系统检测一段时间内无人发言时，或者发言时间均过短，或者发言时获取的声音位置过多时，调整摄像头为全景模式，以确定获取全部参会人员的参会场景。
13.进一步地，所述鼠标移动的画面信息为平面图像信息，所形成的运动轨迹也为平面位移图像信息。
14.进一步地，所述提取运动轨迹特征信息建立机器学习模型，用于形成预估的运动轨迹信息时，具体特征提取根据固定的间隔时间点进行。
15.本发明具有如下优点：本发明通过视频会议系统内存储的与会人员的信息，同步记录主讲人鼠标移动的运动轨迹信息，结合机器学习模型所建立的预估运动轨迹信息，进行比较，差值小于一定百分比时，取所提取的特征的运动轨迹平均值生成最终的运动轨迹，并识别同步该运动轨迹所形成的文字或图形。以提高视频会议时主讲人会议纪要识别的精确度，使得与会人员能够准确理解所讲述的内容。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
17.图1示出了本发明实施例提供的一种运动轨迹同步方法的示意图；
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
19.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通
技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
21.下面结合实施例对本发明做进一步的详细说明。
22.本发明在具体实施时，包括如下步骤：s1、确定主讲人id信息及所在显示设备中展示的画面信息，获取鼠标移动的第一画面信息；s2、判断鼠标的移动信息连续，则形成运动轨迹信息，从第一画面信息中开始提取鼠标移动的运动轨迹特征信息建立机器学习模型，形成预估的运动轨迹信息，将预估运动轨迹信息与实际运动轨迹信息的图形进行比较，差值小于0.3时，取平均值为最终运动轨迹特征值，形成最终运动轨迹信息；s3、识别所述形成的最终运动轨迹，判断是否为文字信息，如果是则记录文字信息，如果否则记录为图形信息；s4、鼠标在移动过程中，如果中断或停顿超过1s则确定取消获取鼠标运动信息，并返回s1重新获取鼠标移动的第一画面信息。
23.优选的，步骤s3中将所述记录的文字信息和/或图形信息，根据会议主讲人id信息及当时所讲述的ppt或word展开页中同步记录。
24.优选的，根据会议主讲人id信息及当时所讲述的ppt或word展开页中同步记录，还包括根据鼠标光标所停留和/或所选择的ppt或word展开页中具体位置进行插入标记的所述识别的文字信息及图形信息。
25.优选的，步骤s2中，在获取鼠标的移动信息连续，则形成运动轨迹信息时，当获取的运动轨迹信息没有停顿或停顿小于1秒时，则重新获取运动轨迹。
26.优选的，重新获取运动轨迹时，之前获取的运动轨迹，进行保留，继续获取鼠标的运动轨迹信息，但当获取的鼠标运动为连续滑动或提起前移时则执行擦除动作，删除所保留的运动轨迹信息。
27.优选的，步骤s2中，同步记录具体为：未获取到新的鼠标点击或画面翻页指令时，保留全部所述识别的文字信息及图形信息在一个内容页。
28.优选的，机器学习模型包括人工神经网络，且不限于全连接的神经网络和/或卷积神经网络。
29.优选的，视频会议系统检测一段时间内无人发言时，或者发言时间均过短，或者发言时获取的声音位置过多时，调整摄像头为全景模式，以确定获取全部参会人员的参会场景。
30.优选的，鼠标移动的画面信息为平面图像信息，所形成的运动轨迹也为平面位移图像信息。
31.优选的，提取运动轨迹特征信息建立机器学习模型，用于形成预估的运动轨迹信息时，具体特征提取根据固定的间隔时间点进行。
32.本发明通过视频会议系统内存储的与会人员的信息，同步记录主讲人员鼠标移动
的运动轨迹信息，结合机器学习模型所建立的预估运动轨迹信息，进行比较，差值小于一定百分比时，取所提取的特征的运动轨迹平均值生成最终的运动轨迹，并识别同步该运动轨迹所形成的文字或图形，提高了视频会议时主讲人会议纪要识别的精确度。将所识别的文字和/或图形信息根据当前所展开的ppt或word页面光标所在位置进行插入或标记的方法，使得与会人员能够准确理解所讲述的内容，便于会后查阅会议标记或会议过程中形成的文件。
33.虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
34.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。