一种远程会议系统和远程会议中的实物展示方法与流程

本发明涉及远程会议技术领域，更具体地说，涉及一种远程会议系统和远程会议中的实物展示方法。

背景技术：

进行远程会议时候，一般通过视频方式进行交流，当需要展示实物为立体图形时，展示者往往需要调节摄像头并不断转动翻转实物，方便其余远端设备的用户观察实物，十分的不方便。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种远程会议系统和远程会议中的实物展示方法。

本发明解决其技术问题所采用的技术方案是：

构造一种远程会议系统，包括近端设备，和与所述近端设备远程连接的远端设备，所述远端设备具体为一个或多个，所述近端设备和所述远端设备均包括主机，和与所述主机连接的外设；

所述外设包括显示模块、摄像模块、拾音模块、麦克风、扬声器和调节装置；其中：

所述摄像模块设置在所述调节装置上，所述摄像模块包括3d图像获取装置和深度镜头，所述3d图像获取装置用于获得实物的3d虚拟图像；

所述主机通过所述深度镜头获取用户手势，识别用户手势并通过对应手势的指令操控所述3d虚拟图像；主机还通过所述麦克风获取语音信息，识别语音并通过对应语音的指令控制所述调节装置；

所述3d图像获取装置包括3d扫描仪或者3d深度感知摄像头。

优选的，所述主机还用于远程声像调节，具体的，近端设备的所述主机对远端设备的所述外设输出音视频，远端设备的所述外设通过所述显示模块显示图像，通过所述扬声器的播放声音，再通过所述拾音模块对所述扬声器播放的声音进行采集，获取声音数据，通过所述摄像模块对所述显示模块播放的视频进行采集，获取视频数据，并将视频数据和声音数据发送至近端设备的所述主机，工作人员根据视频数据和声音数据对远端设备的所述显示模块和所述扬声器调试。

优选的，所述主机还用于会议记录，具体的，将所述麦克风获取的语音储存为音频文件，通过语音识别将音频文件转换成文本文件，通过声纹识别对每段语音的发言人进行识别，并对每段语音转换成的文本标注对应的发言人信息。

一种远程会议中的实物展示方法，基于前述的远程会议系统，包括以下步骤：

步骤一：当要展示实物时，近端设备的用户通过语音发出指令，近端设备的所述主机通过所述麦克风获取语音，识别用户语音并通过对应语音的指令控制所述调节装置调节所述摄像模块位置，通过所述摄像模块获取所述实物影像信息，并实时传输至远端设备；

步骤二：当要展示立体实物的3d虚拟图像时，通过3d扫描仪或者3d深度感知摄像头获取实物的图片数据；当需要调节所述摄像模块的位置或者角度时，近端设备的用户通过语音发出指令，近端设备的所述主机通过麦克风获取语音，识别用户语音并通过对应语音的指令控制所述调节装置调节所述摄像模块位置，通过所述摄像模块同时配合人为翻转实物的方向和角度，获取立体实物各个角度的图形信息，并对立体实物图形信息进行编辑处理，形成虚拟实物立体图像；

步骤三：当实物的3d虚拟图像不清晰时，执行第一步；

步骤四：当要操控实物的3d虚拟图像时，所述主机通过所述深度镜头或3d深度感知摄像头获取用户手势，识别用户手势并通过对应手势的指令操控所述3d虚拟图像；

步骤五：当要展示平面实物的平面图像时，近端设备的所述主机通过所述摄像模块获取平面实物的平面展示图像。

优选的，当所述3d图像获取装置采用3d深度感知摄像头时；

若展示的实物为立体物，则所述主机通过3d深度感知摄像头获取实物的3d虚拟图像，并通过所述深度镜头获取用户的手势发出对应的指令控制所述3d虚拟图像的状态；

若要远程展示实际实物，则通过手来翻转实物的角度，所述主机通过获取语音指令发出控制所述调节装置，以此调节所述3d深度感知摄像头的位置，并配合用户对实物的手动翻转展示实物详细结构信息；

当所述显示模块分屏同时展示实物的3d虚拟图像和实物影像时，主机具有同时通过语音控制实物展示和通过手势控制3d虚拟图像的功能。

优选的，当需要展示的实物为平面的纸质表格文档时，所述主机通过所述摄像模块获取纸质表格文档的图像；

所述主机对图像进行字段扫描，根据扫描的表格首行和/或首列字段调出对应的预制模板文件，将扫描出的字段对应填入模板文件，形成表格文件，并将该表格文件发送至所有远端设备；

当近端设备需要展示表格时，近端设备的主机打开表格文件，远端设备的主机同步打开表格文件，近端设备的主机获取用户对表格的控制指令并将其发送至远端设备的主机，远端设备和近端设备根据指令实时更新表格展示状态。

优选的，对表格图像进行扫描时，首先找到最大包围框，对最大包围框内多个包围框进行定位，确定表格的行列，对表格的各行列的字段进行扫描；调出预制模板，根据扫描出的表格行列信息和首行和/或首列的文字信息，对图像表格与预制模板匹配，确定表格的类型，根据确定的表格类型新建对应的模板表格文件；将识别出的其余行列的字段填入模板格式文件的对应区域，并对文件进行保存，同时将文件分别发送给所有远端设备。

优选的，对表格图像进行扫描时，需要对图像进行校正时，具体的，先找出图像中的最长直线，然后确定最长直线接近水平线还是竖直线，然后找出最长直线与水平线/竖直线的夹角，确定图像的倾向角度，由此对图像的角度进行旋转校正。

优选的，所述主机获取到多个图像文件时，扫描最大包围框之外的标题文字信息，若检测到标题文字信息一致，且模板相同，则将具有相同模板的图像文件的待识别区域进行字段扫描，并根据接收顺序将扫描字段依次填入同一模板格式文件并进行保存。

优选的，所述目标远端设备获取表格展示指令和表格编辑指令，将所述表格展示指令和表格编辑指令通过近端设备的所述主机发送至其余远端设备，所述远端设备根据所述表格展示指令和表格编辑指令对所述表格进行更新，确认其余所述远端设备均完成更新后，目标远端设备再根据所述表格展示指令和表格编辑指令对所述表格进行更新。

本发明的有益效果在于：通过获取语音信息，识别语音并形成指令控制所述调节装置，通过调节装置调节摄像模块的位置，配合用户手动转动实物可以获取实物不同角度的影像，并将影像实时传输到远端设备，便于讲解。

通过调节装置和3d深度感知摄像头配合可以获取实物的3d虚拟图像，并将3d虚拟图像传输至远端设备，在3d虚拟图像获取完成后，3d深度感知摄像头还可以通过获取用户手势，识别用户手势并通过对应指令操控所述3d虚拟图像，并将所述3d虚拟图像的变化同步传输至远端设备，可以减少展示着手指对实物影像的干扰，使远端设备的用户能够更清楚仔细的观察实物。

3d深度感知摄像头本身具有智能捕捉实物或者讲解人员的作用，同时配合语音控制调节装置调整3d深度感知摄像头的位置和角度，能够更加高效的开展会议或者教学活动。

在远程会议或者远程教学环境中，通过手势控制3d虚拟图像，或者通过语音控制摄像装置的位置和角度，方便整个会议或者教学活动的顺利开展，提高了沟通效率；采用本远程会议系统和方法，不用单独通过键盘或者鼠标等其他不方便操作的外设操作，避免了不断中止教学讲解或者会议程序，采用本系统和方法使远程会议或者远程教学活动开展的更加顺利和高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图：

图1是本发明较佳实施例的远程会议系统的结构示意图；

图2是本发明较佳实施例的远程会议中的实物展示方法的步骤图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获取的所有其他实施例，都属于本发明的保护范围。

本发明较佳实施例的远程会议系统如图1所示，包括近端设备，和与近端设备远程连接的远端设备，远端设备具体为一个或多个，近端设备和远端设备均包括主机1，和与主机1连接的外设2；

外设2包括显示模块21、摄像模块22、拾音模块23、麦克风24、扬声器25和调节装置26；其中：

摄像模块22设置在调节装置26上，摄像模块22包括3d图像获取装置221和深度镜头222，3d图像获取装置221用于获取实物的3d虚拟图像；

主机2通过深度镜头222获取用户手势，识别用户手势并通过对应手势的指令操控3d虚拟图像；主机2还通过麦克风24获取语音信息，识别语音并通过对应语音的指令控制调节装置26；

3d图像获取装置221包括3d扫描仪或者3d深度感知摄像头。

通过调节装置和3d深度感知摄像头配合可以获取实物的3d虚拟图像，并将3d虚拟图像传输至远端设备，在3d虚拟图像获取完成后，3d深度感知摄像头还可以通过获取用户手势，识别用户手势并通过对应指令操控所述3d虚拟图像，并将所述3d虚拟图像的变化同步传输至远端设备，可以减少展示者的手指在观测实物时的干扰，使远端设备的用户能够更清楚仔细的观察实物。

3d深度感知摄像头本身具有智能捕捉实物或者讲解人员的作用，同时配合语音控制调节装置调整3d深度感知摄像头的位置和角度，能够更加高效的开展会议或者教学活动。

在远程会议或者远程教学环境中，通过手势控制3d虚拟图像，或者通过语音控制摄像装置的位置和角度，方便整个会议或者教学活动的顺利开展，提高了沟通效率；采用本远程会议系统和方法，不用单独通过键盘或者鼠标等其他不方便操作的外设操作，避免了不断中止教学讲解或者会议程序，采用本系统和方法使远程会议或者远程教学活动开展的更加顺利和高效。

如图1所示，主机1还用于远程声像调节，具体的，近端设备的主机1对远端设备的外设2输出音视频，远端设备的外设1通过显示模块21显示图像，通过扬声器25的播放声音，再通过拾音模块23对扬声器25播放的声音进行采集，获取声音数据，通过摄像模块22对显示模块21播放的视频进行采集，获取视频数据，并将视频数据和声音数据发送至近端设备的主机1，工作人员根据视频数据和声音数据对远端设备的显示模块21和扬声器25调试；

也可有主机进行自动调试，具体的，对传输至主机1的视频数据和声音数据进行分析，分析视频数据的图像信息如清晰度、噪点等，分析声音数据的声音信息如分贝值、清晰度等，并将图像信息和声音信息调节至预设范围内；拾音模块23包括多个拾音器，多个拾音器均匀分布在会议桌上；摄像模块22包括多个摄像头，多个摄像头从不同角度对显示模块21进行拍摄，可以收集会议室各个位置的声音影像信息，在调试显示模块21和声源输出模块25后，可以包括所有会议室人员都能够听清看清。

如图2所示，主机1还用于会议记录，具体的，将麦克风24获取的语音储存为音频文件，通过语音识别将音频文件转换成文本文件，通过声纹识别对每段语音的发言人进行识别，并对每段语音转换成的文本标注对应的发言人信息。

本发明较佳实施例的远程会议中的实物展示方法如图1所示，基于上一实施例，包括以下步骤：

步骤一：当要展示实物时，近端设备的用户通过语音发出指令，近端设备的主机1通过麦克风24获取语音，识别用户语音并通过对应语音的指令控制调节装置26调节摄像模块22位置，通过摄像模块22获取实物影像信息，并实时传输至远端设备；

步骤二：当要展示立体实物的3d虚拟图像时，通过3d扫描仪或者3d深度感知摄像头获取实物的图片数据；当需要调节摄像模块22的位置或者角度时，近端设备的用户通过语音发出指令，近端设备的主机1通过麦克风24获取语音，识别用户语音并通过对应语音的指令控制调节装置26调节摄像模块22位置，通过摄像模块22同时配合人为翻转实物的方向和角度，获取立体实物各个角度的图形信息，并对立体实物图形信息进行编辑处理，形成虚拟实物立体图像；

步骤三：当实物的3d虚拟图像不清晰时，执行第一步；

步骤四：当要操控实物的3d虚拟图像时，主机1通过深度镜头222或3d深度感知摄像头获取用户手势，识别用户手势并通过对应手势的指令操控3d虚拟图像；

步骤五：当要展示平面实物的平面图像时，近端设备的主机1通过摄像模块22获取平面实物的平面展示图像。

3d深度感知摄像头本身具有智能捕捉实物或者讲解人员的作用，同时配合语音控制调节装置调整3d深度感知摄像头的位置和角度，能够更加高效的开展会议或者教学活动。

在远程会议或者远程教学环境中，通过手势控制3d虚拟图像，或者通过语音控制摄像装置的位置和角度，方便整个会议或者教学活动的顺利开展，提高了沟通效率；采用本远程会议系统和方法，不用单独通过键盘或者鼠标等其他不方便操作的外设操作，避免了不断中止教学讲解或者会议程序，采用本系统和方法使远程会议或者远程教学活动开展的更加顺利和高效。

如图2所示，当3d图像获取装置221采用3d深度感知摄像头时；

若展示的实物为立体物，则主机1通过3d深度感知摄像头获取实物的3d虚拟图像，并通过深度镜头222获取用户的手势发出对应的指令控制3d虚拟图像的状态；

若要远程展示实际实物，则通过手来翻转实物的角度，主机1通过获取语音指令发出控制调节装置26，以此调节3d深度感知摄像头的位置，并配合用户对实物的手动翻转展示实物详细结构信息；

当显示模块21分屏同时展示实物的3d虚拟图像和实物影像时，主机具有同时通过语音控制实物展示和通过手势控制3d虚拟图像的功能。

如图2所示，当需要展示的实物为平面的纸质表格文档时，主机1通过摄像模块22获取纸质表格文档的图像；

主机1对图像进行字段扫描，根据扫描的表格首行和/或首列字段调出对应的预制模板文件，将扫描出的字段对应填入模板文件，形成表格文件，并将该表格文件发送至所有远端设备；

当近端设备需要展示表格时，近端设备的主机1打开表格文件，远端设备的主机1同步打开表格文件，近端设备的主机1获取用户对表格的控制指令并将其发送至远端设备的主机1，远端设备和近端设备根据指令实时更新表格展示状态。

能够快速对纸质表格进行信息提取，信息提取准确率高；通过生成针对待展示表格文档的指令，向每个远端设备发送文档及其展示状态，使得所有用户可以同步展示待展示表格文档，不需要传输视频，因此不需要消耗大量的内存和网络资源，对远端设备的设备性能要求较小，能降低成本。

如图2所示，对表格图像进行扫描时，首先找到最大包围框，对最大包围框内多个包围框进行定位，确定表格的行列，对表格的各行列的字段进行扫描；调出预制模板，根据扫描出的表格行列信息和首行和/或首列的文字信息，对图像表格与预制模板匹配，确定表格的类型，根据确定的表格类型新建对应的模板表格文件；将识别出的其余行列的字段填入模板格式文件的对应区域，并对文件进行保存，同时将文件分别发送给所有远端设备。

如图2所示，对表格图像进行扫描时，需要对图像进行校正时，具体的，先找出图像中的最长直线，然后确定最长直线接近水平线还是竖直线，然后找出最长直线与水平线/竖直线的夹角，确定图像的倾向角度，由此对图像的角度进行旋转校正；通过对图像的校正，提高了图像采集设备的资源利用率，减少了图像扫描处理图像数据的数据量，有利于提高系统的响应速率；

在图像完成校正后，还需进行降噪处理，具体处理步骤为：将图像转到hsv色域的图像，去除落在红色区间的像素点；根据图像的像素的邻域块的像素值分布来确定该像素位置上的二值化阈值，对图像进行自适应阈值的二值化，降低噪声的干扰。

对表格内的字段识别完成后，还需要进行字典优化，具体的，通过建立字典库的形式，将ocr识别的字段与字典库中字段进行匹配，如果匹配分数大于预先设定的阈值，则将字典库中字段替换为ocr识别的字段从而对字典库中的字段进行优化更新，同时，将人工确认的正确字段补充进字典库中，匹配分数等于ocr识别正确的字总数除以当前与字典库中匹配字总数。

部分表格内容较多，一张纸质文件无法完全容纳，因此可能存在多张纸质表格均为统一表格的情况，因此同一远端设备传输多个图像文件时，扫描最大包围框之外的标题文字信息，若检测到标题文字信息一致，且模板相同，则将具有相同模板的图像文件的待识别区域进行字段扫描，并根据接收顺序将扫描字段依次填入同一模板格式文件并进行保存；可以将多个纸质文件合并为一个文档文件。

近端设备获取表格展示指令和表格编辑指令，将表格展示指令和表格编辑指令通过近端设备的主机1发送至其余远端设备，远端设备根据表格展示指令和表格编辑指令对表格进行更新，确认其余远端设备均完成更新后，近端设备再根据表格展示指令和表格编辑指令对表格进行更新。

展示指令包括以下一项或多项：翻页、页面缩放及光标显示，编辑指令包括以下一项或多项：公式编辑指令、表格编辑指令及图表插入指令。

记录会议时，对表格的展示状态及更新进行屏幕录制并保存为视频文件并绑定实时时间，将展示表格时麦克风24获取的语音储存为另存为第二音频文件同样也绑定实时时间，视频文件与第二音频文件通过实时时间相关联；同时还存在第二种方式:第二音频文件通过语音识别转换成文本文件，通过实时时间转换成字幕文件，并将字幕文件与视频文件关联，两种方式可以同时实行，也可以单端实行。

第一音频文件同样绑定实时时间，转换为文本文件时不显示实时时间，但在相应的时间段插入关联的视频文件与第二音频文件。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。