一种会议集成系统的制作方法

本发明涉及会议集成技术领域，特别涉及一种会议集成系统。

背景技术：

随着现代信息处理技术的飞速发展，各企事业单位等对办公现代化的要求也越来越高，会议室已从一个单纯的以听、闻为主的交流场所，逐渐演变成为一个具有多种功能的综合性的信息资源交流场所，幻灯机、投影机、摄录放像器材、扩声器材等各类电子设备大量进入会议场所，这些设备虽然使得会议系统的配置越来越专业，功能也越来越强大，但是在此过程中并没有根据会议室的实际情况对设备进行最大化利用，例如，一般会议室的摄像头只针对特定的人或物进行捕捉，可能造成因不能不及时对其他参会人所提出的问题或涉及的资料进行捕捉，从而丢失部分有价值的数据。

技术实现要素：

本发明提供一种会议集成系统，通过踪模块对发言人动态的实时捕捉，提高了获取有价值数据的可能性。

本发明实施例提供了一种会议集成系统，包括：

输入模块，用于接收参会人输入的控制指令，所述控制指令包括切换指令或者发言指令；

采集模块，用于对正在讲话的参会人的讲话内容进行采集，获得所述参会人对应的会议语音音频；

跟踪模块，用于对正在讲话的所述参会人进行动态捕捉，获得所述参会人的参会视频；

显示模块，用于显示所述跟踪模块所获取的参会视频、预先存储的预存多媒体文件或者远程视频会议的实时视频；

控制模块，用于当所述输入模块接收到所述发言指令时，控制所述采集模块和所述跟踪模块开始工作，将所述跟踪模块获得的所述参会人的参会视频发送给显示模块显示；

当所述输入模块接收到所述切换指令时，控制所述显示模块从当前所显示的参会视频切换至预存多媒体文件或者远程视频会议的实时视频进行显示。

在一种可能实现的方式中，

所述输入模块包括：第一主控设备、第二主控设备，所述第一主控设备与所述第二主控设备是相互独立的，

所述第一主控设备，用于根据所述参会人在所述第一主控设备输入的所述控制指令，控制所述第一主控设备、第二主控设备或会议设备执行相应的操作；

所述第二主控设备，用于根据所述参会人在所述第二主控设备输入的所述控制指令，控制所述第二主控设备或会议设备执行相应的操作；

或者

所述控制模块，还用于根据所述参会人在所述第一主控设备或第二主控设备输入的控制指令，对所述跟踪模块进行工作参数的设置；

其中，所述第一主控设备的所拥有的控制权限大于或等于所述第二主控设备所拥有的控制权限，所述第一主控设备的数量小于或等于所述第二主控设备的数量；

所述会议设备包括：灯光、空调、投影机、投影幕、升降器、电视机、窗帘中任一种或多种。

在一种可能实现的方式中，还包括：

优先级判断模块，用于判断所述参会视频、预存多媒体文件和远程视频会议的实时视频各自的显示优先级；

所述控制模块，还用于根据所述优先级判断模块的判断结果，控制所述显示模块按照所述显示优先级对所述参会视频、预存多媒体文件、远程视频会议的实时视频进行先后顺序的显示；

其中，所述控制模块，还用于在当前正在讲话的参会人在讲话未结束时，下一位参会人对应的输入模块接收到了发言指令，则启动预备跟踪模块开始对所述下一位参会人进行动态捕捉；

在当前正在讲话的参会人讲话结束时，所述输入模块未接收到发言指令，则控制所述跟踪模块对所有参会人进行动态捕捉。

在一种可能实现的方式中，

所述显示模块包括：第一主控设备的显示屏和第二主控设备的显示屏，

所述控制模块，还用于控制将接收到的通过所述跟踪模块所获取的无压缩音频或视频信号，传输到下一级传输单元；

所述第二主控设备的显示屏，用于显示接收到的上一级无压缩的音频或视频信号，并传输到下一级传输单元；

所述控制模块，还用于通过所述第二主控设备的显示屏的串联传输单元与发送传输单元串联，控制所述第二主控设备的显示屏显示从发送传输单元获得无压缩音频或视频信号，各个所述第二主控设备的显示屏的串联传输单元，串联后一个所述第二主控设备的显示屏的串联传输单元，并从相邻的前一个所述第二主控设备的显示屏显示从串联传输单元获取无压缩的音频或视频信号。

在一种可能实现的方式中，

所述跟踪模块对正在讲话的所述参会人进行动态捕捉，获得所述参会人的参会视频，包括：

摄像头组，用于拍摄正在讲话的所述参会人的实时运动影像，生成相应的第一视频；

第一处理单元，用于根据所述控制模块的所存储的预处理算法将所述第一视频进行处理和标记，得到第二视频；

第二处理单元，用于将获取的所述第一视频和所述第二视频根据所述控制模块所存储的结合处理算法进行结合处理，得到第三视频，将所述第三视频在所述显示模块显示。

在一种可能实现的方式中，还包括：

记录模块，还用于根据所述参会人在所述第一主控设备的显示屏和第二主控设备的显示屏输入的控制指令，将所述第一主控设备的显示屏和第二主控设备的显示屏划分成多个区域，当所述第一主控设备的显示屏和第二主控设备的显示屏出现预设页面时，所述参会人在所述第一主控设备的显示屏和第二主控设备的显示屏上点击或连续滑动，通过所述摄像头组记录所述参会人在所述第一主控设备的显示屏和第二主控设备的显示屏上点击或连续滑动的图像；

所述控制模块，还用于接收所述记录模块记录的点击或连续滑动的图像，并检测在所述图像中所述参会人在所述第一主控设备的显示屏和第二主控设备的显示屏上的每个触点坐标，并根据所述触点坐标计算每个区域触点的平均面积；

存储模块，还用于存储根据上述计算结果计算得到的每个区域的面积映射比例。

在一种可能实现的方式中，

所述每个区域触点的平均面积s:

其中，si表示每个区域每个触点的面积；n表示触点的个数；

所述每个区域的面积映射比例a：

其中，s1个表示第一个区域触点的平均面积。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种会议集成系统的结构示意图；

图2为本发明实施例中获取第三视频的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供的一种会议集成系统，如图1所示，包括：

输入模块1，用于接收参会人输入的控制指令，控制指令包括切换指令或者发言指令；

采集模块2，用于对正在讲话的参会人的讲话内容进行采集，获得参会人对应的会议语音音频；

跟踪模块3，用于对正在讲话的参会人进行动态捕捉，获得参会人的参会视频；

显示模块4，用于显示跟踪模块所获取的参会视频、预先存储的预存多媒体文件或者远程视频会议的实时视频；

控制模块5，用于当输入模块1接收到发言指令时，控制采集模块2和跟踪模块3开始工作，将跟踪模块3获得的参会人的参会视频发送给显示模块4显示；

当输入模块1接收到切换指令时，控制显示模块4从当前所显示的参会视频切换至预存多媒体文件或者远程视频会议的实时视频进行显示。

需要说明的是，该系统的所有通信消息或数据都采用了特定的基于数据分块的加密与解密算法，以保障信息的安全，因此跟踪模块在向控制模块发送参会人的参会视频之前，为了保障参会人的参会视频的安全性，跟踪模块需按照如下加密方法对参会人的参会视频进行加密，以下将未被加密的参会人的参会视频称为没有被加密的明文视频流s，加密方法为：

设定没有被加密的明文视频流s，s的长度至少为1个字节，设定密钥k，k的长度是16个字节，密钥k为系统管理员预先设定的，加密算法步骤如下：

(1)给定没有被加密的明文视频流s，密钥k，并初始化变量t＝0；

(2)设没有被加密的明文视频流s为n个字节长度，按照8个字节为单位将明文视频流s分为数据块，如果n不是s的整数倍，那么在s后面添加数字0，直到添加0后的数据的长度为8的整数倍；s最终会被划分成多个数据块，这里假设被划分为m个数据块；

(3)对每个数据块实施如下操作：

(a)把8个字节的数据块分为前后两部分，每部分4个字节，分别用b1与b2表示，它们的长度都是4个字节；

(b)初始化机密常数delta＝0x89adb7b9；

(c)分别得到密钥k的4个数据，每个数据长度为4个字节，k0＝k[0]，k1＝k[1]，k2＝k[2]，k3＝k[3]；然后循环32次分别做如下操作：

(i)t＝t+delta

(ii)b1＝b1+((b2＜＜2)+k2)^(b2+t)^((b2＞＞7)+k3)

(iii)b2＝b2+((b1＜＜2)+k0)^(b1+t)^((b1＞＞7)+k1)

经过32次(i)、(ii)、(iii)三步运算后最终会得到加密后的8个字节的数据块，也就是最终的b1b2；其中，“<<”表示操作表数据的左移操作，后面跟着左移的bit数量；“>>”表示操作表数据的右移操作，后面跟着右移的bit数量；符号“^”表示幂运算；

(4)把所有的加密后的数据块合并在一起最终得到明文视频流s的加密视频流s′。

控制模块按照如下解密方法对接收到的加密视频流s′进行解密，解密时使用的密钥依然为密钥k，该解密方法如下：

(1)给定加密后的数据s′，密钥k，并初始化变量t＝0xa6bf3d30；

(2)假设加密视频流s′有p个字节长度，按照8个字节为单位将加密视频流s′划分为加密块；

(3)对每个加密块实施如下解密过程：

(a)把8个字节加密块分为前后两部分，每部分4个字节，分别用b3与b4表示；

(b)初始化机密机常数delta＝0x89adb7b9；

(c)分别得到密钥k的4个数据，每个数据长度为4个字节，k0＝k[0]，k1＝k[1]，k2＝k[2]，k3＝k[3]；然后循环32次分别做如下操作，这一步操作正好与对应的加密步骤相反：

(i)b4＝b4-((b3＜＜2)+k0)^(b3+t)^((b3＞＞7)+k1)

(ii)b3＝b3-((b4＜＜2)+k2)^(b4+t)^((b4＞＞7)+k3)

(ii)t＝t-delta

经过32次(i)、(ii)、(iii)三步运算后最终会得到解密后的8个字节的数据块，也就是最终的b3b4；

(4)把所有的解密后的数据块合并在一起最终得到的加密视频流s′的解密后的明文视频流s。

其好处是，通过对参会人的参会视频进行加密解密，保证了参会人的参会视频的安全保密性，降低其视频被窃取的可能性。

在本实施例中，对于显示模块显示远程视频会议的过程中，会出现视频延时的现象，例如可以通过步骤301-305对其视频延时进行统计：

步骤301：统计视频的第一信息包与第二信息包两者的时间间隔a，a∈{aj|j＝0,1,2,3,...,n}，其中，j表示信息包的先后顺序；

步骤302：对时间间隔a进行从小到大的排序，对排序后的时间间隔a进行n个区间划分，计算每个区间的概率值p，p∈{pj|j＝0,1,2,3,...,n}；

步骤303：当第一信息包与第二信息包两者的时间间隔a处于预设范围时，用遗忘因子bj对概率分布遗忘，即pj＝pj*bj，其中，初始值b0＝0；

当接收信息包的时间间隔cj-1<a<cj时，增大区间概率，pj＝pj+(1-bj)，控制遗忘因子bj进行更新，即：

其中c表示对排序后的时间间隔a进行n个区间划分的区间值，bj-1表示更新前的遗忘因子，bj表示更新后的遗忘因子；

步骤304：调整所获取的概率pj，假设当前的概率之和为a，则：

步骤305：计算视频的延时时间t:

其中tj表示对排序后的时间间隔a进行n个区间划分的区间值对应的时间延时。

需要说明的是：n的值默认取值为128；概率分布和的近似值为1。

其好处是：通过延时统计算法，可实时更新检测网络的变化，提高对延时检测的可靠性，进一步的提高了数据传输的效率。

在参会人进行发言之前，需对采集模块进行音量调整，例如采集模块可以是话筒、麦克风、扬声器等。

上述的跟踪模块，通过发言指令激活其对正在发言的人进行动态捕捉，并对发言的人进行特写，当无参会人发言的时候，跟踪模块，例如可以是分散式分布在会议室的各个位置，对每个参会人进行间隔性的动态捕捉。

需要说明的是，上述切换指令还包括：例如对电源控制、矩阵选择、dvd控制、摄像头控制、投影机控制或电视机控制进行切换选择。

上述的语音音频与参会视频在显示模块上进行同步播放，其中显示模块可以同时显示多个界面，例如在显示参会视频的同时还显示预存的多媒体文件。

该技术方案的有益效果是：通过跟踪模块对正在发言的参会人进行实时动态捕捉，可及时获取其参会人所展示的有效数据，从而提高了获取有价值的数据的可能性。

本发明实施例提供的一种会议集成系统，

输入模块包括：第一主控设备、第二主控设备，第一主控设备与第二主控设备是相互独立的，

第一主控设备，用于根据参会人在第一主控设备输入的控制指令，控制第一主控设备、第二主控设备或会议设备执行相应的操作；

第二主控设备，用于根据参会人在第二主控设备输入的控制指令，控制第二主控设备或会议设备执行相应的操作；

或者

控制模块，还用于根据参会人在第一主控设备或第二主控设备输入的控制指令，对跟踪模块进行工作参数的设置；

其中，第一主控设备的所拥有的控制权限大于或等于第二主控设备所拥有的控制权限，第一主控设备的数量小于或等于第二主控设备的数量；

会议设备包括：灯光、空调、投影机、投影幕、升降器、电视机、窗帘中任一种或多种。

上述第一主控设备的所拥有的控制权限大于或等于第二主控设备所拥有的控制权限，例如第一主控设备可以限制第二主控设备其上的话筒打开的数量。

第一主控单元代表的是会议的主席机，第二主控单元代表的是代表机，只有主席机授予代表机可执行相关操作的权限，代表机才能去执行相关操作。

其中，第一主控设备或第二主控设备例如可以是：手机、个人电脑、平板等，例如第一主控设备或第二主控设备可以采用15.6寸全高清电容式超薄型平板。

需要说明的是，第一主控设备和第二主控设备上例如还设有内置话筒，在必要情况下，参会者可以通过开启内置的话筒，进行发言，其好处是，避免对应的主控设备的采集模块损坏时，方便参会人发言，确保参会人发言的可能性。

当遇到紧急情况时，对于上述的会议设备可通过手动控制。

上述跟踪模块的工作参数包括：调焦、变倍、放大、缩小等。

该技术方案的有益效果是：通过对第一主控设备和第二主控设备进行独立设置，有效的避免两者的相互干扰，提高各自运行的效率，通过设置不同的控制权限，可限制参会人对其使用的频繁性，提高第一主控设备和第二主控设备的使用寿命。

本发明实施例提供的一种会议集成系统，还包括：

优先级判断模块，用于判断参会视频、预存多媒体文件和远程视频会议的实时视频各自的显示优先级；

控制模块，还用于根据优先级判断模块的判断结果，控制显示模块按照显示优先级对参会视频、预存多媒体文件、远程视频会议的实时视频进行先后顺序的显示；

其中，控制模块，还用于在当前正在讲话的参会人在讲话未结束时，下一位参会人对应的输入模块接收到了发言指令，则启动预备跟踪模块开始对下一位参会人进行动态捕捉；

在当前正在讲话的参会人讲话结束时，输入模块未接收到发言指令，则控制跟踪模块对所有参会人进行动态捕捉。

优先级判断模块是对参会视频、预存多媒体文件和远程视频会议的实时视频的紧急情况进行判断，例如，当会议时间即将到达预设时间时，这时，控制模块控制优先级判断模块开始工作，对参会视频、预存多媒体文件和远程视频会议的实时视频的紧急情况进行判断，获取其对应的优先级顺序，其好处是：可避免因时间紧迫，导致获取重要数据失败，通过优先级判断可有效提高获取有价值数据的可能性。

该技术方案的有益效果是：通过优先级判断模块，可以较为准确的对视频的优先级进行划分，提高获取有价值信息的可能性，通过发言指令，可对参会员的发言顺序进行有序排序，避免出现多人同时发言的情况，可有效的节省会议时间，提高会议交流的效率。

本发明实施例提供的一种会议集成系统，

显示模块包括：第一主控设备的显示屏和第二主控设备的显示屏，

控制模块，还用于控制将接收到的通过跟踪模块所获取的无压缩音频或视频信号，传输到下一级传输单元；

第二主控设备的显示屏，用于显示接收到的上一级无压缩的音频或视频信号，并传输到下一级传输单元；

控制模块，还用于通过第二主控设备的显示屏的串联传输单元与发送传输单元串联，控制第二主控设备的显示屏显示从发送传输单元获得无压缩音频或视频信号，各个第二主控设备的显示屏的串联传输单元，串联后一个第二主控设备的显示屏的串联传输单元，并从相邻的前一个第二主控设备的显示屏显示从串联传输单元获取无压缩的音频或视频信号。

在本实施例中，通过一级一级的传输单元，将无压缩音频或视频信号在主控设备的显示屏上显示，可以降低参会人对纸张的使用，节省材料。

需要说明的是，将发送传输单元连接到控制模块上，发送传输单元是用于接收控制模块无压缩音视频信号并向下一级传输的传输单元，发送传输单元通过五类网线连接串联传输单元，串联传输单元是用于将接收上一级无压缩音视频信号进行显示并传输给下一级的传输单元，串联传输单元连接第二主控设备的显示屏并该第二主控设备的显示屏对接收的无压缩音视频信号进行显示和播放，下一级的串联传输单元通过网线连接到上一级的串联传输单元，按照第二主控设备的显示屏实际数量依次串联，这样，各个显示屏的串联传输单元串联使后一个第二主控设备的显示屏的串联传输单元从相邻的前一个第二主控设备的显示屏的串联传输单元获取无压缩音视频信号进行显示。

需要说明的是，可以在串联传输单元上增加各类的控制按键、摄像头、音箱或者耳机等等辅助设备，其好处是：完善会议布局，提高会议效率。

该技术方案的有益效果是：从上一个显示屏的串联传输单元连出一根传输线进行扩展，使得会议布局更加方便，通过串联连接，可避免音频或视频信号在传输的过程中出现延迟。

本发明实施例提供的一种会议集成系统，跟踪模块对正在讲话的参会人进行动态捕捉，获得参会人的参会视频，包括：

摄像头组，用于拍摄正在讲话的参会人的实时运动影像，生成相应的第一视频；

第一处理单元，用于根据控制模块的所存储的预处理算法将第一视频进行处理和标记，得到第二视频；

第二处理单元，用于将获取的第一视频和第二视频根据控制模块所存储的结合处理算法进行结合处理，得到第三视频，将第三视频在显示模块显示。

其中，摄像头组及第三视频通过有线或无线方式进行数据传输。

第二处理单元对获取的第一视频和第二视频进行处理的步骤例如，如图2所示，包括步骤201-203：

步骤201：获取摄像头捕获的第一视频及第一处理单元预处理的第二视频；

其中，预处理是对第一视频进行剪切，并对所剪切的视频添加标志性的标签信息获得第二视频，并对第二视频进行编码转换和数据压缩。

步骤202：对接收到的第一视频和第二视频进行存储管理并接收第一主控设备和第二主控设备的查询请求；

步骤203：对所存储的第一视频和第二视频进行重新标记得到第三视频。

其中，步骤201中，对第二视频进行标记，与步骤203中，对第三视频进行标记，其两者进行标记的区别在于，对第三视频进行标记的数量远大于第二视频标记的数量，也更加方便对第三视频进行查询。

例如：第二视频的标记为“张某某”，“21比赛”，而第三视频的标记更为具体，例如：“张某某篮球比赛”，“2018-3-20广州阳光队2：1篮球比赛获胜”。

上述摄像头组例如可以采用18倍光学变焦一体化高速快球摄像机。

该技术方案的有益效果是：将获取的第一视频进行两次处理是避免因无用的视频信息造成对时间的浪费，从而可以提高获取有价值信息的完整性与可靠性，同时节省会议时间。

本发明实施例提供的一种会议集成系统，还包括：

记录模块，还用于根据参会人在第一主控设备的显示屏和第二主控设备的显示屏输入的控制指令，将第一主控设备的显示屏和第二主控设备的显示屏划分成多个区域，当第一主控设备的显示屏和第二主控设备的显示屏出现预设页面时，参会人在第一主控设备的显示屏和第二主控设备的显示屏上点击或连续滑动，通过摄像头组记录参会人在第一主控设备的显示屏和第二主控设备的显示屏上点击或连续滑动的图像；

控制模块，还用于接收记录模块记录的点击或连续滑动的图像，并检测在图像中参会人在第一主控设备的显示屏和第二主控设备的显示屏上的每个触点坐标，并根据触点坐标计算每个区域触点的平均面积；

存储模块，还用于存储根据上述计算结果计算得到的每个区域的面积映射比例。

其中，每个区域触点的平均面积s:

其中，si表示每个区域每个触点的面积；n表示触点的个数；

每个区域的面积映射比例a：

其中，s1个表示第一个区域触点的平均面积。

上述将显示屏划分成多个区域，例如可以是，将显示屏划分成4*5＝20个矩形区域，当显示屏上出现预设页面，手指在显示屏上点击或连续滑动，记录模块记录手指在显示屏上的图像，其中记录手指在显示屏上的图像，并对图像进行标定的方法有两种实施例：

实施例一：参会人在每个区域用手指触动一次，记录模块就记录接触显示屏的图像，控制模块对图像进行检测、跟踪，其中，根据划分的矩形区域，第一帧接触点位于第一个区域，其坐标为(x1,y1)，面积为s1，第二帧接触点位于第二个区域，其坐标为(x2,y2)，面积为s2,，第三帧接触点位于第三个区域，其坐标为(x3,y3)，面积为s3，…第20帧接触点位于第20个区域，其坐标为(x20,y20)，面积为s20。根据上述结果，计算每个区域的映射比例，其中第一个区域的映射比例为1，第二个区域的映射比例为s2/s1，第三个区域的映射比例为s3/s1，…第20个区域的映射比例为s20/s1。

实施例二：参会人在每个区域连续性操作一遍，记录模块旧纪录接触显示屏上的图像，控制模块对图像进行检测、跟踪，其中，第一帧接触点的坐标为(x1,y1)，面积为s1，第二帧接触点的坐标为(x2,y2)，面积为s2,，第三帧接触点的坐标为(x2,y2)，面积为s3，…第n帧接触点的坐标为(xn,yn),面积为sn，根据划分的区域，若坐标(x1,y1)、(x2,y2)位于第一个区域，则第一个区域中接触点的平均面积为(s1+s2)/2，若坐标(x3,y3)、(x4,y4)、(x5,y5)位于第二个区域，则第二个区域中接触点的平均面积为(s3+s4+s5)/3，以此类推，根据上述计算结果，计算每个区域的面积映射比例，其中第一个区域的面积映射比例为1，第二个区域的面积映射比例为[2(s3+s4+s5)]/[3(s1+s2)]，以此类推，计算剩余的区域的面积映射比例。

该技术方案的有益效果是：通过对接触点的记录和计算，得到适合于每个参会人的最佳接触点，较为准确的为参会人提供合适的接触灵敏度，提高参会人的体验效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。