用于白板协作的系统和方法
【专利摘要】本公开内容涉及用于白板协作的系统和方法。公开了用于在使用非电子方式增强的白板且不使用以电子方式增强的书写和/或指点工具的情况下，在视频会议中协作的方法和工具。实施例可建立正面摄像机以捕获整体视频流，整体视频流被分成至少两个视频馈送——白板馈送和演讲者馈送。正面摄像机可被建立为具有用于捕获白板和演讲者的景深和焦点以及用于优化白板和演讲者的针对每个馈送的特定视频捕捉设置。实施例可根据适当的设置捕获所述两个馈送，并将所述两个馈送传递给其他视频会议成员设备。实施例可添加附加的摄像机以允许附加的优化，诸如消除白板被遮挡区域和/或从视频捕获帧中的多个人中自动地选择演讲者。
【专利说明】用于白板协作的系统和方法
【技术领域】
[0001]本公开一般地涉及视频会议中的协作，特别地涉及用于白板协作的系统和方法。
【背景技术】
[0002]与其他人参加集会一直以来已经是商业世界的重要部分。随着出行技术允许经由火车、之后的汽车以及接下来的飞机更快地出行，对于人们来说，为了集会而从远程位置全部聚集到一起变得常见。典型的集会可能包括在很大的板处的演讲者，所述板诸如粉笔板、墙壁或粉笔板架上的大张的纸、以及最近的白板。因此，集会参加者可看到演讲者在白板处演示数据。随着技术的进步，进行人们都在同一电话线路上的电话会议变得常见。这允许在远程位置的人不是必须花费时间或费用前往集会地点而参加集会。不幸的是，电话技术允许只有声音的交互，所以远程参加者不能看到在书写板处演示的材料和/或看到其他集会参加者的表情或手势。随着通信技术的进步，实时视频通信变得可用，并且“视频会议”开始发挥作用，这允许远程集会参加者经由来自远程集会位置的直播电视馈送(feed)来观看远程集会/会议。
[0003]特别地关于在集会/大会上使用的书写板，由于书写和擦除的易用性以及易于识读白色背景上的暗线，白板已成为常用的演示工具。白板是具有白色背景的平坦表面的简单设备，可以用具有墨水的白板笔在该表面上书写，该墨水允许在使用后容易的擦白板。虽然白板可能是最常见的演示书写工具，但也使用粉笔板(通常具有黑色的表面)和大的纸板。通常，出于成本和易用性考虑，书写板工具是提供非电子方式增强的书写表面的简单、非电子工具，使用非电子方式增强的笔和指点设备(例如演讲者的手指或简单的指点杆)在该书写表面上书写和/或对其进行指点。
【发明内容】
[0004]本发明的实施例可包括一种当演讲者使用本文称作白板的非电子方式增强的书写表面时，并且在不使用以电子方式增强的书写和/或指点工具、使用操作地连接到视频处理通信单元并放置在白板的正面以捕获白板和使用白板的演讲者的视频的正面摄像机的情况下，在视频会议中协作的方法，视频会议协作方法包括:由视频处理通信单元设定正面摄像机的景深和焦点，使得正面摄像机捕获白板和作为演讲者的区域的白板前面的预定距离的图像；由视频处理通信单元设定正面摄像机以将整体正面摄像机视频流捕获为至少两个视频流一白板视频流和演讲者视频流，使得白板视频流和演讲者视频流是整体正面摄像机视频流的部分；由视频处理通信单元设定正面摄像机上的白板视频流的白板视频捕获设置，以优化白板的捕获；由视频处理通信单元设定正面摄像机上的演讲者视频流的演讲者视频捕获设置，以优化在白板前面的演讲者的区域中的演讲者的捕获；由视频处理通信单元使用正面摄像机，根据景深、焦点、白板视频捕获设置和演讲者视频捕获设置，捕获白板视频流和演讲者视频流；和由视频处理通/[目单兀将基于白板视频流的最终会议白板视频流和基于演讲者视频流的最终会议演讲者视频流传递给视频会议的成员设备。
[0005]本发明的实施例可进一步包括一种白板视频会议协作系统，包括:正面摄像机，放置在本文称作白板的非电子方式增强的书写表面的正面，以便捕获白板和使用白板的演讲者的视频；和操作地连接到正面摄像机的视频处理通信单元，其设定正面摄像机的景深和焦点，使得正面摄像机捕获白板和作为演讲者的区域的白板前面的预定距离的图像；其设定正面摄像机以将整体正面摄像机视频流捕获为至少两个视频流一白板视频流和演讲者视频流，使得白板视频流和演讲者视频流是整体正面摄像机视频流的部分；其设定正面摄像机上的白板视频流的白板视频捕获设置，以优化白板的捕获；其设定正面摄像机上的演讲者视频流的演讲者视频捕获设置，以优化白板前面的演讲者的区域中的演讲者的捕获；其使用正面摄像机根据景深、焦点、白板视频捕获设置和演讲者视频捕获设置捕获白板视频流和演讲者视频流；其将基于白板视频流的最终会议白板视频流以及基于演讲者视频流的最终会议演讲者视频流传递给视频会议的成员设备。
【专利附图】
【附图说明】
[0006]在附图中:
[0007]图1A是用于实施例的视频会议建立的框图。
[0008]图1B是用于实施例的视频会议建立的框图俯视图。
[0009]图2是用于实施例的准备并传递白板和演讲者视频流的处理的流程图。
[0010]图3是用于实施例的准备并传递多摄像机优化的视频流的处理的流程图。
[0011]图4是用于实施例的从多个人中选择演讲者的处理的流程图。
[0012]图5是用于实施例的使用多个摄像机估计人们到白板的接近度的处理的流程图。
【具体实施方式】
[0013]许多机构提供用于现场、面对面协作会话(即现场、面对面集会)的集会室。集会室通常配备有白板或者像粉笔板或大的纸板的其他演示规模的书写表面。典型的白板和/或其他演示规模的书写表面是廉价、非电子(即非交互式)的使用用于书写和/或指点的非电子(即非交互式)的书写笔/指点设备的书写表面。例如，书写表面不包含解释或以其他方式捕获书写表面上的笔迹的任何电子设备。同样，笔/指点设备执行书写(即笔、粉笔等)和指点(即指点杆或人的手指)的唯一目的，而不具有任何数字数据捕获能力。书写表面和笔/指点设备都不包含使书写表面/笔/指点设备与其他电子设备进行交互(即感测数据和/或通信)的任何电子设备。
[0014]专门的、以电子方式增强的(electronically enhanced)装配可用于增强视频会议体验。例如，以电子方式增强/交互式的白板可用于检测白板上的笔迹，并且，当与专用软件结合时，可用于传递在交互式白板上绘制/书写的内容。为了查看交互式白板的内容，视频会议的所有参与者将需要运行专门的软件以接受并显示来自交互式白板的信息。在交互式白板的位置处的软件有必要将来自该白板的数据打包用于传递到其他的视频会议参与者。对于一些视频会议系统，使用国际电信联盟(ITU)H.239标准连接和/或互联网工程任务组(IETF) 二进制发言权控制协议(BFCP)连接可将交互式白板所提供的白板数据作为数据/演示流共享。
[0015]另一种方法可以是以电子方式增强用于在白板上书写的笔(即制作交互式的笔)。类似于交互式白板，交互式的笔解释用该笔书写/绘制了什么并将该信息发送到其他的视频会议参与者。同样，需要用于交互式的笔的专门软件来解释绘制/书写的信息，并且需要用于每个视频会议参与者的专门软件来显示由交互式的笔收集并发送的信息。
[0016]交互式的笔和/或白板的使用提供了对绘制/书写到白板上的内容的交互式显示，但需要专门的装备和软件。专门的装备和/或软件以额外的费用和复杂性被提供。进一步地，专门的交互式的笔/白板可能是专有的，这样，用户不能选购商品供应，而是必须使用专门装备和/或软件的唯一供应商。进一步地，交互式的笔和/或白板不提供这样的系统，该系统提供专用的白板显示以及使用该白板的演讲者的并行显示两者。
[0017]另一个系统可使用统一协作软件来提供交互式会议。统一协作软件通常示出演讲者的计算机显示器的内容来代替白板的使用。统一协作软件在成本方面相对灵活且合理，但由于所有交互都在计算机上完成，其不提供对现场、面对面的协作会话的原生支持(native support)。进一步地,在自由流动互动期间，参与者使用证明是好的白板/粉笔板以便利于集会往往是最容易的，特别是对于“头脑风暴”类型的不助于更加受管制的计算机键盘/鼠标接口的集会。
[0018]出于本文的目的，术语“白板”旨在不仅将标准/典型白板包括在内，而且也将其他演示规模的书写表面(包括粉笔板和纸板)在内。由于白板是现今市场上最常见的演示规模的书写表面，所以当称“白板”而不是“书写表面”时，讨论是更自然和可理解的，并且按照“白板”来讨论概念被认为会更易于被读者理解。本文介绍的概念可用同样的方式应用到诸如粉笔板和/或纸板的其他书写表面。对于粉笔板，系统将使用粉笔板的黑色/灰色表面而不是典型白板的白色表面作为背景的指示。进一步地，“白板”/书写表面视频捕获的优化可包括将书写表面的背景颜色改变为期望的背景颜色，诸如将粉笔板从黑色表面上的白色笔迹改变为白色表面上的黑色笔迹。
[0019]本文所使用的术语“演示”旨在广泛地传达任何主题的演示，而不管其在由远程用户通过视频协作参加的集会/演示期间由演讲者(即人)如何准备的。演讲者可采用白板的使用作为传达信息的工具。没有对于演示需要特定的准备、时间长度或其他的主题限制的任何要求，仅要求演将者(即人)向集会的其他成员——不论是和演讲者位于同一位置处的这些成员还是在远程位置处使用视频会议/视频协作来观看演讲者的那些成员——传递信息。出于本文的目的，假设演讲者至少在一部分的演示期间使用白板来向其他集会成员/参加者传达信息。
[0020]图1A是用于实施例的视频会议建立的框图100。图1B是用于该实施例的视频会议建立的框图160俯视图。在图1A和IB的实施例中，演讲者104站在白板102的前面进行演示。正面摄像机106捕获白板102和演讲者104的视频(其也可称为视频流)。正面的摄像机106被称为正面摄像机106，因为摄像机106放置在白板102和演讲者104的“正面”以捕获使用白板102来进行演示的演讲者104的视频图像。正面摄像机106可以是相对便宜的数字摄像机，诸如作为膝上型计算机的内置特征部的通常可获得的“网络摄像头”摄像机或非常便宜的外围添加设备。虽然可使用更昂贵的数字摄像机，但是没必要使用多于简单“网络摄像头”的任何设备。
[0021]正面摄像机106操作地耦合到视频处理和通信单元112。视频处理通信单元112可以是包含允许设定正面摄像机106或也可操作地连接到视频处理通信单元112的其他摄像机(例如116、124、和/或130)的焦点和/或其他视频捕获特性/参数的逻辑功能的任何单个数字计算设备或数字计算设备的组合。视频处理通信单元112提供到主题视频会议的其他成员设备的通信链路(例如因特网和/或其他网络连接)114。正面摄像机106可以是具有内置到该摄像机设备中的视频处理和通信单元112的独立摄像机，诸如具有用于在以太网、无线网络、有TCP/IP(传输控制协议/因特网协议)能力的网络、有UDP/IP(用户/通用数据报协议/因特网协议)能力的网络和/或其他电子通信连接上传递视频流的视频处理和通信(即单元112)的自含式网络摄像头。类似地，视频处理控制单元112可以是具有用作正面摄像机106的集成的网络摄像头的膝上型计算机。对于多个摄像机的选项，也可将附加的摄影机(诸如116、124和130)与视频处理通信单元112和/或操作地连接到视频处理通信单元112的外围设备或者其任何组合相集成。部分的视频处理可由与摄像机(例如106、116、124和/或130)集成的数字计算执行，以及/或者使用位于一个或多个分开的设备中的数字计算执行。出于本文的目的，摄像机(例如106、116、124和/或130)被定义为只是摄像机，其中摄像机能够接受由操作地连接的视频处理通信资源112提供的摄像机设置并根据其进行操作。再次，出于本文的目的，视频处理通信单元112被定义为生成用于摄像机(例如106、116、124和/或130)的设置、分析视频流、对视频流执行操作和/或提供通信接口以将一个或多个视频流传递到其他视频会议成员设备114的数字计算资源。
[0022]对于图1A和IB中示出的实施例，正面摄像机106和视频处理通信单元112之间的操作连接(即通信链路)被示出为正面摄像机通信链路110。侧面摄像机I (124)和视频处理通信单元112之间的操作连接(即通信链路)被示出为侧面摄像机I通信链路128。侧面摄像机2(130)和视频处理通信单元112之间的操作连接(即通信链路)被示出为侧面摄像机2通信链路134。白板小俯冲角摄像机116和视频处理通信单元112之间的操作连接(即通信链路)被示出为白板小俯冲角摄像机通信链路142。
[0023]如上文所描述的，摄像机(即106、116、124和/或130)可与视频处理通信单元112在同一设备的内部，以及/或者可外围地连接到视频处理通信单元112。相应地，可以按可用于内部通信或者外部/外围通信的多种多样的电子通信格式来实现实际的物理连接。例如，可经由电路板上的一条或多条迹线或甚至是在集成电路(IC)芯片上共享的迹线来实现内部连接。通信协议可以是由特定的制造商确定的专有协议，或者可以是非专有标准，诸如在用于很多个人计算机的扩展总线上使用的外围组件互连快速(PCIe)协议。PCIe也具有可用于将外部外围摄像机连接到用作视频处理通信单元112的计算机的外部物理互连标准。通用串行总线(USB)是目前非常常见的外围总线协议，其可用于连接外部外围设备，但也可用于内部总线通信。可使用的两个常用的高清晰度视频连接协议是HDMI (高清多媒体接口)和DVI (数字可视接口)。HDMI协议包括连接中的声音组件，而DVI协议是仅有视频的，使得单独的声音连接可能也是必要的。在一些情况下，无线通信连接可用于完成视频处理通信单元112和摄像机(106、116、124和/或130)之间的操作通信链路(即110、124、134和/或142)。在本文中尝试列出可用于将发明中的摄像机(即106、116、124和/或130)操作地连接到视频处理通信单元112的多种多样的通信协议是不可行的。通信链路(即110、124、134和/或142)应当能够将由摄像机(106、116、124和/或130)捕获的图像传输到视频处理通信单元112。
[0024]同样，视频处理通信单元和视频会议的其他成员设备之间的通信链路114也可以是系统设计者所期望的任何专有和/或非专有的通信系统。通常，一些类型的UDP/IP连接是最有可能的连接，但其他的网络/电子通信技术会工作用于各种实施例。再次，在本文中尝试列出可用于将视频处理通信单元112操作地连接114到视频会议的其他成员设备的多种多样的通信协议是不可行的。通信链路114应当能够将适当的视频流传输到视频会议的其他成员设备。
[0025]在图1A和IB中示出的实施例中，深度传感器/摄像机120可以可选地包括在整体白板视频会议协作系统中。深度传感器/摄像机120可用于测量演讲者106和白板102之间的深度122。深度传感器/摄像机120可经由深度传感器通信链路144操作地连接到视频处理通信单元112，以便将所测量的深度122传递到视频处理通信单元112。如上文针对摄像机106、116、124和/或130所描述的，深度传感器/摄像机可具有与深度传感器/摄像机120包含在同一封装中的视频处理通信单元112的全部或部分的数字计算能力，或者深度传感器/摄像机120可作为到视频处理通信单元112的外部外围连接而集成到系统中。相应地，类似于用于摄像机106、116、124和/或130的连接110、128、134和/或142，实际的物理连接可以按可用于内部通信或外部/外围通信的多种多样的电子通信格式来实现，包括IC和/或电路板上的内部迹线、外部的有线和/或无线通信连接。再次，在本文中尝试列出可用于将深度传感器/摄像机112操作地连接144到视频处理通信单元112的多种多样的通信协议是不可行的。深度传感器通信链路144应当能够将适当的深度122信息传输到视频处理通信单元112。
[0026]在图1A和IB中示出的实施例中，还包括在白板102上或其附近安装的可选的视频显示器136和可选的控制条140。视频显示器136旨在允许演讲者104看到与当前视频会议相关联的其他视频馈送和/或计算机显示器，使得演讲者104可观看正用于主题视频集会/会议的可应用视频流和/或计算机程序。控制条可以是具有可由视频摄像机106、116、124和/或130中的至少一个检测的区域的非电子方式增强的板。视频处理通信单元112可监视来自摄像机106、116、124和/或130的视频，以检测演讲者104指点向控制条140上的可检测区域。视频处理通信单元112可将命令与控制条140上的每个可检测区域相关联，并当演讲者在控制带140上的可检测区域处指点时执行所关联的命令。
[0027]因此，白板视频会议协作系统可由被校准为捕获白板102的正面摄像机106和可被用于从与正面主摄像机106不同的角度捕获白板102和/或演讲者104的可选的一个或多个附加的摄像机116、124和/或130组成。附加地，实施例可进一步添加深度感测摄像机/深度传感器120以感测演讲者104和白板102之间的深度122。实施例的视频处理通信单元112可提供数字计算资源来管理和控制摄像机/深度传感器(106、116、120、124和/或130)以及对由摄像机(106、116、124和/或130)捕获的视频执行分析和/或优化操作。对于实施例，视频处理通信单元112可接收由摄像机(106、116、124和/或130)在主持(host)白板视频会议协作系统的房间中捕获的视频馈送。视频处理通信单元112可生成至少两个聚合的优化视频流以传递114到视频会议的其他成员设备。实施例可生成聚焦在演讲者104上的一个或多个视频流(即演讲者视频流148)和聚焦在白板102上的一个视频流(即白板视频流150)。对于与典型视频会议系统的集成，可能经由根据国际电信联盟(ITU)H.239标准的连接建立和/或根据互联网工程任务组(IETF) 二进制发言权控制协议(BFCP)的连接建立，可将演讲者视频流148作为主视频流而共享，并且可将白板视频流150作为数据/演示流而共享。对于与统一通信系统的集成，可将白板视频流150作为web协作流而共享，并且可将演讲者视频流148作为来自集会房间的视频而共享。
[0028]为了生成最终的会议演讲者148和白板150视频馈送/流，视频处理通信单元112可设定每个可用的摄像机(例如106、116、124和/或130)的摄像机深度和焦点以捕获白板102和白板前面的预定距离(即演讲者的区域146)。视频处理通信单元112可设定视频摄像机(例如106、116、124和/或130)以按两种捕获设置(例如曝光、白平衡等)捕获每个摄像机的视频流的帧。一种捕获设置——白板视频捕获设置——可优化摄像机(例如106、116、124和/或130)用于捕获白板102的图像。另一种捕获设置——演讲者视频捕获设置——可优化摄像机(例如106、116、124和/或130)用于捕获演讲者104/演讲者的区域146、以及/或者一般地在大体上优化主持白板视频会议系统的房间的视频捕获。白板和/或演讲者视频捕获设置可应用于不同集合的帧，以由单个摄像机(例如106、116、124和/或130)获得最佳的图像捕获/曝光。例如，按30帧/秒(fps)捕获图像的摄像机(例如106、116、124和/或130)可被设定为每六帧(即6帧中的I帧)使用白板优化的视频捕获设置来捕获，并且使用演讲者优化的视频捕获设置捕获其余的帧，使得白板视频流150按5fps被呈现，并且演讲者/房间视频流150按25fps被呈现。尽管已经发现1/6的白板视频流150和5/6的演讲者/房间视频流148工作得很好，但是，只要有整体视频流的一部分用于白板视频流150和整体视频流的一部分用于演讲者/房间视频流148，也可使用其他的比例。例如，如果摄像机相比30fps更快或更慢地捕获帧，那么可能期望关于白板视频流150调整演讲者视频流148的所选择的帧速率。在图1A和IB中示出的实施例中，正面摄像机视频捕获设置108将是被调整用于捕获白板和演讲者的正面图像的正面视频摄像机106的视频捕获设置。侧面摄像机I视频捕获设置126将是被调整用于侧面I视频摄像机124的视频捕获设置。侧面摄像机2视频捕获设置132将是被调整用于侧面2视频摄像机130的视频捕获设置。白板小俯冲角视频捕获设置118将是被调整用于白板小俯冲角视频摄像机116的视频捕获设置。
[0029]为了从在白板102位置/房间的其他人中选择演讲者104，视频处理通信单元112可分析来自可用摄像机(例如106、116、124和/或130)的演讲者/房间视频馈送。视频处理通信单元112通过执行面部检测分析处理可自动检测在白板102位置/房间的每个人。视频处理通信单元112可使用边缘检测处理而扩展所检测的每个人的面部以包含这个人的整体可用图像。视频处理通信单元112也可估计所检测的人到白板102的接近度(即深度122)。可使用可选的深度传感器/摄像机120、基于立体(即至少两个)摄像机视频馈送(例如来自正面主摄像机106以及侧面摄像机124、130和/或白板小俯冲角摄像机116中的至少一个的视频馈送)而估计深度122、以及/或者通过比较在来自可用摄像机(例如106、116、124和/或130)的两个或更多个视频馈送上的白板102的被遮挡区域，来执行接近度/深度122估算。用于基于白板102图像的被遮挡区域而估计人的接近度/深度122的处理可包括:
[0030]I)识别检测到的人的图像的轮廓上的特定位置/点(例如检测到的人的图像上的最闻点)
[0031]2)将识别到的点投射到白板102的平面
[0032]3)比较来自两个或更多个摄像机(例如106、116、124和/或130)的投射点并使用三角测量来估计深度122
[0033]视频处理通信单元112也可分析每个检测到的面部的注视方向和每个识别到的人的手势方向。为了从多个人的图像中识别活动演讲者104的图像，视频处理通信单元112可评估每个识别到的人到白板102的接近度/深度122、注视方向、作为演讲者104的持续性、和/或对于白板102的手势方向。
[0034]一旦活动演讲者104被选择/识别，并且如果有多个摄像机(例如106、116、124和/或130)，那么视频处理通信单元112可选择来自摄像机(例如106、116、124和/或130)之一的最佳视频馈送，以使用作为用于传送114给其他视频会议成员设备的演讲者视频流148的主要源。摄像机(例如106、116、124和/或130)视频馈送的选择可基于下列评估:
[0035]?演讲者104的脸如何正面？
[0036].演讲者104是否被遮挡？
[0037].演讲者104是否被完全捕获？
[0038].所选择的视频馈送与先前使用的同一演讲者104的视频馈送的持续性。
[0039]视频处理通信单元112可通过组合/聚合来自多个摄像机(例如106、116、124和/或130)的视频馈送和/或对单个视频馈送执行处理来优化最终的会议白板视频流150。对于来自每个可用摄像机(例如106、116、124和/或130)的视频馈送，视频处理通信单元112可使用图像处理来将白板图像变换为矩形形状，甚至当视频馈送是来自诸如侧面摄像机1(124)和/或侧面摄像机2 (130)的正以不同的角度捕获白板102图像的摄像机时，该不同的角度由于摄像机(例如侧面摄像机1(124)和/或侧面摄像机2 (130))位置的视角，将呈现非矩形白板102的未优化的图像。由于白板102的表面的颜色和质地相对均匀，可以相对于背景检测出白板的边界，以及/或者可根据预校准输入设定白板102在捕获到的图像中的相对位置。确定了白板的边界，包括仿射变换和调整大小的图像处理可用于对白板102的图像进行变换和调整大小以使白板102的图像看起来是矩形的形式。仿射变换是保留直线和位于直线上的点之间的距离的比例的几何变换。仿射变换并不必要地保留角度或长度，但确实保持平行线在变换后平行。因此，仿射变换允许去除由摄像机(例如侧面摄像机I (124)和/或侧面摄像机2 (130))的视角提供的角度，以形成矩形白板102图像，同时保持适当的平行线和相对比例。也可单独使用仿射变换之外的纠正光学畸变的变换，或者将其与仿射变换组合使用，以优化白板的图像。
[0040]其他可由视频处理通信单元112执行的优化可调整捕获到的图像以改善图像的清晰度和/或颜色。例如，可调整白板102的视频图像的对比度，以改善在白板102上书写/绘制的线和形状的清晰度/对比度。也可调整图像的颜色平衡，以通过给予白板102的背景真正的白颜色来改善图像。进一步地，如果白板102事实上具有不同的、非白色的背景，那么背景颜色可改变为白色以在计算机显示器上更容易地识读，如果期望这样的话。
[0041]为了减少镜面光或反射，可在摄像机(例如106、116、124和/或130)处使用一个或多个偏振滤光器。镜面光或反射是指来自单个源的光的镜面似的反射。在白板102的情况下，用于照亮白板102的光可能由于白板102通常有光泽的性质而导致镜面反射。偏振滤光器的取向可在安装期间手动设定，或者视频处理通信单元112可自动旋转在摄像机(例如106、116、124和/或130)处的偏振滤光器，作为对摄像机(例如106、116、124和/或130)的视频捕获设置的调整的一部分，以更好地减少镜面光或反射。而且，如下面所更详细地讨论的，通过来自多个摄像机源的图像的融合(即组合)来减少和/或消除镜面光或反射也是可以的。
[0042]另一种白板视频流150的优化可以是从白板视频流150中消除白板102被遮挡(即阻挡)的区域。可以通过遮挡对象相对于白板102的表面的边缘检测来检测到遮挡。由于白板102的表面的颜色和质地相对均匀，所以可以将被遮挡的区域检测为没有白板102的预期颜色和质地的区域。而且，现有的过滤器可用于将白板102和图像的任何前景部分分段。如果实施例中包括深度传感器/摄像机120，则深度传感器120数据可单独使用，或与边缘检测组合使用，以识别白板被遮挡的区域。类似地，如果有多个摄像机(例如106、116,124和/或130)可用，则可以按和深度传感器120数据类似的方式使用对象深度的立体确定以识别被遮挡的区域。如果只有单个摄像机(诸如正面摄像机106)可用，或者所有摄像机(例如106、116、124和/或130)视频馈送都具有同一被遮挡区域，那么视频处理通信单元可由以前构造的过去捕获的白板视频流150帧来完成缺失的白板102区域。如果白板102的被遮挡区域可在来自不同摄像机角度(例如106、116、124和/或130)的视频馈送中获得，则视频处理通信单元112可合并或融合(即聚合)来自不同摄像机(例如106、116、124和/或130)的不同视频馈送，以完成被遮挡的区域。
[0043]类似于被遮挡的白板区域，由于之前上文所讨论的镜面光或反射、或者就此而言的任何类型的反射而不可见的白板区域，可以按和用于被遮挡区域的同样的方式被补偿。这就是说，通过进行反射相对于白板102的表面的边缘检测，白板102图像由于反射而缺失的区域可被检测。由于白板102的表面的颜色和质地相对均匀，所以可以将反射检测为没有白板102的预期颜色和质地的区域，诸如白板102图像上的未预期的亮点。如果只有单个摄像机(诸如正面摄像机106)可用，或者所有摄像机(例如106、116、124和/或130)视频馈送都具有同一缺失区域，那么视频处理通信单元可由以前构造的过去捕获的白板视频流150帧来完成缺失的白板102区域。如果白板102的缺失区域可在来自不同摄像机角度(例如106、116、124和/或130)的视频馈送中获得，则视频处理通信单元112可合并或融合(即聚合)来自不同摄像机(例如106、116、124和/或130)的不同视频馈送，以完成缺失区域。
[0044]为了将来自不同摄像机(例如106、116、124和/或130)的合并或融合图像构造到单个最终的会议白板视频流150中，视频处理通信单元112可根据视频馈送中的白板102图像的边界来对齐所有的视频馈送。一旦白板102图像在视频馈送中对齐，则一个馈送的白板的被遮挡和/或缺失区域可与其他对齐的视频馈送的重叠区域合并或融合，以完成被遮挡和/或缺失的区域。
[0045]演讲者104可以可选地使用控制条140来控制视频处理通信单元112。控制条140不是以电子方式增强的，但可包括由摄像机(例如106、116、124和/或130)中的至少一个在视觉上可辨识的区域。控制条140可以是附接于或靠近白板102的板、基板、贴纸或其他视觉表示。控制条可具有表示演讲者104可能期望发送到视频处理通信单元112的不同命令的所定义的区域(即非交互式按钮或以其他方式由摄像机在视觉上可辨识的区域的行)。视频处理通信单元112可监视演讲者视频流148以检测演讲者104与控制条102的交互。如果演讲者104指点向或触摸控制条140的所定义的区域，那么视频处理通信单元112可执行与所触摸/指点向的所定义区域相关联的预定命令。视频显示器136也可以可选地附接到或靠近白板102，或放置在演讲者104的附近，以使得演讲者104可监视演讲者148和/或白板150视频流，以确保适当的信息正被传送114到其他视频会议成员设备。演讲者104还可呈现来自其他视频会议成员的视频和/或计算机程序信息，使得演讲者104除了能够将最终的会议演讲者148和白板150视频流传递到其他视频会议成员之外，还能够与远程视频会议成员进行交互。如果视频显示器136是触摸屏，或者提供了一些其他的输入设备，那么视频显示器136也可由演讲者使用以经由视频显示器通信链路138发送命令到视频处理通信单元112。视频显示器通信链路138可使用典型的有线和无线计算机通信技术。
[0046]因此，可使用成本相对低的组件构建白板视频会议协作系统的各种实施例。可使用便宜的、网络摄像头级的摄像机装备来实现正面的白板摄像机106和/或侧面摄像机124、130。系统可使用慢的帧速率视频馈送来执行，尤其是白板视频流150可使用诸如上面建议的5fps的非常慢的帧速率来实现。由视频处理通信系统112生成以传递114给其他视频会议成员设备的两个或更多个最终会议视频流148、150可以容易地与现有的视频会议装备集成。必要的逻辑和处理具有相对低的性能轨迹(footprint)以及/或者在低帧速率的视频馈送上执行。因此，视频处理通信单元112处理可在现有的视频会议计算机装备上以及/或者在低端、低成本的个人计算机(PC)或服务器上执行。
[0047]图2是用于实施例的准备并传递白板和演讲者视频流的处理的流程图200。图2的处理可由实施例的视频处理通信单元/系统执行。在处理202处，正面摄像机的景深和焦点被设定，使得正面摄像机捕获白板和白板前面的预定的“演讲者的区域”。在处理204处，正面摄像机被设定为将整体正面摄像机视频流捕获为至少两个视频流一白板视频流和演讲者视频流，使得白板和演讲者视频流是整体正面摄像机视频流的部分。在处理206处，正面摄像机上的白板视频捕获设置(例如曝光、白平衡等)被针对白板视频流设定，使得视频捕获被优化以捕获白板的视频。在处理208处，演讲者可以可选地以及自动地从由正面摄像机对其图像进行捕获的多个人中被选择。在处理210处，正面摄像机上的演讲者视频捕获设置(例如曝光、白平衡等)被针对演讲者视频流设定，使得视频捕获被优化以捕获演讲者的视频。在处理212处，正面摄像机根据景深、焦点、白板视频捕获设置和演讲者视频捕获设置来捕获白板和演讲者视频流。在处理214处，白板和/或演讲者视频流被优化，以提供白板和/或演讲者视频流中的更清楚和/或更完整的视频图像。在处理216处，基于整体正面摄像机视频流的白板和演讲者视频流部分的最终会议白板和演讲者视频流被传递到视频会议的其他成员设备。
[0048]图3是用于实施例的准备并传递多摄像机优化的视频流的处理的流程图300。除了在上面相对于图2的公开内容中所描述的处理之外，图3的处理也可由实施例的视频处理通信单元/系统执行。在处理302处，至少一个附加的摄像机的景深和焦点被设定，使得所述至少一个附加的摄像机捕获白板和白板前面的预定的“演讲者的区域”。在处理304处，所述至少一个附加的摄像机被设定为将整体附加摄像机视频流捕获为至少两个视频流一一附加白板视频流和附加演讲者视频流，使得附加摄像机白板和演讲者视频流是整体附加摄像机视频流的部分。在处理306处，所述至少一个附加的摄像机上的附加摄像机白板视频捕获设置(例如曝光、白平衡等)被针对附加白板视频流设定，使得所述至少一个附加的摄像机视频捕获被优化以捕获白板的视频。在处理308处，所述至少一个附加的摄像机上的附加演讲者视频捕获设置(例如曝光、白平衡等)被针对附加演讲者视频流设定，使得所述至少一个附加的摄像机视频捕获被优化以捕获演讲者的视频。在处理310处，所述至少一个附加的摄像机根据景深、焦点、附加摄像机白板视频捕获设置和附加摄像机演讲者视频捕获设置来捕获附加白板和演讲者视频流。在处理312处，附加白板和/或演讲者视频流与正面摄像机白板和演讲者视频流聚合来基于至少两个摄像机角度优化白板和演讲者视频流，以产生经优化的聚合视频流。在处理314处，经优化的聚合白板和演讲者视频流作为最终会议白板和演讲者视频流被传递到视频会议的其他成员设备。
[0049]图4是用于实施例的从多个人中选择演讲者的处理的流程图400。图4的处理也可由实施例的视频处理通信单元/系统执行，作为在上面相对于图2的公开内容中所描述的自动选择演讲者的处理208的一部分。在处理402处，至少由正面摄像机对其图像进行捕获的每个人的面部被检测。面部检测算法将受益于使用来自所有可用的摄像机的视频馈送而被运行，因为面部检测算法通常受限于以陡的摄像机角度检测面部的灵活性，并且可用的摄像机角度越多，其越有可能以较小(shallow)的摄像机角度捕获面部。如果只有正面摄像机可用(或者期望只使用正面摄像机)，面部检测算法则可只用正面摄像机馈送运行，但结果可能不会和使用多个摄像机馈送时一样好。在处理404处，使用边缘检测分析，其面部被检测的每个人都具有被扩展的相关联的面部检测，以包括这个人的整体可用图像。在处理406处，使用可选的深度传感器和/或使用多个摄像机及三角测量，每个检测到的人关于白板的接近度(即深度)被估计。在处理408处，每个检测到的人的注视方向被分析。在处理410处，每个检测到的人的手势方向被分析。在处理412处，基于以下特性至少之一，从由正面摄像机对其图像进行捕获的所述多个人中选择活动演讲者:到白板的接近度(即越接近于白板，就越有可能是演讲者)，注视方向(即注视观众，而不是严格地注视白板，就越有可能是演讲者)，手势方向(即向白板打手势，就越有可能是演讲者)，和/或作为演讲者的持续性(即如果该人之前是演讲者，该人就越有可能将保持为活动演讲者)。
[0050]图5是用于实施例的使用多个摄像机估计人们到白板的接近度的处理的流程图500。图5的处理也可由实施例的视频处理通信单元/系统执行，作为在上面相对于图4的公开内容中所描述的估计人到白板的接近度的处理406的一部分。在处理502处，识别每个检测到的人的轮廓上的特定位置点(例如最高点)。在处理504处，每个检测到的人的特定位置点被投射到白板的平面。在处理506处，针对从两个或更多个摄像机角度捕获图像的两个或更多个摄像机(例如正面摄像机和至少一个侧面摄像机)，每个检测到的人的投射点被比较。在处理508处，使用多个摄像机角度的三角测量，所估计的每个检测到的人关于白板的深度/接近度被计算。
[0051]各种实施例可经由在计算机系统(或其他电子设备)上操作的应用提供这里详述的控制和管理功能。实施例可被提供为计算机程序产品，该计算机程序产品可包括在其上存储有指令的计算机可读或机器可读的介质，所述指令可用于编程/操作计算机(或其他电子设备)或计算机系统以执行根据本发明的一个或多个处理。计算机可读介质可包括但不限于硬盘驱动器、软盘、光盘、压缩盘只读存储器(CD-ROM)、数字通用盘ROM(DVD-ROM)、通用串行总线(USB)存储器棒、磁光盘、ROM、随机存取存储器(RAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、磁光卡、闪速存储器或适于存储电子指令的其他类型的介质/机器可读介质。计算机程序指令可在单个计算机/电子设备上驻留和操作，或者各个部分可散布在组成计算机系统的多个计算机/设备上。而且，实施例也可作为计算机程序产品下载，其中程序可经由通信链路(例如调制解调器或网络连接，包括有线/电缆连接和无线连接两者)通过以载体波或其他传播介质具体实现的数据信号的形式从远程计算机传送到请求计算机。
[0052]已经出于说明和描述的目的给出了本发明的前述描述。其并不旨在穷举或将本发明限制为所公开的精确形式，并且根据上述教导，其他修改和变型可以是可行的。选择并描述所述实施例是为了最好地解释本发明的原理及其实际应用，由此使本领域的其他技术人员能够最佳地将本发明用于适合于所构想的特定用途的各种实施例和各种修改。权利要求旨在被解释为包括本发明其他另选的实施例，除了现有技术所限制的范围。
【权利要求】
1.一种当演讲者使用本文称作白板的非电子方式增强的书写表面时，并且在不使用以电子方式增强的书写和/或指点工具、使用操作地连接到视频处理通信单元并放置在所述白板的正面以捕获所述白板和使用所述白板的所述演讲者的视频的正面摄像机的情况下，在视频会议中协作的方法，所述视频会议协作方法包括: 由所述视频处理通信单元设定所述正面摄像机的景深和焦点，使得所述正面摄像机捕获所述白板和作为演讲者的区域的所述白板前面的预定距离的图像； 由所述视频处理通信单元设定所述正面摄像机以将整体正面摄像机视频流捕获为至少两个视频流一白板视频流和演讲者视频流，使得所述白板视频流和所述演讲者视频流是所述整体正面摄像机视频流的部分； 由所述视频处理通信单元设定所述正面摄像机上的所述白板视频流的白板视频捕获设置，以优化所述白板的捕获； 由所述视频处理通信单元设定所述正面摄像机上的所述演讲者视频流的演讲者视频捕获设置，以优化在所述白板前面的所述演讲者的区域中的所述演讲者的捕获； 由所述视频处理通信单元使用所述正面摄像机，根据所述景深、所述焦点、所述白板视频捕获设置和所述演讲者视频捕获设置，捕获所述白板视频流和所述演讲者视频流；和由所述视频处理通信单元将基于所述白板视频流的最终会议白板视频流和基于所述演讲者视频流的最终会议演讲者视频流传递给所述视频会议的成员设备。
2.根据权利要求1的方法，其中至少一个附加的摄像机操作地连接到所述视频处理通信单元，所述至少一个附加的摄像机这样放置，使得所述至少一个附加的摄像机从相比所述正面摄像机不同的角度捕获所述白板和所述演讲者的视频，权利要求1的所述方法进一步包括: 由所述视频处理通信单元设定所述至少一个附加的摄像机的附加摄像机景深和附加摄像机焦点，使得所述至少一个附加的摄像机捕获所述白板和作为所述演讲者的区域的所述白板前面的所述预定距离的图像； 由所述视频处理通信单元设定所述至少一个附加的摄像机以将整体附加摄像机视频流捕获为至少两个视频流一附加摄像机白板视频流和附加摄像机演讲者视频流，使得所述附加摄像机白板视频流和所述附加摄像机演讲者视频流是所述整体附加摄像机视频流的部分； 由所述视频处理通信单元设定所述至少一个附加的摄像机上的所述附加摄像机白板视频流的附加摄像机白板视频捕获设置，以优化所述白板的捕获； 由所述视频处理通信单元设定所述至少一个附加的摄像机上的所述附加摄像机演讲者视频流的附加摄像机演讲者视频捕获设置，以优化在所述白板前面的所述演讲者的区域中的所述演讲者的捕获； 由所述视频处理通信单元使用所述至少一个附加的摄像机，根据所述附加摄像机景深、所述附加摄像机焦点、所述附加摄像机白板视频捕获设置和所述附加摄像机演讲者视频捕获设置，捕获所述附加摄像机白板视频流和所述附加摄像机演讲者视频流； 由所述视频处理通信单元将所述附加摄像机白板视频流和所述白板视频流聚合，以优化基于所述正面摄像机和所述至少一个附加的摄像机的至少两个摄像机角度所呈现的图像，以便产生优化的白板视频流； 由所述视频处理通信单元将所述附加摄像机演讲者视频流和所述演讲者视频流聚合，以优化基于所述正面摄像机和所述至少一个附加的摄像机的至少两个摄像机角度所呈现的图像，以便产生优化的演讲者视频流 '及 其中，由所述视频处理通信单元将所述白板视频流和所述演讲者视频流传递给所述视频会议的成员设备的所述处理将所述优化的白板视频流作为所述最终会议白板视频流以及将所述优化的演讲者视频流作为所述最终会议演讲者视频流进行传递。
3.根据权利要求1的方法，进一步包括: 由所述视频处理通信单元检测所述白板视频流中的所述白板的部分被遮挡；和 由所述视频处理通信单元用所述白板视频流的之前构造的不具有所述白板的所检测到的被遮挡部分的帧替换所述白板视频流中的所述白板的所检测到的被遮挡部分，以完成所述白板视频流中的所述白板的缺失部分。
4.根据权利要求2的方法，进一步包括: 由所述视频处理通信单元检测所述白板视频流中的所述白板的部分被遮挡或者由镜面光和反射而引起畸变；及 其中，由所述视频处理通信单元将所述附加摄像机白板视频流和所述白板视频流聚合以优化基于所述正面摄像机和所述至少一个附加的摄像机的至少两个摄像机角度所呈现的图像、以便产生优化的白板视频流的所述处理进一步包括:由所述视频处理通信单元用所述附加摄像机白板视频流的示出了所述白板的被检测为正被遮挡或由所述镜面光和反射引起畸变的所述部分的帧替换所述白板视频流中的所述白板的所检测到的被遮挡部分或被镜面光和反射畸变的部分，以便完成所述白板视频流中的所述白板的缺失部分或畸变的部分。
5.根据权利要求1的方法，进一步包括: 由所述视频处理通信单元自动地从由至少所述正面摄像机对其捕获图像的多个人中选择所述演讲者 '及 其中，至少所述由所述视频处理通信单元设定所述正面摄像机上的所述演讲者视频流的演讲者视频捕获设置、以优化在所述白板前面的所述演讲者的区域中的所述演讲者的捕获的处理针对所述自动选择的演讲者进行优化。
6.一种白板视频会议协作系统，包括: 正面摄像机，放置在本文称作白板的非电子方式增强的书写表面的正面，以便捕获所述白板和使用所述白板的演讲者的视频；和 操作地连接到所述正面摄像机的视频处理通信单元，其设定所述正面摄像机的景深和焦点，使得所述正面摄像机捕获所述白板和作为演讲者的区域的所述白板前面的预定距离的图像；其设定所述正面摄像机以将整体正面摄像机视频流捕获为至少两个视频流一白板视频流和演讲者视频流，使得所述白板视频流和所述演讲者视频流是所述整体正面摄像机视频流的部分；其设定所述正面摄像机上的所述白板视频流的白板视频捕获设置，以优化所述白板的捕获；其设定所述正面摄像机上的所述演讲者视频流的演讲者视频捕获设置，以优化所述白板前面的所述演讲者的区域中的所述演讲者的捕获；其使用所述正面摄像机根据所述景深、所述焦点、所述白板视频捕获设置和所述演讲者视频捕获设置捕获所述白板视频流和所述演讲者视频流；其将基于所述白板视频流的最终会议白板视频流以及基于所述演讲者视频流的最终会议演讲者视频流传递给所述视频会议的成员设备。
7.根据权利要求6的白板视频会议协作系统，进一步包括: 操作地连接到所述视频处理通信单元的至少一个附加的摄像机，所述至少一个附加的摄像机这样放置，使得所述至少一个附加的摄像机从相比所述正面摄像机不同的角度捕获所述白板和所述演讲者的视频；及 其中，所述视频处理通信单元进一步设定所述至少一个附加的摄像机的附加摄像机景深和附加摄像机焦点，使得所述至少一个附加的摄像机捕获所述白板和作为所述演讲者的区域的所述白板前面的所述预定距离的图像；设定所述至少一个附加的摄像机以将整体附加摄像机视频流捕获为至少两个视频流一附加摄像机白板视频流和附加摄像机演讲者视频流，使得所述附加摄像机白板视频流和所述附加摄像机演讲者视频流是所述整体附加摄像机视频流的部分；设定所述至少一个附加的摄像机上的所述附加摄像机白板视频流的附加摄像机白板视频捕获设置，以优化所述白板的捕获；设定所述至少一个附加的摄像机上的所述附加摄像机演讲者视频流的附加摄像机演讲者视频捕获设置，以优化所述白板前面的所述演讲者的区域中的所述演讲者的捕获；使用所述至少一个附加的摄像机根据所述附加摄像机景深、所述附加摄像机焦点、所述附加摄像机白板视频捕获设置和所述附加摄像机演讲者视频捕获设置捕获所述附加摄像机白板视频流和所述附加摄像机演讲者视频流；将所述附加摄像机白板视频流和所述白板视频流聚合，以优化基于所述正面摄像机和所述至少一个附加的摄像机的至少两个摄像机角度所呈现的图像，以便产生优化的白板视频流；将所述附加摄像机演讲者视频流和所述演讲者视频流聚合，以优化基于所述正面摄像机和所述至少一个附加的摄像机的至少两个摄像机角度所呈现的图像，以便产生优化的演讲者视频流；并将所述优化的白板视频流作为所述最终会议白板视频流以及将所述优化的演讲者视频流作为所述最终会议演讲者视频流进行传递。
8.根据权利要求6的白板视频会议协作系统，其中，所述视频处理通信单元进一步检测所述白板视频流中的所述白板的部分被遮挡，并用所述白板视频流的之前构造的不具有所述白板的所检测到的被遮挡部分的帧替换所述白板视频流中的所述白板的所检测到的被遮挡部分，以完成所述白板视频流中的所述白板的缺失部分。
9.根据权利要求7的白板视频会议协作系统，其中，所述视频处理通信单元进一步检测所述白板视频流中的所述白板的部分被遮挡或者由镜面光和反射畸变，并且所述附加摄像机白板视频流和所述白板视频流的为了优化基于所述正面摄像机和所述至少一个附加的摄像机的至少两个摄像机角度所呈现的图像以便产生优化的白板视频流的所述聚合进一步用所述附加摄像机白板视频流的示出了所述白板的被检测为正被遮挡或由所述镜面光和反射畸变的所述部分的帧替换所述白板视频流中的所述白板的所检测到的被遮挡部分或被镜面光和反射畸变的部分，以便完成所述白板视频流中的所述白板的缺失部分或畸变的部分。
10.根据权利要求6的白板视频会议协作系统，其中，所述视频处理通信单元进一步自动地从由至少所述正面摄像机对其捕获图像的多个人中选择所述演讲者，并且至少所述正面摄像机上的、优化在所述白板前面的所述演讲者的区域中的所述演讲者的捕获的所述演讲者视频流的所述演讲者视频捕获设置被针对所述自动选择的演讲者进行优化。
【文档编号】G06F3/01GK104284133SQ201410262402
【公开日】2015年1月14日 申请日期:2014年6月13日 优先权日:2013年7月8日
【发明者】O·莫戴, Y·威纳, I·E·齐伯施泰因 申请人:阿瓦亚公司