专利名称：白板共享系统和白板共享方法
技术领域：
本发明大体上涉及图像处理领域，且具体地涉及支持背景图片的白板共享系统和白板共享方法。
背景技术：
已知了在诸如白板或黑板的描绘对象(以下，为了方便理解，均称为“白板”)上描绘文字或图画(以下统称为“手写内容”)的远程会议系统，使得可以使用诸如投影仪的图像呈现设备将远程手写内容投影到本地白板上，本地用户可以在本地白板上描绘本地手写内容，其中该具有本地手写内容和远程手写内容的白板可由诸如摄像机的图像抓取设备来抓取并传输到远程。因此，在本地和远程的用户在白板上能够同时观看到对方的手写内 容以及自己的手写内容，以便在本地和远程之间共享他们的手写内容。例如，在2010年12月16日公开的申请人为Ricoh的发明申请W02010143727A1 (题为“Drawnlmage SharingApparatus”)中公开了这样的一种白板共享系统。通常，投影仪可能还在白板上投影诸如幻灯片、文档、系统桌面等的背景图片，也就是说，本地手写内容可以被描绘在这种投影的背景图片上。在这种情况下，摄像机抓取到的图像包括投影的背景图片、投影的远程手写内容和本地手写内容。为了达到交互共享的目的，通常需要将本地手写内容从背景图片中分离出来并传输到远程。在美国专利US7496229中描述了一种通过消除视觉回声来将投影仪投影出去的图像减去摄像机抓取的图像来从背景图片中分离手写内容的方法。但是，该方法必须首先对摄像机的视角和投影仪的视角得到的图像进行几何校正和颜色校正，因为在投影仪投影出去的图像与摄像机抓取的图像之间存在几何偏差和颜色偏差。然后，用投影仪投影的图像与用回声消除法校正后的摄像机抓取的图像相比较，来分离手写内容。然而，这种方法利用投影仪投影出去的图像与摄像机抓取的图像，由于两种图像的像素、形状和颜色之间存在较多偏差，因此该方法在背景图片复杂时分离手写内容的效果不好。而且该方法的计算量巨大。在2004年I月13日提交的发明申请JP2005203886中描述了一种远程会议支持系统。其通过特殊的摄像机和投影仪硬件来实现背景图片与手写内容的分离。具体地，该投影仪和摄像机在硬件上是同步的。当摄像机拍摄的瞬间，投影仪不投影背景图片，因此摄像机抓取的只是本地的手写内容，而没有背景图片。该方案需要特殊的摄像机和投影仪才能实现，因此增加了硬件成本。
发明内容
现有技术中的白板系统通过用抓取到的图像减去投影出去的图像来获取本地手写内容，在没有背景图片的时候效果很好，但是遇到背景图片或者甚至复杂的背景图片的时候无法解决投影图像和抓取图像的各个像素无法对齐所产生的减法结果中的噪音和缺失等问题，同时还具有计算复杂的问题。因此，需要一种在具有背景图片的情况下也能够清楚、准确地从背景图片中分离本地手写内容的方法和系统。根据本发明的一个方面，提供一种白板共享方法，所述方法包含如下步骤在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之一；根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量，其中所述本地当前帧是在本地当前抓取的白板图像，所述本地参考帧是在本地先前抓取的白板图像；以及向远程传输本地手写内容的改变量。在本发明的一个实施例中，所述方法还包括在有远程手写内容的改变量的情况下，在本地抓取当前的白板图像之前接收远程手写内容的改变量，并根据远程手写内容的改变量来获得所述远程手写内容；将所获得的远程手写内容与背景图片呈现，和本地手写内容一起作为所述当前的白板图像。在本发明的一个实施例中，根据远程手写内容的改变量来获得远程手写内容包括组合所接收的远程手写内容的改变量和本地参考帧上的远程手写内容来获得所述远程手写内容。在本发明的一个实施例中，根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量包括通过将本地当前帧与本地参考帧之间的差减去远程手写内容的改变量来获取本地手写内容的改变量。在本发明的一个实施例中，当背景图片改变时，在本地呈现改变后的背景图片，抓取具有改变后的背景图片、本地手写内容和远程手写内容的白板图像作为更新的本地参考帧，并同步更新的本地参考帧和更新的远程参考帧，其中更新的本地参考帧和更新的远程参考巾贞是对应的。根据本发明的另一方面，提供一种白板共享系统，所述系统包括图像抓取装置，在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之一；本地手写内容改变量计算装置，根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量，其中所述本地当前帧是在本地当前抓取的白板图像，所述本地参考帧是在本地先前抓取的白板图像；以及传输装置，向远程传输本地手写内容的改变量。在本发明的一个实施例中，所述系统还包括接收装置，在有远程手写内容的改变量的情况下，在本地抓取当前的白板图像之前，接收远程手写内容的改变量，并根据远程手写内容的改变量来获得所述远程手写内容；图像呈现装置，将所获得的远程手写内容与背景图片呈现，和本地手写内容一起作为所述当前的白板图像。在本发明的一个实施例中，所述接收装置通过组合所接收的远程手写内容的改变量和本地参考帧上的远程手写内容来获得所述远程手写内容。在本发明的一个实施例中，所述本地手写内容改变量计算装置通过将本地当前帧与本地参考帧之间的差减去远程手写内容的改变量来获取本地手写内容的改变量。在本发明的一个实施例中，所述白板共享系统还包括同步装置，其中，当背景图片 改变时，所述图像呈现装置在本地呈现改变后的背景图片，并且所述图像抓取装置抓取具有改变后的背景图片、本地手写内容和远程手写内容的白板图像作为更新的本地参考帧，同时所述同步装置同步更新的本地参考帧和更新的远程参考帧，其中更新的本地参考帧和更新的远程参考帧是对应的。本发明的实施例可以在有背景图片或者甚至复杂的背景图片的时候减少投影图像和抓取图像的各个像素无法对齐所产生的减法结果中的噪音和缺失等问题。本发明的实施例还可以通过同步本地和远程参考帧来解决双方在减法过程中的同步问题。并且本发明的实施例还可以传输手写内容的改变量而非全部手写内容，使得减少了传输量和传输时间。本发明的实施例还可以清楚、准确地从背景图片中分离本地手写内容。
在附图中图示了示范性实施例。意图使在此公开的实施例是说明性的而不是限制性的。然而，当与附图一起阅读时，参考如下详细描述，可以更好地理解本公开，在附图中图I是示出了根据本发明的实施例的白板共享系统的示例总体架构的示意图；图2是示出了根据本发明的实施例的白板共享系统的示例功能部件的方块图；图3是示出了根据本发明的实施例的白板共享方法的流程图；图4是示出了根据本发明的实施例的另一白板共享系统的示例功能部件的方块图；图5是示出了根据本发明的实施例的另一白板共享方法的流程图；图6是示出了在根据本发明的实施例的白板共享方法中当背景图片未改变时本地和远程的双方之间的示例流程例子的示意图；图7是示出了在根据本发明的实施例的白板共享方法中当背景图片改变时本地和远程的双方之间的示例流程例子的示意图；以及图8是示出了在根据本发明的实施例的白板共享方法中本地和远程同步参考帧的一个示例的流程图。
具体实施例方式现在具体参考本发明的具体实施例，在附图中例示本发明的具体实施例的例子。虽然将结合下述具体实施例说明本发明，但是并不是用于将发明限于所说明的实施例。相反，所说明的实施例用于覆盖可以在由所附权利要求限定的本发 明的精神和范围内包括的替代、修改和等效物。图I是示出了根据本发明的实施例的白板共享系统的示例总体架构的示意图。示例的本地白板共享系统可以包括诸如摄像机的图像抓取装置、用于计算和处理的处理装置和诸如投影仪的图像呈现装置。例如，本地用户在白板上写下“A”，本地的图像抓取装置可以抓取此时的白板图像并将“A”向远程传输，远程的图像呈现装置可以在远程白板上投影本地用户写的“A”，且远程用户可以在白板上写下“B”，且远程的图像抓取装置可以抓取此时的白板图像并将“B”向本地传输，而本地的图像呈现装置可以在白板上呈现远程用户写的“B”，以此达到交互共享的目的。在图像呈现装置也投影背景图片的情况下，图像抓取装置抓取的白板图像可能包括投影的背景图片、投影的远程手写内容和本地手写内容。本发明的一个实施例解决了在这种情况下如何从背景图片中分离本地手写内容的问题。
参考图2，图2是示出了根据本发明的实施例的白板共享系统200的示例功能部件的方块图。白板共享系统200包括图像抓取装置201，在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之一；本地手写内容改变量计算装置202，根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量，其中该本地当前帧是在本地当前抓取的白板图像，该本地参考帧是在本地先前抓取的白板图像；以及传输装置203，向远程传输本地手写内容的改变量。在本发明的 实施例中，该本地手写内容改变量计算装置202通过将本地当前帧与本地参考帧之间的差减去远程手写内容的改变量来获取本地手写内容的改变量。在这里，仅描述了在本地的白板共享系统200中的各个装置。但是，在实际应用中，在远程可以布置与本地的白板共享系统200中的各个装置类似的各个装置。根据本发明的实施例的白板共享系统200通过将当前抓取的白板图像减去在先前抓取的白板图像，这使得两种抓取的白板图像之间的像素、形状和颜色的差异较小，因此不需要做过多的几何校正和颜色校正，且两种抓取的白板图像之间的差值也比较准确地反映了手写内容的改变量，从而能够从背景图片中更准确地分离手写内容。这样，本发明的实施例也通过传输手写内容的改变量而非全部手写内容，使得减少了传输量和传输时间。参考图3，图3是示出了根据本发明的实施例的白板共享方法300的流程图。白板共享方法300包含如下步骤在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之一(S301);根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量(S302)，其中所述本地当前帧是在本地当前抓取的白板图像，所述本地参考帧是在本地先前抓取的白板图像；以及向远程传输本地手写内容的改变量(S303)。在步骤S302中，可以通过将本地当前帧与本地参考帧之间的差减去远程手写内容的改变量来获取本地手写内容的改变量。根据本发明的实施例的白板共享方法300通过将当前抓取的白板图像减去在先前抓取的白板图像，这使得两种抓取的白板图像之间的像素、形状和颜色的差异较小，因此不需要做过多的几何校正和颜色校正，且两种抓取的白板图像之间的差值也比较准确地反映了手写内容的改变量，从而能够从背景图片中更准确地分离手写内容。这样，本发明的实施例也通过传输手写内容的改变量而非全部手写内容，使得减少了传输量和传输时间。参考图4,图4是不出了根据本发明的实施例的另一白板共孚系统400的不例功能部件的方块图。白板共享系统400包括图像抓取装置401，在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之一；本地手写内容改变量计算装置402，根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量，其中该本地当前帧是在本地当前抓取的白板图像，该本地参考帧是在本地先前抓取的白板图像；以及传输装置403，向远程传输本地手写内容的改变量。在本发明的一个实施例中，该本地手写内容改变量计算装置202可以通过将本地当前帧与本地参考帧之间的差减去远程手写内容的改变量来获取本地手写内容的改变量。在白板共享系统400中的该图像抓取装置401、本地手写内容改变量计算装置402、传输装置403的功能和布置可以与白板共享系统200中的上述的图像抓取装置201、本地手写内容改变量计算装置202、传输装置203相同，因此不再赘述。白板共享系统400还可以包括接收装置404，在有远程手写内容的改变量的情况下，在本地抓取当前的白板图像之前，接收远程手写内容的改变量，并根据远程手写内容的改变量来获得所述远程手写内容；图像呈现装置405，将所获得的远程手写内容与背景图片呈现，和本地手写内容一起作为所述当前的白板图像。在本发明的一个实施例中，该接收装置404可以通过组合所接收的远程手写内容的改变量和本地参考帧上的远程手写内容来获得所述远程手写内容。在本发明的一个实施例中，所述白板共享系统400还可以包括同步装置406，其中，当背景图片改变时，所述图像呈现装置405在本地呈现改变后的背景图片，并且所述图像抓取装置401抓取具有改变后的背景图片、本地手写内容和远程手写内容的白板图像作为更新的本地参考帧，同时所述同步装置406同步更新的本地参考帧和更新的远程参考帧，其中更新的本地参考帧和更新的远程参考帧是对应的。在这里，仅描述了在本地的白板共享系统400中的各个装置。但是，在实际应用 中，在远程可以布置与本地的白板共享系统400中的各个装置类似的各个装置。例如，从本地的传输装置403传输的本地手写内容的改变量可以被传输到远程的传输装置(未示出)等等，且本领域技术人员完全可以理解远程的各个装置可以实现与本地的白板共享系统400中的各个装置类似的功能，在此不赘述。当背景图片改变时，除了在本地更新本地参考帧以外，还在远程也更新远程参考帧，同样地，远程的图像呈现装置(未示出)在远程呈现改变后的背景图片，并且远程的图像抓取装置(未示出)抓取具有改变后的背景图片、本地手写内容和远程手写内容的白板图像作为更新的远程参考帧，同时远程的同步装置(未示出)同步更新的本地参考帧和更新的远程参考帧，其中更新的本地参考帧和更新的远程参考帧是对应的。在实际应用中，可以由白板共享系统中的一方(例如，本地)来提供改变的背景图片(当然，也可以由白板共享系统以外的装置来单独向双方提供背景图片)。也就是说，当背景图片改变时，本地还可能向远程传输改变的背景图片。因此，在远程，在接收到改变的背景图片时才开始更新远程参考帧，因此本地更新本地参考帧的时刻与远程更新远程参考帧的时刻可能不同，由双方的图像抓取装置所抓取的白板图像可能有所不同，为了使得更新的本地参考帧和更新的远程参考帧是对应的，远程的同步装置可能需要在所抓取的白板图像上消除在时延期间所做的改变(例如，远程手写内容的添加或擦除等)，其具体细节将在以下描述本发明的白板共享方法的具体步骤时详细说明。根据本发明的实施例的白板共享系统400通过将当前抓取的白板图像减去在先前抓取的白板图像，这使得两种抓取的白板图像之间的像素、形状和颜色的差异较小，因此不需要做过多的几何校正和颜色校正，且两种抓取的白板图像之间的差值也比较准确地反映了手写内容的改变量，从而能够从背景图片中更准确地分离手写内容。这样，本发明的实施例也通过传输手写内容的改变量而非全部手写内容，使得减少了传输量和传输时间。而且，在背景图片改变时，本发明的实施例的白板共享系统400通过同步更新的本地参考帧和更新的远程参考帧，使得本地参考帧和远程参考帧都包括了改变的背景图片，且是最新的和相互对应的，便于计算手写改变量，且在背景图片改变的情况下，也能够更准确地分离手写内容。下面参考图5，图5是示出了根据本发明的实施例的另一白板共享方法500的流程图。
该白板共享方法500包括在有远程手写内容的改变量的情况下，在本地抓取当前的白板图像之前接收远程手写内容的改变量，并根据远程手写内容的改变量来获得所述远程手写内容(S501);将所获得的远程手写内容与背景图片呈现，和本地手写内容一起作为当前的白板图像(S502);在本地抓取当前的白板图像(S503)，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之一；根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量(S504)，其中本地当前帧是在本地当前抓取的白板图像，所述本地参考帧是在本地先前抓取的白板图像；以及向远程传输本地手写内容的改变量(S505)。在本发明的一个实施例中，步骤S501可以包括组合所接收的远程手写内容的改变量和本地参考帧上的远程手写内容来获得所述远程手写内容。在本发明的一个实施例中，步骤S504可以包括通过将本地当前帧与本地参考帧之间的差减去远程手写内容的改变量来获取本地手写内容的改变量。在本发明的一个实施例中，该白板共享方法500还可以包括当背景图片改变时，在本地呈现改变后的背景图片，抓取具有改变后的背景图片、本地手写内容和远程手写内容的白板图像作为更新的本地参考帧，并同步更新的本地参考帧和更新的远程参考帧(S506)，其中更新的本地参考帧和更新的远程参考帧是对应的。根据本发明的实施例的白板共享方法500通过将当前抓取的白板图像减去在先前抓取的白板图像，这使得两种抓取的白板图像之间的像素、形状和颜色的差异较小，因此不需要做过多的几何校正和颜色校正，且两种抓取的白板图像之间的差值也比较准确地反映了手写内容的改变量，从而能够从背景图片中更准确地分离手写内容。这样，本发明的实施例也通过传输手写内容的改变量而非全部手写内容，使得减少了传输量和传输时间。而且，在背景图片改变时，本发明的实施例的白板共享方法500通过同步更新的本地参考帧和更新的远程参考帧，使得本地参考帧和远程参考帧都包括了改变的背景图片，且是最新的和相互对应的，便于计算手写改变量，且在背景图片改变的情况下，也能够更准确地分离手写内容。为了说明的目的，下面结合图6-8来示意地描述根据本发明的白板共享方法的具体算法步骤。这些具体步骤和算法细节仅是为了示意的目的，而非限制。根据本发明的白板共享方法可以使用其他具体步骤和算法细节。参考图6，图6是示出了在根据本发明的实施例的白板共享方法中当背景图片未改变时本地和远程的双方之间的示例流程例子的示意图。在图6的左侧示出了本地的白板图像，且图6的右侧示出了远程的白板图像。从图6可以看出，本地参考帧是左上的白板图像，在该本地参考帧上，存在背景图片、远程手写内容“B”和本地手写内容“A”，且远程参考帧是右上的白板图像，其与本地参考帧本质上对应或相同。然后，远程用户在远程的白板上写上“C”。在有远程手写内容的改变量“C”的情况下，本地接收远程手写内容的改变量“C”，并根据远程手写内容的改变量“C”来获得所述远程手写内容“BC”;将所获得的远程手写内容“BC”与背景图片投影到白板上，和原有的本地手写内容“A”以及新添加的本地手写内容 “ D ” 一起作为要被抓取的当前的白板图像；在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容“BC”和本地手写内容“AD”;根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量“D”；以及向远程传输本地手写内容的改变量“D”。类似地，在远程进行与本地相似的步骤，以达到交互共享的目的，在此不赘述。在本发明的实施例中，手写内容的改变量表示两张图片之间区别的位图(bitmap)，包含内容像素、空像素和擦除像素。内容像素表示后一张图片与前一张图片的区别是在后一张图片中出现了前一张图片中没有的内容颜色(例如，在图6中的添加的本地手写内容改变量“D”)，擦除像素表示后一张图片与前一张图片的区别是后一张图片中擦除了在前一张图片中出现的该像素，且空像素表示后一张图片与前一张图片没有区别。擦除像素和空像素均可以使用特定颜色来表示，例如，空像素可以用RGB色彩空间中的(255，255，255)来表示，或可以用透明像素来表示。当然，以上所述的手写内容的改变量的表示方式只是图像改变量的一种表示方式，也可以使用其他定义来表示图像的改变，例如每个像素的改变量都是两张图片中对应 的像素颜色差值等等。本发明的实施例的具体细节可以根据改变量的定义来相应地修改。以下所述的描述均只针对此特定的示例改变量定义。具体地，在计算来获得远程手写内容的步骤中，可以组合远程参考帧上的远程手写内容以及本地接收到的远程手写内容改变量。手写内容的定义和改变量的定义可以相同，只是没有擦除像素。例如，示例的具体组合方式如下对于获得的远程手写内容的图像中的每个像素的颜色如果远程手写内容的改变量不是“空”像素也不是“擦除”像素(即，在后一张图片中出现了前一张图片中没有的内容颜色，例如，图6中的远程手写改变量“C”)，则在获得的远程手写内容的图像的该像素上置为该远程手写内容的改变量(例如，“C”)；如果远程手写内容的改变量为“空”像素(即，后一张图片与前一张图片没有区别)，在获得的远程手写内容的图像的该像素上置为远程参考帧上的远程手写内容的值(例如，图6中的远程参考帧上的远程手写内容“B”)；如果远程手写内容的改变量是“擦除”像素，在获得的远程手写内容的图像的该像素上置为“空”像素(例如，白色或透明像素)。如此，组合远程参考帧上的远程手写内容以及本地接收到的远程手写内容改变量所获得的远程手写内容是例如“BC”。如果所用到的图像中使用了有损压缩图像，则判断某个像素是不是空像素或者擦除像素的时候不能简单判断其颜色是否符合定义，而必须在一个阈值范围内判断其和预定义颜色的差距是否小于某个阈值。该阈值在RGB空间内可以使用例如10等值，在其他情况下可以根据具体情况灵活定义。为了描述方便，在下述描述中不再提及有损压缩图像造成的颜色误差。也就是说，在图像的形式或编码方式不同的情况下，在本发明的原理和规则的范围内，对于图像的改变量和像素的定义方式也可能不同，但都属于本发明所保护的范围内。在将远程手写内容和背景图像组合呈现的步骤中，例如，示例具体组合方式如下对于所组合的图像中的每个像素的颜色如果远程手写内容是“空”像素(例如，白色或透明像素)，则在所组合的图像中的该像素上置为背景图像的颜色；否则，则在所组合的图像中的该像素上置为远程手写内容的图像颜色。在计算本地手写内容相对于本地参考帧的改变量的步骤中，可以包含如下步骤I)通过本地当前帧和本地参考帧的颜色进行减法得到减法结果。在一个实施例中，对该减法结果中的每个像素的颜色如果当前帧和参考帧的对应像素颜色差距大于某阈值，将改变量修正为当前帧的 对应像素的颜色值(即，前述的内容像素)(例如，在手写内容的添加的情况下，当前帧的对应像素的颜色值为手写内容的颜色值，而在手写内容的擦除的情况下，当前帧的对应像素的颜色值为背景像素的值)；否则，将改变量修正为空像素。这里，设置阈值的原因是因为，在将本地当前帧和本地参考帧的颜色进行相减时，即使没有手写内容的改变量，本地当前帧和本地参考帧上的背景图片部分所得到的减法结果可能由于投影以及抓取的原因而产生一定的偏差而不一定是0，但是应该较小。其中，该阈值可以根据具体环境和实验数据灵活选取，例如，在RGB颜色中间的距离差阈值可以取50。注意，在做减法前，根据具体环境，可能需要进行诸如自动白平衡之类的预处理。2)判断改变量中是否存在擦除像素。对于手写内容的擦除的情况，当前帧上原始手写内容处的像素的颜色将改变为背景像素的颜色，在将本地当前帧和本地参考帧的颜色进行相减时，所得的减法结果是背景像素。这使得在I)的减法步骤中，得到的结果夹杂了手写内容改变量之外的背景图像，这些背景图像无法被远程端区分出来会被当作手写内容投影显示，从而与原背景图像的投影显示有偏差和重叠，致使投影内容混乱。因此，需要在手写内容的改变量的计算过程中判断哪些改变量是擦除像素。判断哪些改变量是擦除像素的一种简单的示例实现方式可以包括对背景图片作膨胀处理(为了减少投影和抓取的像素位置的误差，该膨胀处理是本领域技术人员公知的，在此不赘述)；对手写内容的改变量图像中每个像素的颜色如果修正后的改变量为“空”像素(两个像素未变化)，则手写内容的改变量图像中的该像素置为“空”像素；如果修正后的改变量不为“空”像素(该像素可能是添加的也可能是擦除的)且当前帧和背景图像中对应的像素的差距小于阈值(即，当前帧中的该像素很可能是背景图像的像素，而非添加的手写内容)，则手写内容的改变量图像中的该像素再次修正为“擦除”像素；否则，将改变量置为原值(S卩，内容像素)。3)在有远程手写内容的改变量的情况下，将步骤2)所获得的手写内容的改变量减去(例如从远程接收到的)远程手写内容的改变量。以上获得的手写内容的改变量可能包含远程的和本地的改变量，因此需要减去远程手写内容的改变量来得到本地手写内容的改变量。该减法可以使用任何图像减法来实现，一个简单的示例实现方式为对远程手写内容的改变量的图像进行膨胀处理；
对所得到的图像中每个像素的颜色
如果手写内容的改变量中对应像素为“空”像素，则将本地手写内容的改变量置为“空”像素；如果手写内容的改变量中对应像素不为“空”像素，但是远程手写内容的改变量对应像素为“空”像素(即，未发生远程手写内容的改变)，将本地手写内容的改变量置为手写内容的改变量中对应像素的值(例如，将手写内容的改变量减去远程手写内容的改变量“空”像素而得到手写内容的改变量)；如果手写内容的改变量中对应像素不为“空”像素，但是远程手写内容的改变量对应像素不为“空”像素(即，发生了远程手写内容的改变，例如图6中的左侧的“C”)，将本地手写内容的改变量置为“空”像素(例如，在图6中的左侧将手写内容的改变量“C”减去远程手写内容的改变量“C”而得到“空”像素)。在计算得到本地手写内容改变量以后，得到的本地手写改变量的图像可能包含部分噪声。可以使用去噪算法去掉图像中的噪声，例如中值滤波或去除太小的连通域等方法都可以用来去噪。在发送本地手写内容的改变量图像给远程方时，可以使用任意图像压缩算法来进一步减少传输量和缩短传输时间。以上描述了在背景图片不发生改变的情况下本发明的白板共享方法所进行的示例详细步骤。以下将描述在背景图片发生改变的情况下本发明的白板共享方法所进行的示例详细步骤。参考图7，图7是示出了在根据本发明的实施例的白板共享方法中当背景图片改变时本地和远程的双方之间的示例流程例子的示意图。在图7中在背景图片改变之前的步骤和处理与图6中的类似，在此不赘述。图7中对于本地手写内容的改变量的计算也与图6中的类似，也不赘述。在图7的左侧示出了本地的白板图像，且图7的右侧示出了远程的白板图像。在图7中，在有远程手写内容的改变量“C”的情况下，接收远程手写内容的改变量“C”，并根据远程手写内容的改变量“C”来获得所述远程手写内容“BC”;将所获得的远程手写内容“BC”与背景图片投影到白板上，和原有的本地手写内容“A”以及新添加的本地手写内容“D2” 一起作为要被抓取的当前的白板图像；在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容“BC”和本地手写内容“AD2”;根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量“D2”；以及向远程传输本地手写内容的改变量“D2”。此时，从图7中可见，背景图片发生改变。则在本地的白板上呈现改变后的背景图片，抓取呈现了改变后的背景图片和远程手写内容(“BC”)、以及本地手写内容(AD2)的白板图像作为更新的本地参考帧，并同步更新的本地参考帧和更新的远程参考帧，其中更新的本地参考帧和更新的远程参考帧是对应的。所述参考帧的同步可以使用任何同步方法。在一个实施例中，可以由背景提供部件来判断背景图像是否改变，可以使用任何图像比较方法比较当前背景和原背景图像，也可通过其他途径例如监控输入设备操作信号等获取背景图像是否改变的信息。该背景提供部件可以位于本地或远程，或者除了本地和远程以外的单独的地方。
在一个实施例中，在同步更新的本地参考帧和更新的远程参考帧时，由于传输改变后的背景图片需要一些时间，在该时间期间，如果远程用户在远程白板上再次写下手写内容“ I”(如图7所示)，则为了使得更新的本地参考帧和更新的远程参考帧是对应的，可以进行附加的远程参考帧校正处理，如以下详细描述的。图8是示出了在根据本发明的实施例的白板共享方法中本地和远程同步参考帧的一个示例的流程图。在该实施例中，如果本地是背景发送方，则在更新本地参考帧和远程参考帧时对于背景发送方，例如本地，当背景改变的时候，参考帧同步的具体步骤可以包括
(I)如果手写内容正在持续改变，等到手写内容不再改变。手写内容的改变可以通过对抓取的图像做人体检测来判断，有人就是正在改变。这样可以保证每次抓取之前都存在手写内容的改变，从而节省抓取资源和计算资源。(2)抓取白板图像并计算本地手写内容的改变量。(3)将投影内容中的背景图片换成新背景图片后投影到本地白板上。(4)获取新参考帧，可以包括a)抓取白板图像；b)将步骤a)中的白板图像作为新参考帧；c)将当前本地和远程的手写内容作为新参考帧上的手写内容。(5)发送新背景图片和本地手写内容改变量(相对于旧参考帧)给远程方。对于背景接收方，例如远程，当背景改变的时候，参考帧同步的具体步骤可以包括(I)接收到新背景和从本地传输的手写内容的改变量(相对于本地旧参考帧)。(2)如果在远程的手写内容正在持续改变，等到手写内容不再改变。手写内容的改变可以通过对抓取的图像做人体检测来判断，有人就是正在改变。这样可以保证每次抓取之前都存在手写内容的改变，从而节省抓取资源和计算资源。(3)抓取白板图像并计算在远程的手写内容的改变量；(4)将投影内容中的背景图片换成新背景图片后投影到远程白板上；(5)获得新的远程参考帧，可以包括a)计算在本地抓取本地更新参考帧的时刻与在远程投影新背景图片的时刻之间的远程的手写改变量(例如图7右侧的“I”)。该改变量的计算方法可以使用先前描述的方法，例如通过将在背景图片改变前抓取的白板图像减去更早抓取的白板图像。b)抓取改变了背景图片后的白板图像(例如图7右侧的最下方的白板图像)，并减去步骤a中计算得到的改变量(“I”)，计算结果作为校正的新的远程参考帧(例如图7最右侧下方的白板图像)。(6)发送远程手写内容的改变量(“I”)(相对于新的远程参考帧)给本地。从图7中可以看出，远程的参考帧(图7最右侧下方)与本地的参考帧(图7左下)是本质上对应或相同的。当然以上的参考帧同步方法仅是示例，而不是限制。在本发明的实施例中，参考帧的同步的方法还可以被定时启动，即使背景图像没有改变。
如此，在背景 图片改变时，本发明的实施例的白板共享方法还通过同步更新的本地参考帧和更新的远程参考帧，使得本地参考帧和远程参考帧都包括了改变的背景图片，且是最新的和相互对应的，便于计算手写改变量，且在背景图片改变的情况下，也能够更准确地分离手写内容。另外，根据本发明的实施例的白板共享方法通过将当前抓取的白板图像减去在先前抓取的白板图像，这使得两种抓取的白板图像之间的像素、形状和颜色的差异较小，因此不需要做过多的几何校正和颜色校正，且两种抓取的白板图像之间的差值也比较准确地反映了手写内容的改变量，从而能够从背景图片中更准确地分离手写内容。这样，本发明的实施例也通过传输手写内容的改变量而非全部手写内容，使得减少了传输量和传输时间。在前的描述仅公开了本发明的示例实施例。本领域技术人员应该理解，在所附权利要求或其等同物的范围内，可以根据设计需要和其他因素进行各种修改、组合、子组合和变更。
权利要求
1.ー种白板共享方法，所述方法包含如下步骤 在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之ー； 根据本地当前帧与本地參考帧之间的差来获取本地手写内容的改变量，其中所述本地当前帧是在本地当前抓取的白板图像，所述本地參考帧是在本地先前抓取的白板图像；以及 向远程传输本地手写内容的改变量。
2.根据权利要求I的白板共享方法，还包括 在有远程手写内容的改变量的情况下，在本地抓取当前的白板图像之前 接收远程手写内容的改变量，井根据远程手写内容的改变量来获得所述远程手写内容； 将所获得的远程手写内容与背景图片呈现，和本地手写内容一起作为所述当前的白板图像。
3.根据权利要求2的白板共享方法，其中根据远程手写内容的改变量来获得远程手写内容包括组合所接收的远程手写内容的改变量和本地參考帧上的远程手写内容来获得所述远程手写内容。
4.根据权利要求2的白板共享方法，其中根据本地当前帧与本地參考帧之间的差来获取本地手写内容的改变量包括通过将本地当前帧与本地參考帧之间的差减去远程手写内容的改变量来获取本地手写内容的改变量。
5.根据权利要求1-4中的任一的白板共享方法，其中当背景图片改变时，在本地呈现改变后的背景图片，抓取具有改变后的背景图片、本地手写内容和远程手写内容的白板图像作为更新的本地參考帧，并同步更新的本地參考帧和更新的远程參考帧，其中更新的本地參考帧和更新的远程參考帧是对应的。
6.—种白板共孚系统，所述系统包括 图像抓取装置，在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之ー； 本地手写内容改变量计算装置，根据本地当前帧与本地參考帧之间的差来获取本地手写内容的改变量，其中所述本地当前帧是在本地当前抓取的白板图像，所述本地參考帧是在本地先前抓取的白板图像；以及 传输装置，向远程传输本地手写内容的改变量。
7.根据权利要求6的白板共享系统，还包括 接收装置，在有远程手写内容的改变量的情况下，在本地抓取当前的白板图像之前，接收远程手写内容的改变量，井根据远程手写内容的改变量来获得所述远程手写内容； 图像呈现装置，将所获得的远程手写内容与背景图片呈现，和本地手写内容一起作为所述当前的白板图像。
8.根据权利要求7的白板共享系统，其中所述接收装置通过组合所接收的远程手写内容的改变量和本地參考帧上的远程手写内容来获得所述远程手写内容。
9.根据权利要求7的白板共享系统，其中所述本地手写内容改变量计算装置通过将本地当前帧与本地參考帧之间的差减去远程手写内容的改变量来获取本地手写内容的改变量。
10.根据权利要求6-9中的任一的白板共享系统，其中所述白板共享系统还包括同步装置， 其中，当背景图片改变时，所述图像呈现装置在本地呈现改变后的背景图片，并且所述图像抓取装置抓取具有改变后的背景图片、本地手写内容和远程手写内容的白板图像作为更新的本地參考帧，同时所述同步装置同步更新的本地參考帧和更新的远程參考帧，其中更新的本地參考帧和更新的远程參考帧是对应的。
全文摘要
公开了一种白板共享方法和系统，该白板共享方法包含如下步骤在本地抓取当前的白板图像，所抓取的当前的白板图像包括背景图片、远程手写内容和本地手写内容中的至少之一；根据本地当前帧与本地参考帧之间的差来获取本地手写内容的改变量，其中所述本地当前帧是在本地当前抓取的白板图像，所述本地参考帧是在本地先前抓取的白板图像；以及向远程传输本地手写内容的改变量。本发明的实施例使得在具有背景图片的情况下也能够清楚、准确地从背景图片中分离本地手写内容。
文档编号H04N7/15GK102651810SQ20111004600
公开日2012年8月29日 申请日期2011年2月25日 优先权日2011年2月25日
发明者姜中华, 李燕, 王炜 申请人:株式会社理光