协作数据编辑和处理系统的制作方法

协作数据编辑和处理系统的制作方法
【专利摘要】提供了一种协作数据编辑和处理系统。所述系统使用与外部装置通信的便携式处理装置。具有相机的便携式处理装置将包括由相机获得的图像的识别信息请求消息发送到服务器；从服务器接收与图像中示出的对象相关的识别信息；响应于关于对象的用户选择，将用于请求与被选择的对象的识别信息相应的数据的数据请求消息发送到服务器；从服务器接收与识别信息相应的第一数据；响应于用户输入信息，编辑第一数据以提供第二数据；将第二数据发送到服务器，使服务器能够更新第一数据以提供第二数据。
【专利说明】协作数据编辑和处理系统
【技术领域】
[0001]本公开涉及一种可通过与外部装置通信的移动处理装置实现的协作图像窗口内容和文档编辑方法。
【背景技术】
[0002]已知协作电子公告板系统(例如，Luidia公司的eBeam系统)。已知的电子公告版系统可包括用于将图像投射到屏幕(例如，白墙或白板)上的投影仪、电子笔、用于检测从电子笔发射的波束(例如，超声波或红外光)的传感器、以及计算机，其中，所述计算机用于从通过传感器接收的信息识别电子笔的踪迹(即，写入的信息)，控制投影仪将踪迹显示在屏幕上，并存储写入的信息。用户能够通过将电子笔接触到屏幕而不是使用真实的笔在图像上书写。
[0003]已知的虚拟协作空间是通过使用经由网络互相连接的计算机而允许协作参与者在单个工作空间中一起工作的虚拟环境。已知的虚拟协作空间在物理上包括存储空间，并可被构造在参与的计算机或单独的服务器的位置上。通过已知的虚拟协作空间，计算机可与其他计算机共享屏幕(例如，PowerPoint屏幕),并可通过与其他计算机一起工作来处理单个文档(例如，PowerPoint文件)。微软Windows中的会议空间是一个已知的典型示例。
[0004]在已知的虚拟协作空间中，协作参与者使用各自的单独计算机一起工作。使用普通屏幕(诸如电子公告板系统的屏幕)的协作服务在提供典型虚拟协作空间的计算机中不可用。另外，电子公告板系统需要电子笔和用于检测来自电子笔的波束的传感器，使得参与者可通过屏幕在虚拟协作空间中直接操纵数据。然而，在大多数情况下，协作参与者没有他们自己的电子笔。参与者通常轮流工作，逐个向屏幕移动并使用单个电子笔。不幸地，这导致较低的工作效率。根据本发明原理的系统解决了这些缺点和相关问题。

【发明内容】

[0005]一种系统解决上述问题和/或缺点并至少提供以下描述的优点。
[0006]一种协作系统使协作参与者能够在没有另外的工具(诸如电子笔和传感器)的情况下通过使用其拥有的便携式处理装置经由共同屏幕一起工作。
[0007]一种协作方法可通过具有相机的便携式处理装置来实现。所述方法包括以下活动:将包括由相机获得的图像的识别信息请求消息发送到服务器；从服务器接收与在图像中示出的对象相关的识别信息；响应于对图像中的对象的用户选择，将请求与选择的对象的识别信息相应的数据的数据请求消息发送到服务器；从服务器接收与识别信息相应的第一数据；响应于用户输入信息，编辑第一数据以提供第二数据；将第二数据发送到服务器，使服务器能够更新第一数据以提供第二数据。
[0008]根据本发明的另一方面，一种可由服务器或其他计算机实现的协作方法实现与客户端的无线通信，并在外部显示装置或内部显示单元上显示协作窗口。所述方法包括以下活动:从客户端接收包括由相机获得的图像的识别信息请求消息；识别协作窗口的哪部分与所述图像相应；响应于确定对象被示出在识别的部分中，将与对象相关的识别信息发送到客户端；从客户端接收请求与识别信息相应的数据的数据请求消息；响应于数据请求消息，将与识别信息相应的第一数据发送到客户端；从客户端接收第二数据；更新第一数据以提供第二数据。
[0009]根据本发明的另一方面，一种便携式处理装置包括:相机；无线通信单元，被配置为与服务器执行无线通信；显示单元，具有触摸屏，并被配置为显示由相机获得的图像，并显示通过无线通信单元从服务器接收的数据；控制单元，被配置为控制相机、无线通信单元和显示单元，其中，控制单元被配置为:控制无线通信单元将包含图像的识别信息请求消息发送到服务器，通过无线通信单元从服务器接收与包含在图像中的对象相关的识别信息，响应于对象的用户选择来控制无线通信单元将请求与选择的对象的识别信息相应的数据的数据请求消息发送到服务器，通过无线通信单元从服务器接收与识别信息相应的第一数据，响应于从触摸屏接收的用户输入信息来编辑第一数据以提供第二数据，并控制无线通信单元将第二数据发送到服务器。
[0010]根据本发明的又一方面，一种便携式处理装置包括:无线通信单元，被配置为与客户端和外部显示装置执行无线通信；存储单元，被配置为存储协作窗口和相关数据；控制单元，被配置为控制无线通信单元和存储单元，其中，控制单元被配置为:通过无线通信单元控制外部显示装置显示虚拟协作窗口，通过无线通信单元从客户端接收包括由相机获得的图像的识别信息请求消息，识别协作窗口的哪部分与所述图像相应，响应于确定对象被包含在识别的部分中而将与对象相关的识别信息发送到客户端，通过无线通信单元从客户端接收请求与识别信息相应的数据的数据请求消息，从存储单元读取与识别信息相应的第一数据，控制无线通信单元将第一数据发送到客户端，通过无线通信单元从客户端接收第二数据，并控制存储单元更新第一数据以提供第二数据。
[0011]通过结合附图进行的公开了本发明的示例性实施例的以下详细描述，本发明的其他方面、优点和显著特征对于本领域的技术人员将是明显的。
【专利附图】

【附图说明】
[0012]图1是示出根据本发明的实施例的协作系统的示意图。
[0013]图2是示出根据本发明的实施例的便携式处理装置的框图。
[0014]图3是示出根据本发明的实施例的客户端的协作方法的流程图。
[0015]图4是示出根据本发明的实施例的客户端的协作方法的示意图。
[0016]图5是示出根据本发明的实施例的用于在服务器上处理客户端的识别信息请求消息的方法的流程图。
[0017]图6是示出根据本发明的实施例的用于校正通过相机获得的图像的方法的流程图。
[0018]图7是示出根据本发明的实施例的用于在服务器上处理客户端的数据请求消息的方法的流程图。
[0019]图8是示出根据本发明的实施例的用于编辑数据的方法的流程图。
[0020]图9是示出根据本发明的实施例的用于在服务器上处理客户端的更新请求消息的方法的流程图。[0021]图10是示出根据本发明的另一实施例的客户端的协作方法的流程图。
[0022]图11是示出根据本发明的实施例的服务器的协作方法的流程图。
【具体实施方式】
[0023]现在将参照附图更加全面地描述本发明的非限制性示例性实施例。然而，本发明可以以很多不同形式被实现，并且不应被解释为限于在此阐述的示例性实施例。相反地，提供公开的实施例，使得本公开将是彻底和完全的，并且所公开的实施例将把本发明的范围充分传达给本领域的技术人员。在不脱离本发明的范围的情况下，本发明的原理和特征可被应用在各种和许多实施例中。
[0024]另外，公知的或广泛使用的技术、元件、结构和处理可不被详细描述或说明，以避免模糊本发明的本质。尽管示图表现了本发明的示例性实施例，但是示图不必按比例缩放，并且某些特征可被夸大或省略，以更好地说明和解释本发明。
[0025]本发明的协作方法和设备被实现在客户端和服务器中。
[0026]在本公开中，客户端是向用户提供通过虚拟协作空间与其他客户端一起工作的功能的设备。客户端是便携式的，允许与任何外部实体(例如，服务器)进行通信，并具有相机和显示单元。例如，智能电话、平板PC等可用作客户端。
[0027]在本公开中，服务器是允许与任何外部实体(例如，客户端)进行通信并向客户端提供虚拟协作空间的设备。例如，桌面型PC、智能电话、平板PC、笔记本PC等可用作服务器。客户端可通过访问服务器从虚拟协作空间下载数据，用下载的数据工作，并将工作数据上传到虚拟协作空间。客户端中的一个可使用作为允许在便携式处理装置之间直接通信的技术而公知的W1-Fi直连或Ad-hoc技术来执行服务器的功能。
[0028]在本公开中，虚拟协作窗口是指示出了上传到虚拟协作空间中的数据的屏幕。虚拟协作窗口可被显示在与服务器分离的任何外部显示装置上。例如，虚拟协作窗口可从投影仪被投射到任何物理屏幕上，或可被显示在智能TV、3维TV或任何其他等同物上。可选地，虚拟协作窗口可被显示在服务器的显示单元上。
[0029]在本公开中，对象是指在虚拟协作窗口中排列和显示的事物。对象自身可以是工作的目标。此外，对象可被用作链接到作为工作目标的数据的媒介。例如，如果数据是视频文件，则对象可以是表示视频的缩略图或图标。记事簿可以是对象本身和工作的目标。例如，由于术语“移动”和“便携式”表示可由用户移动的，因此术语“移动”和“便携式”可互换使用。
[0030]在本公开中，识别信息是指允许用户区分对象和其他对象的信息。识别信息可显示在相应对象上。例如，在道路视图中，对象是建筑物，并且识别信息是与建筑物相关联的另外的信息，例如，增强现实信息。
[0031]图1是示出根据本发明的实施例的协作系统的示意图。
[0032]参照图1，在本发明的实施例中的协作系统包括投影仪110、服务器120和多个客户端130:至130n。
[0033]投影仪110从服务器120接收图像(S卩，虚拟协作窗口)，并将接收的虚拟协作窗口投射到屏幕10上。投影仪110可具有无线通信单元(诸如W1-Fi模块和蓝牙模块)，以便与服务器120和/或用于与服务器120进行有线通信的外部接口单元执行无线通信。[0034]服务器120可存储虚拟协作空间和虚拟协作窗口。在一些实施例中，虚拟协作空间和虚拟协作窗口可被存储在与服务器120物理分开的任何其他设备中。在此情况下，月艮务器120可通过网络远程管理虚拟协作空间和虚拟协作窗口。服务器120控制投影仪110在屏幕10上显示虚拟协作窗口。另外，服务器120管理对虚拟协作空间的编辑权。服务器120向客户端UO1至130N中的至少一个提供编辑权。具有编辑权的客户端可通过服务器120编辑虚拟协作空间中的数据。这里所用的编辑可包括删除现有数据、修改现有数据(例如，修改数据的内容或修改路径(诸如从一个文件夹移动到其他文件夹))、添加新数据等。基于数据的编辑，服务器120更新虚拟协作空间和虚拟协作窗口。没有编辑权的客户端不能编辑数据，并仅充当观看者。
[0035]客户端通过执行基于相机的应用来捕获虚拟协作窗口，并将包含通过相机获得的图像的识别信息请求消息发送到服务器120。服务器120从客户端(例如，OO1)接收识别信息请求消息，并识别虚拟协作窗口的哪部分是所述图像。另外，服务器120确定被识别的部分是否包括至少一个对象。如果包括对象，则服务器120将包含用于识别对象的识别信息(例如，增强现实(AR)信息)的响应消息发送到客户端(例如，130P。客户端(例如，ISO1)可将识别信息显示在相应对象上。如果对象自身具有与其他对象区分的特定图像(例如，缩略图或图标)，则可不显示识别信息。响应于所述识别信息或(例如，在显示单元210上触摸的)被用户选择的相应对象，客户端(例如，ISO1)将包含关于被选择的对象的识别信息的数据请求消息发送到服务器120。服务器120将包含与关于被选择的对象的识别信息相应的数据的响应消息发送到客户端所述响应消息还可具有编辑权。如以上所讨论的，客户端OO1至130N通过执行基于相机的应用来访问虚拟协作空间。也就是，虚拟协作窗口是链接客户端和虚拟协作空间的媒介，使得客户端可访问虚拟协作空间。
[0036]客户端UO1至130N显示从服务器120接收的数据(例如，图像、文本、音频、视频、3D地图信息)。响应于具有编辑权，客户端13(^至130N可编辑数据，并将包含编辑的数据的更新请求消息发送到服务器 120。基于更新请求消息，服务器120更新虚拟协作空间和虚拟协作窗口。
[0037]图2是示出根据本发明的实施例的便携式处理装置的框图。图2中示出的便携式处理装置可作为客户端或服务器操作。
[0038]参照图2，在本发明的实施例中的便携式处理装置200包括显示单元210、按键输入单元220、存储单元230、无线通信单元240、音频处理单元250、传感器单元260、相机270、外部接口单元280和控制单元290。
[0039]显示单元210将从控制单元290接收的图像数据转换为模拟信号，然后在控制单元290的控制下在其上显示转换后的数据。显示单元210显示与便携式处理装置200的使用相关的多种屏幕，例如，锁屏、主屏、应用执行屏幕、虚拟键区、相机图像等。显示单元210可由液晶显示器(IXD)、有机发光二极管(0LED)、有源矩阵OLED (AMOLED)或任何其他等同物形成。
[0040]为了提供用于和用户交互的用户接口，显示单元210可包括放置在其上的触摸屏211。响应于基于触摸的用户手势，触摸屏211创建模拟信号(即，触摸事件)，将模拟信号转换为数字信号，并将转换后的信号发送到控制单元290。控制单元290从接收到的触摸事件检测用户手势。这种用户手势被分类为触摸和触摸手势。此外，触摸手势可包括轻击、拖动、轻弹等。触摸是指在触摸屏上的接触状态，触摸手势是指从触摸上到触摸断开的触摸移动。触摸屏211可以是由用于检测手指手势的手指触摸面板和用于检测笔手势的笔触摸面板组成的复杂触摸面板。手指触摸面板可由电容类型、电阻类型、红外线类型或超声波类型组成。手指触摸面板可通过用户的手指手势或任何其他等同物(例如，能够引起电容变化的任何传导工具)来创建触摸事件。笔触摸面板可包括电磁感应类型，并且笔触摸面板可通过被专门制造用于形成磁场的触控笔来创建触摸事件。
[0041]此外，显示单元210在控制单元290的控制下执行用于显示3维图像(包括左眼图像和右眼图像)的功能，就好像其存在于真实空间中一样。为此，显示单元210可具有给予用户立体效果的3D渲染模块。3D渲染模块被配置为与显示单元210形成叠层，使得用户的左眼和右眼可感知不同图像。如本领域中已知的，这种3D渲染技术被分类为眼镜类型和非眼镜类型。眼镜类型包括滤色器类型、偏振滤波器类型、快门眼镜类型等。非眼镜类型包括柱状透镜类型、视差屏障类型等。由于这些3D渲染技术在本领域中是公知的，因此将省略详细描述。
[0042]按键输入单元220可具有用于输入字母或数字以及设置各种功能的多个按键(即，按钮)。这些按键可包括菜单调用按键、屏幕开/关按键、电源开/关按键、音量调整按键等。按键输入单元220创建与用户设置或便携式处理装置200的功能控制有关的按键事件，并将按键事件传送到控制单元290。这类按键事件可包括电源开/关事件、音量调整事件、屏幕开/关事件等。响应于接收到的按键事件，控制单元290控制上述元件。按键输入单元220的按键或按钮可被称为硬按键，然而显示在显示单元210上的按键或按钮可被称为软按键。
[0043]存储单元230可充当辅助存储单元，并包括非易失性存储器(诸如NAND闪存)。此夕卜，存储单元230可由程序区域和数据区域组成。在控制单元290的控制下，存储单元230可存储在便携式处理装置200中创建的数据或经由无线通信单元240从外部实体接收的数据。如果便携式处理装置200充当服务器，则数据区域的部分空间被用作虚拟协作空间，并且存储在虚拟协作空间中的数据可与客户端共享。具有编辑权的客户端可更新虚拟协作空间中的这类数据。
[0044]存储单元230存储便携式处理装置200的操作所需的各种程序和操作系统(OS)。具体地，存储单元230存储使便携式处理装置200能够执行客户端或服务器的功能的协作程序。
[0045]存储单元230存储语音识别程序和面部识别程序。语音识别程序从语音数据检测语音特征信息(例如，语音音调、频率、分贝)。此外，语音识别程序将检测到的语音特征信息和预先存储的语音特征信息进行比较，并基于比较结果识别用户。此外，语音识别程序可具有用于将语音数据转换为文本的语音到文本(STT)功能。面部识别程序从通过相机270捕获的图像来识别用户的面部。具体地，面部识别程序从图像数据提取面部信息，比较提取的面部信息和预先存储的面部信息，并基于比较结果识别用户。同时，可通过任何其他合适的程序(诸如虹膜扫描程序)而不是以上讨论的语音识别程序或面部识别程序来执行用户识别。
[0046]为了从语音数据或图像数据确定用户意图，存储单元230存储人工智能程序。例如，人工智能程序可包括:自然语言处理引擎，处理从语音数据识别的内容；用户运动识别引擎，从图像数据辨认用户运动的意图(例如，手或眼睛的移动)；推理引擎，从识别的内容推断用户的意图；交互引擎，基于识别的内容或用户运动与用户进行交互，等。
[0047]存储单元230可存储嵌入式应用和第三方应用。嵌入式应用是指可在便携式处理装置中执行的应用。例如，嵌入式应用可以是环境设置程序、网页浏览器、电子邮件应用、即时信使、协作程序、语音识别程序、面部识别程序、人工智能程序等。第三方应用是指从互联网选择性地下载并安装在便携式处理装置中的应用。众多第三方应用在本领域中是公知的。可随意地安装和删除第三方应用。协作程序、语音识别程序、面部识别程序和人工智能程序可以是第三方应用。当开启便携式处理装置200时，在开始，引导程序(bootingprogram)被加载到控制单元290的主存储单元(例如，RAM)中。引导程序将操作系统加载到主存储单元中，使得便携式处理装置200可运行。操作系统将各种程序加载到主存储单元中并执行所述各种程序。具体地，当检测到与外部实体的连接时，操作系统将数据通信程序加载到主存储单元中，并执行所述数据通信程序。由于这类引导和加载处理是本领域中所公知的，因此将省略详细描述。
[0048]无线通信单元240在控制单元290的控制下执行语音呼叫、视频呼叫或数据通信。为此，无线通信单元240可包括对输出信号的频率进行上变换并然后放大该信号的RF (射频)发送器以及对输入信号进行低噪放大并对该信号的频率进行下变换的RF接收器等。此夕卜，无线通信单元240可包括移动通信模块(例如，3代移动通信模块、3.5代移动通信模块、4代移动通信模块)、数字广播模块(例如，DMB模块)和/或短距离通信模块(例如，W1-Fi模块、蓝牙模块)。
[0049]音频处理单元250通过结合扬声器(SPK)和麦克风(MIC)来执行用于语音识别、语音记录、数字记录和呼叫的输入和输出功能。音频处理单元250从控制单元290接收音频数据，将接收的音频数据转换为模拟信号，并将模拟信号输出到扬声器(SPK)。此外，音频处理单元250从麦克风(MIC)接收模拟信号，将接收的模拟信号转换为音频数据，并将音频数据提供给控制单元290。扬声器(SPK)将从音频处理单元250接收的模拟信号转换为声波并输出该声波。麦克风(MIC)将从人或任何其他声源收集的声波转换为模拟信号。
[0050]传感器单元260检测物理参数(例如，加速度)，将检测到的物理参数转换为电信号，执行模数转换来将电信号改变为检测信息，并将检测信息发送到控制单元290。传感器单元260可由集成了传感器的单个芯片组成，或由传感器的单独的各个芯片组成。具体地，传感器单元260可具有检测关于X轴、Y轴和Z轴中的每个的重力加速度的三轴加速度传感器。加速度传感器检测重力加速度和便携式处理装置200的移动的加速度的总和。如果便携式处理装置200没有移动，则加速度传感器仅检测重力加速度。例如，如果便携式处理装置200被放置在桌子(即，XY平面)上，并且便携式处理装置200的显示单元210朝上(沿正Z轴方向)，则加速度传感器检测到的重力加速度可具有Om/sec2的X轴和Y轴分量以及
9.8m/sec2的Z轴分量。类似地，如果显示单元210朝下(沿负Z轴方向)，则重力加速度可具有Om/sec2的X轴和Y轴分量以及-9.8m/sec2的Z轴分量。如果便携式处理装置200存在移动，则加速度传感器检测重力加速度和便携式处理装置200的移动的加速度的总和。例如，如果用户按相对桌子的一个角度用一只手拿着便携式处理装置200，则重力加速度可具有关于至少一个轴的非零值。在此情况下，三个轴分量的平方和的平方根可具有特定值(例如，9.8m/sec2)。[0051]相机270在控制单元290的控制下捕获对象的图像并将相机图像发送到控制单元290。特别地，相机270可包括汇聚光线的透镜、将光线转换为电信号的图像传感器(例如，互补金属氧化物半导体(COMS)图像传感器或电荷耦合器件(CXD)图像传感器)以及图像信号处理器(ISP)，其中，图像信号处理器执行从图像传感器接收的电信号到图像数据的模数转换，并将图像数据输出到控制单元290。相机270的ISP可具有:显示控制模块，将图像数据处理为预览图像(例如，根据显示单元210的屏幕大小的分辨率的大小调整)，并将预览图像输出到控制单元290;编码模块，编码图像数据(例如，用MPEG格式压缩)，并将其输出到控制单元290。控制单元290可控制显示单元210显示预览图像，并且还可控制存储单元230存储被编码的图像数据。同时，便携式处理装置200可具有布置在便携式处理装置200的前侧(即，布置有触摸屏的一侧)的前置相机、以及布置在便携式处理装置200的后侧的后置相机。后置相机可用于捕获对象(例如，虚拟协作窗口)，前置相机可用于识别用户的面部或运动，或用于视频呼叫。
[0052]外部接口单元280在控制单元290的控制下与任何外部实体(例如，其他便携式处理装置、桌面型PC、笔记本PC、双耳式耳机)建立有线连接并执行数据通信。
[0053]控制单元290控制便携式处理装置200的整体操作，控制便携式处理装置200的内部组件之间的信号流，并处理数据。此外，控制单元290可包括用于存储程序和操作系统的主存储单元、用于暂时存储写入存储单元230中的数据或从存储单元230读取的数据的高速缓存存储器、中央处理单元(CPU)和图形处理单元(GPU)。操作系统充当硬件和程序之间的接口，并管理计算机资源(诸如CPU、GPU、主存储单元、辅助存储单元等)。也就是，操作系统使便携式处理装置能够运行，定义任务的顺序，并控制CPU和GPU的算术运算。此外，操作系统执行用于控制程序的执行的功能、以及用于管理存储数据和文件的功能。同时，如本领域中所公知的，CPU是计算机系统的执行数据的计算和比较以及命令的解释和执行的主要控制单元。GPU是代替CPU执行与图形相关的数据的计算和比较以及相关命令的解释和执行的图形控制单元。CPU和GPU中的每个可由集成有两个或更多个独立核(例如，四核)的单封装形成。可选地，CPU和GPU可被集成在单个芯片中(B卩，片上系统，S0C)。可选地，可以以多层的形式来封装CPU和GPU。具有CPU和GPU的结构可被称为应用处理器(AP)。
[0054]控制单元290执行用于通过执行语音识别程序来识别用户语音并将语音数据转换为文本的功能、用于通过执行面部识别程序来识别用户面部和运动的功能、以及用于通过执行人工智能程序从语音数据识别和处理内容、从图像数据辨认用户运动的意图并从识别的内容推断用户意图的功能。可选地，可在外部服务器而不是控制单元290中执行与人工智能相关的功能。在此情况下，无线通信单元240在控制单元290的控制下将语音数据发送到服务器。服务器通过分析语音数据识别内容，并将识别的内容信息发送到便携式处理装置200。
[0055]控制单元290执行协作程序，并执行服务器或客户端的功能。以下，参照附图描述与控制单元290的功能相关的实施例。
[0056]便携式处理装置200可包括一个或多个其它元件，诸如GPS模块、振动电机、近场通信(NFC)模块等。此外，可省略或用其他元件来替代便携式处理装置200中的上述元件中的一些元件。
[0057]图3是示出根据本发明的实施例的客户端的协作方法的流程图。图3的描述将基于便携式处理装置200为客户端的假设。图4是示出根据本发明的实施例的客户端的协作方法的示意图。
[0058]参照图3，显示单元210可在控制单元290的控制下显示主屏幕。控制单元290可检测用于从触摸屏211请求协作程序的执行的事件(例如，轻击主屏幕上的有关图标)。此夕卜，控制单元290可通过识别用户语音或用户动作来执行协作程序。在活动301，控制单元290响应于请求事件执行协作程序。特别地，在活动301，控制单元290将协作程序加载到主存储单元中，执行所述程序，并控制显示单元210显示协作程序的执行屏幕。
[0059]在活动302，控制单元290与外部实体(B卩，服务器)建立连接。此建立过程可包括:便携式处理装置200将用于请求注册为客户端的请求消息发送到服务器的请求过程，以及服务器将用于指示是否批准注册的响应消息发送到便携式处理装置200的响应过程。
[0060]如果建立了连接(例如，如果控制单元290通过无线通信单元240从服务器接收到指示注册为客户端的响应消息)，则在活动303，控制单元290驱动相机270，从相机270接收图像，并控制显示单元210显示接收的相机图像(例如，图4的阶段(A)中示出的虚拟协作窗口 410的部分411)。
[0061]在活动304，控制单元290从自相机270接收的相机图像中选择显示在显示单元210上的相机图像，并控制无线通信单元240将包含有被选择的相机图像的识别信息请求消息发送到服务器。此外，在活动304，控制单元290可计算便携式处理装置200的方位，并控制无线通信单元240将关于计算的方位的信息发送到服务器。识别信息请求消息可具有相机图像和方位信息。如果从传感器单元260接收的重力加速度具有至少一个轴分量，则控制单元290通过使用关于每个轴的加速度值来计算便携式处理装置200的方位。计算的方位可包括横滚角(Φ )、俯仰角(Θ )和偏航角(Ψ)。横滚角(Φ )是指X轴上的旋转角，俯仰角(Θ )是指Y轴上的旋转角，偏航角(V)是指Z轴上的旋转角。如果从传感器单元260接收的重力加速度具有Om/sec2的X轴和Y轴分量以及9.8m/sec2的Z轴分量，则便携式处理装置200的方位(Φ，θ，ψ)为(0，0，0)。这样，便携式处理装置200的方位被计算。使用已知算法，诸如使用欧拉角或扩展卡尔曼滤波器的位置计算算法或加速度估计切换算法，控制单元290可计算便携式处理装置200的方位。可使用各种不同方法来测量根据实施例的便携式处理装置200的方位。
[0062]服务器从便携式处理装置200接收识别信息请求消息，识别虚拟协作窗口的哪部分是相机图像，并确定对象(例如，图4的阶段(B)中示出的便签412)是否包含在被识别的部分中。如果包含对象，则服务器将包含与所述对象相关的识别信息的响应消息发送到便携式处理装置200。
[0063]在活动305，控制单元290通过无线通信单元240从服务器接收响应消息，并控制显示单元210在相应对象上显示包含在响应消息中的识别信息。所述识别信息可以是重叠在对象上的增强现实(AR)信息。可从活动305省略显示识别信息的操作。
[0064]在活动306，控制单元290可在显示的相机图像上检测对象的选择(例如，通过用户对便签412的轻击动作413)。可通过用户语音或动作来完成对象的这种选择。
[0065]当用户选择了对象时，在活动307，控制单元290控制无线通信单元240将用于请求与被选择的对象的识别信息相应的数据的消息发送到服务器。如果没有选择对象，则所述处理进行以下将讨论的活动314。[0066]在活动308，控制单元290确定请求的数据是否是可编辑的。例如，控制单元290可通过无线通信单元240从服务器接收关于请求的数据是否是可编辑的信息。
[0067]响应于在活动308允许数据被编辑的编辑模式的确定，在活动309，控制单元290通过无线通信单元240从服务器接收可编辑的数据。在活动310，控制单元290控制显示单元210显示接收的数据。例如,如图4的阶段(C)所示,显示单元210在控制单元290的控制下显示便签412。此时，服务器可从虚拟协作窗口 410去除便签412。此外，在活动310，通过控制显示单元210或音频处理单元250，控制单元290可将数据是可编辑的通知给用户。在活动311，响应于来自触摸屏211或按键输入单元220的用户输入，控制单元290编辑数据。例如，如图4的阶段(C)中所示，控制单元290从触摸屏211检测移动或触摸，并控制显示单元210显示与触摸移动相应的笔记414 (即，触摸的路径)。在活动312,控制单元290控制无线通信单元240将包含被编辑的数据的更新请求消息发送到服务器。此时，更新请求消息可具有被编辑的数据的位置信息。例如，如果用户在被编辑的数据(即，如图4的阶段(D)中所示的具有笔记414的便签412)上做出轻击动作415，则控制单元290控制无线通信单元240将更新请求消息发送到服务器，其中，所述更新请求消息包含具有笔记414的便签412以及在轻击动作415的时间点所捕获的相机图像417 (S卩，位置信息)。参照图4的阶段(D)，相机图像417可被显示为背景，并且便签412可被显示为前景。服务器从便携式处理装置200接收更新请求消息，从而更新虚拟协作空间和虚拟协作窗口。具体地，参照图4的阶段(D)，服务器识别虚拟协作窗口 410的哪部分与相机图像417相应。参照图4的阶段(E)，服务器控制投影仪在识别的部分显示具有笔记414的便签412。此外，服务器将现有的便签412更新为具有笔记414的便签412，并且还将现有的虚拟协作窗口 410更新为新的虚拟协作窗口 420。
[0068]在活动313，控制单元290确定是否完成了编辑模式。例如，如果在显示单元210上轻击了编辑保存按钮，则控制单元290完成编辑模式并进行活动314。此外，响应于编辑被完成，控制单元290控制无线通信单元240将指示编辑被完成的信息发送到服务器。如果编辑模式没有被完成，则所述处理返回到活动311。
[0069]在活动314，控制单元290确定是否退出运行的应用。例如，如果在显示单元210上轻击应用退出按钮，则控制单元290终止应用的执行。否则，所述处理返回到活动303。
[0070]响应于在步骤308不允许进行编辑而仅允许进行观看的观看者模式的确定，在活动315，控制单元290通过无线通信单元240从服务器接收可观看的数据。在活动316，控制单元290控制显示单元210显示接收的可观看数据。在活动317,控制单元290确定是否接收到更新信息。如果接收到更新信息，则在活动318，控制单元290控制显示单元210显示更新的数据。如果没有接收到更新信息，则所述处理进行活动319。
[0071 ] 在活动319，控制单元290确定是否完成了观看者模式。例如，如果在显示单元210上轻击了观看者关闭按钮，则控制单元290结束观看者模式，并进行活动314。此外，当观看者模式结束时，控制单元290控制无线通信单元240将指示观看者模式结束的信息发送到服务器。如果观看者模式没有结束，则所述处理返回到活动316。
[0072]图5至图9示出根据本发明的实施例的在服务器上执行的协作方法。
[0073]图5是示出根据本发明的实施例的用于在服务器上处理客户端的识别信息请求消息的方法的流程图。图5的描述基于便携式处理装置200是服务器的假设。[0074]参照图5，在活动510，控制单元290确定是否从外部实体(即，客户端)接收到识别信息请求消息。所述识别信息包含相机图像，并且还可包含方位信息。
[0075]如果从客户端接收到识别信息请求消息，则在活动520，控制单元290识别虚拟协作窗口的哪部分是相机图像。当用户便携式处理装置(即，客户端)捕获到虚拟协作窗口时，相机的透镜的轴通常按一个角度而不是按正确的角度朝向虚拟协作窗口。因此，按不同于实际图像的角度来捕获相机图像，这样在活动520执行的识别会具有误差。因此，如果方位信息和相机图像一起从客户端被接收，则在活动520，控制单元290响应于接收到的方位信息校正相机图像。随后参照图6对此进行描述。
[0076]在活动530，控制单元290确定被识别的部分是否包括对象。
[0077]如果包括对象，则在活动540，控制单元290控制无线通信单元240将包含与所述对象相关的识别信息的响应消息发送到客户端。
[0078]图6是示出根据本发明的实施例的用于校正相机图像的方法的流程图。 [0079]参照图6，在活动610，便携式处理装置200 (B卩，服务器)的控制单元290通过无线通信单元240从客户端接收包含相机图像601和方位信息的识别信息请求消息。
[0080]在活动620，响应于方位信息，控制单元290通过变换(扫描、旋转和平移)操作将相机图像601校正到原始图像602。
[0081]在活动630，控制单元290通过特征匹配来识别虚拟协作窗口 603的哪部分与原始图像602相应。
[0082]在活动640，控制单元290通过对象形状和属性(色彩、阴影、文本)匹配来识别包含在原始图像602中的对象。
[0083]在活动650，控制单元290从存储单元230读取与被识别的对象相应的识别信息(例如，AR信息604)，并控制无线通信单元240将读取的AR信息604发送到客户端。
[0084]图7是示出根据本发明的实施例的用于在服务器上处理客户端的数据请求消息的方法的流程图。图7的描述基于便携式处理装置200是服务器的假设。
[0085]参照图7,在活动710,控制单元290确定是否通过无线通信单元240从任何外部实体(B卩，客户端)接收到数据请求消息。所述数据请求消息包含识别信息。
[0086]如果从客户端接收到数据请求消息，则在活动720，控制单元290确定是否向所述客户端分配编辑权。例如，控制单元290管理存储在存储单元230中的如表1所示的编辑权分配列表。
[0087][表 I]
[0088]
_第I客户端第2客户端第3客户端
_第I数据__O___
_第2数据___O__
第3数据___
第4数据~°--
_I第2 JI体图像 ___[0089]参照表1，如果从第三客户端接收到数据请求消息，并且如果与接收的数据请求消息中的识别信息相应的数据是第三数据，则现在没有正在编辑第三数据的客户端。因此，在活动730，控制单元290为第三客户端设置编辑模式。在活动730，控制单元290控制无线通信单元240将指示编辑批准的信息发送到第三客户端。此外，控制单元290更新表I中示出的编辑权分配列表，以指示第三数据的编辑权被分配给了第三客户端。
[0090]如果第三客户端请求第一数据，则由于第一数据已经由第一客户端编辑，因此控制单元290在活动740为第三客户端设置观看者模式。在活动740，控制单元290控制无线通信单元240将用于指示编辑未批准和观看者批准的信息发送到第三客户端。
[0091]在活动750，控制单元290控制无线通信单元240发送第三数据。此时，第三数据可与指示编辑批准与否的信息一起被发送。也就是，在活动730之后的活动750，控制单元290可控制无线通信单元240将数据与指示编辑批准的信息一起发送到第三客户端。类似地，在活动740之后的活动750，控制单元290可控制无线通信单元240将数据与指示编辑未批准和观看者批准的信息一起发送到第三客户端。
[0092]数据可以是立体图像或3D图像，特别地，所述数据可与方位信息相应，并且所述数据可根据用户观看虚拟协作窗口的视点而变化。参照表1，如果第三客户端从服务器请求第四数据，则服务器基于第三客户端的方位信息来确定第四数据的哪个立体图像被提供给第三客户端，并且还确定是否将编辑权分配给第三客户端。如果第三客户端的方位信息与第四数据的第二立体图像相应，则服务器将第二立体图像发送到第三客户端并且还分配编辑权。如果第三客户端的方位信息与第四数据的第一立体图像相应，则服务器将第一立体图像发送到第三客户端，但不分配编辑权。如以上所述，客户端可从服务器接收与方位信息相应的数据，并编辑接收的数据。参照图8对此进行描述。
[0093]图8是示出根据本发明的实施例的用于编辑数据的方法的流程图。
[0094]参照图8，服务器显示具有四边形形状的对象811的虚拟协作窗口 810。服务器从第一客户端820接收第一客户端820的第一方位信息(例如，Θ P。然后，服务器在对象811的立体图像中选择与第一方位信息相应的第一立体图像811a，并将选择的第一立体图像811a发送到第一客户端820。如图所示，第一立体图像811a是具有对象811的平面A和B的图像。服务器将对平面A和B的编辑权分配给第一客户端820。因此，第一客户端820的用户可编辑对象811，例如，用笔改变平面A的色彩。将平面A的改变的色彩信息发送到服务器。
[0095]服务器从第二客户端830接收第二客户端830的第二方位信息(例如，Θ 2)。然后，服务器在对象811的立体图像中选择与第二方位信息相应的第二立体图像811b，并将选择的第二立体图像811b发送到第二客户端830。如图所示，第二立体图像811b是具有对象811的平面B和C的图像。服务器将对平面C的编辑权分配给第二客户端830。因此，第二客户端830的用户可编辑对象811，例如，用笔改变平面C的色彩。将平面C的改变的色彩信息发送到服务器。
[0096]如上所述，客户端可显示与用户的视角相应的立体图像，并与其他客户端共同编辑同一数据。客户端可支持3D显示器(诸如，全息图)、头戴式显示器或多视点。因此，客户端可显示与用户的视角相应的3D图像以及立体图像。
[0097]图9是示出根据本发明的实施例的用于在服务器上处理客户端的更新请求消息的方法的流程图。图9的描述基于便携式处理装置200是服务器的假设。
[0098]参照图9，在活动910，控制单元290确定是否通过无线通信单元240从客户端接收到更新请求消息。更新请求消息包含编辑的数据。
[0099]如果接收到更新请求消息，则在活动920，控制单元290更新虚拟协作空间和虚拟协作窗口两者。此外，在活动920，控制单元290可参照如表I中所示的编辑权分配列表来检查发送更新请求消息的客户端是否具有对相关数据的编辑权。如果客户端具有编辑权，则控制单元290更新虚拟协作空间和虚拟协作窗口两者。如果客户端不具有编辑权，则控制单元290不对更新请求作出响应。
[0100]在活动930，控制单元290控制无线通信单元240将更新的数据发送到被设置为观看者模式的客户端。
[0101]图10是示出根据本发明的另一实施例的客户端的协作方法的流程图。图10的描述基于便携式处理装置200是客户端的假设。
[0102]参照图10，在活动1010，响应于请求事件，控制单元290执行协作程序。具体地，在活动1010,控制单元290将协作程序加载到主存储单元中，并控制显示单元210显示协作程序的执行屏幕。
[0103]在活动1020，控制单元290与服务器建立连接。
[0104]如果建立了连接，则在活动1030，控制单元290驱动相机270，从相机270接收图像，并控制显示单元210显示接收的相机图像。
[0105]在活动1040，控制单元290可从触摸屏211或按键输入单元220检测捕获请求事件。
[0106]如果检测到捕获请求事件，则在活动1050，控制单元290在从相机270接收的相机图像中选择在检测到捕获请求事件的时间点所接收的特定相机图像，并控制显示单元210显示被选择的相机图像。如果没有检测到捕获请求事件，则处理前进到活动1080。
[0107]在活动1060，控制单元290可从触摸屏211检测用户输入信息(例如，触摸路径、通过显示在触摸屏211上的键区输入的字母)。
[0108]如果检测到用户输入信息，则在活动1070，控制单元290控制无线通信单元240将用户输入信息连同显示的相机图像发送到服务器。
[0109]在活动1080，控制单元290确定是否退出运行的应用。例如，如果在显示单元210上轻击应用退出按钮，则控制单元290终止应用的执行。否则，处理返回到活动1030。
[0110]图11是示出根据本发明的实施例的服务器的协作方法的流程图。图11的描述基于便携式处理装置200是服务器的假设。
[0111]参照图11，在活动1110，控制单元290通过无线通信单元240控制投影仪在屏幕上显示虚拟协作窗口。虚拟协作窗口还可被显示在便携式处理装置200的显示单元210上。例如，虚拟协作窗口(在此被定义为“文档”)可以是网页、卫星照片、加载视图、PowerPoint文档、文本电子表格或允许用户编辑窗口格式和内容的其他内容。
[0112]在活动1120，控制单元290通过无线通信单元240从客户端接收相机图像和用户输入信息。
[0113]在活动1130，控制单元290识别虚拟协作窗口的哪部分与相机图像相应。
[0114]在活动1140，控制单元290在识别的部分中执行与用户输入信息相应的特定功能。例如，控制单元290通过无线通信单元240控制投影仪在识别的部分中显示与触摸路径相应的笔记。输入到便携式处理装置200中的用户输入信息可被显示在虚拟协作窗口上。
[0115]参照根据本发明的实施例的用户接口、方法和计算机程序产品的流程图插图在此描述了以上所述的本发明的协作方法。将理解，所述流程图插图的每个块以及所述流程图插图中的块的组合可用计算机程序指令来实现。这些计算机程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得通过计算机的处理器或其他可编程数据处理设备的处理器所执行的指令创建用于实现流程图块中指定的功能的方法。可引导计算机或其他可编程数据处理设备按特定方式运行的这些计算机程序指令还可被存储在计算机可用或计算机可读存储器中，使得存储在计算机可用或计算机可读存储器中的指令产生包括有实现流程块中指定的功能的指令方法的制造物品。计算机程序指令还可被加载到计算机或其他可编程数据处理设备上，以使将在计算机或其他可编程设备上执行的一系列操作活动产生计算机实现过程，使得在计算机或其他可编程设备上执行的指令提供用于实现在流程图块中指定的功能的活动。
[0116]并且流程图插图中的每个块可表示包括用于实现特定逻辑功能的一个或多个可执行指令的模块、段或部分代码。还应注意，在一些可选择的实现中，块中指出的功能可不按顺序发生。例如，连续示出的两个块实际上可基本同时执行，或者块有时可按相反顺序执行，这取决于所涉及到的功能。
[0117]虽然已参照本发明的示例性实施例具体示出并描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。在此使用的术语“虚拟”意味着在物理上不存在，而是通过软件来实现并存储在电子存储器中，并且表现出在物理上存在。
【权利要求】
1.一种由具有相机的移动处理装置实现的协作文档编辑方法，所述方法包括: 将包括由相机获得的图像的识别信息请求消息发送到服务器； 从服务器接收与图像中示出的对象相关联的识别信息； 响应于对所述对象的用户选择，将请求与选择的对象的识别信息相应的数据的数据请求消息发送到服务器； 从服务器接收与识别信息相应的第一数据； 响应于用户输入信息，编辑第一数据以提供第二数据； 将第二数据发送到服务器，使服务器更新第一数据以提供第二数据。
2.如权利要求1所述的方法，其中，响应于由服务器分配的编辑权来执行所述编辑的步骤。
3.如权利要求1所述的方法，其中，发送识别信息请求消息的步骤包括:发送便携式处理装置的方位信息，使得服务器校正图像。
4.如权利要求3所述的方法，其中，接收第一数据的步骤包括:接收与所述方位信息相应的立体图像或3维图像。
5.如权利要求1所述的方法，还包括: 显示在对象上叠加的识别信息， 其中，所述识别信息是与对象相关的增强现实信息。
6.一种由服务器实现并在显示`装置上显示协作窗口的协作文档编辑方法，所述方法包括: 利用至少一个处理装置进行以下处理: 从客户端接收包括由相机获得的图像的识别信息请求消息； 识别协作窗口的哪部分与所述图像相应； 响应于确定对象被示出在协作窗口的被识别的部分中，将与对象相关的识别信息发送到客户端； 从客户端接收请求与识别信息相应的数据的数据请求消息； 响应于数据请求消息，将与识别信息相应的第一数据发送到客户端； 从客户端接收第二数据； 更新第一数据以提供第二数据。
7.如权利要求6所述的方法，还包括: 确定是否将对第一数据的编辑权分配给客户端； 如果确定将编辑权分配给客户端，则将指示编辑批准的信息发送给客户端，或者如果确定不将编辑权分配给客户端，则将指示编辑未批准和观看者批准的信息发送给客户端。
8.如权利要求7所述的方法，还包括: 将第二数据发送到接收针对编辑第一数据的编辑未批准和观看者批准的另一客户端。
9.如权利要求6所述的方法，其中，所述识别的过程包括:基于从客户端接收的方位信息将所述图像校正到原始图像，并识别协作窗口的哪部分与原始图像相应。
10.如权利要求9所述的方法，其中，第一数据是与方位信息相应的立体图像或3维图像。
11.一种便携式处理装置，包括:相机； 无线通信单元，被配置为与服务器执行无线通信； 显示单元，具有触摸屏，并被配置为显示由相机获得的图像，并显示通过无线通信单元从服务器接收的数据； 控制单元，被配置为控制相机、无线通信单元和显示单元， 其中，控制单元被配置为: 控制无线通信单元将包含图像的识别信息请求消息发送到服务器， 通过无线通信单元从服务器接收与图像中示出的对象相关的识别信息， 响应于对象的用户选择，控制无线通信单元将请求与选择的对象的识别信息相应的数据的数据请求消息发送到服务器， 通过无线通信单元从服务器接收与识别信息相应的第一数据， 响应于从触摸屏接收的用户输入信息，编辑第一数据以提供第二数据， 控制无线通信单元将第二数据发送到服务器。
12.如权利要求11所述的便携式处理装置，还包括: 传感器单元，被配置为检测物理参数，并将与检测的物理参数相应的检测信息输出到控制单元， 其中，控制单元还被配置为:通过使用检测信息计算方位信息，并控制无线通信单元将方位信息发送到服务器，使得服务器响应于方位信息校正图像。
13.一种便携式处理装置，包括: 无线通信单元，被配置为与客户端和显示装置执行无线通信； 存储单元，被配置为存储协作窗口和相关数据； 控制单元，被配置为控制无线通信单元和存储单元，其中，控制单元被配置为: 通过无线通信单元控制外部显示装置显示协作窗口， 通过无线通信单元从客户端接收包括图像的识别信息请求消息， 识别协作窗口的哪部分与所述图像相应， 响应于位于被识别的部分中的对象，将与所述对象相关的识别信息发送到客户端， 通过无线通信单元从客户端接收请求与识别信息相应的数据的数据请求消息， 从存储单元读取与识别信息相应的第一数据， 控制无线通信单元将第一数据发送到客户端， 通过无线通信单元从客户端接收第二数据， 控制存储单元更新第一数据以提供第二数据。
14.如权利要求13所述的便携式处理装置，其中，控制单元还被配置为确定是否将对第一数据的编辑权分配给客户端，并被配置为响应于确定将编辑权分配给客户端，控制无线通信单元将指示编辑批准的信息发送到客户端，或者如果确定不将编辑权分配给客户端，则将指示编辑未批准和观看者批准的信息发送到客户端。
15.如权利要求14所述的便携式处理装置，其中，控制单元还被配置为控制无线通信单元将第二数据发送到接收针对第一数据的编辑未批准和观看者批准的其他客户端。
【文档编号】G06F17/24GK103631768SQ201310364945
【公开日】2014年3月12日 申请日期:2013年8月20日 优先权日:2012年8月20日
【发明者】金必源, 朴素英 申请人:三星电子株式会社