协作图像控制的制作方法
【专利摘要】在移动设备之间进行协作会话的系统和方法可以提供用于确定与一组参与方移动设备相关联的时间延迟，并至少部分地基于管理方设备的时钟和时间延迟来确定命令执行时间。一个或多个控制消息可以被传送到参与方移动设备，其中控制消息包括命令和命令执行时间。一旦在接收到控制消息，每一参与方移动设备就可以至少部分地基于命令执行时间以及管理方设备的时钟相对于本地时钟的偏移量来确定本地执行时间。因此，命令的执行可以跨参与方移动设备的组来协调。
【专利说明】协作图像控制
[0001]背景【技术领域】
[0002]各实施例一般涉及使移动设备的操作同步。具体而言，各实施例涉及移动设备之间控制消息的传输以管理同步操作。
[0003]
[0004]来自多个数码相机的图像可以被编译在一起，以生成较高质量的图片(例如，通过超级分辨率)，跨两个独立的相机捕捉立体图像对，或从利用多个相机同时拍摄的图片生成3D(三维)模型。然而，相机之间的时间同步会是挑战，特别是在基于网络的时间参考可能不可用的对等(P2P)环境中。即使可能有用于时间同步的有效机制可用，对于用于实现多个相机之间的协作摄影的控制协议，仍有相当大的改进的余地。
[0005]附图简沭
[0006]通过阅读下面的说明书和所附的权利要求，并通过参考下列附图，本发明的各实施例的各种优点对本领域技术人员将变得显而易见，其中:
[0007]图1是根据实施例的控制消息协议的示例的时序图；
[0008]图2A是根据实施例的协作图像捕捉环境的示例的框图；
[0009]图2B是根据实施例的协作图像显示环境的示例的框图；
[0010]图3是根据实施例的管理移动设备协作会话的方法的示例的流程图；
[0011]图4是根据实施例的用户界面的示例的屏幕截图；
[0012]图5A是根据实施例的标识协作会话中的参与方移动设备的方法的示例的流程图；
[0013]图5B是根据实施例的参与移动设备协作会话的方法的示例的流程图；以及
[0014]图6是根据实施例的系统的示例的框图。
[0015]详细描沭
[0016]各实施例可以包括非瞬态计算机可读存储介质，其中包括一组指令，如果由处理器执行，则该组指令导致本地移动设备确定与一组一个或多个远程移动设备相关联的时间延迟，并至少部分地基于本地时钟和时间延迟，确定命令的本地执行时间。指令也可以导致本地移动设备将控制消息传输到该组移动设备，其中，所述控制消息将包括命令和本地执行时间。另外，指令还可以导致本地移动设备根据本地执行时间来执行命令。
[0017]各实施例还可包括一系统，该系统具有本地时钟和控制逻辑，用以确定与一组一个或多个远程移动设备相关联的时间延迟。控制逻辑还可以至少部分地基于本地时钟和时间延迟，确定命令的本地执行时间。控制逻辑可以将控制消息传输到该组移动设备，其中控制消息将包括命令和本地执行时间。另外，控制逻辑还可以根据本地执行时间来执行命令。
[0018]其他实施例可以包括非瞬态计算机可读存储介质，其中具有一组存储指令，如果由处理器执行，则该组存储指令导致本地移动设备从远程移动设备接收控制消息，其中该控制消息将包括命令和远程执行时间。指令还可导致本地移动设备至少部分地基于远程执行时间以及远程移动设备的远程时钟相对于本地时钟的偏移量来确定本地执行时间。命令可以根据本地执行时间来执行。
[0019]各实施例还可包括一系统，该系统具有本地时钟和控制逻辑，用以从远程移动设备接收控制消息，其中该控制消息将包括命令和远程执行时间。控制逻辑还可以至少部分地基于远程执行时间以及远程移动设备的远程时钟相对于本地时钟的偏移量来确定本地执行时间。控制逻辑还可根据本地执行时间来执行命令。
[0020]各实施例还可以包括一系统，该系统具有用以确定图像捕捉命令的本地执行时间以及使本地执行时间与远程移动设备的远程执行时间同步的控制逻辑。系统还可包括图像捕捉模块，用以根据本地执行时间来执行图像捕捉命令。
[0021]其他实施例可包括非瞬态计算机可读存储介质，其中具有一组指令，如果由处理器执行，则该组指令导致本地移动设备确定图像捕捉命令的本地执行时间。指令还可以导致本地移动设备使本地执行时间与远程移动设备的远程执行时间同步,并根据本地执行时间来执行图像捕捉命令。
[0022]现在转向图1，示出了一种环境，其中多个移动设备IO(IOa-1Oc)参与其中命令的执行12跨移动设备10中的每一个同时发生的协作会话。命令的执行12可替换地地跨移动设备10中的每一个以预定间隔发生。如比较详细地讨论的，命令可以是其中移动设备10包括静止和/或视频相机功能的图像捕捉命令(例如，聚焦、快门、闪光等等)、其中移动设备10包括视觉输出功能(例如触摸屏)的图像显示命令、其中移动设备10包括一个或多个扬声器的音频输出命令，等等。此外，移动设备10还可以具有其中环境缺乏基于网络的时间参考的对等(P2P)关系。
[0023]在所示出的示例中，第二移动设备(本地“移动设备2”)IOb管理其本身、第一移动设备(远程“移动设备I”)IOa,以及第三移动设备(远程“移动设备3”)IOc之间的协作会话。第一和第三移动设备10a，IOc可以从第二移动设备IOb的角度来看被视为“远程”，即使所有三个设备都位于相同的附近区，只要它们驻留在不同的平台上。第二移动设备IOb可以将第一控制消息14传输到第一移动设备10a，其中第一控制消息14可以标识要被执行的命令以及命令执行时间(CET)。所示出的第一移动设备IOa以确认(ACK)消息16来作出响应。类似地，第二移动设备IOb可以将第二控制消息18传输到第三移动设备10c，其中第二控制消息18标识要被执行的命令以及CET，而第三移动设备IOc以ACK消息20来应答。
[0024]如比较详细地讨论的，CET可以基于第二移动设备IOb的本地时钟来确立，即使移动设备10缺乏对基于网络的时间参考的访问。具体而言，第一和第三移动设备10a，IOc可以使用关于它们的相对于第二移动设备IOb的本地时钟的相应时钟偏移量，来确定用于执行所讨论的命令的合适时刻。虽然控制消息14，18被示为单播消息，但是也可以使用其他协议配置。例如，第二移动设备IOb可替换地使用由第一和第三移动设备10a，IOc两者监视的广播地址，来向第一和第三移动设备10a，IOc两者广播单个控制消息。此外，当调度CET时，第二移动设备IOb还可考虑累积的端对端信号延迟。
[0025]图2A和2B示出了其中可以部署如此处所描述的移动设备协作会话的示例环境。具体而言，图2A示出了协作图像捕捉会话，其中多个相机22 (例如，数码相机、胶卷相机、带有图像捕捉功能的智能电话和/或平板电脑等等)捕捉时间敏感的常见主体(例如，新郎与新娘接吻，体育赛事等等)的同时的图像。因此，相机22可以轻松地代替已经讨论的移动设备10(图1)。如此，要由所有设备22同步执行的命令在所示出的示例中可以包括快门控制命令和/或聚焦命令。通过使用P2P控制消息26来对齐捕捉每一图像的时刻，所示出的示例使相机22能获得可用于生成超级分辨率图像、3D图像等等的同步图像。
[0026]图2B演示了协作图像显示会话还可结合此处所描述的控制消息功能。具体而言，多个手持式设备(例如，移动因特网设备(MID)、个人数字助理(PDA)、无线智能电话、媒体播放器、笔记本电脑、平板电脑设备等等，或其任何组合)28(28a-28c)中每一个都可以同时显示时间敏感的事件，诸如在实时玩多玩家游戏(诸如协作驾驶游戏)过程中的爆炸物体(例如炸弹)30。如此，手持式设备28可以轻松地代替已经讨论的移动设备10(图1)，其中，使用控制消息32来确保由手持式设备28中的每一个同步执行诸如图像显示/动画命令之类的游戏命令。
[0027]现在转向图3，示出了管理移动设备协作会话的方法34。方法34可以作为存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程序只读存储器(PROM)、固件、闪存等等之类的存储器的机器或计算机可读取的介质中，使用诸如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术之类的电路技术，或其任何组合，存储在固定功能的逻辑硬件中的一组逻辑/模块指令，以本地移动设备IOb (图1)的可执行的软件来实现。例如，执行方法34所示出的操作的计算机程序代码可以以一种或多种编程语言的任何组合来进行编写，包括诸如Java、Smalltalk、C++等等之类的面向对象编程语言，以及诸如“C”编程语言或类似的编程语言之类的常规过程编程语言。
[0028]处理框36用于与一个或多个远程参与方移动设备建立连接。具体而言，框36可以涉及经由它们的相应的无线网络控制器(例如，W1-Fi控制器/收发器(例如，IEEE802.11、1999版，LAN / MAN无线LAN)、蓝牙控制器/收发器(例如，IEEE802.15.1-2005，无线个人区域网络)，来检测可用移动设备的存在。关于这一点，可能不需要网络基础结构来建立连接，该连接可以是缺乏基于网络的时间参考的纯P2P连接。然后，可以经由用户界面(UI)输出可用移动设备的标识符，以及从标识符中选择的用户提示。一旦接收到来自用户的选择输入，就可以标识一组参与方移动设备。替换地，设备可以基于接收到的信号强度指示(RSSI)信息、GPS (全球定位系统)位置信息等等，来选择一组参与方移动设备。
[0029]例如，图4示出了具有显示多个检测到的成像设备的用户界面40的移动设备38。在所示出的示例中，每一设备的状态都由设备名称旁边的实体(例如，“绿色”)或阴影线(例如，“红色”)来表示。实体点可以表示设备不在使用中，并可以用来参与到协作视频/图片捕捉会话中，而阴影线点可以表示设备当前在使用中，并且不可用。如此，在所示出的示例中，“Ethan (伊桑)的相机”、“Amy (艾米)的智能电话”以及“Mark(迈克)的摄像放像机”可用于参与，而“Sally (萨莉)的相机”不可用。当管理方设备启动协作视频捕捉会话时，可以向当前可用的(即，带有实体点状态的)其他设备发送控制命令。当设备正在参与协作图片/视频捕捉会话时，它们的状态可被本地地设置为不可用，这可进而导致它们的状态在同一组中的其他设备上表现为阴影线点。
[0030]现在返回到图3，一旦标识了参与方设备，就可以在本地管理方设备和远程参与方移动设备中的每一个之间建立连接。例如，框36可以涉及提示用户标识什么类型的连接是首选的。在一个示例中，可以有四种连接类型供用户选择:
[0031]开放的持久连接:如果用户不需要对对等(例如，远程)设备进行认证并且用户希望在本地设备中在事件的持续时间内保存对等设备的概况(profile)，则用户可以选择此关系。对等设备的概况可以是W1-Fi或蓝牙卡的MAC(媒体访问控制)地址，用户友好名称等等的组合。用户还可以被允许选择持久连接的持续时间(例如，4小时、8小时、24小时等等)。一旦建立了持久连接，在连接的持续时间内，即使用户决定关掉设备并再次对其上电，用户仍可以能够回避建立过程。用户可以由于以下种种原因而选择开放关系:由于用户可视觉地验证附近/邻近区中的对等设备是受信任的设备；由于试图协作地拍摄照片的两个用户离得很远(例如，在体育场的不同侧面)等等。开放的关系建立可以具有最小的消息开销，但是可能不会提供安全信道(例如，对于在两个设备之间传输的流量的保护)。
[0032]开放的一次性连接:如果用户不选择在他/她的相应的设备中保存对等设备的概况，并且如果用户不关心对等设备的真实性，则用户可以选择建立开放的连接。在此情况下，一旦设备断电，连接建立就丢失。相应地，下一次用户打开他/她的设备时，可能需要再次建立连接。此模式可以最适合于用户只与另一个用户协作地拍摄一张或两张图片的情况。
[0033]安全的持久连接:用户可以选择将对等设备的概况保存到他/她的相应的设备中达事件的持续时间。在此情况下，对等设备的概况可以是W1-Fi或蓝牙卡的MAC地址、用户友好名称、本地设备和远程设备之间的公共密钥等等的组合。利用持久连接，每当设备通电，设备都可以与已知的对等设备自动地建立连接，直到预先定义的连接时间期满。如果选择安全的连接，则在连接被建立并准备好供使用之前设备可能需要对等设备向它认证。在认证过程成功地完成之后，两个设备之间的流量可以是加密的。
[0034]安全的一次性连接:本地设备不保存远程设备的概况，但是可能需要在建立连接之前有认证过程。在认证过程成功地完成之后，两个设备之间的流量可以是加密的。
[0035]处理框42用于使管 理方设备的本地时钟与远程参与方移动设备的时钟同步。具体而言，管理方设备可以广播由参与方移动设备接收到的一个或多个时间同步请求，其中每一时间同步请求都可包括出发时间(“ToD”)戳，以及数个其他参数。例如，时间同步请求可以指示传输的帧是同步请求，包括管理方设备的MAC地址，并包括接收器地址(例如，由区域中的其他设备监视的广播地址)。另外，如果区域中有多个传送方设备，则同步请求还可包括用来在来自不同的设备的时间同步请求帧之间进行区分的对话令牌。此外，在传输帧时，可以应用ToD戳。
[0036]一旦接收到时间同步请求，参与方移动设备可以确定时间同步请求的到达时间(ToA)，并传送对时间同步请求的回复。时间同步回复可以是标识请求的ToA以及时间同步回复的ToD的单播帧。当管理方设备接收到每一同步回复时，它可以确定回复的ToA，并计算两个设备的时钟偏移量。计算可以按如下方式来进行，行
[0037]
偏移(I)
2
[0038]其中TI是时间同步请求的传输时间，T2是时间同步请求的到达时间，T3是时间同步回复的传输时间，而T4是时间同步回复的到达时间。例如，如果管理方设备的本地时钟显示下午1:30，管理方设备的本地时钟和参与方移动设备之间的偏移量是+2分钟，则管理方设备可以确定参与方移动设备的时钟是下午1:32。上面的过程可以由参与方移动设备重复，以确定它们的相对于管理方设备的时钟的时钟偏移量。通过使用这样的方法，可以使一个设备同时与多个设备同步，而无需使用网络的主时钟。此外，由于时间同步过程是分布式的，因此，过程可以比每一个设备复制其他设备的时钟值更快且更高效。
[0039]处理框44用于确定参与方移动设备组的时间延迟。时间延迟确定可以考虑在移动设备之间传输消息涉及的时间可以是传送方移动设备处的操作系统(OS)和硬件(HW)延迟、空中(OTA)信令延迟，以及接收方移动设备处的HW和OS延迟的函数。例如，通过对从所讨论的参与方移动设备接收到的一个或多个ToD时间戳应用每一参与方移动设备的偏移量，管理方设备可以确定端对端延迟。
[0040]延迟ete=T4_ (T3+偏移量)⑵
[0041]其中，延迟ETE是与所讨论的参与方移动设备相关联的端对端延迟，T3是消息的传输时间(相对于远程时钟)，而T4是消息的到达时间(相对于本地时钟)。端对端延迟还可以跨来自特定设备的多个消息平均，以及跨来自整组参与方移动设备的消息平均。因此，参与方移动设备组的最大端对端延迟可以被管理方设备用来标识协作会话的时间延迟。在时间延迟确定中还可以考虑诸如定时抖动之类的其他因素，它们可以根据多个端对端延迟计算来计算。
[0042]框46用于基于管理方设备的本地时钟和参与方移动设备组的时间延迟来确定命令执行时间(CET)。例如，CET可以是将来的某个时刻，并考虑与在设备之间传输合适的控制消息相关联的时间延迟。如比较详细地讨论的，管理方设备还可确定诸如每一个参与方移动设备的对话令牌以及执行延迟之类的其他参数。
[0043]在所示出的框48，控制消息被传输到参与方移动设备组。下面的表1示出了可以包括在控制消息中的字段的示例。
[0044]
顺序信息
1帧类型
2传送器地址
3接收器(广播)地址
4对话令牌
5命令执行时间(CET)`
6执行延迟
7参与方设备的列表
[0045]表1
[0046]帧类型可以标识正被传送的控制消息的类型(例如，消息是否是焦点控制消息、快门控制消息、闪光控制消息、图像显示/动画消息等等)。传送器地址(TA)可以是传送方设备的W1-Fi或蓝牙卡的MAC地址，或标识传送方设备的通用唯一设备标识符。接收器地址(RA)可以是接收方设备的W1-Fi或蓝牙卡的MAC地址，标识接收方设备的通用唯一设备标识符，或被参与方移动设备中的每一个监视的广播地址。对话令牌可以是控制消息的序号，其中对于每一新传送的控制消息，管理方设备可以将序号增大I。
[0047]如已指出的，本地命令执行时间可以是当管理方设备将执行命令时的时间，并可以基于最大端对端延迟，以及本地时钟来计算。“延迟”字段可以定义接收方设备将加到命令执行时间的定时偏移量(例如，以微秒为单位)。例如，如果远程相机需要与本地相机同时执行命令，则“延迟”字段可以是零。另一方面，如果协作会话涉及连续图像捕捉，每一参与方相机都可以基于其在图像捕捉序列中的位置，接收不同的执行延迟。控制消息还可携带参与会话的设备的列表，其中列表中的每一设备都可以通过其MAC地址或其他合适的标识符来标识。所示出的框50用于根据调度的本地执行时间来执行命令。
[0048]图5A示出了标识协作会话中的参与方移动设备的方法51。方法51可以作为存储在诸如RAM、ROM、PR0M、固件、闪存等等之类的存储器的机器或计算机可读取的介质中，使用诸如ASIC、CM0S或TTL技术之类的电路技术，或其任何组合，存储在固定功能的逻辑硬件中的一组逻辑/模块指令，以移动设备10a，IOc (图1)的可执行的软件来实现。如已指出的，移动设备可以与管理方设备建立连接，以便与其他移动设备一起参与协作会话，其中连接可以是开放的持久性的，开放的一次性的，安全的持久性的，安全的一次性连接，或其他类型的连接。
[0049]框53用于接收控制消息。如果连接的类型是安全的连接(例如，安全的持久性或安全的一次性连接)，则框53可以涉及认证控制消息。如已经讨论的，控制消息可以包括传送器地址、接收器地址、对话令牌，参与方移动设备的列表等等。如果在框55中确定命令消息的接收器地址(例如，MAC地址)匹配接收方移动设备的地址，则可以在框57关于对话令牌是否有效作出确定。如此，框57可能涉及将对话令牌的序号与来自相同传送器的先前对话令牌的存储的序号进行比较，其中如果序号小于或等于所存储的序号，则忽略控制消息。
[0050]然而，如果序号大于存储的序号，则所示出的框59用对话令牌的序号来覆写所存储的序号。框59还可以涉及向控制消息中所标识的传送器地址处的管理方设备传输确认(ACK)消息。关于这一点，如果连接类型是持久连接(例如，开放的持久性或安全的持久连接)，则参与方移动设备可以存储管理方设备的概况，包括MAC地址、用户友好名称、公共密钥等等。所示出的框61从控制消息中提取参与方移动设备的列表，其中参与方移动设备的状态可以在框63更改为“不可用”。
[0051]现在转向图5B，示出了参与移动设备协作会话的方法52。方法52可以作为存储在诸如RAM、ROM、PR0M、固件、闪存等等之类的存储器的机器或计算机可读取的介质中，使用诸如ASIC、CM0S或TTL技术之类的电路技术，或其任何组合，存储在固定功能的逻辑硬件中的一组逻辑/模块指令，以移动设备10a，IOc (图1)的可执行的软件来实现。正如所指出的那样，参与方移动设备可以与管理方设备建立连接，其中连接可以是开放的持久性的，开放的一次性的，安全的持久性的，安全的一次性连接，或其他类型的连接。
[0052]框54用于接收控制消息。如果连接的类型是安全的连接(例如，安全的持久性或安全的一次性连接)，则框54可以涉及认证控制消息。控制消息可以包括传送器地址、接收器地址、命令、对话令牌、基于管理方设备的远程时钟的命令执行时间(CET)，等等。如果在框56中确定命令消息的接收器地址(例如，MAC地址)匹配参与方移动设备的地址，则可以在框58关于对话令牌是否有效作出确定。如此，框58可能涉及将对话令牌的序号与来自相同传送器的先前对话令牌的存储的序号进行比较，其中如果序号小于或等于所存储的序号，则忽略控制消息。然而，如果序号大于所存储的序号，则所示出的框60用对话令牌的序号来覆写所存储的序号。框60还可以涉及向控制消息中所标识的传送器地址处的管理方设备传输确认(ACK)消息。关于这一点，如果连接类型是持久连接(例如，开放的持久性或安全的持久连接)，则参与方移动设备可以存储管理方设备的概况，包括MAC地址、用户友好名称、共公共密钥等等。
[0053]可以在框62从控制消息中提取远程管理方设备的CET，以及执行延迟。正如所指出的那样，如果命令将被参与方移动设备并发地执行，则执行延迟可以是零(例如，空)。所不出的框64基于远程CET和远程管理方设备的时钟相对于参与方移动设备的本地时钟的偏移量，来确定参与方移动设备的命令的本地执行时间。例如，本地执行时间可以按如下方式来计算，
[0054]CET+延迟+偏移量_设备1_设备2 (3)
[0055]其中，“Delay”是执行延迟(如果有的话)。命令可以在框68根据调度的本地执行时间来执行。
[0056]图6示出了包括控制逻辑72和本地时钟74的移动设备70的一个示例。如果移动设备70在协作会话中充当管理方设备，则控制逻辑72可以可操作以确定与一组一个或多个远程参与方移动设备相关联的时间延迟，至少部分地基于本地时钟和时间延迟来确定命令的本地执行时间，并经由无线(例如，W1-F1、蓝牙)收发器76将控制消息传送到一个或多个远程参与方移动设备的组，其中控制消息包括命令和本地执行时间。
[0057]另一方面，如果移动设备70在协作会话中充当参与的移动设备，则控制逻辑72可以可操作，以通过无线收发器76从远程管理方设备接收控制消息，其中控制消息包括命令和远程执行时间。控制逻辑72还可至少部分地基于远程执行时间以及远程移动设备的远程时钟相对于本地时钟74的偏移量来确定本地执行时间。
[0058]在任一种能力下，所示出的控制逻辑72根据调度的本地执行时间来执行命令，其中命令的执行与其他参与方移动设备协作。移动设备70还可以包括便于诸如快门、聚焦和闪光命令之类的图像捕捉命令的执行图像捕捉模块78，以及可以包括一个或多个处理器核(未示出)的处理器80，其中每一核都是带有指令获取单元、指令解码器、一级(LI)缓存、执行单元等等的完全功能的。在控制逻辑72可以包括指令这个方面而言，处理器80可以执行控制逻辑72。
[0059]所示出的移动设备70还包括使用户能与移动设备70进行交互并感知来自移动设备70的信息的用户界面(UI)82。如此，UI82可以包括类似于已经讨论的UI40(图4)的功能的功能，并可以使用户能为协作会话选择参与方移动设备。W82还可以使用户能为协作会话选择连接的类型(例如，开放的持久性的，开放的一次性的，安全的持久性的，安全的一次性连接)。移动设备70还可包括RAM84、R0M86、闪存(未示出)等等，以存储图像、视频、定时偏移量、设备概况、认证数据、、对话令牌序号、设备状态、控制逻辑指令等等。
[0060]此处所描述的各实施例适用于与各种类型的半导体集成电路(“1C”)芯片一起使用。这些IC芯片的示例包括，但不仅限于处理器、控制器、芯片集组件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片等等。另外，在某些附图中，信号导线通过线来表示。一些可能不同，以指出更多成份信号路径，具有编号标记，以指出成份信号路径的数量，和/或在一个或多个末端具有箭头，以指出主信息流动方向。然而，这不应该以限制的方式来解释。相反，这样的添加的细节可以与一个或多个示例性实施例一起使用，以促进对电路的更加容易的理解。任何表示的信号线，不管是否具有额外的信息，都可以实际包括可以在多个方向进行传播的一个或多个信号，并可以利用任何合适类型的信号方案来实现，例如，利用微分对实现的数字或模拟线路，光纤线路、和/或单端线。
[0061]可能已经给出了示例大小/模型/值/范围，虽然本发明的各实施例不仅限于相同的。随着制造技术(例如，光刻)越来越成熟，预计可以制造较小尺寸的设备。另外，为简明起见，在图形内可能示出了或可能未示出到IC芯片及其他组件的已知的电源/接地连接，以便不会使本发明的各实施例的某些方面变得模糊。进一步地，可以以框图形式示出布局，以便避免使本发明的各实施例变得模糊，还鉴于相对于这样的框图布局的实现的细节高度依赖于将在其内实现各实施例的平台这一事实，即，这样的细节应该在精通本技术的人员学识范围内。尽管阐述了具体细节(例如，电路)以便描述本发明的示例实施例，但是，对本领域技术人员显而易见的是，本发明的各实施例可以在没有这些具体细节，或利用这些具体细节的变化来实施。如此，描述被视为说明性的，而不是限制性的。
[0062]此处可以使用术语“耦合”来指正被讨论的组件之间的任何类型的关系，直接的或间接的，并可以应用于电气的、机械的、流体的、光学的、电磁的、机电的或其他连接。另外，术语“第一”、“第二”等等此处只用于便于讨论，没有特定时间的或按时间顺序的意义，除非另有陈述。
[0063]所属领域的技术人员将从前面的描述理解，可以以各种形式来实现本发明的各实施例的广泛的技术。因此，尽管本发明的各实施例是结合其特定示例来描述的，但是，本发明的各实施例的真正的范围不应该受这样的限制，因为在研究附图、说明书，以及后面的权利要求书之后，其他修改对熟练的实践者将变得显而易见。
【权利要求】
1.一种系统，包括: 本地时钟；以及 控制逻辑，用于， 确定与一组一个或多个远程移动设备相关联的时间延迟， 至少部分地基于所述本地时钟和所述时间延迟来确定命令的本地执行时间， 将一个或多个控制消息传送到所述一个或多个远程移动设备的组，其中所述一个或多个控制消息将包括所述命令和所述本地执行时间，以及根据所述本地执行时间来执行所述命令。
2.如权利要求1所述的系统，其特征在于，所述控制逻辑用于， 确定所述一个或多个远程移动设备的组的端对端延迟， 确定对应于所述最大端对端延迟的时钟偏移量，以及 至少部分地基于所述最大端对端延迟和所述时钟偏移量来确定所述时间延迟。
3.如权利要求1所述的系统，其特征在于，所述一个或多个控制消息将还包括以下各项中的至少一个:对话令牌、执行延迟、以及所述一个或多个远程移动设备的组的一个或多个标识符。
4.如权利要求3所述的系统，其特征在于，如果所述一个或多个控制消息将包括对话令牌，则所述逻辑将增大序号，其中，所述对话令牌将包括所述序号。
5.如权利要求1所述的 系统，其特征在于，所述命令将包括以下各项中的至少一个:与协作捕捉会话相关联的快门命令、与所述协作捕捉会话相关联的聚焦命令，以及与协作游戏会话相关联的图像显示命令。
6.如权利要求1所述的系统，进一步包括用户界面，其特征在于，所述控制逻辑用于， 检测一个或多个可用移动设备的存在， 经由所述用户界面输出所述一个或多个可用移动设备的标识符， 经由所述用户界面输出对从所述标识符中进行选择的用户提示，以及 接收用户输入，其中所述用户输入将标识所述一个或多个远程移动设备的组。
7.如权利要求1所述的系统，其特征在于，所述控制逻辑将基于信号强度信息和位置信息中的至少一个从一个或多个可用移动设备中选择所述一个或多个远程移动设备的组。
8.一种包括一组指令的非瞬态计算机可读存储介质，所述一组指令如果由处理器执行则导致本地移动设备: 确定与一组一个或多个远程移动设备相关联的时间延迟； 至少部分地基于本地时钟和所述时间延迟来确定命令的本地执行时间； 将一个或多个控制消息传输到所述一个或多个远程移动设备的组，其中所述一个或多个控制消息将包括所述命令和所述本地执行时间；以及根据所述本地执行时间来执行所述命令。
9.如权利要求8所述的介质，其特征在于，所述指令如果被执行，则导致本地移动设备: 确定所述一个或多个远程移动设备的组的端对端延迟； 确定对应于所述最大端对端延迟的时钟偏移量；以及 至少部分地基于所述最大端对端延迟和所述时钟偏移量来确定所述时间延迟。
10.如权利要求8所述的介质，其特征在于，所述一个或多个控制消息将还包括以下各项中的至少一个:对话令牌、执行延迟、以及所述一个或多个远程移动设备的组的一个或多个标识符。
11.如权利要求10所述的介质，其特征在于，如果所述一个或多个控制消息将包括对话令牌，如果被执行，则所述指令导致本地移动设备增大序号，其中对话令牌将包括所述序号。
12.如权利要求8所述的介质，其特征在于，所述命令将包括以下各项中的至少一个:与协作捕捉会话相关联的图像捕捉命令，以及与协作游戏会话相关联的图像显示命令。
13.如权利要求12所述的介质，其特征在于，所述图像捕捉命令将包括以下各项中的至少一个:快门命令、和聚焦命令。
14.如权利要求8所述的介质，其特征在于，所述指令，如果被执行，则导致本地移动设备: 检测一个或多个可用移动设备的存在； 经由用户界面输出所述一个或多个可用移动设备的标识符； 经由所述用户界面输出对从所述标识符中进行选择的用户提示；以及 接收用户输入，其中所述用户输入将标识所述一个或多个远程移动设备的组。
15.如权利要求8所述的介质，其特征在于，所述指令，如果被执行，则导致本地移动设备基于信号强度信息和位 置信息中的至少一个从一个或多个可用移动设备中选择所述一个或多个远程移动设备的组。
16.—种系统,包括: 本地时钟；以及 控制逻辑，用于， 从远程移动设备接收控制消息，其中所述控制消息将包括命令和远程执行时间， 至少部分地基于所述远程执行时间以及所述远程移动设备的远程时钟相对于所述本地时钟的偏移量来确定本地执行时间，以及根据所述本地执行时间来执行所述命令。
17.如权利要求16所述的系统，其特征在于，所述控制逻辑将把所述远程时钟的所述偏移量与所述远程执行时间相加，以获得所述本地执行时间。
18.如权利要求16所述的系统，其特征在于，如果所述控制消息将包括对话令牌，则所述控制逻辑将， 将所述对话令牌的序号与来自所述远程移动设备的先前对话令牌的所存储的序号进行比较， 如果所述序号小于或等于所存储的序号，则忽略所述控制消息，以及 如果所述序号大于所存储的序号，则用所述对话令牌的所述序号覆写所存储的序号。
19.如权利要求16所述的系统，其特征在于，如果所述控制消息将包括执行延迟，则所述控制逻辑将进一步基于所述执行延迟来确定所述本地执行时间。
20.如权利要求16所述的系统，其特征在于，如果所述控制消息将包括一组参与方移动设备的一个或多个标识符，则所述控制逻辑将把所述参与方移动设备的组的状态改变为不可用。
21.如权利要求16所述的系统，其特征在于，所述控制逻辑将根据所述本地执行时间来执行图像捕捉命令和图像显示命令中的至少一个。
22.如权利要求16所述的系统，其特征在于，所述控制逻辑将， 与所述远程移动设备建立连接， 如果所述连接是持久连接，则存储所述远程移动设备的概况，以及 如果所述连接是安全连接，则认证所述控制消息。
23.一种包括一组指令的非瞬态计算机可读存储介质，所述一组指令如果由处理器执行，则导致本地移动设备: 从远程移动设备接收控制消息，所述控制消息将包括命令和远程执行时间； 至少部分地基于所述远程执行时间以及所述远程移动设备的远程时钟相对于本地时钟的偏移量来确定本地执行时间，以及 根据所述本地执行时间来执行所述命令。
24.如权利要求23所述的介质，其特征在于，所述指令，如果被执行，则导致本地移动设备将所述远程时钟的所述偏移量与所述远程执行时间相加，以获得所述本地执行时间。
25.如权利要求23所述的介质，其特征在于，如果所述控制消息将包括对话令牌，则所述指令，如果被执行，则导致本地移动设备: 将所述对话令牌的序号与先前对话令牌的所存储的序号进行比较；以及 如果所述对话令牌的所述序号小于或等于所存储的序号，则忽略所述控制消息。
26.如权利要求25所 述的介质，其特征在于，如果所述对话令牌的所述序号大于所存储的序号，则所述指令，如果被执行，则导致本地移动设备用所述对话令牌的所述序号来覆写所述存储的序号。
27.如权利要求23所述的介质，其特征在于，如果所述控制消息将包括执行延迟，所述指令，如果被执行，则将导致本地移动设备进一步基于所述执行延迟来确定所述本地执行时间。
28.如权利要求23所述的介质，其特征在于，如果所述控制消息将包括一组参与的移动设备的一个或多个标识符，所述指令，如果被执行，则导致本地移动设备将把所述参与方移动设备的组的状态改变为在一时间段内不可用。
29.如权利要求23所述的介质，其特征在于，所述指令，如果被执行，则导致本地移动设备根据所述本地执行时间来执行图像捕捉命令和图像显示命令中的至少一个。
30.如权利要求23所述的介质，其特征在于，所述指令，如果被执行，则导致本地移动设备: 与所述远程移动设备建立连接； 如果所述连接是持久连接，则存储所述远程移动设备的概况；以及 如果所述连接是安全连接，则认证所述控制消息。
31.一种系统,包括: 控制逻辑，用于， 确定图像捕捉命令的本地执行时间，以及 使所述本地执行时间与远程移动设备的远程执行时间同步；以及 图像捕捉模块，用于根据所述本地执行时间来执行所述图像捕捉命令。
32.如权利要求31所述的系统，其特征在于，所述控制逻辑将，确定与一组一个或多个远程移动设备相关联的时间延迟， 至少部分地基于本地时钟和所述时间延迟来确定所述图像捕捉命令的所述本地执行时间，以及 将一个或多个控制消息传送到所述一个或多个远程移动设备的组。
33.如权利要求32所述的系统，其特征在于，所述控制逻辑将， 确定所述一个或多个远程移动设备的组的端对端延迟， 确定对应于所述端对端延迟的时钟偏移量，以及 至少部分地基于所述端对端延迟和所述时钟偏移量来确定所述时间延迟。
34.如权利要求31所述的系统，其特征在于，所述控制逻辑将， 从所述远程移动设备接收控制消息，其中所述控制消息将包括命令和所述远程执行时间，以及 至少部分地基于所述远程执行时间和所述远程移动设备的远程时钟相对于本地时钟的偏移量来确定所述本地执行时间。
35.如权利要求31所述的系统，其特征在于，所述图像捕捉命令将包括以下各项中的至少一个:快门命令、和聚焦命令。
36.一种包括一组指令 的非瞬态计算机可读存储介质，所述一组指令如果由处理器执行，则导致本地移动设备: 确定图像捕捉命令的本地执行时间； 使所述本地执行时间与远程移动设备的远程执行时间同步；以及 根据所述本地执行时间来执行所述图像捕捉命令。
37.如权利要求36所述的介质，其特征在于，所述指令，如果被执行，则导致本地移动设备: 确定与一组一个或多个远程移动设备相关联的时间延迟； 至少部分地基于本地时钟和所述时间延迟来确定所述图像捕捉命令的所述本地执行时间；以及 将一个或多个控制消息传送到所述一个或多个远程移动设备的组。
38.如权利要求37所述的介质，其特征在于，所述指令，如果被执行，则导致本地移动设备: 确定所述一个或多个远程移动设备的组的端对端延迟， 确定对应于所述端对端延迟的时钟偏移量；以及 至少部分地基于所述端对端延迟和所述时钟偏移量来确定所述时间延迟。
39.如权利要求36所述的介质，其特征在于，所述指令，如果被执行，则导致本地移动设备: 从所述远程移动设备接收控制消息，其中所述控制消息将包括命令和所述远程执行时间；以及 至少部分地基于所述远程执行时间以及所述远程移动设备的远程时钟相对于本地时钟的偏移量来确定所述本地执行时间。
40.如权利要求36所述的介质，其特征在于，所述图像捕捉命令将包括以下各项中的至少一个:快门命令、和聚焦命令。
【文档编号】H04N21/4223GK103477627SQ201180069884
【公开日】2013年12月25日 申请日期:2011年12月22日 优先权日:2011年3月31日
【发明者】M·X·宫, S·P·巴拉桑德拉姆, R·万特, H·W·豪斯塞科尔, J·沃克 申请人:英特尔公司