基于图像捕获的多屏幕互操作方法
【技术领域】
[0001]本发明涉及物联网领域，尤其是一种基于图像捕获的多屏幕互操作方法。
【背景技术】
[0002]物联网技术的实践最早可以追溯到1990年施乐公司的网络可乐贩售机，随着互联网技术的发展和各种硬件、应用软件的极大丰富，物联网技术也得到了极大的发展。物联网被视为互联网的应用拓展，物联网的本质概括起来主要体现在三个方面:一是互联网特征，即对需要联网的物一定要能够实现互联互通的互联网络；二是识别与通信特征，即纳入物联网的“物” 一定要具备自动识别与物物通信的功能；三是智能化特征，即网络系统应具有自动化、自我反馈与智能控制的特点。
[0003]目前，对物联网技术的具体应用化非常多，例如智能家居技术，通过网络把家庭内的各个系统关联管理，统一控制；又例如车联网技术，通过网络把一个区域内的车辆关联起来，实现监控、调度、追踪等等应用。目前提出来很多未来发展方向，大的如智慧地球、智慧城市，小到智慧水务、智慧燃气等等，可以预见，以物联网技术为核心的新一代互联网技术将会极大的改变人们的工作和生活。
[0004]物联网技术的要义就是物物相连，信息互通。目前，我们已经生活在一个多屏的时代，但是，各种屏幕之间的交互，仍然处于比较低级的阶段。移动设备(手机、平板)与笔记本、电视进行交互的时候，无非就是向上面投射一些内容，或许作为第二屏幕，提供一些额外的信息，更进一步的话，移动设备可以用作鼠标键盘一样的控制设备。多数情况下，这些互动常常是麻烦的，而且不是很有吸引力。最终，各屏幕之间仍然处于彼此孤立的状态。
[0005]提到屏幕之间的交互,我们会想到苹果的AirPlay、Google的Chromecast、微软的Xbox Smartglass、任天堂的Wii U GamePad等等,但这些屏幕交互需要特定硬件的支持，而我们最常使用的手机和电脑之间，却是我们最想要实现屏幕交互的两个设备，例如，希望直接在手机屏幕上将数据传输到电脑的桌面，而不需要频繁的连接数据线，或者，手机屏幕与电脑屏幕之间实现互动的屏幕游戏，让游戏变得更加有趣等，都是我们期待的新应用，但是，目前并没有针对这方面的研究。
【发明内容】
[0006]本发明实施例提出一种基于图像捕获的多屏幕互操作方法，第一设备捕获第二设备显示图像信息；确定所述第一设备和所述第二设备的相对位置；建立所述第一设备和第二设备的位置映射关系；关联所述第一设备和所述第二设备屏幕上的操作。
[0007]更进一步，所述第一设备包括第一屏幕、第一控制处理模块、第一通信模块以及摄像模块，所述第一屏幕、第一通信模块、摄像模块分别与所述第一控制处理模块相连，并通过第一控制处理模块实现数据传输。
[0008]更进一步，所述第二设备包括第二屏幕、第二控制处理模块和第二通信模块，所述第二屏幕和第二通信模块分别与所述第二控制处理模块连接，并通过第二控制处理模块实现数据通信.更进一步，所述第二屏幕上包含定位网格。
[0009]更进一步，所述第一控制处理模块根据实时获取第二显示屏图像上的定位网格确定所述第一屏幕和所述第二屏幕的映射关系。
[0010]更进一步，所述映射关系包括所述第一屏幕和所述第二屏幕的位置函数关系。
[0011]更进一步，所述映射关系包括所述第一屏幕和所述第二屏幕的位置函数关系。
[0012]更进一步，所述映射关系包括所述第一设备和所述第二设备在互联网上的对应关系。
[0013]更进一步，所述映射关系包括所述第一设备和所述第二设备在局域网上的对应关系。
[0014]本发明实施例提供的基于图像捕获的多屏幕互操作方法，利用屏幕定位和映射关系，实现两个屏幕设备之间的互操作，例如实现手机和电脑之间不需要连接数据线就可以实现数据传输，或者手机和电脑之间游戏屏幕之间的互动，提高了不同设备屏幕之间的应用体验。
【附图说明】
[0015]图1展示一种多屏幕互动操作系统；
图2展示基于图像捕获的多屏幕互操作流程图；
图3是一种手机与电脑非接触的数据交互流程图；
图4是一种手机与电脑互动游戏流程图。
【具体实施方式】
[0016]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本发明实例在附图中示出，尽管将结合这些实施例来描述本发明，应该理解其并非要将本发明限制为这些实施例。相反，本发明意欲覆盖可包括在所附权利要求所限定的精神和范围内的替换、修改和等效形式。另外，在对本发明实施例的以下详述中，提出了很多具体细节以使本发明得到彻底理解。然而，本领域普通技术人员将认识到，没有这些具体细节也可实施本发明。在其它实例中，为了不必要地模糊本发明的方面，未详细描述公知的方法、过程、部件和电路。
以下详细描述的一些部分是按照过程、步骤、逻辑块、处理及对可在计算机存储器上执行的数据位的操作的其它符号表示来提出的。这些描述和表示是数据处理领域的技术人员所使用的、为了将其工作的实质最有效地传达给该领域其它技术人员的手段。这里，过程、计算机执行的步骤、逻辑块、进程等通常设想为导致期望结果的步骤或指令的自洽序列。所述步骤是需要对物理量的物理操纵的步骤。通常，尽管不必要，这些量采用能够在计算机系统中存储、传递、组合、比较或另外操纵的电或磁信号的形式。已经证明，主要是为了公共使用的原因，将这些信号称作位、值、元素、符号、字符、项目、数字等有时是方便的。
然而，应牢记的是，所有这些和相似的术语应与适当的物理量相关联并且仅仅是适用于这些量的方便标记。除非特别指明，否则如以下描述中所显而易见的，应理解在整个本发明中，讨论所用的术语，如“关联”或“识别”或“再现”或“需要”或“确定”或“重复”或“执行”或“检测”或“引导”等，指的是电子系统或类似电子计算设备的动作和过程，其将电子设备的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成电子设备存储器或寄存器或者其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
[0017]图1说明根据本发明的各种例示性实施例的展示多屏幕互动操作系统结构图。
[0018]图1中，展示的第一设备100和第二设备200，第一设备100包括第一屏幕101，第一控制处理模块102，第一通信模块103以及摄像模块104，第一屏幕101、第一通信模块103、摄像模块104分别与第一控制处理模块102相连，并通过第一控制处理模块102实现数据传输。
[0019]第一屏幕101，用于第一设备100的显示，也可以包括提供输入功能，例如集成了触摸功能的显示屏幕。
[0020]第一通信模块103，用于实现第一设备100的对外通信，例如GPRS、3G、4G、WiFi等模块，可将第一设备100的数据发送出去，或接受来自其他设备的数据。
[0021]摄像模块104，用于拍摄外部图像，例如摄像头。
[0022]第一控制处理模块102，用于获取摄像头拍摄的图像，并对图像进行识别、分析，根据分析结果进行匹配，生成图像并发送到第一屏幕101进行显示，以及，产生第一数据通过第一通信模块103发送出去。在其中的一个实施例中，控第一制处理模块102应当包括负责运算的中央处理器、负责存储的闪存，以及负责实现图像识别、分析和生成第一数据等功能的App软件。
[0023]第二设备200包括第二屏幕201、第二控制处理模块202和第二通信模块203，所述第二屏幕201和第二通信模块203分别与第二控制处理模块202连接，并通过第二控制处理模块202实现数据通信。
[0024]第二屏幕201，用于实现第二设备200的显示，也可以包括提供输入功能，例如集成了触摸功能的显示屏幕，如果第二屏幕201不具备输入功能，则一般第二设备200还可以包括输入外设，例如鼠标或键盘等。
[0025]第二通信模块203，用于实现第二设备200的对外通信，例如GPRS、3G、4G、WiFi等模块，可将第二设备200的数据发送出去，或接受来自其他设备的数据。
[0026]第二控制处理模块102，用于实现第二设备200的运算控制功能，例如第二屏幕201的显示，第二通信模块203数据的接收和发送等。在其中的一个实施例中，第二控制处理模块202应当包括负责运算的中央处理器、负责存储的闪存，以及负责实现第二设备200的App软件。
[0027]在多屏幕互动操作系统，第一设备100的摄像头104对着第二设备200的第二屏幕201，从第二屏幕201上获取实时图像信息，并将图像信息经由第一控制处理模块102分析、匹配后，反馈到第一屏幕101中显示；第一屏幕101接收输入操作，例如手在第一屏幕101触摸操作等，传输到第一控制处理模块102，并由第一控制处理模块102产生第一数据，通过第一通信模块103传输到第二设备200。
[0028]第二设备200通过第二通信模块203接收来自第一设备100的第一数据，传输到第二控制处理模块202，根据第二控制处理模块202的分析，生成并反馈到第二屏幕201中显不O
[0029]第二设备200的第二屏幕201上发生了操作，进入到第一设备100的摄像模块104拍摄范围后，第二屏幕201上的操作被隐藏，而第二控制处理模块202将操作指令通过第二通信模块203传输到第一通信模块103,经由第一控制处理模块102后,在第一屏幕101上生成对应的操作显示，从而使得第一设备100的第一屏幕101替代了摄像模块104拍摄到的第二屏幕201的部分以及实现该部分上的操作显示。
[0030]图2展示基于图像捕获的多屏幕互操作流程图。
[0031]SlOl，摄像头模块104捕获第二屏幕201。第一设备100的摄像头模块104开启后，对准第二设备200的第二屏幕201，摄像头根据屏幕的亮度、频率等，捕获第