一种在pc端共享移动终端的方法及装置制造方法
【专利摘要】本发明涉及智能终端【技术领域】，尤其涉及一种在PC端共享移动终端的方法及装置。一方面，本发明实施例提供了一种移动终端的控制方法，包括：获得移动终端中启动的进程对应的子界面图像，向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像，接收PC端发送的对进程的系统指令，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成，控制所述进程执行所述系统指令对应的操作。本发明实施例中提供的在PC端共享移动终端的方法及装置，丰富了在PC端共享移动终端的方法，提升了用户体验。
【专利说明】一种在PC端共享移动终端的方法及装置
【技术领域】
[0001]本发明涉及智能终端【技术领域】，尤其涉及一种在PC端共享移动终端的方法及装置。
【背景技术】
[0002]随着智能终端技术的快速发展，智能手机和平板电脑等移动终端已经广泛应用于工作和生活的各个领域。在用户使用移动终端的过程中经常会遇到部分功能按键损坏或者触摸屏损坏等输入设备无法使用的情况。若有重要紧急来电、密码验证码确认短信等，通过移动终端无法接听及查看，因此需要借助外部设备对移动终端进行操作。
[0003]目前，主要通过在PC (Personal Computer，PC)端等外部设备中安装应用程序，实现通过外部设备查看、备份和还原移动终端中的数据等功能。但是，现有的在PC端控制移动终端的方法较简单，用户体验较差，无法满足用户需求。
【发明内容】
[0004]本发明的目的是提出一种在PC端共享移动终端的方法及装置，以丰富在PC端模拟移动终端的功能，提升了用户体验。
[0005]一方面，本发明实施例提供了一种移动终端的控制方法，包括:
[0006]获得移动终端中启动的进程对应的子界面图像；
[0007]向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像；
[0008]接收PC端发送的对进程的系统指令，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成；
[0009]控制所述进程执行所述系统指令对应的操作。
[0010]一方面，本发明实施例提供了一种在PC端控制移动终端的方法，包括:
[0011]获得并显示移动终端中启动的进程对应的子界面图像；
[0012]获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令；
[0013]向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0014]一方面，本发明实施例提供了一种移动终端的控制装置，包括:
[0015]图像获取单元，用于获得移动终端中启动的进程对应的子界面图像；
[0016]图像发送单元，用于向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像；
[0017]指令接收单元，用于接收PC端发送的对进程的系统指令，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成；
[0018]指令响应单元，用于控制所述进程执行所述系统指令对应的操作。
[0019]一方面，本发明实施例提供了一种在PC端控制移动终端的装置，包括:
[0020]图像获得单元，用于获得并显示移动终端中启动的进程对应的子界面图像；
[0021]指令生成单元，用于获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令；
[0022]指令发送单元，用于向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0023]本发明实施例中提供的在PC端共享移动终端的方法及装置，丰富了在PC端共享移动终端的方法，提升了用户体验。本发明实施例中提供的移动终端的控制方法中，移动终端获得进程对应的子界面图像，并向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端执行如下操作:显示接收的进程对应的子界面图像，并依据用户对子界面图像的操作信息生成对进程的系统指令，且向移动终端发送对所述系统指令。该方法中移动终端还接收PC端发送系统指令，并控制进程执行所述系统指令对应的操作。因此，该方法实现了在PC端操作移动终端，提升了用户体验。
【专利附图】
【附图说明】
[0024]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0025]图1是本发明第一实施例提供的移动终端的控制方法的流程图；
[0026]图2是本发明第二实施例提供的移动终端的控制方法的流程图；
[0027]图3是本发明第三实施例提供的移动终端的控制方法的流程图；
[0028]图4是本发明第四实施例提供的在PC端控制移动终端的方法的流程图；
[0029]图5是本发明第五实施例提供的在PC端控制移动终端的方法的流程图；
[0030]图6是本发明第六实施例提供的在PC端控制移动终端的方法的流程图；
[0031]图7是本发明第七实施例提供的在PC端控制移动终端的方法的流程图；
[0032]图8是本发明第八实施例提供的在PC端控制移动终端的方法的流程图；
[0033]图9是本发明第九实施例提供的在PC端控制移动终端的方法的流程图；
[0034]图10是本发明第十实施例提供的移动终端的控制装置的结构图；
[0035]图11是本发明第十一实施例提供的在PC端控制移动终端的装置的结构图。
【具体实施方式】
[0036]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
[0037]图1示出了本发明的第一实施例。
[0038]图1是本发明第一实施例提供的移动终端的控制方法的流程图，该方法可以由移动设备的控制装置执行，其中该装置可由软件和/或硬件实现，可作为移动设备的一部分被内置在移动终端内部。如图1所示，所述移动终端的控制方法包括:
[0039]步骤S101，获得移动终端中启动的进程对应的子界面图像。
[0040]移动终端上都有相应的界面，界面是用户与移动终端系统、应用交互的窗口，是用户和系统进行双向信息交互的支持软件、硬件以及方法的集合。用户通过界面进行操作，同时移动终端也通过界面向用户反馈操作的结果。移动终端上都会同时运行多个进程，例如拨号、时间、天气、搜索等。这些进程都在界面图像上有相应的区域对应，即是该进程所对应的子界面。移动终端定时截取界面图像，并按照默认的分辨率保存，并根据进程的相应信息，计算得出该进程在界面对应的工作区域，即计算得出该区域在界面图像的坐标范围。
[0041]步骤S102，向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像。
[0042]移动终端与PC端可以采用USB、无线网络、蓝牙等多种方式建立连接，移动终端可以与多个PC端采用上述方式建立连接。在移动终端与PC端建立连接以后，移动终端将上一步骤所获取的界面图像和某一进程在界面的工作区域的坐标范围发送至PC端，PC端通过界面图像和该进程在界面的坐标范围确定子界面图像，并在PC端予以显示。对于多个PC端，可以根据每个PC端所请求的进程信息，发送界面图像及该进程的工作区域的坐标范围。
[0043]步骤S103，接收PC端发送的对进程的系统指令，其中，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成。
[0044]用户可以在PC端对相应的进程进行操作，PC端会记录下用户的相应操作并将其转换为移动终端可识别的系统指令。PC端将这些移动终端可识别的系统指令发送给移动终端，移动终端通过连接接收在PC端操作的对进程的系统指令。
[0045]步骤S104，控制所述进程执行所述系统指令对应的操作。
[0046]移动终端对于接收到的PC端发送的对进程的系统指令，控制该进程执行这些系统指令。
[0047]本发明实施例中提供的移动终端的控制方法中，移动终端获得进程对应的子界面图像，并向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端执行如下操作:显示接收的进程对应的子界面图像，并依据用户对子界面图像的操作信息生成对进程的系统指令，且向移动终端发送对所述系统指令。该方法中移动终端还接收PC端发送系统指令，并控制进程执行所述系统指令对应的操作。采用本方法能够有效实现在PC端操作移动终端，提升了用户体验。
[0048]图2示出了本发明的第二实施例。
[0049]图2是本发明第一实施例提供的移动终端的控制方法的流程图，所述的移动终端的控制方法以本发明第一实施例为基础，进一步的，将获得移动终端中启动的进程对应的子界面图像具体优化为:获取移动终端中的用户界面图像；检测移动终端中启动的进程，并获得所述进程在所述用户界面图像中的坐标区域，依据进程在用户界面图像中的坐标区域，确定进程在所述用户界面图像中对应的子界面图像。
[0050]参见图2，所述的移动终端的控制方法包括:
[0051]步骤S201，获取移动终端中的用户界面图像。
[0052]移动终端定时截取用户界面(UI)，并将其按照默认的分辨率进行保存，一般为保证获取的用户界面图像能够尽可能的与用户界面保持一致，需要设定比较小的时间间隔，为了减少用户界面图像的存储空间，对截取的图像可以采用webp格式对图像进行高度压缩。
[0053]步骤S202，检测移动终端中启动的进程，并获得所述进程在所述用户界面图像中的坐标区域。
[0054]采用系统中自带的top命令可以检测出移动终端当前启动的所有进程，并显示该进程的名称及PID(Pix)cess Identifier，进程号)等其它进程相关信息，根据进程名称及PID可以进一步得到该进程与界面进行通信的线程，从该线程可以获取到该进程在用户界面图像的坐标区域。将进程名称与其在界面图像的坐标区域进行记录。
[0055]步骤S203，依据进程在用户界面图像中的坐标区域，确定进程在所述用户界面图像中对应的子界面图像。
[0056]移动终端所截取的用户界面图像，是按照原有的分辨率进行保存的，其尺寸大小与用户界面相同。根据上一步骤所获取的进程在用户界面图像的坐标区域，可以按照进程在界面图像的坐标将获取的用户界面图像进一步的分割，形成该进程在用户界面图像中的子界面图像。
[0057]步骤S204，向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像。
[0058]步骤S205，接收PC端发送的对进程的系统指令，其中，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成。
[0059]步骤S206，控制所述进程执行所述系统指令对应的操作。
[0060]本发明实施例通过将获得移动终端中启动的进程对应的子界面图像具体优化为:获取移动终端中的用户界面图像；检测移动终端中启动的进程，并获得所述进程在所述用户界面图像中的坐标区域，依据进程在用户界面图像中的坐标区域，确定进程在所述用户界面图像中对应的子界面图像。使得用户能够在PC端获取移动终端的进程所对应的子界面图像，实现了在PC端可以操作移动终端。
[0061]图3示出了本发明的第三实施例。
[0062]图3是本发明第二实施例提供的移动终端的控制方法的流程图，所述的移动终端的控制方法以本发明第二实施例为基础，进一步的，将控制所述进程执行所述系统指令对应的操作具体优化为:在同时接收至少两个PC端发送的对进程的系统指令时，依据预设的PC端优先级，确定所述至少两个PC端发送的系统指令的优先级，依据确定结果控制进程依次执行各系统指令对应的操作。
[0063]参见图3，所述的移动终端的控制方法包括:
[0064]步骤S301，获取移动终端中的用户界面图像。
[0065]步骤S302，检测移动终端中启动的进程，并获得所述进程在所述用户界面图像中的坐标区域。
[0066]步骤S303，依据进程在用户界面图像中的坐标区域，确定进程在所述用户界面图像中对应的子界面图像。
[0067]步骤S304，向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像。
[0068]步骤S305，接收PC端发送的对进程的系统指令，其中，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成。
[0069]步骤S306，确定同时接收到多个PC端发送的对进程的系统指令。
[0070]移动终端可以与多个PC端连接，可以根据每个PC端所请求的进程信息，发送界面图像及该进程面的工作区域的坐标范围。用户可以在PC端对相应的进程进行操作，PC端会记录下用户的相应操作并将其转换为移动终端可识别的系统指令，并将系统指令发送给移动终端，移动终端会根据系统指令接收到的时间进行排序并分别执行。对于同时接收到的多个PC端发送的对进程的系统指令，根据接收的时间进行确定为同时接收到多个PC端发送的对进程的系统指令。
[0071]步骤S307，依据预设的PC端优先级，确定多个PC端发送的系统指令的优先级。
[0072]移动终端可以设置连接的PC端的不同优先级，例如将最先连接的，或者是性能最高的PC端设定为高优先级，以此类推，将各个PC端设定不同的优先级。也可以根据每个PC端所对应的进程来设定优先级，例如将拨打电话或者发送短信的相应进程设定最高优先级，其所对应的PC端也具有相应的优先级。根据预设的PC端优先级，可以确定每个PC端所发送的系统指令的优先级。
[0073]步骤S308，依据确定PC端发送的系统指令的优先级结果控制进程依次执行各系统指令对应的操作。
[0074]根据上一步骤所确定的PC端发送的系统指令的优先级，将同时接收到PC端发送的系统指令按照优先级从高至低进行排序，移动终端控制进程按系统指令的优先级依次执行各系统指令所对应的操作。
[0075]本发明实施例通过将控制所述进程执行所述系统指令对应的操作具体优化为:在同时接收至少两个PC端发送的对进程的系统指令时，依据预设的PC端优先级，确定所述至少两个PC端发送的系统指令的优先级，依据确定结果控制进程依次执行各系统指令对应的操作。对于同时接收到与智能终端连接的多个PC端发送的系统指令，能够按照预先设定的规则依次执行，实现了在PC端可以操作移动终端。
[0076]图4示出了本发明的第四实施例。
[0077]图4是本发明第四实施例提供的在PC端控制移动终端的方法的流程图。所述在PC端控制移动终端的方法包括:
[0078]步骤S401，获得并显示移动终端中启动的进程对应的子界面图像。
[0079]移动终端会定时截取移动终端的用户界面，生成用户界面图像，并按照原有的分辨率对界面图像进行保存，对保存的界面图像也可以使用webp文件格式进行压缩，将用户界面图像存储在移动终端中的图像暂存区内，所述的图像暂存区为移动终端内自定义的一块存储区域；采用系统top命令可以检测出移动终端当前启动的所有进程，并显示该进程的名称及PID等其它进程相关信息，根据进程名称及PID可以进一步得到该进程与界面进行通信的线程，从该线程可以获取到该进程在用户界面图像的坐标区域。并将这些坐标区域信息也存储在图像暂存区内。在确定PC端与智能终端连接后，PC端从智能终端的图像暂存区内获取最新的用户界面图像及进程所对应的用户界面图像的坐标区域。根据获取的进程在用户界面图像的坐标区域，可以按照进程在界面图像的坐标将获取的用户界面图像进一步的分割，形成该进程在用户界面图像中的子界面图像并在当前PC端显示。
[0080]步骤S402，获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令；
[0081]PC端与智能终端连接，能够在PC端显示移动终端中启动的进程对应的子界面图像。并给予PC端在子界面图像操作的权限，用户可以在PC端所显示的子界面图像进行相应的操作。PC端对用户的模拟移动终端的操作进行记录，并根据相应的规则将其转换为移动终端能够识别的对进程进行操作的相应的系统指令。
[0082]如果仅有一台PC与智能终端连接，则默认给予其管理员(admin)权限，即所有进程的操作权限(全屏幕范围)；如果有多台PC与与智能终端连接，则默认给予第一用户为admin权限，其余用户根据请求进程的信息例如请求操作视频进程，给予该用户操作视频进程子界面的权限，该PC端会记录用户在视频进程子界面的模拟移动终端的操作，并将其转换为移动终端能够识别的对进程进行操作的相应的系统指令。
[0083]步骤S403，向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0084]PC端将上一步骤所生成的系统指令，发送到移动终端，移动终端接收到上述指令，并根据发送这些系统指令的PC端确定与其所对应的进程，并控制进程执行系统指令对应的操作。
[0085]本发明实施例通过获得并显示移动终端中启动的进程对应的子界面图像，获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令，向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。能够有效实现通过PC端对移动终端进行操作。
[0086]图5示出了本发明的第五实施例。
[0087]图5是本发明第五实施例提供的PC端控制移动终端的方法的流程图，所述的PC端控制移动终端的方法以本发明第四实施例为基础，进一步的，将获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令具体优化为:在预设的单点触控模式被触发时，获取用户在显示的子界面图像中的单点触控操作信息，确定所述单点触控操作信息对应的预设系统指令。
[0088]参见图5，所述的PC端控制移动终端的方法包括:
[0089]步骤S501，获得并显示移动终端中启动的进程对应的子界面图像。
[0090]步骤S502，确定触发预设的单点触控模式。
[0091]用户在PC端显示的子界面图像进行的操作，是一种模拟移动终端上的操作，对于移动终端进行的操作，一般可以分为单点触控和多点触控等方式，例如常用的点击应用就是一种单点操控方式，对图像进行放大需要两个手指同时进行触摸和移动就属于多点操控模式，用户可以通过预先设定的键位操作进入单点操控模式，PC端在接收到按键操作时，会确认为用户当前要通过单点操控模式对PC端显示的子界面图像进行操作。
[0092]步骤S503，获取用户在显示的子界面图像中的单点触控操作信息，确定所述单点触控操作信息对应的预设系统指令。
[0093]用户在PC端显示的子界面图像进行的操作，其操作信息会被PC端记录，这里的操作信息包括:用户对子界面图像的操作指令和图像偏移坐标。操作指令转换规则可以如下设置:
[0094]左键点击_>单击
[0095]左键点击长按_>长按
[0096]左键拖动_>滑动(起始坐标_>结束坐标)
[0097]PC端应用按钮_>物理按键
[0098]例如用户在子界面图像坐标(780，1000)的位置进行了电机鼠标左键的操作，当前屏幕分辨率为800X1024，将屏幕左上角为原点坐标(0，0)，根据上述规则，可以认为用户在屏幕右下角附近位置进行了点触屏幕的操作。PC端将此次操作记录下来并将其转换为在屏幕右下角附近位置进行了点触屏幕的操作的系统指令。
[0099]步骤S504，向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0100]本发明实施例通过将获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令具体优化为:在预设的单点触控模式被触发时，获取用户在显示的子界面图像中的单点触控操作信息，确定所述单点触控操作信息对应的预设系统指令。能够将用户在PC端所显示的子界面图像进行的单点触控操作进行相应的记录和转换，使之成为移动终端可以识别的系统指令，并将系统指令发送到移动终端，实现了通过PC端对移动终端进行操作。
[0101]图6示出了本发明的第六实施例。
[0102]图6是本发明第六实施例提供的PC端控制移动终端的方法的流程图，所述的PC端控制移动终端的方法以本发明第四实施例为基础，进一步的，将获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令具体优化为:在预设的多点触控模式被触发时，获取用户在显示的子界面图像中的一组多点触控操作信息，确定所述一组多点触控操作信息对应的预设系统指令。
[0103]参见图6，所述的PC端控制移动终端的方法包括:
[0104]步骤S601，获得并显示移动终端中启动的进程对应的子界面图像。
[0105]步骤S602，确定触发预设的多点触控模式。
[0106]用户可以通过预先设定的操作操作进入多点操控模式，设定的操作可以是按下某个键位或者多个键位的组合PC端在接收到用户触发相应的操作时，会确认为用户当前要通过多点操控模式对PC端显示的子界面图像进行操作。
[0107]步骤S603，获取用户在显示的子界面图像中的一组多点触控操作信息。
[0108]用户通过PC端的输入设备对显示的子界面图像按照预先设定的规则进行操作，这些操作可以是鼠标左右键的点击及键盘上某些按键的敲击，PC端捕捉相应的用户操作，并将这些操作进行记录。
[0109]步骤S604，确定所述单点触控操作信息对应的预设系统指令。
[0110]根据步骤S603所获取的多点触控操作信息，预先设定的规则将这些操作信息与预先设定的规则进行匹配，将多点触控操作信息转换为相应的预设系统指令。
[0111]步骤S605，向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0112]本发明实施例通过将获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令具体优化为:在预设的多点触控模式被触发时，获取用户在显示的子界面图像中的一组多点触控操作信息，确定所述一组多点触控操作信息对应的预设系统指令。能够将用户在PC端所显示的子界面图像进行的多点触控操作进行相应的记录和转换，实现了通过PC端多点触控对移动终端进行操作。
[0113]图7示出了本发明的第七实施例。
[0114]图7是本发明第七实施例提供的PC端控制移动终端的方法的流程图，所述的PC端控制移动终端的方法以本发明第六实施例为基础，进一步的，将获获取用户在显示的子界面图像中的一组多点触控操作信息具体优化为:在预设的第一多点触控模式被触发时，获取用户在所述子界面图像中设置的第一手指的起始坐标和第二手指的起始坐标，获取用户通过PC端的键盘输入的第一手指对应的第一键盘码和第二手指对应的第二键盘码，依据获取的第一键盘码和第二键盘码，确定第一手指的运动轨迹和第一手指的终点坐标，并确定第二手指的运动轨迹和第二手指的终点坐标，依据第一手指的起始坐标、运动轨迹和终点坐标，及第二手指的起始坐标、运动轨迹和终点坐标，确定用户在显示的子界面图像中的一组多点触控操作信息。
[0115]参见图7，所述的PC端控制移动终端的方法包括:
[0116]步骤S701，获得并显示移动终端中启动的进程对应的子界面图像。
[0117]步骤S702，确定触发预设的多点触控模式。
[0118]步骤S703，获取用户在所述子界面图像中设置的第一手指的起始坐标和第二手指的起始坐标。
[0119]多点触控可以同时采集多点信号，并对每路信号的意义进行判断。在本实施例中，用户可以使用两点触控。在PC端可以设定相应的规则来对应两点触控的手指操作，例如，在本实例中，通过依次单击鼠标左键，获取两次点击鼠标左键的相应位置，并将其设定为第一手指和第二手指的起始位置。PC端记录两次点击的位置，并计算得出两次点击在子界面图像的相应坐标，即是用户在所述子界面图像中设置的第一手指的起始坐标和第二手指的起始坐标。
[0120]步骤S704，获取用户通过PC端的键盘输入的第一手指对应的第一键盘码和第二手指对应的第二键盘码。
[0121]在本实施例中，将多点操控的手指动作与PC端的操作通过预先设定的规则对应，对于第一手指的移动操作可以采用键盘上的W、A、D和Z键来对应，其中W、A、D、Z键分别对应第一手指的上、左、右、下移动；第二手指的移动操作与键盘上的数字键2、4、6和8相对应，其中2、4、6、8键分别对应第一手指的上、左、右、下移动。对于多点同时点击的操作，可以直接同时按下S和5键。对于三点或更多点的触控操作，可以采用上述方式，根据预先设定的规则建立其它手指操控的对应操作。PC端捕捉用户在子界面图像中所进行的输入操作，并将其保存。
[0122]步骤S705，依据获取的第一键盘码和第二键盘码，确定第一手指的运动轨迹和第一手指的终点坐标，并确定第二手指的运动轨迹和第二手指的终点坐标。
[0123]根据步骤S704所获取到的用户所输入的第一键盘码和第二键盘码在子界面图像上的操作，并记录键盘码在子界面图像上的位置。例如，用户在子界面图像上(320，470)的位置点击鼠标左键，并通过键盘上设定的W和D键移动了 5秒时间，则根据单位时间内可移动光标的距离来确定第一手指从(320，470)移动至(450，330)，确定了第一手指的运动轨迹，以此类推，也可确定出第二手指的运动轨迹和终点坐标。
[0124]步骤S706，依据第一手指的起始坐标、运动轨迹和终点坐标，及第二手指的起始坐标、运动轨迹和终点坐标，确定用户在显示的子界面图像中的一组多点触控操作信息。
[0125]根据步骤S703、S704和S705所获取的第一手指的起始坐标、运动轨迹和终点坐标，及第二手指的起始坐标、运动轨迹和终点坐标，可以按照预先设定的规则将这些信息转换为一个多点触控的操作，即根据上述信息能够确定出用户在子界面图像的操作所达到的效果是通过两个手指的触控，从子界面图像的起始点通过运动轨迹到达终点位置。将上述操作信息进行封装，形成了用户在显示的子界面图像中的一组多点触控操作信息。
[0126]步骤S707，确定所述多点触控操作信息对应的预设系统指令。
[0127]根据步骤S707所获取的多点触控操作信息，将多点触控操作信息转换为相应的预设系统指令。
[0128]步骤S708，向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0129]本发明实施例通过将获取用户在显示的子界面图像中的一组多点触控操作信息具体优化为:在预设的第一多点触控模式被触发时，获取用户在所述子界面图像中设置的第一手指的起始坐标和第二手指的起始坐标，获取用户通过PC端的键盘输入的第一手指对应的第一键盘码和第二手指对应的第二键盘码，依据获取的第一键盘码和第二键盘码，确定第一手指的运动轨迹和第一手指的终点坐标，并确定第二手指的运动轨迹和第二手指的终点坐标，依据第一手指的起始坐标、运动轨迹和终点坐标，及第二手指的起始坐标、运动轨迹和终点坐标，确定用户在显示的子界面图像中的一组多点触控操作信息。提供了一种在PC端快速多点操控移动终端的方法，能够快速准确的实现在PC端多点操控移动终端。
[0130]图8示出了本发明的第八实施例。
[0131]图8是本发明第八实施例提供的PC端控制移动终端的方法的流程图，所述的PC端控制移动终端的方法以本发明第六实施例为基础，进一步的，将获获取用户在显示的子界面图像中的一组多点触控操作信息具体优化为:在预设的第二多点触控模式被触发时，依次获取至少两个手指的操作信息，其中任一手指的操作信息包括该手指的起始坐标、运动轨迹和终点坐标，将获取的至少两个手指的操作信息，确定为用户在显示的子界面图像中的一组多点触控操作信息。
[0132]参见图8，所述的PC端控制移动终端的方法包括:
[0133]步骤S801，获得并显示移动终端中启动的进程对应的子界面图像。
[0134]步骤S802，确定触发预设的多点触控模式。
[0135]步骤S803，依次获取至少两个手指的操作信息，其中任一手指的操作信息包括该手指的起始坐标、运动轨迹和终点坐标。
[0136]在触发多点触控模式后，用户可以通过PC端的输入设备对子界面图像进行操作，例如，可以通过鼠标模拟手指触碰使光标在子界面图像上进行移动，在完成相应的操作后，可以点击右键，表明模仿该手指的操作已经完成；然后重新点击鼠标左键模拟下一手指在子界面图像上的操作。依次类推，可以利用PC端上的输入设备依次模拟多个手指的触控动作，PC端依次记录下这些操作信息，包括点击左键时光标的位置坐标，鼠标移动的轨迹及完成该动作时光标的位置坐标。用户也可以根据自己的使用习惯，设定相应的规则，建立相应的指令集并保存在PC端，方便下一次操作。
[0137]步骤S804，将获取的至少两个手指的操作信息，确定为用户在显示的子界面图像中的一组多点触控操作信息。
[0138]将步骤S803所获取的操作信息，按照对应的规则，将这些操作信息进行封装，使这些信息成为用户在显示的子界面的模拟手指触碰的相应信息即为用户在显示的子界面图像中的一组多点触控操作信息。
[0139]步骤S805，确定所述多点触控操作信息对应的预设系统指令。
[0140]根据步骤S804所获取的多点触控操作信息，按照预先设定的规则将多点触控操作信息转换为相应的预设系统指令。这种系统指令是移动终端能够直接识别的机器语言。
[0141]步骤S806，向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0142]本发明实施例通过将获取用户在显示的子界面图像中的一组多点触控操作信息具体优化为:在预设的第二多点触控模式被触发时，依次获取至少两个手指的操作信息，其中任一手指的操作信息包括该手指的起始坐标、运动轨迹和终点坐标，将获取的至少两个手指的操作信息，确定为用户在显示的子界面图像中的一组多点触控操作信息。用户可以通过PC端对用户子界面进行操作，实现了在PC端多点操控移动终端。
[0143]图9示出了本发明的第九实施例。
[0144]图9是本发明第九实施例提供的PC端控制移动终端的方法的流程图，所述的PC端控制移动终端的方法以本发明第六实施例为基础，进一步的，将获获取用户在显示的子界面图像中的一组多点触控操作信息具体优化为:在PC端包括触摸板时，获取用户在所述触摸板上的多点触控操作信息。
[0145]参见图9，所述的PC端控制移动终端的方法包括:
[0146]步骤S901，获得并显示移动终端中启动的进程对应的子界面图像。
[0147]步骤S902，确定PC端包括触摸板。
[0148]触摸板是一种利用手指的滑动操作来移动游标的输入装置，作为一种PC端外接输入设备使用，PC端在启动时，会检查外接设备情况，根据外接设备触摸板反馈的信号，确定触摸板是否已连接PC端。
[0149]步骤S903，获取用户在所述触摸板上的多点触控操作信息。
[0150]触摸板在用户的手指接近触摸板时会使电容量改变，触摸板自身会检测出电容改变量，转换成坐标。借由电容感应来获知手指移动情况。通过触摸板的功能，可以获取用户在触摸板上的多点触控操作信息。
[0151]步骤S904，确定所述多点触控操作信息对应的预设系统指令。
[0152]步骤S905，向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0153]本发明实施例通过在PC端增加触摸板装置，通过用户在触摸板的操作，获取用户的用户子界面的相应操作，方便的实现在在PC端多点操控移动终端。
[0154]图10示出了本发明的第十实施例。
[0155]图10是本发明第十实施例提供的移动终端的控制装置的结构图。参见图10，所述移动终端的控制装置可以包括:图像获取单元1010、图像发送单元1020、指令接收单元1030以及指令响应单元1040，其中，所述图像获取单元1010用于获得移动终端中启动的进程对应的子界面图像；所述图像发送单元1020用于向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像；所述指令接收单元1030用于接收PC端发送的对进程的系统指令，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成；所述指令响应单元1040用于控制所述进程执行所述系统指令对应的操作。
[0156]进一步的，所述的图像获取单元包括:图像获取子单元1011、进行区域子单元1012、子图像获取子单元1013，其中，所述图像获取子单元1011用于获取移动终端中的用户界面图像；所述进行区域子单元1012用于检测移动终端中启动的进程，并获得所述进程在所述用户界面图像中的坐标区域；所述子图像获取子单元1013用于依据进程在用户界面图像中的坐标区域，确定进程在所述用户界面图像中对应的子界面图像。
[0157]进一步的，所述的指令响应单元包括第一响应子单元1041，其中，所述第一响应子单元1041用于在同时接收至少两个PC端发送的对进程的系统指令时，依据预设的PC端优先级，确定所述至少两个PC端发送的系统指令的优先级，依据确定结果控制进程依次执行各系统指令对应的操作。
[0158]上述移动终端的控制装置可执行本发明实施例所提供的移动终端的控制方法，具备执行方法相应的功能模块。通过上述移动终端的控制装置，能够将移动终端用户界面传送到PC端，并接受PC端的指令在移动终端上进行相应的操作。有效实现在PC端操作移动终端，提升了用户体验。
[0159]图11示出了本发明的第^^一实施例。
[0160]图11是本发明第十一实施例提供的在PC端控制移动终端的装置的结构图。参见图11，所述在PC端控制移动终端的装置包括:图像获得单元1110、指令生成单元1120、以及指令发送单元1130。其中，所述图像获得单元1110用于获得并显示移动终端中启动的进程对应的子界面图像；
[0161]所述指令生成单元1120用于获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令；
[0162]所述指令发送单元1130用于向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
[0163]进一步的，所述指令生成单元1120包括单点操作子单元1121和单点指令子单元1122。其中，所述单点操作子单元用于在预设的单点触控模式被触发时，获取用户在显示的子界面图像中的单点触控操作信息；所述单点指令子单元用于确定所述单点触控操作信息对应的预设系统指令。
[0164]进一步的，所述的指令生成单元1120包括:多点操作子单元1123和多点指令子单元1124。其中，所述多点操作子单元1123用于在预设的多点触控模式被触发时，获取用户在显示的子界面图像中的一组多点触控操作信息；所述多点指令子单元1124，用于确定所述一组多点触控操作信息对应的预设系统指令。
[0165]进一步的，所述多点操作子单元1123包括起始坐标子单元11231、键盘码子单元11232、轨迹子单元11233以及第一信息子单元11234。其中，所述起始坐标子单元11231用于在预设的第一多点触控模式被触发时，获取用户在所述子界面图像中设置的第一手指的起始坐标和第二手指的起始坐标；所述键盘码子单元11232用于获取用户通过PC端的键盘输入的第一手指对应的第一键盘码和第二手指对应的第二键盘码；所述轨迹子单元11233用于依据获取的第一键盘码和第二键盘码，确定第一手指的运动轨迹和第一手指的终点坐标，并确定第二手指的运动轨迹和第二手指的终点坐标；所述第一信息子单元11234用于依据第一手指的起始坐标、运动轨迹和终点坐标，及第二手指的起始坐标、运动轨迹和终点坐标，确定用户在显示的子界面图像中的一组多点触控操作信息。
[0166]进一步的，所述多点操作子单元1123包括手指信息子单元11235和第二信息子单元11236。其中，所述手指信息子单元11235用于在预设的第二多点触控模式被触发时，依次获取至少两个手指的操作信息，其中任一手指的操作信息包括该手指的起始坐标、运动轨迹和终点坐标；所述第二信息子单元11236，用于将获取的至少两个手指的操作信息，确定为用户在显示的子界面图像中的一组多点触控操作信息。
[0167]进一步的，多点操作子单元具体可以用于:
[0168]在PC端包括触摸板时，获取用户在所述触摸板上的多点触控操作信息。
[0169]上述在PC端控制移动终端的装置可执行本发明实施例所提供的在PC端控制移动终端的方法，具备执行方法相应的功能模块。能够接收移动终端所发送的界面图像并在PC端显示，并将用户在PC端的操作转换为移动终端可识别的系统指令，有效实现通过PC端对移动终端进行操作。
[0170]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0171]本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
[0172]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间的相同或相似的部分互相参见即可。
[0173]以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种移动终端的控制方法，其特征在于，包括: 获得移动终端中启动的进程对应的子界面图像； 向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像； 接收PC端发送的对进程的系统指令，其中，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成； 控制所述进程执行所述系统指令对应的操作。
2.根据权利要求1所述的方法，其特征在于，获得移动终端中启动的进程对应的子界面图像，包括: 获取移动终端中的用户界面图像； 检测移动终端中启动的进程，并获得所述进程在所述用户界面图像中的坐标区域；依据进程在用户界面图像中的坐标区域，确定进程在所述用户界面图像中对应的子界面图像。
3.根据权利要求1所述的方法，其特征在于，控制所述进程执行所述系统指令对应的操作包括: 在同时接收至少两个PC端发送的对进程的系统指令时，依据预设的PC端优先级，确定所述至少两个PC端发送的系统指令的优先级，依据确定结果控制进程依次执行各系统指令对应的操作。
4.一种在PC端控制移动终端的方法，其特征在于，包括: 获得并显示移动终端中启动的进程对应的子界面图像； 获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令； 向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
5.根据权利要求4所述的方法，其特征在于，获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令，包括: 在预设的单点触控模式被触发时，获取用户在显示的子界面图像中的单点触控操作信息; 确定所述单点触控操作信息对应的预设系统指令。
6.根据权利要求4所述的方法，其特征在于，获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令，包括: 在预设的多点触控模式被触发时，获取用户在显示的子界面图像中的一组多点触控操作信息； 确定所述一组多点触控操作信息对应的预设系统指令。
7.根据权利要求6所述的方法，其特征在于，在预设的多点触控模式被触发时，获取用户在显示的子界面图像中的一组多点触控操作信息，包括: 在预设的第一多点触控模式被触发时，获取用户在所述子界面图像中设置的第一手指的起始坐标和第一手指的起始坐标； 获取用户通过PC端的键盘输入的第一手指对应的第一键盘码和第二手指对应的第二键盘码； 依据获取的第一键盘码和第二键盘码，确定第一手指的运动轨迹和第一手指的终点坐标，并确定第二手指的运动轨迹和第二手指的终点坐标； 依据第一手指的起始坐标、运动轨迹和终点坐标，及第二手指的起始坐标、运动轨迹和终点坐标，确定用户在显示的子界面图像中的一组多点触控操作信息。
8.根据权利要求6所述的方法，其特征在于，在预设的多点触控模式被触发时，获取用户在显示的子界面图像中的一组多点触控操作信息，包括: 在预设的第二多点触控模式被触发时，依次获取至少两个手指的操作信息，其中任一手指的操作信息包括该手指的起始坐标、运动轨迹和终点坐标； 将获取的至少两个手指的操作信息，确定为用户在显示的子界面图像中的一组多点触控操作信息。
9.根据权利要求6所述的方法，其特征在于，在预设的多点触控模式被触发时，获取用户在显示的子界面图像中的一组多点操作信息，包括: 在PC端包括触摸板时，获取用户在所述触摸板上的多点触控操作信息。
10.一种移动终端的控制装置，其特征在于，包括: 图像获取单元，用于获得移动终端中启动的进程对应的子界面图像； 图像发送单元，用于向连接的至少一个PC端发送进程对应的子界面图像，使所述至少一个PC端显示接收的进程对应的子界面图像； 指令接收单元，用于接收PC端发送的对进程的系统指令，所述对进程的系统指令由PC端依据用户在PC端对子界面图像的操作信息生成； 指令响应单元，用于控制所述进程执行所述系统指令对应的操作。
11.根据权利要求10所述的装置，其特征在于，图像获取单元包括: 图像获取子单元，用于获取移动终端中的用户界面图像； 进行区域子单元，用于检测移动终端中启动的进程，并获得所述进程在所述用户界面图像中的坐标区域； 子图像获取子单元，用于依据进程在用户界面图像中的坐标区域，确定进程在所述用户界面图像中对应的子界面图像。
12.根据权利要求10所述的装置，其特征在于，指令响应单元包括: 第一响应子单元，用于在同时接收至少两个PC端发送的对进程的系统指令时，依据预设的PC端优先级，确定所述至少两个PC端发送的系统指令的优先级，依据确定结果控制进程依次执行各系统指令对应的操作。
13.—种在PC端控制移动终端的装置，其特征在于，包括: 图像获得单元，用于获得并显示移动终端中启动的进程对应的子界面图像； 指令生成单元，用于获得用户对显示的子界面图像的操作信息，并依据所述操作信息生成对所述进程的系统指令； 指令发送单元，用于向移动终端发送所述系统指令，使移动终端控制所述进程执行所述系统指令对应的操作。
14.根据权利要求13所述的装置，其特征在于，指令生成单元包括: 单点操作子单元，用于在预设的单点触控模式被触发时，获取用户在显示的子界面图像中的单点触控操作信息； 单点指令子单元，用于确定所述单点触控操作信息对应的预设系统指令。
15.根据权利要求13所述的装置，其特征在于，指令生成单元包括: 多点操作子单元，用于在预设的多点触控模式被触发时，获取用户在显示的子界面图像中的一组多点触控操作信息； 多点指令子单元，用于确定所述一组多点触控操作信息对应的预设系统指令。
16.根据权利要求15所述的装置，其特征在于，多点操作子单元包括: 起始坐标子单元，用于在预设的第一多点触控模式被触发时，获取用户在所述子界面图像中设置的第一手指的起始坐标和第二手指的起始坐标； 键盘码子单元，用于获取用户通过PC端的键盘输入的第一手指对应的第一键盘码和第二手指对应的第二键盘码； 轨迹子单元，用于依据获取的第一键盘码和第二键盘码，确定第一手指的运动轨迹和第一手指的终点坐标，并确定第二手指的运动轨迹和第二手指的终点坐标； 第一信息子单元，用于依据第一手指的起始坐标、运动轨迹和终点坐标，及第二手指的起始坐标、运动轨迹和终点坐标，确定用户在显示的子界面图像中的一组多点触控操作信息。
17.根据权利要求15所述的装置，其特征在于，多点操作子单元包括: 手指信息子单元，用于在预设的第二多点触控模式被触发时，依次获取至少两个手指的操作信息，其中任一手指的操作信息包括该手指的起始坐标、运动轨迹和终点坐标； 第二信息子单元，用于将获取的至少两个手指的操作信息，确定为用户在显示的子界面图像中的一组多点触控操作信息。
18.根据权利要求15所述的装置，其特征在于，多点操作子单元具体用于: 在PC端包括触摸板时，获取用户在所述触摸板上的多点触控操作信息。
【文档编号】G06F3/0484GK104461296SQ201410736163
【公开日】2015年3月25日 申请日期:2014年12月5日 优先权日:2014年12月5日
【发明者】焉文臣 申请人:广东欧珀移动通信有限公司