一种远程真机的辅助测试方法、装置与系统的制作方法

专利名称：一种远程真机的辅助测试方法、装置与系统的制作方法
技术领域：
本发明涉及通信技术领域，特别涉及一种远程真机的辅助测试方法、装置与系统。
背景技术：
在远程真机测试系统中，用户通过安装在PC上的客户端软件远程连接到服务器， 服务器端连接了真实的手机，用户可以将他们开发的手机应用程序上传到远程真机(即手 机端)中，并测试开发的手机应用程序；服务器将手机屏幕显示与声音实时传到客户端；测 试环境帮助用户在测试过程中发现应用程序在真实环境中有可能发生的问题。一种常用的 手段是记录手机上的音视频，在发生错误时给用户提供错误产生过程的回放。如图1所示，下面简述现有技术的远程真机测试系统中各个部分的功能。整个系 统分为3个部分手机，服务器以及客户端。每个部分又分别包括以下单元(1)手机 10a.音视频采集单元101，通过系统api (如=BitBlt)实时获取屏幕显示图像；或者 其他方法，如hook api来实时抓取音频，采集后实时发送给服务器端；b.用户输入接收单元102，负责接收服务器传来的用户操作信息(如触屏操作， 按键操作)，然后通过系统api (如keybd event, mouse event)来使手机执行这些操作。(2)服务器 20a.音视频接收单元201，主要负责接收手机传来的音视频数据(包括屏幕显示图 像以及音频数据)，并交给录像单元作为输入；b.用户输入接收单元202，主要负责接收客户端的用户输入，并将其传到手机端；c.录像单元203，实时接收音视频接收单元传来的音视频数据，保存成多媒体文 件(如 *· mp4)。(3)客户端 30a.用户输入单元301，主要负责获取用户针对手机的输入(包括触屏操作，按键操 作等)，获取点击的坐标，按键类别等，然后将这些用户输入信息传到服务器端；b.实时播放单元302，主要负责实时接收服务器传来的音视频进行播放，以便用 户能边操作边看手机变化；c.录像播放单元303，主要负责接收服务器端传输的录像文件，并回放。采用图1所示的系统可以对测试过程中的音视频进行录像，以便于在后期提供给 用户回放。整个系统的基本流程如图2所示S201、用户登录服务器，选择需要测试的手机；S202、服务器在测试手机上进行操作；包括收集用户的输入信息(如触屏操作， 按键操作等)发送到手机端执行，同时将手机端的音视频实时传到客户端。用户就如同是 在真实机器上操作一样；S203、在S202进行的同时，服务器将音视频流数据保存为录像文件；S204、测试完成后，用户可以回看保存的录像。
现有技术的远程真机测试过程中，用户只能看到输出的结果。

发明内容
本发明实施例提供一种远程真机的辅助测试方法、装置与系统，解决了测试过程 看不到用户具体操作的问题。一方面，本发明实施例提供一种远程真机的辅助测试方法，所述方法包括获取手 机输出的屏幕显示图像；获取与所输出的屏幕显示图像对应的用户操作信息；生成与所述 用户操作信息对应的模拟图像；根据所述模拟图像在所述屏幕显示图像上的坐标位置，将 所述模拟图像和所述屏幕显示图像合成为同一幅图像；将合成后的图像保存到录像文件 中。又一方面，本发明实施例还提供一种远程真机的辅助测试方法，所述方法包括获 取手机输出的屏幕显示图像，将所述屏幕显示图像保存到录像文件中；获取与所输出的屏 幕显示图像对应的用户操作信息；根据所述用户操作信息生成第一辅助文件；将所述第一 辅助文件与所述录像文件相关联。又一方面，本发明实施例还提供一种远程真机的辅助测试装置，所述装置包括屏 幕图像获取单元，用于获取手机输出的屏幕显示图像；操作信息获取单元，用于获取与所输 出的屏幕显示图像对应的用户操作信息；模拟图像生成单元，用于生成与所述用户操作信 息对应的模拟图像；图像合成单元，用于根据所述模拟图像在所述屏幕显示图像上的坐标 位置，将所述模拟图像和所述屏幕显示图像合成为同一幅图像；录像单元，用于将合成后的 图像保存到录像文件中。又一方面，本发明实施例还提供一种远程真机的辅助测试装置，所述装置包括屏 幕图像获取单元，用于获取手机输出的屏幕显示图像；录像单元，用于将所述屏幕显示图像 保存到录像文件中；操作信息获取单元，用于获取与所输出的屏幕显示图像对应的用户操 作信息；第一辅助文件生成单元，用于根据所述用户操作信息生成第一辅助文件；第一关 联单元，用于将所述第一辅助文件与所述录像文件相关联。又一方面，本发明实施例还提供一种远程真机的辅助测试系统，所述系统包括手 机，与所述手机连接的服务器，以及与所述服务器连接的客户端；所述手机，用于接收所述 客户端通过所述服务器发送的用户操作指令，执行相应的用户操作，并将实际执行的操作 信息发送给所述服务器；对自身的音视频数据进行采集，将采集的音视频数据发送给所述 服务器；所述服务器，用于根据所述音视频数据，获取手机输出的屏幕显示图像；获取与所 输出的屏幕显示图像对应的用户操作信息；生成与所述用户操作信息对应的模拟图像；根 据所述模拟图像在所述屏幕显示图像上的坐标位置，将所述模拟图像和屏幕显示图像合成 为同一幅图像；将合成后的图像保存到录像文件中，并将所述合成后的录像文件提供给所 述客户端；所述客户端，用于接收用户输入，将用户操作指令传送给所述服务器；接收所述 服务器发送的所述合成后的录像文件并回放。又一方面，本发明实施例还提供一种远程真机的辅助测试系统，所述系统包括手 机，与所述手机连接的服务器，以及与所述服务器连接的客户端；所述手机，用于接收所述 客户端通过所述服务器发送的用户操作指令，执行相应的用户操作，并将实际执行的用户 操作信息发送给所述服务器；对自身的音视频数据进行采集，将采集的音视频数据发送给所述服务器；所述服务器，用于将所述客户端发送的用户操作指令传送给所述手机；将所 述用户操作信息发送给所述客户端；接收所述手机发送的音视频数据并传送给所述客户 端；所述客户端，用于接收用户输入，将用户操作指令传送给所述服务器；接收所述音视频 数据，获取手机输出的屏幕显示图像；获取所述用户操作信息；生成与所述用户操作信息 对应的模拟图像；根据所述模拟图像在所述屏幕显示图像上的坐标位置，将所述模拟图像 和屏幕显示图像合成为同一幅图像；将合成后的图像保存到录像文件中，并回放所述录像 文件。又一方面，本发明实施例还提供一种远程真机的辅助测试系统，所述系统包括手 机，与所述手机连接的服务器，以及与所述服务器连接的客户端；所述手机，用于接收所述 客户端通过所述服务器发送的用户操作指令，执行相应的用户操作，并将实际执行的用户 操作信息发送给所述服务器；对自身的音视频数据进行采集，将采集的音视频数据发送给 所述服务器；所述服务器，用于接收所述音视频数据，获取手机输出的屏幕显示图像，将所 述屏幕显示图像保存到录像文件中；获取与所输出的屏幕显示图像对应的用户操作信息； 根据所述用户操作信息生成第一辅助文件；将所述第一辅助文件与所述录像文件相关联； 将所述录像文件以及所述第一辅助文件与所述录像文件的第一关联关系提供给所述客户 端；所述客户端，用于接收用户输入，将用户操作指令传送给所述服务器；接收所述服务器 发送的录像文件和所述第一关联关系，根据所述第一关联关系定位所述录像文件并回放。又一方面，本发明实施例还提供一种远程真机的辅助测试系统，所述系统包括手 机，与所述手机连接的服务器，以及与所述服务器连接的客户端；所述手机，用于接收所述 客户端通过所述服务器发送的用户操作指令，执行相应的用户操作，并将实际执行的用户 操作信息发送给所述服务器；对自身的音视频数据进行采集，将采集的音视频数据发送给 所述服务器；所述服务器，用于将所述客户端发送的用户操作指令传送给所述手机；将所 述用户操作信息发送给所述客户端；接收所述手机发送的音视频数据并传送给所述客户 端；所述客户端，用于接收用户输入，将用户操作指令传送给所述服务器；接收所述音视频 数据，获取手机输出的屏幕显示图像，将所述屏幕显示图像保存到录像文件中；获取与所输 出的屏幕显示图像对应的用户操作信息；根据所述用户操作信息生成第一辅助文件；建立 所述第一辅助文件与所述录像文件的第一关联关系；根据所述第一关联关系定位所述录像 文件并回放。本发明实施例的远程真机辅助测试方法、装置与系统，通过实时合成用户输入信 息到录像中，使用户在回放录像时能够获知引起该屏幕画面的具体操作过程，在后期录像 回放时为用户提供更为丰富和准确的信息；通过建立以用户操作和/或手机辅助信息为索 引点的辅助文件，进一步提升录像系统辅助测试的效果。


图1为现有技术的远程真机测试系统的原理框图；图2为采用图1所示的系统对测试过程中的音视频进行录像的流程图；图3为本发明实施例的远程真机的辅助测试方法流程图之一；图4为本发明实施例1的远程真机的辅助测试方法的具体实现流程图；图fe为本发明实施例1的远程真机的辅助测试方法的手机模拟图像之一；
图恥为本发明实施 歹
图5c为本发明实施 歹
图5d为本发明实施仿
图5e为本发明实施 歹
图5f为本发明实施仿
图5g为本发明实施仿
图证为本发明实施 歹
图6为本发明实施例
图7为本发明实施例
图8为本发明实施例
图9为本发明实施例
图10为本发明实施 歹
图11为本发明实施 歹
图12为本发明实施仿
图13为本发明实施仿
图14为本发明实施仿
图15为本发明实施仿
图16为本发明实施 歹
图17为本发明实施仿
图18为本发明实施 歹
1的远程真机的辅助测试方法的手机模拟图像之二； 1的远程真机的辅助测试方法的手机模拟图像之三； 1的远程真机的辅助测试方法的手机模拟图像之四； 1的远程真机的辅助测试方法的手机模拟图像之五； 1的远程真机的辅助测试方法的手机模拟图像之六； 1的远程真机的辅助测试方法的手机模拟图像之七； 1的远程真机的辅助测试方法的手机模拟图像之八； 的远程真机的辅助测试方法流程图之二； 辅助文件与录像文件关联的示意图； 采用辅助文件来定位录像文件的操作示意图； 远程真机的辅助测试装置的功能框图； 1的远程真机的辅助测试系统原理框图之一； 1的远程真机的辅助测试系统原理框图之二； 1的本实施例的远程真机的辅助测试系统原理框图之三； 2的远程真机的辅助测试方法流程图之一 2的远程真机的辅助测试方法流程图之二； 2远程真机的辅助测试装置的功能框图 2的远程真机的辅助测试系统原理框图之一； 2的远程真机的辅助测试系统原理框图之二； 2的系统工作示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例1 本发明实施例提供一种远程真机的辅助测试方法、装置与系统，通过模拟测试时 的用户操作，并将其实时合成到包含音视频流的录像文件中，为用户提供更为丰富和准确 的测试信息。图3为本发明实施例的远程真机的辅助测试方法流程图之一，如图3所示，该方法 包括S301、获取手机输出的屏幕显示图像；S302、获取与所输出的屏幕显示图像对应的用户操作信息；S303、生成与用户操作信息对应的模拟图像；S304、根据模拟图像在屏幕显示图像上的坐标位置，将模拟图像和屏幕显示图像 合成为同一幅图像；S305、将合成后的图像保存到录像文件中。图4为本发明实施例的远程真机的辅助测试方法的具体实现流程，如图4所示，该方法具体包括S401、获取手机的模拟图像，即皮肤图像，模拟图像一般为预置的一幅图片，例如 当前正在使用的手机对应的照片，称为A ；S402、获取当前的手机屏幕显示图像，称为b ；S403、根据屏幕与模拟图像的位置关系，将b叠加到A上，叠加后的图像称为B ；S404、判断当前手机是否处于输入状态，是则进入S404a，否则进入S405，用户的 输入操作包括按键操作或者触摸屏操作；S404a、获取用户的操作信息；S404b、根据用户操作信息生成模拟图像c，例如当用户正在按下某个键时，读取预 置的按下该键时对应的图片，将该图片作为模拟图像c ；S404c、获取模拟图像c相对图像B的坐标位置，该位置称为ρ ；S404d、根据位置p，将c叠加到B上，叠加后的图像称为C ；S405、将合成后的图像(B或C)写入到录像文件中。下面以触摸屏手机上的一个触屏操作为例，对图4中每个具体的步骤进行详细说 明。S401、获取手机的模拟皮肤图像A，如图fe所示；S402、获取当前手机的屏幕显示图像b，如图恥所示；S403、将b叠加到A上得到图像B，如图5c所示；S404a、用户点击左上角的开始菜单，进入输入状态；S404b、根据用户不同的操作类型，生成模拟图像C。如，对于点击操作，可以归为 一类，都用同一个模拟图像来表示；而对于其他操作则对应于不同的模拟图像，如触屏手 机可以进行手写输入，这时的输入操作就不是简单的点击了，而是一种滑动操作，可以用模 仿用户触屏轨迹的线条来作为模拟图像；又如，有些手机具有轨迹球这种输入设备，这个设 备一般具有5个运动方向，即上下左右滚动以及向下按这一操作，对于这个设备，就需要5 个模拟图像来分别对应5种不同的操作。因此，实际应用中，操作类型与具体的输入设备有 关，本实施例以点击操作为例进行说明，即生成一个表示用户点击操作的图像，如该实施例
中的圆圈“ O，，或者还可以是箭头“ A ”，及其他表示用户点击的图像等；
9，S404c、取得c相对B的位置，这里可以由触摸屏操作的坐标来计算；S404d、将c叠加到B上，得到C，如图5d所示“ O，，出现在“开始”左侧的windows
图标附近，表示用户点击了“开始”菜单；图k为用户操作后改变的图像，从图中可以看出， 点击开始之后出现了 一个下拉菜单条。下面再以物理键盘的操作为例，对图4中每个具体的步骤进行详细说明。S401、获取手机的模拟皮肤图像A，再次参考图fe ；S402、获取当前手机的屏幕显示图像b，如图5f所示；S403、将b叠加到A上得到图像B，再次参考图k ；S404a、用户点击方向键中的向下键，进入输入状态；S404b、生成模拟图像c，即一个表示用户点击操作的图像，如“ O，，S404c、取得c相对B的位置，这里可以由向下键对应皮肤的坐标来计算；
S404d、将c叠加到B上，得到C，如图5g，其中“ O，，出现在手机方向键的向下按
键附近，表示点击了该向下的按键；图证为用户操作后改变的图像，此时菜单中高亮的部 分为“今日”的下一个菜单条“Office Mobile”。对于图4所示的方法，一种可选的实现方式是，采取定时的方式来循环执行 S401 S405，并生成录像文件，录像文件中也可以包含音频的信息。另一种可选的实现方 式是，根据事件来实时的触发录像。例如，当监测到输入状态发生改变时(例如从键盘按下 的状态变成键盘没有按下的状态)，则实时的将输入状态的模拟图像c合成到上一帧录像 画面中，从而生成新的一帧图像C，将C写入到录像文件中；当监测到当前屏幕显示图像b 发生变化时，也实时的将b合成到皮肤画面中，生成新的一帧图像B，将B写入到录像文件 中。可选地，在以上方案的基础上，也可以将用户操作信息记录成单独的辅助文件，并 和录像文件进行关联，用户可以根据该辅助文件快速的定位录像文件；可选地，本实施例的 方法还可以将手机当前的辅助状态信息记录成单独的辅助文件，并和录像文件进行关联。图6为本发明实施例的远程真机的辅助测试方法流程图之二，该方法实现了上述 的可选方案，如图6所示，该方法包括S601、获取手机输出的屏幕显示图像；S602、获取与所输出的屏幕显示图像对应的用户操作信息；S603、生成与用户操作信息对应的模拟图像；S604、根据模拟图像在屏幕显示图像上的坐标位置，将模拟图像和屏幕显示图像 合成为同一幅图像；S605、将合成后的图像保存到录像文件中。S606、根据用户操作信息生成第一辅助文件；将第一辅助文件与合成后的录像文 件相关联；可选地该方法还包括S607、获取手机当前的辅助状态；根据辅助状态生成第二 辅助文件；将第二辅助文件与合成后的录像文件相关联。可选地，本实施例的辅助状态包括手机当前时间的CPU占用率、内存使用大 小以及运行的进程数中的至少一项。可选地，本实施例的辅助状态可以定时获取。一般 手机操作系统都有相关的方法来获取这些信息，例如Windows mobile系统的手机，可 以通过GetThreadTimesO来获得线程的CPU时间，进而计算进程的CPU占用率，而通过 GlobalMemoryStatus ()可以获得系统的内存使用率。图7为本实施例辅助文件与录像文件关联的示意图，如图7所示，辅助文件和录像 文件之间通过时间进行关联。严格地说，一个记录只能对应一帧，而一帧可以对应η个记 录，这主要是由于在同一个时间点，图像只能有一个，但可能发生了 2个或2个以上的用户 操作和系统信息更新。但同一个时间点发生2个或2个以上事件的几率比较小，所以图7 简化为一个帧也只对应于一个记录。图7表达了两层含义1、记录与图像通过时间来对应；2、刷新率固定后，图像是连 续的，所以右边相对时间是均勻的，但记录是不连续的，系统信息可以定时来获取，但用户 操作不是定时的，可能很长时间没操作，也可能在很短的时间能出现很密集的操作，所以左 边相对时间是不均勻的。
具体实现时，可以定义如下数据结构struct user_operation{int type ；int χ ；int y ；Time time ；}；struct sys_info{int type ；int value ；Time time ；}；其中，userjperation包含了操作类型type，操作位置(x，y)，以及操作发生的时 间time ；sys_infο包含了系统信息类型type，对应系统信息的值value，以及采集这一系统 信息的时间time。获得用户操作信息的时候，记录当前时间；采集系统信息的时候，记录当 前时间；这些时间就是如上数据结构中的time变量。本实施例生成辅助文件时，使用相同的时间轴，将辅助文件与录像文件相关联，即 开始录像时的时间设为初始时间，辅助文件中的时间都是相对于这个时间的相对时间。使 用辅助文件来定位录像时，可以提供2个独立界面，图8为采用辅助文件来定位录像文件的 操作示意图。在实际的界面上可以显示两个窗口，图8的左边部分显示辅助文件的索引记 录，图8右边部分播放录像文件。用户可以在辅助文件索引的界面中选择记录，然后系统通 过将索引中的时间作为播放器的输入来控制播放器时间轴的移动，在播放器中找到对应时 间的屏幕显示图像。对应于本实施例的远程真机的辅助测试方法，本实施例还提供一种远程真机的辅 助测试装置，图9为本实施例远程真机的辅助测试装置的功能框图，图9中的实线框表示的 是必要的单元，而虚线框表示的是可选的单元。如图9所示，该装置90包括屏幕图像获取单元901，用于获取手机输出的屏幕显 示图像；操作信息获取单元902，用于获取与所输出的屏幕显示图像对应的用户操作信息； 模拟图像生成单元903，用于生成与用户操作信息对应的模拟图像；图像合成单元904，用 于根据模拟图像在屏幕显示图像上的坐标位置，将模拟图像和屏幕显示图像合成为同一幅 图像；录像单元905，用于将合成后的图像保存到录像文件中。可选地，装置90还包括第一辅助文件生成单元906，用于根据用户操作信息生成 第一辅助文件；第一关联单元907，用于将第一辅助文件与合成后的录像文件相关联。可选 地，装置90还包括辅助状态获取单元908，用于获取手机当前的辅助状态；第二辅助文件 生成单元909，用于根据辅助状态生成第二辅助文件；第二关联单元910，用于将第二辅助 文件与合成后的录像文件相关联。对应于本实施例的远程真机的辅助测试方法，本实施例还提供一种远程真机的辅 助测试系统，该系统包含了图9所示的装置90，根据具体的实施不同，该装置可以位于客户 端也可以位于服务器中。
图10为本实施例的远程真机的辅助测试系统原理框图之一，如图10所示，该系 统包括手机10，与手机连接的服务器20，以及与服务器20连接的客户端30。其中手机 10，用于接收客户端通过服务器发送的用户操作指令，执行相应的用户操作，并将实际执行 的操作信息发送给服务器；对自身的音视频数据进行采集，将采集的音视频数据发送给服 务器；服务器20，用于根据音视频数据，获取手机输出的屏幕显示图像；获取与所输出的屏 幕显示图像对应的用户操作信息；生成与用户操作信息对应的模拟图像；根据模拟图像在 屏幕显示图像上的坐标位置，将模拟图像和屏幕显示图像合成为同一幅图像；将合成后的 图像保存到录像文件中，并将合成后的录像文件提供给客户端；客户端30，用于接收用户 输入，将用户操作指令传送给服务器；接收服务器发送的合成后的录像文件并回放。如图10所示，和图1所示的系统相比，本实施例的系统在服务器20中新增了音视 频及输入信息合成单元204，用来进行输入信息与屏幕显示图像的合成工作。音视频及输入 信息合成单元204以及录像单元905共同实现图9所示的装置90的功能。其中，音视频及 输入信息合成单元204进一步包含了图9所示的屏幕显示图像获取单元901、操作信息获取 单元902、模拟图像生成单元903以及图像合成单元904。具体地，手机10包括用户输入接收单元102，用于接收客户端通过服务器发送的 用户操作指令，执行相应的用户操作，并将实际执行的操作信息发送给服务器；音视频采集 单元101，对自身的音视频数据进行采集，获取屏幕显示图像和音频信息，将采集的音视频 数据发送给服务器；具体地，服务器20包括音视频接收单元201，用于接收音视频数据，获取屏幕显 示图像；用户输入接收单元202，用于接收客户端发送的用户操作指令，并将该指令发送给 手机执行；音视频及输入信息合成单元204，用于根据音视频数据，获取手机输出的屏幕显 示图像；获取与所输出的屏幕显示图像对应的用户操作信息；生成与用户操作信息对应的 模拟图像；根据模拟图像在屏幕显示图像上的坐标位置，将模拟图像和屏幕显示图像合成 为同一幅图像；录像单元905，用于将合成后的图像保存到录像文件中，并将合成后的录像 文件提供给客户端；具体地，客户端30包括，用户输入单元301，用于接收用户输入，将用户操作指令 传送给服务器；实时播放单元302，用于接收服务器发送的实时音视频流并播放；录像播放 单元303，用于接收服务器发送的合成后的录像文件并回放。图11为本实施例的远程真机的辅助测试系统原理框图之二。该图中的服务器和 手机配合，不仅能够将模拟用户操作的图像合成到屏幕显示图像中，还能够根据用户操作 信息和/或手机当前的辅助状态生成单独的辅助文件，并将生成的辅助文件与合成的录像 文件相关联，用户通过辅助文件就能够定位到对应的录像文件。图11所示的服务器20，还用于根据用户操作信息生成第一辅助文件；将第一辅助 文件与合成后的录像文件相关联；将第一辅助文件与录像文件的第一关联关系发送给客户 端；客户端30，还用于获取第一关联关系，根据第一关联关系定位录像文件并回放。图11所示的手机10，还用于获取手机当前的辅助状态，将辅助状态发送给服务 器；服务器20，还用于根据辅助状态生成第二辅助文件；将第二辅助文件与合成后的录像 文件相关联；将第二辅助文件与录像文件的第二关联关系发送给客户端；客户端30，还用 于获取第二关联关系，根据第二关联关系定位录像文件并回放。
具体地，和图10相比，图11的手机10还包括辅助状态获取单元908，服务器20还 包括辅助信息生成单元205，该辅助信息生成单元205包含了图9所示的第一辅助文件生成 单元906、第一关联单元907、第二辅助文件生成单元909和第二关联单元910。其中，辅助状态获取单元908，用于获取手机当前的辅助状态，将该辅助状态发送 给辅助信息生成单元205。辅助信息生成单元205，用于根据用户操作信息生成第一辅助文 件，将第一辅助文件与合成后的录像文件相关联，将第一辅助文件与录像文件的第一关联 关系发送给客户端；以及根据辅助状态生成第二辅助文件，将第二辅助文件与合成后的录 像文件相关联，将第二辅助文件与录像文件的第二关联关系发送给客户端。这样，客户端的 录像播放单元303在可以通过第一辅助文件以及第二辅助文件来定位录像文件。图12为本实施例的本实施例的远程真机的辅助测试系统原理框图之三。和图10 以及图11所不同的是，图12的系统由客户端30来完成具体的图像合成过程，即装置90位 于客户端30中。具体地，和图10和图11相比，音视频及输入信息合成单元204和录像单 元905位于客户端30中；为了配合客户端的工作，服务器20中新增了用户输入信息反馈单 元206，用于向客户端提供用户操作信息。如图12所示，该系统包括手机10，与手机连接的服务器20，以及与服务器连接的 客户端30。手机10，用于接收客户端通过服务器发送的用户操作指令，执行相应的用户操 作，并将实际执行的用户操作信息发送给服务器；对自身的音视频数据进行采集，将采集的 音视频数据发送给服务器；服务器20，用于将客户端发送的用户操作指令传送给手机；将 用户操作信息发送给客户端；接收手机发送的音视频数据并传送给客户端；客户端30，用 于接收用户输入，将用户操作指令传送给服务器；接收音视频数据，获取手机输出的屏幕显 示图像；获取用户操作信息；生成与用户操作信息对应的模拟图像；根据模拟图像在屏幕 显示图像上的坐标位置，将模拟图像和屏幕显示图像合成为同一幅图像；将合成后的图像 保存到录像文件中，并回放录像文件。可选地，本实施例的客户端30，还用于根据用户操作信息生成第一辅助文件；建 立第一辅助文件与合成后的录像文件的第一关联关系，根据第一关联关系定位录像文件并 回放。此时，客户端30中需要包含图11所示的辅助信息生成单元205。可选地，本实施例的手机10，还用于获取手机当前的辅助状态，将辅助状态提供给 服务器；服务器20，还用于将辅助状态提供给客户端；客户端30，还用于根据辅助状态生成 第二辅助文件；建立第二辅助文件与合成后的录像文件的第二关联关系，根据第二关联关 系定位录像文件并回放。此时，手机10种需要包含图11所示的手机辅助信息获取单元103。本发明实施例的远程真机辅助测试方法、装置与系统，通过实时合成用户输入信 息到录像中，在后期录像回放时为用户提供更为丰富和准确的信息；通过建立以用户操作 和/或手机辅助信息为索引点的辅助文件，进一步提升录像系统辅助测试的效果。实施例2:本发明实施例提供一种远程真机的辅助测试方法、装置与系统，和实施例1的方 案不同之处在于，本实施例不需要模拟用户操作并将其合成到录像文件中，而是根据用户 操作信息和/或手机当前的状态信息生成单独的辅助文件，将该辅助文件与录像文件相关 联，用户可以直接通过辅助文件的记录定位到相应的录像文件并回放。图13为本发明实施例的远程真机的辅助测试方法流程图之一，如图13所示，该方法包括S1301、获取手机输出的屏幕显示图像，将屏幕显示图像保存到录像文件中；S1302、获取与所输出的屏幕显示图像对应的用户操作信息；S1303、根据用户操作信息生成第一辅助文件；S1304、将第一辅助文件与录像文件相关联。图14为本发明实施例的远程真机的辅助测试方法流程图之二，如图14所示，该方 法还包括S1305、获取手机当前的辅助状态；S1306、根据辅助状态生成第二辅助文件；S1307、将第二辅助文件与录像文件相关联。由于具体的关联方式已经在实施例1中进行了详细的描述，此处不再赘述。对应于本实施例的远程真机的辅助测试方法，本实施例还提供一种远程真机的辅 助测试装置，图15为本实施例远程真机的辅助测试装置的功能框图，实现框表示的是必要 的单元，而虚线框表示的是可选的单元。如图15所示，该装置150包括屏幕图像获取单元1501，用于获取手机输出的 屏幕显示图像；录像单元1502，用于将屏幕显示图像保存到录像文件中；操作信息获取单 元1503，用于获取与所输出的屏幕显示图像对应的用户操作信息；第一辅助文件生成单元 1504，用于根据用户操作信息生成第一辅助文件；第一关联单元1505，用于将第一辅助文 件与录像文件相关联。可选地，装置150还包括辅助状态获取单元1506，用于获取手机当前的辅助状 态；第二辅助文件生成单元1507，用于根据辅助状态生成第二辅助文件；第二关联单元 1508，用于将第二辅助文件与录像文件相关联。对应于本实施例的远程真机的辅助测试方法，本实施例还提供一种远程真机的辅 助测试系统，该系统包含了图15所示的装置150，根据具体的实施不同，该装置可以位于客 户端也可以位于服务器中。图16为本实施例的远程真机的辅助测试系统原理框图之一，如图16所示，该系统 包括手机10，与手机连接的服务器20，以及与服务器连接的客户端30。其中，手机10，用 于接收客户端通过服务器发送的用户操作指令，执行相应的用户操作，并将实际执行的用 户操作信息发送给服务器；对自身的音视频数据进行采集，将采集的音视频数据发送给服 务器；服务器20，用于接收音视频数据，获取手机输出的屏幕显示图像，将屏幕显示图像保 存到录像文件中；获取与所输出的屏幕显示图像对应的用户操作信息；根据用户操作信息 生成第一辅助文件；将第一辅助文件与录像文件相关联；将录像文件以及第一辅助文件与 录像文件的第一关联关系提供给客户端；客户端30，用于接收用户输入，将用户操作指令 传送给服务器；接收服务器发送的录像文件和第一关联关系，根据第一关联关系定位录像 文件并回放。可选地，手机10，还用于获取手机当前的辅助状态，将辅助状态发送给服务器；服 务器20，还用于根据辅助状态生成第二辅助文件；将第二辅助文件与录像文件相关联；将 第二辅助文件与录像文件的第二关联关系提供给客户端；客户端30，还用于接收服务器发 送的第二关联关系，根据第二关联关系定位录像文件并回放。
如图16所示，和图1所示的系统相比，本实施例的系统在服务器20中新增了辅助 信息生成单元205，在手机10中新增了辅助状态获取单元1506 ；其中，辅助信息生成单元 205实现了图15中所示的第一辅助文件生成单元1504、第一关联单元1505、第二辅助单元 1507以及第二关联单元1508的功能。图17为本实施例的远程真机的辅助测试系统原理框图之二。和图16所不同的是， 图17的系统由客户端30来完成辅助信息与录像文件的关联过程，即装置150位于客户端 30中。具体地，和图16相比，辅助信息生成单元205和录像单元1502位于客户端30中； 为了配合客户端的工作，服务器20中新增了信息反馈单元1701，用于向客户端提供用户操 作信息以及辅助状态信息。如图17所示，该系统包括手机10，与手机连接的服务器20，以及与服务器连接 的客户端30。其中，手机10，用于接收客户端通过服务器发送的用户操作指令，执行相应的 用户操作，并将实际执行的用户操作信息发送给服务器；对自身的音视频数据进行采集，将 采集的音视频数据发送给服务器；服务器20，用于将客户端发送的用户操作指令传送给手 机；将用户操作信息发送给客户端；接收手机发送的音视频数据并传送给客户端；客户端 30，用于接收用户输入，将用户操作指令传送给服务器；接收音视频数据，获取手机输出的 屏幕显示图像，将屏幕显示图像保存到录像文件中；获取与所输出的屏幕显示图像对应的 用户操作信息；根据用户操作信息生成第一辅助文件；建立第一辅助文件与录像文件的第 一关联关系；根据第一关联关系定位录像文件并回放。可选地，本实施例的手机10，还用于获取手机当前的辅助状态，将辅助状态发送给 服务器；服务器20，还用于将辅助状态提供给客户端；客户端30，还用于根据辅助状态生成 第二辅助文件；建立第二辅助文件与录像文件的第二关联关系；根据第二关联关系定位录 像文件并回放。图18为本实施例的系统工作示意图。如图18所示，录像单元负责生成录像，它 提供一个供外部单元查询当前录像时间的接口，这个录像时间是指开始录像为起始点的 时间。服务端监听手机端的消息，如果发现有用户输入(type，χ, y)或者是系统信息更新 (type, value)，就向录像单元查询当前录像时间time，组成一条记录(type，χ, y，time)或 (type，value，time)，写入辅助文件。当然，如果录像单元位于客户端时，图18所示的工作 过程由客户端实际完成，服务器将为客户端提供必要的信息以配合客户端的工作。本发明实施例的远程真机辅助测试方法、装置与系统，通过建立以用户操作和/ 或手机辅助信息为索引点的辅助文件，通过辅助文件定位录像文件，能够更准确地获知引 起图像变化的用户操作过程，进一步提升录像系统辅助测试的效果。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可 以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储 介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质 可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述 实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解其依然可以 对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精 神和范围。
权利要求
1.一种远程真机的辅助测试方法，其特征在于，所述方法包括 获取手机输出的屏幕显示图像；获取与所输出的屏幕显示图像对应的用户操作信息； 生成与所述用户操作信息对应的模拟图像；根据所述模拟图像在所述屏幕显示图像上的坐标位置，将所述模拟图像和所述屏幕显 示图像合成为同一幅图像；将合成后的图像保存到录像文件中。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括 根据所述用户操作信息生成第一辅助文件；将所述第一辅助文件与合成后的录像文件相关联。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括 获取手机当前的辅助状态；根据所述辅助状态生成第二辅助文件； 将所述第二辅助文件与合成后的录像文件相关联。
4.根据权利要求3所述的方法，其特征在于，所述辅助状态至少包括手机的CPU占用 率、内存使用情况以及进程数。
5.一种远程真机的辅助测试方法，其特征在于，所述方法包括获取手机输出的屏幕显示图像，将所述屏幕显示图像保存到录像文件中； 获取与所输出的屏幕显示图像对应的用户操作信息； 根据所述用户操作信息生成第一辅助文件； 将所述第一辅助文件与所述录像文件相关联。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括 获取手机当前的辅助状态；根据所述辅助状态生成第二辅助文件； 将所述第二辅助文件与所述录像文件相关联。
7.—种远程真机的辅助测试装置，其特征在于，所述装置包括 屏幕图像获取单元，用于获取手机输出的屏幕显示图像；操作信息获取单元，用于获取与所输出的屏幕显示图像对应的用户操作信息； 模拟图像生成单元，用于生成与所述用户操作信息对应的模拟图像； 图像合成单元，用于根据所述模拟图像在所述屏幕显示图像上的坐标位置，将所述模 拟图像和所述屏幕显示图像合成为同一幅图像；录像单元，用于将合成后的图像保存到录像文件中。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括第一辅助文件生成单元，用于根据所述用户操作信息生成第一辅助文件； 第一关联单元，用于将所述第一辅助文件与合成后的录像文件相关联。
9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括 辅助状态获取单元，用于获取手机当前的辅助状态；第二辅助文件生成单元，用于根据所述辅助状态生成第二辅助文件； 第二关联单元，用于将所述第二辅助文件与合成后的录像文件相关联。
10.一种远程真机的辅助测试装置，其特征在于，所述装置包括 屏幕图像获取单元，用于获取手机输出的屏幕显示图像； 录像单元，用于将所述屏幕显示图像保存到录像文件中；操作信息获取单元，用于获取与所输出的屏幕显示图像对应的用户操作信息； 第一辅助文件生成单元，用于根据所述用户操作信息生成第一辅助文件； 第一关联单元，用于将所述第一辅助文件与所述录像文件相关联。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括 辅助状态获取单元，用于获取手机当前的辅助状态；第二辅助文件生成单元，用于根据所述辅助状态生成第二辅助文件； 第二关联单元，用于将所述第二辅助文件与所述录像文件相关联。
12.—种远程真机的辅助测试系统，其特征在于，所述系统包括手机，与所述手机连 接的服务器，以及与所述服务器连接的客户端；所述手机，用于接收所述客户端通过所述服务器发送的用户操作指令，执行相应的用 户操作，并将实际执行的操作信息发送给所述服务器；对自身的音视频数据进行采集，将采 集的音视频数据发送给所述服务器；所述服务器，用于根据所述音视频数据，获取手机输出的屏幕显示图像；获取与所输出 的屏幕显示图像对应的用户操作信息；生成与所述用户操作信息对应的模拟图像；根据所 述模拟图像在所述屏幕显示图像上的坐标位置，将所述模拟图像和屏幕显示图像合成为同 一幅图像；将合成后的图像保存到录像文件中，并将所述合成后的录像文件提供给所述客 户端；所述客户端，用于接收用户输入，将用户操作指令传送给所述服务器；接收所述服务器 发送的所述合成后的录像文件并回放。
13.根据权利要求12所述的系统，其特征在于，所述服务器，还用于根据所述用户操作信息生成第一辅助文件；将所述第一辅助文件 与合成后的录像文件相关联；将所述第一辅助文件与录像文件的第一关联关系发送给所述 客户端；所述客户端，还用于获取所述第一关联关系，根据所述第一关联关系定位所述录像文 件并回放。
14.根据权利要求12或13所述的系统，其特征在于，所述手机，还用于获取手机当前的辅助状态，将所述辅助状态发送给所述服务器； 所述服务器，还用于根据所述辅助状态生成第二辅助文件；将所述第二辅助文件与合 成后的录像文件相关联；将所述第二辅助文件与录像文件的第二关联关系发送给所述客户 端；所述客户端，还用于获取所述第二关联关系，根据所述第二关联关系定位所述录像文 件并回放。
15.一种远程真机的辅助测试系统，其特征在于，所述系统包括手机，与所述手机连 接的服务器，以及与所述服务器连接的客户端；所述手机，用于接收所述客户端通过所述服务器发送的用户操作指令，执行相应的用 户操作，并将实际执行的用户操作信息发送给所述服务器；对自身的音视频数据进行采集，将采集的音视频数据发送给所述服务器；所述服务器，用于将所述客户端发送的用户操作指令传送给所述手机；将所述用户操 作信息发送给所述客户端；接收所述手机发送的音视频数据并传送给所述客户端；所述客户端，用于接收用户输入，将用户操作指令传送给所述服务器；接收所述音视频 数据，获取手机输出的屏幕显示图像；获取所述用户操作信息；生成与所述用户操作信息 对应的模拟图像；根据所述模拟图像在所述屏幕显示图像上的坐标位置，将所述模拟图像 和屏幕显示图像合成为同一幅图像；将合成后的图像保存到录像文件中，并回放所述录像 文件。
16.根据权利要求15所述的系统，其特征在于，所述客户端，还用于根据所述用户操作信息生成第一辅助文件；建立第一辅助文件与 合成后的录像文件的第一关联关系，根据所述第一关联关系定位所述录像文件并回放。
17.根据权利要求15或16所述的系统，其特征在于，所述手机，还用于获取手机当前的辅助状态，将所述辅助状态提供给所述服务器；所述服务器，还用于将所述辅助状态提供给所述客户端；所述客户端，还用于根据所述辅助状态生成第二辅助文件；建立所述第二辅助文件与 合成后的录像文件的第二关联关系，根据所述第二关联关系定位所述录像文件并回放。
18.—种远程真机的辅助测试系统，其特征在于，所述系统包括手机，与所述手机连 接的服务器，以及与所述服务器连接的客户端；所述手机，用于接收所述客户端通过所述服务器发送的用户操作指令，执行相应的用 户操作，并将实际执行的用户操作信息发送给所述服务器；对自身的音视频数据进行采集， 将采集的音视频数据发送给所述服务器；所述服务器，用于接收所述音视频数据，获取手机输出的屏幕显示图像，将所述屏幕显 示图像保存到录像文件中；获取与所输出的屏幕显示图像对应的用户操作信息；根据所述 用户操作信息生成第一辅助文件；将所述第一辅助文件与所述录像文件相关联；将所述录 像文件以及所述第一辅助文件与所述录像文件的第一关联关系提供给所述客户端；所述客户端，用于接收用户输入，将用户操作指令传送给所述服务器；接收所述服务器 发送的录像文件和所述第一关联关系，根据所述第一关联关系定位所述录像文件并回放。
19.根据权利要求18所述的系统，其特征在于，所述手机，还用于获取手机当前的辅助状态，将所述辅助状态发送给所述服务器；所述服务器，还用于根据所述辅助状态生成第二辅助文件；将所述第二辅助文件与所 述录像文件相关联；将所述第二辅助文件与所述录像文件的第二关联关系提供给所述客户 端；所述客户端，还用于接收所述服务器发送的第二关联关系，根据所述第二关联关系定 位所述录像文件并回放。
20.一种远程真机的辅助测试系统，其特征在于，所述系统包括手机，与所述手机连 接的服务器，以及与所述服务器连接的客户端；所述手机，用于接收所述客户端通过所述服务器发送的用户操作指令，执行相应的用 户操作，并将实际执行的用户操作信息发送给所述服务器；对自身的音视频数据进行采集， 将采集的音视频数据发送给所述服务器；所述服务器，用于将所述客户端发送的用户操作指令传送给所述手机；将所述用户操 作信息发送给所述客户端；接收所述手机发送的音视频数据并传送给所述客户端；所述客户端，用于接收用户输入，将用户操作指令传送给所述服务器；接收所述音视频 数据，获取手机输出的屏幕显示图像，将所述屏幕显示图像保存到录像文件中；获取与所输 出的屏幕显示图像对应的用户操作信息；根据所述用户操作信息生成第一辅助文件；建立 所述第一辅助文件与所述录像文件的第一关联关系；根据所述第一关联关系定位所述录像 文件并回放。
21.根据权利要求20所述的系统，其特征在于，所述手机，还用于获取手机当前的辅助状态，将所述辅助状态发送给所述服务器； 所述服务器，还用于将所述辅助状态提供给所述客户端；所述客户端，还用于根据所述辅助状态生成第二辅助文件；建立所述第二辅助文件与 所述录像文件的第二关联关系；根据所述第二关联关系定位所述录像文件并回放。
全文摘要
一种远程真机的辅助测试方法、装置与系统，所述方法包括获取手机输出的屏幕显示图像；获取与所输出的屏幕显示图像对应的用户操作信息；生成与所述用户操作信息对应的模拟图像；根据所述模拟图像在所述屏幕显示图像上的坐标位置，将所述模拟图像和所述屏幕显示图像合成为同一幅图像；将合成后的图像保存到录像文件中。本发明实施例的远程真机辅助测试方法、装置与系统，通过实时合成用户输入信息到录像中，在后期录像回放时为用户提供更为丰富和准确的信息；通过建立以用户操作和/或手机辅助信息为索引点的辅助文件，进一步提升录像系统辅助测试的效果。
文档编号H04L29/06GK102141957SQ20101051472
公开日2011年8月3日 申请日期2010年10月21日 优先权日2010年10月21日
发明者侯伟奕, 周皓隽, 彭巧巧, 徐谦, 李永安, 陈斌 申请人:华为技术有限公司