一种远程操控方法及装置的制造方法_4

文档序号:8922728阅读:来源:国知局
;所述演示屏幕画面 的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面的高度值、和所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值;
[0175] 具体地,根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考 像素点在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信 息,确定所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0176] 在具体实施中,所述放置状态信息可以包括所述终端的放置状态相对参考状态的 倾斜角,其中,所述倾斜角为在所述演示图像上,所述终端的放置状态相对参考状态沿逆时 针方向旋转的角度,在所述终端的放置状态为所述参考状态时,所述显示屏幕的顶边所在 的方向为水平方向,所述显示屏幕的侧边所在的方向为垂直方向;可以根据以下公式确定 所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射关系:
[0179] 其中,(X,Y)为所述演示屏幕画面上的像素点的坐标值,(Gx,Gy)为与(X,Y)对应 的所述显示屏幕上的像素点的坐标值,TrX所述显示屏幕的宽度值,TrY为所述显示屏幕的 高度值,CW为所述演示屏幕画面的宽度值,CH为所述演示屏幕画面的高度值,(PtX,PtY)为 所述参考像素点在所述演示图像中的坐标值,所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值,9为像素点(X,Y)与参考像素 点(PtX,PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值(也可以是像素点(X,Y)与参考像素点(PtX,PtY)之间的连线与所述显示屏幕的顶边所 在的方向之间的钝角夹角的角度值,此时上述公式中sin0、cos0取绝对值)。
[0180] 在具体实施中,基于倾斜角的角度值0的不同,0的具体计算方式也不同。以参 考状态为上述方式一中所述默认放置状态为例:
[0181]如图4(a)所示,|3 = 0,此时:9 = a;
[0182]如图 4(b)所示,0 < |3<JT/2,此时:9=|3 -a;
[0183]如图 4(c)所示,JT/2< |3 <JT,此时:0=|3 -a;
[0184] 如图 4(d)所示,JT< |3 < 3JT/2,此时:0 =a+ |3 -jt;
[0185]如图4(e)所示,0彡3jt/2,此时:0 = 0-a -31;
[0186]其中:
[0187] 在图4(a)~(e)中,演示图像中的坐标原点为演示图像左上角的像素点;在演示 图像中,横坐标轴方向为水平向右的方向,纵坐标轴方向为垂直向下的方向。终端的显示屏 幕上的坐标原点为终端在默认放置状态(显示屏幕的顶边所在的方向为水平方向、显示屏 幕的侧边所在的方向为垂直方向,比如处于竖屏状态下)下时终端显示屏幕左上角的像素 点,在终端的显示屏幕中,横坐标轴方向即为处于默认放置状态时的水平向右的方向,纵坐 标轴方向即为处于默认放置状态时的垂直向下的方向。
[0188] 为了更好地说明本发明实施例支持远程操控的思想,下面从系统的角度作下介 绍。
[0189] 实施例三
[0190] 如图5所示,为本发明实施例三提供的支持远程操控的系统架构示意图。在该 系统中,上述方法步骤的执行主体为独立于终端之外的设备,比如为个人电脑(Personal Computer,PC),终端可以通过无线套接字(Socket)将参数信息传输给PC。
[0191] 在该系统中,实现本发明实施例功能的主要模块包括:
[0192] 终端算法模块51,部署在终端,用于将终端参数信息(如屏幕分辨率、放置状态信 息等)传输给映射模块53,并响应映射模块53传输的操控指令(如响应参观者的点击、滑 动、漫游操作等);
[0193] 终端屏幕检测模块52,部署在PC端,用于在图像检测范围计算模块55确定的图像 检测范围内检测四边形轮廓,在检测到的所有四边形轮廓中,查找匹配映射模块53传输的 终端参数信息的四边形轮廓,并将查找到的四边形轮廓内的画面作为所述终端的演示屏幕 画面;
[0194] 映射模块53,部署在PC端,用于接收终端算法模块51传输的终端参数信息,并将 其传输给终端屏幕检测模块52;并,根据终端参数信息和终端屏幕检测模块52检测到的终 端的演示屏幕画面,生成演示图像中终端的演示屏幕画面上的像素点与终端的显示屏幕上 的像素点之间的映射关系;根据生成的映射关系,将操控信息检测模块54传输的操作信息 转换成针对终端的操控指令,并传输给终端算法模块51;
[0195] 操控信息检测模块54,部署在PC端,用于检测用户的操控信息(如参观者手持激 光笔的漫游或点击操作等),并将操控信息发送至映射模块53;
[0196]图像检测范围计算模块55,部署在PC端,根据检测的演示者手部位置信息,确定 图像检测范围,并传输给终端屏幕检测模块52。
[0197] 关于本发明实施例应用场景的说明:
[0198] 本发明实施例不仅可以应用于终端产品演示的场景,在其它需要远程操控的场景 下同样适用,比如还可以适用于类似亲情关怀的辅助操控场景、远程可视手写签名场景等。
[0199] 场景一:终端产品演示。
[0200] 如图6所示,演示者拿起终端,将终端显示屏幕朝向图像采集设备,PC机中网络传 输模块将图像采集设备采集的演示图像传输给远端,并通过远端的显示屏幕呈现给远端的 参观者。参观者可以通过显示屏幕清晰的看到终端的演示屏幕画面,并可以使用交互工具 远程对该演示屏幕画面执行操作;交互设备检测参观者的操作信息,并传输给演示端的PC 机;PC机结合远端操作信息和确定的演示图像中终端的演示屏幕画面的像素点与终端的 显示屏幕上的像素点之间的映射关系,生成针对终端的操控指令,并传输给终端;终端响应 接收到的操控指令,演示者可以通过终端的显示屏幕的反馈看到本地参观者的操作。
[0201] 场景二:协助操作。
[0202] 如图7所示,在家庭远程视频聊天场景中,A端成员可以通过视频聊天窗口看到B 端成员手持的终端,该终端与B端成员用于视频聊天的PC机通过有线或无线连接。A端成 员可以通过鼠标控制B端成员手持的终端,实现方式与上述实施例介绍的方式一致:在A 端用于视频聊天的PC机接收的演示图像中检测终端,并生成所述映射关系,基于该映射关 系,将检测到的A端成员的操作信息生成针对终端的操作指令,发送至B端的终端,B端的 终端响应该操作指令。
[0203] 场景三:远程可视手写签名。
[0204] 随着数字手写签名变得越来越广泛,本地进行数字手写签名的方式已越来越无法 满足签名需求,比如,如果仅是将本地签名文件传输至远端,则无论是在安全性上还是在用 户体验上都有所欠缺,采用本发明实施例可以实现远程可视手写签名。
[0205] 如图8所示,在本地终端屏幕上,签名者(对应上述场景一的参观者)可以看到远 端终端显示屏幕上的待签名文档,签名者可持签名工具(如签字笔)在待签名文档的签名 位置上签名,并将操作信息(如签名轨迹信息)传输至远端。在远端,根据生成的映射关系, 将签名者的操作信息映射为针对终端的操控指令,也即控制终端显示屏幕上显示签名者的 签名轨迹。
[0206] 除签名轨迹外,还可以采用终端摄像头采集签名者脸部等视觉生物特征,用终端 麦克风采集签名者声音数据,结合多种特征生成对特定的目标文件的多模态签名。在签名 认证时,同样可以通过采集用户的脸部、声音以及签名轨迹等数据进行认证;这种多模态签 名方式可以提高签名认证的安全性。
[0207] 基于同一发明构思,本发明实施例中还提供了一种与远程操控方法对应的远程操 控装置,由于该装置解决问题的原理与本发明实施例远程操控方法相似,因此该装置的实 施可以参见方法的实施,重复之处不再赘述。
[0208] 实施例四
[0209] 如图9所示,为本发明实施例四提供的远程操控装置结构示意图,包括:
[0210] 获取模块91,用于获得演示图像,所述演示图像为用于演示终端操作的图像;
[0211] 检测模块92,用于根据终端的检测参数信息,在所述获取模块91获取到的所述演 示图像中检测演示屏幕画面,所述演示屏幕画面为所述演示图像中所述终端的屏幕画面;
[0212] 确定模块93,用于根据所述检测模块92检测出的所述演示屏幕画面的参数信息 和所述终端的屏幕参数信息,确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上 的像素点之间的映射关系;
[0213] 操控模块94,用于根据用户对所述演示屏幕画面的操作信息,以及所述确定模块 93确定的所述映射关系,操控所述终端。
[0214] 可选地,所述操作信息包括操作动作信息和第一操作位置信息,所述第一操作位 置信息包括所述演示屏幕画面上的被操作的第一像素点集合的信息;
[0215] 所述操控模块94具体用于:
[0216] 根据所述第一像素点集合的信息,以及所述映射关系,获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息;根据所述第二像素点集合的信息和 所述操作动作信息,操控所述终端。
[0217] 可选地,所述操作信息包括第一操作位置信息,所述第一操作位置信息包括所述 演示屏幕画面上的被操作的第一像素点集合的信息;
[0218] 所述操控模块94具体用于:
[0219] 根据所述第一像素点集合的信息,以及所述映射关系,获得所述第一像素点集合 对应在所述终端的显示屏幕上第二像素点集合的信息;在所述终端的显示屏幕上,将轨迹 图标移动至所述第二像素点集合的位置处。
[0220] 可选地,所述演示屏幕画面的参数信息包括以下信息中的至少一项:演示屏幕画 面的宽度值、所述演示屏幕画面的高度值以及所述演示屏幕画面上的参考像素点在所述演 示图像中的坐标值,所述屏幕参数信息包括所述终端的屏幕分辨率;
[0221] 所述确定模块93具体用于:
[0222] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述演示屏幕画 面上的参考像素点在所述演示图像中的坐标值、以及所述终端的屏幕分辨率,确定所述演 示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系。
[0223] 可选地,所述确定模块93具体用于根据以下公式确定所述演示屏幕画面上的像 素点与所述终端的显示屏幕上的像素点之间的映射关系:
[0226] 其中,(X,Y)为所述演示屏幕画面上的像素点的坐标值,(Gx,Gy)为与(X,Y)对应 的所述显示屏幕上的像素点的坐标值,TrX所述显示屏幕的宽度值,TrY为所述显示屏幕的 高度值,CW为所述演示屏幕画面的宽度值,CH为所述演示屏幕画面的高度值,(PtX,PtY)为 所述参考像素点在所述演示图像中的坐标值,所述参考像素点对应于所述显示屏幕上的坐 标原点。
[0227] 可选地,所述终端的屏幕参数信息包括所述终端的放置状态信息、所述终端的屏 幕分辨率,所述演示屏幕画面的参数信息包括演示屏幕画面的宽度值、所述演示屏幕画面 的高度值、和所述演示屏幕画面上的参考像素点在所述演示图像中的坐标值;
[0228] 所述确定模块93具体用于:
[0229] 根据所述演示屏幕画面的宽度值、所述演示屏幕画面的高度值、所述参考像素点 在所述演示图像中的坐标值、所述终端的屏幕分辨率、以及所述终端的放置状态信息,确定 所述演示屏幕画面上的像素点与所述显示屏幕上的像素点之间的映射关系;
[0230] 可选地,所述放置状态信息包括所述终端的放置状态相对参考状态的倾斜角,其 中,所述倾斜角为在所述演示图像上,所述终端的放置状态相对参考状态沿逆时针方向旋 转的角度,在所述终端的放置状态为所述参考状态时,所述显示屏幕的顶边所在的方向为 水平方向,所述显示屏幕的侧边所在的方向为垂直方向,所述确定模块93具体用于根据以 下公式确定所述演示屏幕画面上的像素点与所述终端的显示屏幕上的像素点之间的映射 关系:
[0233] 其中,(X,Y)为所述演示屏幕画面上的像素点的坐标值,(Gx,Gy)为与(X,Y)对应 的所述显示屏幕上的像素点的坐标值,TrX所述显示屏幕的宽度值,TrY为所述显示屏幕的 高度值,CW为所述演示屏幕画面的宽度值,CH为所述演示屏幕画面的高度值,(PtX,PtY)为 所述参考像素点在所述演示图像中的坐标值,所述参考像素点对应于所述显示屏幕上的坐 标原点。9为基于所述倾斜角的角度值0确定的角度值,9为像素点(X,Y)与参考像素 点(PtX,PtY)之间的连线与所述显示屏幕的顶边所在的方向之间的第一锐角夹角的角度 值。<
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1