用于网络视频会议系统的文件操作方法和装置制造方法
【专利摘要】本申请公开一种用于网络视频会议系统的文件操作方法和装置，方法包括：实时获取用户图像；识别用户肢体；判断用户肢体是否与文件相关联；如果是，则将用户的肢体动作与预定的动作集进行匹配，从而操作文件。通过该申请公开的方法和装置，用户在参与网络视频会议系统，通过自身的肢体动作即可操作桌面上的文件，从而便于用户之间的交流，改善了用户体验。
【专利说明】用于网络视频会议系统的文件操作方法和装置
【技术领域】
[0001]本申请涉及通信领域，尤其涉及用于网络视频会议系统的文件操作方法和装置。
【背景技术】
[0002]近年来随着网络的高速发展，身处异地的用户可通过共享桌面在两地显示相同的桌面，实现本地和远程用户在同一个桌面下工作。
[0003]但是，在现有的技术中对于图片，文档等文件的操作通常是一方操作，而另一方观看，缺乏协同作业。而且对于文件、信息的传递和表达需要借助鼠标、键盘等物理设备，造成沟通上的不流畅，用户体验的欠佳。
【发明内容】
[0004]本申请旨在提供一种用于网络视频会议系统的文件操作方法和装置。
[0005]根据本申请的一个实施方式，提供了一种用于网络视频会议系统的文件操作方法，包括:
[0006]实时获取用户图像；
[0007]识别用户肢体；
[0008]判断所述用户肢体是否与文件相关联；
[0009]如果是，则将用户的肢体动作与预定的动作集进行匹配，从而操作所述文件。
[0010]根据本申请的另一个实施方式，提供了一种用于网络视频会议系统的文件操作装置，包括:
[0011]图像获取单元，实时获取用户图像；
[0012]肢体识别单元，识别用户肢体；
[0013]肢体动作处理单元，判断所述用户肢体是否与文件相关联，如果是，则将用户的肢体动作与预定的动作集进行匹配，从而操作所述文件。
[0014]通过上述实施方式，用户在参与网络视频会议系统，通过自身的肢体动作即可操作桌面上的文件，从而便于用户之间的交流，改善了用户体验。
【专利附图】
【附图说明】
[0015]图1为根据本发明的实施方式的用于网络视频会议系统的文件操作方法1000 ；
[0016]图2为根据本发明的实施方式的用于网络视频会议系统的文件操作的装置100。
【具体实施方式】
[0017]下面结合附图详细描述本申请的实施方式。
[0018]图1为根据本发明的实施方式的用于网络视频会议系统的文件操作方法1000。如图1所示，在步骤SllO中，实时获取用户图像。在步骤S120中，识别用户肢体。在步骤S130中，判断用户肢体是否与文件相关联。如果判断结果为是，在步骤S140中，则将用户的肢体动作与预定的动作集进行匹配。步骤S150中根据所匹配的肢体动作操作文件。
[0019]例如，在步骤SllO中，可通过摄像头获取用户图像。在步骤S120中，可将获取的用户图像从RGB颜色空间转换为HSV颜色空间，然后进行肤色检验以识别出用户肢体。例如，将符合阈值范围的图像识别为用户肢体并将识别出的肢体图像和二维坐标存入数组，例如，阈值设置为:0〈H〈20，51<S<255, 0〈V〈255。然后从数组中提取出所识别出的肢体图像和二维坐标，再根据凸包区分出用户的头部和双手，对用户双手的图像进行凸包处理以区分用户的手部动作，例如，可将用户的手部动作区分为单指、掌、拳等。还可以进一步计算头部的重心，以区分左右手。
[0020]例如，用户期望通过拳头执行对图片执行选中操作。首先通过摄像头获取用户的图像，然后识别出用户头部和双手。然后判断用户的手的二维坐标是否与该图片的二维坐标有交集，如果有交集，则判断用户的手部动作是否与动作集中的“选中”动作相匹配，例如动作集中手部动作为拳则表示选中。判断出用户的手部动作为拳时，则用户通过该手部动作选中了该图片。又例如，用户选中该图片之后，当用户移动手时，图片会随手的移动而移动。当用户离开摄像头的有效范围，图片也随之消失。当用户再次出现在摄像头前时，图片仍然附着在用户的手上。当用户的手势从拳头变为掌时，图片将被撤销选中，然后被固定在执行撤销选中时，用户的手所在的屏幕位置。
[0021]当本地和远程用户同时以拳头的手势置于图片上时，图片将被选中并可执行双人协同作业。本地和远程用户可以执行的协同操作有:放大、缩小、旋转。如上操作是实时进行的，图片随着两个用户的两手之间距离的变化而对图片进行放大、缩小，当间距变大时图片被放大，变小时图片被缩小，另外图片随两手间同X轴的夹角的变化而对图片进行旋转。当两用户之一，手势从拳头变为掌时，协同作业结束。
[0022]又例如，当用户以单指的手势置于图片上时，图片将被选中可执行注释(涂鸦)操作。操作随用户手指的移动，在图片上留下注释。当用户手势从单指变为掌时，撤销选中，图片将保存注释。
[0023]图2为根据本发明的实施方式的用于网络视频会议系统的文件操作的装置100。如图2所示,该装置包括图像获取单元10、肢体识别单元20和肢体动作处理单元30。图像获取单元10实时获取用户图像。肢体识别单元20识别用户肢体。肢体动作处理单元30判断用户肢体是否与文件相关联，如果是，则将用户的肢体动作与预定的动作集进行匹配，从而操作文件。
[0024]例如，图像获取单元10可为摄像头，从而获取用户图像。肢体识别单元20可将获取的用户图像从RGB颜色空间转换为HSV颜色空间，然后进行肤色检验以识别出用户肢体。例如，肢体识别单元20将符合阈值范围的图像识别为用户肢体并将识别出的肢体图像和二维坐标存入数组，例如，阈值设置为:0〈H〈20，51<S<255, 0〈V〈255。肢体识别单元20还用于从数组中提取出所识别出的肢体图像和二维坐标，再根据凸包区分出用户的头部和双手，对用户双手的图像进行凸包处理以区分用户的手部动作，例如，肢体识别单元20可将用户的手部动作区分为单指、掌、拳等。肢体识别单元20还可以进一步计算头部的重心，以区分左右手。
[0025]例如，用户期望通过拳头执行对图片执行选中操作。首先通过图像获取单元10(例如摄像头)获取用户的图像。肢体识别单元20识别出用户头部和双手。肢体动作处理单元30判断用户的手的二维坐标是否与该图片的二维坐标有交集，如果有交集，则判断用户的手部动作是否与动作集中的“选中”动作相匹配，例如动作集中手部动作为拳则表示选中。判断出用户的手部动作为拳时，则用户通过该手部动作选中了该图片。
[0026]以上仅为本申请的优选实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的【技术领域】，均同理包括在本申请的专利保护范围内。
【权利要求】
1.一种用于网络视频会议系统的文件操作方法，包括: 实时获取用户图像； 识别用户肢体； 判断所述用户肢体是否与文件相关联； 如果是，则将用户的肢体动作与预定的动作集进行匹配，从而操作所述文件。
2.如权利要求1所述的方法，其中，所述识别用户肢体包括: 将获取的用户图像从RGB颜色空间转换为HSV颜色空间； 进行肤色检验以识别出用户肢体。
3.如权利要求1所述的方法，其中，所述进行肤色检验以识别出用户肢体包括: 将符合阈值范围的图像识别为用户肢体并存储识别出的肢体图像和二维坐标； 根据凸包区分出用户的头部和双手； 对用户双手的图像进行凸包处理以区分用户的手部动作。
4.如权利要求3所述的方法，在根据凸包区分出用户的头部和双手之后还包括: 计算所述头部的重心，以区分左右手。
5.如权利要求3或4所述的方法，所述判断所述用户肢体是否与文件相关联包括: 判断所述用户的双手中的任何一个的二维坐标是否与文件的二维坐标有交集。
6.一种用于网络视频会议系统的文件操作装置，包括: 图像获取单元，实时获取用户图像； 肢体识别单元，识别用户肢体； 肢体动作处理单元，判断所述用户肢体是否与文件相关联，如果是，则将用户的肢体动作与预定的动作集进行匹配，从而操作所述文件。
7.如权利要求6所述的装置，其中，所述肢体识别单元还用于将获取的用户图像从RGB颜色空间转换为HSV颜色空间，进行肤色检验以识别出用户肢体。
8.如权利要求5所述的装置，其中，所述肢体识别单元还用于将符合阈值范围的图像识别为用户肢体并存储识别出的肢体图像和二维坐标，根据凸包区分出用户的头部和双手，对用户双手的图像进行凸包处理以区分用户的手部动作。
9.如权利要求8所述的方法，所述肢体识别单元还用于计算所述头部的重心，以区分左右手。
10.如权利要求8或9所述的方法，所述肢体动作处理单元还用于判断所述用户的双手中的任何一个的二维坐标是否与文件的二维坐标有交集。
【文档编号】G06F3/01GK104345873SQ201310339668
【公开日】2015年2月11日 申请日期:2013年8月6日 优先权日:2013年8月6日
【发明者】田雨 申请人:北大方正集团有限公司, 方正信息产业控股有限公司, 北京北大方正电子有限公司