显示装置及其控制方法、手势识别方法
【专利摘要】本发明提供一种显示装置及其控制方法、手势识别方法，属于手势识别【技术领域】，其可解决现有的手势识别中选择和确定操作须分别进行的问题。本发明的显示装置控制方法包括：裸眼3D显示单元显示虚拟3D控制画面，其中，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元与用户眼睛间的距离；图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。本发明可用于显示装置的控制，尤其适用于电视的控制。
【专利说明】显示装置及其控制方法、手势识别方法
【技术领域】
[0001]本发明属于手势识别【技术领域】，具体涉及一种显示装置及其控制方法、手势识别方法。
【背景技术】
[0002]随着技术发展，用手势对显示单元(电视、显示器等)进行控制已成为可能。具有手势识别功能的显示装置包括用于进行显示的显示单元，以及用于采集手势的图像采集单元(摄像头、相机等)；通过对所采集的图像进行分析，即可确定用户要进行的操作。
[0003]目前的手势识别技术中，“选择”和“确定”操作必须通过不同手势分别进行，操作麻烦，例如要通过手势为电视换台，则先要通过第一手势(如从左向右挥手)选台，每挥手一次台号变一次，当选到正确台号时，再通过第二手势(如从上向下挥手)进入该台。也就是说，现有显示装置的手势识别技术不能实现“选择”与“确定”合一的操作，即不能像平板电脑一样通过“点击(Touch)”多个候选图标中的某个，一次性选出要执行的指令并执行该指令。之所以如此，是因为“点击”操作必须准确判断点击位置。对平板电脑，手直接点在屏幕上，故通过触控技术确定点击位置是可行的。但对手势识别技术，手通常不能接触显示单元(尤其对电视，正常使用时用户离其很远)，而只能“指向”显示单元的某位置(如显示单元显示的某图标)，但这种远距离的“指向”准确度很差，在指向显示单元的同一位置时，不同用户的手势可能不同，有人指的偏左，有人指的偏右，故无法确定用户到底想指哪里，也就不能实现“点击”操作。
【发明内容】
[0004]本发明所要解决的技术问题包括，针对现有的手势识别中“选择”和“确定”操作必须分别进行的问题，提供一种可通过手势识别实现“选择”和“确定”操作一步完成的显示装置及其控制方法、手势识别方法。
[0005]解决本发明技术问题所采用的技术方案是一种显示装置的控制方法，其包括:
[0006]裸眼3D显示单元显示虚拟3D控制画面，其中，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元与用户眼睛间的距离；
[0007]图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；
[0008]手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0009]优选的，所述第一距离小于等于用户手臂的长度。
[0010]优选的，所述第一距离小于等于0.5米且大于等于0.25米。
[0011]优选的，所述虚拟3D控制画面为整个显示画面；或，所述虚拟3D控制画面为显示画面的一部分。
[0012]优选的，所述虚拟3D控制画面分为至少两个区域，每个区域对应I个控制指令。
[0013]优选的，在手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置之前，还包括:定位单元判断用户相对裸眼3D显示单元的位置；手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置包括:手势识别单元根据图像采集单元所采集的图像，以及用户相对裸眼3D显示单元的位置判断用户对虚拟3D控制画面的点击位置。
[0014]进一步优选的，定位单元判断用户相对裸眼3D显示单元的位置包括:定位单元判断用户相对裸眼3D显示单元的位置包括:定位单元对由图像采集单元采集的图像进行分析，从而判断用户相对裸眼3D显示单元的位置。
[0015]解决本发明技术问题所采用的技术方案是一种显示装置，其包括:
[0016]裸眼3D显示单元，其用于显示虚拟3D控制画面，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元与用户眼睛间的距离；
[0017]图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像；
[0018]手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0019]优选的，所述裸眼3D显示单元为电视或电脑显示屏。
[0020]优选的，所述裸眼3D显示单元为光栅式3D显示单元、棱镜膜式3D显示单元、指向光源式3D显示单元中的任意一种。
[0021]优选的，所述显示装置还包括:定位单元，其用于判断用户相对裸眼3D显示单元的位置。
[0022]进一步优选的，所述定位单元用于对由图像采集单元采集的图像进行分析，从而判断用户相对裸眼3D显示单元的位置。
[0023]解决本发明技术问题所采用的技术方案是一种手势识别方法，其包括:
[0024]裸眼3D显示单元显示虚拟3D控制画面，其中，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元与用户眼睛间的距离；
[0025]图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；
[0026]手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0027]其中，裸眼3D显示单元是指能在不使用3D眼镜的情况下，使用户裸眼即能看到有立体感的3D图像的显示单元。
[0028]其中，“虚拟3D控制画面”是指由裸眼3D显示单元显示的有立体感的控制画面，其用于实现对显示装置的控制。
[0029]其中，“虚拟距离”是指用户感到的虚拟3D控制画面与自己的距离；距离感是立体感的一部分，其是由左右眼所看到的图像的差别引起的，故只要裸眼3D显示单元显示特定的内容，即可使用户感到虚拟3D控制画面位于自己前方一定距离处，即使用户远离或靠近裸眼3D显示单元，其感觉到的虚拟3D控制画面与自己的距离始终不变。
[0030]其中，“执行单元”是指可执行相应控制指令的任何单元，例如，对换台指令，执行单元就是裸眼3D显示单元，而对改变音量的指令，执行单元就是发声单元。
[0031]本发明的显示装置及其控制方法、手势识别方法中，裸眼3D显示单元可为用户呈现虚拟3D控制画面，且虚拟3D控制画面与用户的距离小于裸眼3D显示单元与用户的距离，故用户会感觉虚拟3D控制画面离自己很近，就在面前，可直接伸手准确“点击”虚拟3D控制画面，这样不同用户点击虚拟3D控制画面同一位置时动作是相同或相似的，从而手势识别单元可准确判断用户希望的点击位置，进而实现“选择”与“确定”合一的“点击”操作。
[0032]本发明用于显示装置的控制，尤其适用于电视的控制。
【专利附图】
【附图说明】
[0033]图1为本发明的实施例1的显示装置的控制方法的流程图；
[0034]图2为本发明的实施例1的显示装置显示虚拟3D控制画面时的示意图；
[0035]其中附图标记为:1、裸眼3D显示单元；2、用户的眼睛；3、用户的手；4、虚拟3D控制画面；5、图像采集单元。
【具体实施方式】
[0036]为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和【具体实施方式】对本发明作进一步详细描述。
[0037]实施例1:
[0038]如图1所示，本实施例提供一种显示装置的控制方法，该方法适用的显示装置包括裸眼3D显示单元1、图像采集单元5、手势识别单元,优选还包括定位单元。
[0039]其中，裸眼3D显示单元I是指任何能在不使用3D眼镜的情况下，使用户裸眼即能看到有立体感的3D图像的显示单元。
[0040]优选的，裸眼3D显示单元I为光栅式3D显示单元、棱镜膜式3D显示单元、指向光源式3D显示单元中的任意一种。
[0041]以上3种显示单元都是已知的裸眼3D显示单元I。
[0042]其中，光栅式3D显示单元是在2D显示设备外设置光栅，对用户的左眼和右眼，光栅可分别挡住显示设备的不同区域，这样用户的左眼和右眼看到的是显示设备的不同区域，即双眼看到的内容不同，从而达到3D显示的效果。
[0043]对于棱镜膜式3D显示单元，其是在2D显示设备外设置棱镜片，通过棱镜片中小棱镜的折射作用，将来自显示设备不同位置的光分别射向用户左眼和右眼，从而使双眼看到不同内容，达到3D效果。
[0044]而指向光源式3D显示单元中，其显示模组具有特殊结构，不同位置的发光光源(里如背光源)的出光方向不同，分别射向用户的左眼和右眼，从而使左眼和右眼看到不同内容，达到3D效果。
[0045]图像采集单元5则用于采集用户的图像，其可为CCD(电荷耦合元件)摄像头、相机等已知器件。从方便的角度说，图像采集单元5可设在裸眼3D显示单元I附近(如固定在裸眼3D显示单元I上方或侧面)，或与裸眼3D显示单元I设计成一体结构。
[0046]具体的，上述控制方法包括以下步骤:
[0047]S01、裸眼3D显示单元I显示虚拟3D控制画面4，虚拟3D控制画面4与用户眼睛2间的虚拟距离等于第一距离，第一距离小于裸眼3D显示单元I与用户眼睛2间的距离。
[0048]其中，虚拟3D控制画面是指专门用于对显示装置进行控制操作的画面，其中包括对裸眼3D显示单元I的各种控制指令，用户通过选择不同控制指令即可实现对显示装置的控制。[0049]如图2所示，用户会感觉到虚拟3D控制画面4即位于自己前方一定距离(第一距离)处，而该第一距离小于裸眼3D显示单元I与用户间的距离。由于用户感觉到虚拟3D控制画面4与自己的距离较近，故可伸手3做出准确“点击”该画面某位置的动作，从而显示装置也可更准确的判断用户要进行什么操作，实现“点击”控制。
[0050]优选的，第一距离小于等于用户手臂的长度。在第一距离小于等于用户手臂的长度时，用户感觉自己伸手即可“接触”虚拟3D控制画面4，这样可最大程度的保证点击动作的准确性。
[0051]优选的，第一距离小于等于0.5米且大于等于0.25米。按照以上第一距离的范围，绝大多数人既不用伸直手臂努力去“够”虚拟3D控制画面4，也不会觉得虚拟3D控制画面4离自己太近。
[0052]优选的，虚拟3D控制画面4是整个显示画面。也就是说，当显示虚拟3D控制画面4时，显示虚拟3D控制画面4就是全部的显示内容，用户只能看到虚拟3D控制画面4，从而该虚拟3D控制画面4面积较大，可容纳较多的待选控制指令，且点击准确性较高。
[0053]优选的，作为本实施例的另一种方式，虚拟3D控制画面4也可以是整个显示画面的一部分。也就是说，显示虚拟3D控制画面4与常规画面(如3D电影)一同显示，其可以位于显示画面的边上或角落，从而用户可同时看到常规画面和虚拟3D控制画面4，以便随时进行控制(如调整音量、换台等)。
[0054]其中，当虚拟3D控制画面4是整个显示画面时，则其优选在满足一定条件(如用户发出指令)时才显示，其他情况下仍显示常规画面。而当虚拟3D控制画面4是显示画面的一部分时，其可以一直持续显不。
[0055]优选的，虚拟3D控制画面4分为至少两个区域，每个区域对应I个控制指令。也就是说，虚拟3D控制画面4可分为多个不同区域，点击每个区域可执行不同控制指令，从而通过一个虚拟3D控制画面4可进行多种不同操作。例如，可如图2所示，虚拟3D控制画面4等分为3行X3列共9个矩形区域，每个矩形对应一个控制指令(如改变音量、改变台号、改变亮度、退出虚拟3D控制画面4等)。
[0056]当然，若虚拟3D控制画面4只对应一个控制指令(如虚拟3D控制画面4为显示画面的一部分，其对应的指令为“进入全屏控制画面”)也是可行的。
[0057]S02、图像采集单元5采集用户对虚拟3D控制画面4的点击动作的图像。
[0058]也就是说，当裸眼3D显示单元I显示虚拟3D控制画面4时，图像采集单元5开启，从而采集用户的动作的图像，具体是用户伸手3对虚拟3D控制画面4进行点击的动作的图像。
[0059]当然，在未显示显示虚拟3D控制画面4时时，图像采集单元5也可开启，从而用于采集用户其他手势的图像或用于确定用户位置。
[0060]S03、可选的，定位单元判断用户相对裸眼3D显示单元I的位置(距离和/或角度)。
[0061]显然，当用户与裸眼3D显示单元I的相对位置不同时，虽然对用户来说其做出的控制动作并无变化(都是点击自己面前的虚拟3D控制画面4);但对图像采集单元5来说，其所采集到的图像却不相同；为此，最好能预先判断出用户与裸眼3D显示单元I的相对位置关系，从而在手势识别过程中进行更准确的识别。[0062]具体的，作为一种优选方式，定位单元可通过对由图像采集单元5采集的图像进行分析来判断用户相对裸眼3D显示单元I的位置。例如，当开始显示虚拟3D控制画面4时，可将图像采集单元5采集的第一幅图像用于判断用户相对裸眼3D显示单元I的位置，之后采集的图像再用于手势分析。根据图像判断用户相对裸眼3D显示单元I的位置的方法也是多样的，如可通过轮廓线分析得到用户形体或用户眼睛2的轮廓，进而判断用户位置。
[0063]当然，判断用户相对裸眼3D显示单元I的位置的方法还有很多，如可在两不同位置设置红外测距器，通过两个红外测距器分别测得的与用户间的距离计算出用户位置。
[0064]当然，如果不进行上述定位判断也是可行的，因为对裸眼3D显示单元1，为保证观看效果，用户通常是位于裸眼3D显示单元I前特定位置处的，故也可默认用户位置。
[0065]S04、手势识别单元根据图像采集单元5所采集的图像(以及用户相对裸眼3D显示单元I的位置)判断用户对虚拟3D控制画面4的点击位置，并将点击位置所对应的控制指令发给相应的执行单元。
[0066]如前所述，用户与裸眼3D显示单元I的相对位置是已知的，且虚拟3D控制画面4位于用户之前一定距离处，因此，如图2所示，手势识别单元可确认虚拟3D控制画面4相对裸眼3D显示单元I的空间位置(因虚拟3D控制画面4必然位于裸眼3D显示单元I与用户间的连线上)，同时，当用户伸手3点击虚拟3D控制画面4时，手势识别单元也可根据图像(图像采集单元5相对裸眼3D显示单元I的位置显然也已知)确认其所点击的空间位置(即手3的位置)，进而确认与点击位置对应的虚拟3D控制画面4的位置，也就是确定与用户手势对应的控制指令；这样，手势识别单元即可将该控制指令发送给相应的执行单元，使该执行单元执行响应指令，实现控制。
[0067]其中，“执行单元”是指可执行相应控制指令的任何单元，例如，对换台指令，执行单元就是裸眼3D显示单元1，而对改变音量的指令，执行单元就是发声单元。
[0068]如前所述，若用户与裸眼3D显示单元I的相对位置不确定(即未进行步骤S03)，则可以按照默认位置判断用户位置；或者，也可通过判断用户的手与其身体的相对位置关系判断用户要点击什么位置(因为虚拟3D控制画面4与用户的相对位置关系是已知的)。
[0069]本实施例还提供一种可使用上述的方法进行控制的显示装置，其包括:
[0070]用于进行显示的裸眼3D显示单元1，其用于显示虚拟3D控制画面4，所述虚拟3D控制画面4与用户眼睛2间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元I与用户眼睛2间的距离；
[0071]图像采集单元5，其用于采集用户对虚拟3D控制画面4的点击动作的图像；
[0072]手势识别单元，其用于根据图像采集单元5所采集的图像判断用户对虚拟3D控制画面4的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0073]优选的，裸眼3D显示单元I为电视或电脑显示屏。
[0074]优选的，裸眼3D显示单元I为光栅式3D显示单元、棱镜膜式3D显示单元、指向光源式3D显示单元中的任意一种。
[0075]优选的，显示装置还包括:定位单元，用于判断用户相对裸眼3D显示单元I的位置。
[0076]进一步优选的，定位单元用于对由图像采集单元5采集的图像进行分析，从而判断用户相对裸眼3D显示单元I的位置。[0077]实施例2:
[0078]本实施例提供一种手势识别方法，其包括:
[0079]裸眼3D显示单元显示虚拟3D控制画面，其中，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元与用户眼睛间的距离；
[0080]图像采集单元采集用户对虚拟3D控制画面的点击动作的图像；
[0081]手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
[0082]也就是说，上述的手势识别方法并不限于控制显示装置，其也可用于控制其他装置，只要手势识别单元将控制指令发送(如通过无线方式)给相应的装置即可；例如，可通过一套专门的手势识别系统对电视、电脑、空调、洗衣机等许多装置进行统一控制。
[0083]可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
【权利要求】
1.一种显示装置的控制方法，其特征在于，包括: 裸眼3D显示单元显示虚拟3D控制画面，其中，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元与用户眼睛间的距离； 图像采集单元采集用户对虚拟3D控制画面的点击动作的图像； 手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
2.根据权利要求1所述的显示装置的控制方法，其特征在于， 所述第一距离小于等于用户手臂的长度。
3.根据权利要求1所述的显示装置的控制方法，其特征在于， 所述第一距离小于等于0.5米且大于等于0.25米。
4.根据权利要求1所述的显示装置的控制方法，其特征在于， 所述虚拟3D控制画面为整个显示画面； 或 所述虚拟3D控制画面为显示画面的一部分。
5.根据权利要求1所述的显示装置的控制方法，其特征在于， 所述虚拟3D控制画面分为 至少两个区域，每个区域对应I个控制指令。
6.根据权利要求1至5中任意一项所述的显示装置的控制方法，其特征在于， 在手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置之前，还包括:定位单元判断用户相对裸眼3D显示单元的位置； 手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置包括:手势识别单元根据图像采集单元所采集的图像，以及用户相对裸眼3D显示单元的位置判断用户对虚拟3D控制画面的点击位置。
7.根据权利要求6所述的显示装置的控制方法，其特征在于，定位单元判断用户相对裸眼3D显示单元的位置包括: 定位单元对由图像采集单元采集的图像进行分析，从而判断用户相对裸眼3D显示单元的位置。
8.一种显示装置，其特征在于，包括: 裸眼3D显示单元，其用于显示虚拟3D控制画面，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元与用户眼睛间的距离；图像采集单元，其用于采集用户对虚拟3D控制画面的点击动作的图像； 手势识别单元，其用于根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对应的控制指令发送给相应的执行单元。
9.根据权利要求8所述的显示装置，其特征在于， 所述裸眼3D显示单元为电视或电脑显示屏。
10.根据权利要求8所述的显示装置，其特征在于， 所述裸眼3D显示单元为光栅式3D显示单元、棱镜膜式3D显示单元、指向光源式3D显示单元中的任意一种。
11.根据权利要求8至10中任意一项所述的显示装置，其特征在于，还包括: 定位单元，其用于判断用户相对裸眼3D显示单元的位置。
12.根据权利要求11所述的显示装置，其特征在于， 所述定位单元用于对由图像采集单元采集的图像进行分析，从而判断用户相对裸眼3D显示单元的位置。
13.一种手势识别方法，其特征在于，包括: 裸眼3D显示单元显示虚拟3D控制画面，其中，所述虚拟3D控制画面与用户眼睛间的虚拟距离等于第一距离，所述第一距离小于裸眼3D显示单元与用户眼睛间的距离； 图像采集单元采集用户对虚拟3D控制画面的点击动作的图像； 手势识别单元根据图像采集单元所采集的图像判断用户对虚拟3D控制画面的点击位置，并将点击位置所对 应的控制指令发送给相应的执行单元。
【文档编号】G06F3/01GK103529947SQ201310529219
【公开日】2014年1月22日 申请日期:2013年10月31日 优先权日:2013年10月31日
【发明者】冷长林 申请人:京东方科技集团股份有限公司