一种具有3d摄像组件的电子设备的制造方法
【技术领域】
[0001] 本发明涉及计算机技术，尤其涉及一种具有3D摄像组件的电子设备。
【背景技术】
[0002] 随着移动计算设备从笔记本电脑到手机、平板电脑的演化，移动计算设备的操控 方式也经历了从键盘、鼠标到手机按键、手写板，再到触摸屏、虚拟键盘的进化，可以看到， 移动设备的操控方式是朝着越来越直观、简便，并且符合人的自然习惯的方向进化的。
[0003] 目前在移动计算设备上广泛使用的基于触摸屏的操控方式，技术上是将一块透明 的触摸感应屏和显示屏贴合在一起，触摸感应屏实质上是一个定位装置，能够捕捉到屏幕 上的触摸动作并获取其位置，同时结合时间轴信息，将动作识别其为点触、长触、滑动等动 作之一。进而将位置和动作信息作为指令传递给移动计算设备，移动计算设备基于该指令 做出相应的操作反应。由于触摸感应屏与显示屏是叠加在一起的，因此带给使用者"所点即 所想"的使用感受，相比鼠标、触控板等定位设备需要通过光标反馈位置的输入方式，屏幕 触控方式带来更好的使用体验。
[0004] 屏幕触控方式相比键盘加鼠标的方式，更加符合人的直观反应、更容易学习，但是 屏幕触控方式毕竟只捕捉到了人体手指的动作，在一些需要更多使用者本体信息输入的场 合，比如运动游戏、模拟训练、复杂操控、远距离操控等，屏幕触控方式就显示出其捕获人体 信息过于单一的局限性了。从人机交互的角度，更多的使用者信息的获取，将能够传达更丰 富、更精准的使用者操作意图，因此必然能够带来更便利的操控方法和更好的使用体验。然 而，目前的人机交互技术中的手势识别处理所采用的算法较为复杂、耗费时间且识别精度 低的问题。
【发明内容】
[0005] 在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本 理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的 关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。
[0006] 鉴于此，本发明提供了一种具有3D摄像组件的电子设备，以至少解决现有的人机 交互技术中的手势识别处理所采用的算法较为复杂、耗费时间且识别精度低的问题。
[0007] 根据本发明的一个方面，提供了一种具有3D摄像组件的电子设备，该电子设备包 括：3D摄像单元，用于捕获含有深度信息的使用者手部的待测图像序列；轮廓检测单元，用 于根据图像深度信息和图像颜色信息，在待测图像序列的每帧图像中检测出使用者的手部 轮廓；特征点序列确定单元，用于针对使用者的每只手，利用预设的手部结构模板，在待测 图像序列的每帧图像中确定该只手的待测特征点序列；动作识别单元，用于针对使用者的 每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据匹配 序列确定该只手的动作名称和位置；手势识别单元，用于在预设手势表中选择与使用者双 手的动作名称和位置相匹配的手势，作为已识别手势；指令确定单元，用于根据预设操作指 令表，确定与已识别手势对应的操作指令；执行单元，用于对与确定的操作指令相关的设备 进行与该操作指令对应的操作。
[0008] 进一步地，特征点序列确定单元包括：模板存储子单元，用于存储预设的手部结构 模板；模板匹配子单元，用于针对使用者的每只手，利用预设的手部结构模板，在待测图像 序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；序列生成子单元，用于针 对使用者的每只手，利用该只手在待测图像序列的各帧图像中对应的预定数目个特征点， 获得该只手的待测特征点序列。
[0009] 进一步地，3D摄像单元用于：通过捕获预定成像区域内的使用者手部的图像，获 得可见光图像序列?/k.U)丨和红外图像序列W(W)!，Ku)为可见光图像序列第i帧 图像坐标（X，y)处的像素值，而/:i(-VJ，)为红外图像序列第i帧图像坐标（X，y)处的像素值， 根据如下公式获得抽取使用者双手信息的图像序列：
[0011] 其中，α、β、λ为预设参数阈值，{4〇，_>')丨为获取的含有深度信息的使用者双手 的图像序列，作为待测图像序列，i = 1，2, -·，Μ，M为待测图像序列所包含的图像帧数。
[0012] 进一步地，轮廓检测单元用于：针对待测图像序列丨/:(.r,.r);中的每帧图像 4(.T,r)，结合颜色信息删除该帧图像中的噪声点及非肤色区域，利用边缘检测算 子Ε(·)对删除噪声点和非肤色区域后所得到的图像/U.v,.r)进行边缘检测，得到边缘图像 。(A.V): U.i') = ，边缘图像斗(A-，妁
[0013] 进一步地，模板匹配子单元包括：定位基点确定模块，其用于针对待测图像序列的 每帧图像，根据该图像中的轮廓线的曲率找到该轮廓线中的指尖点和指根关节点，以将指 尖点作为定位基点；缩放基准确定模块，其用于针对定位基点确定模块处理后的每帧图像， 基于该帧图像中已找到的定位基点，匹配每个单指的指根关节点，得到各单指的长度来作 为尺度缩放的基准；缩放及形变模块，其用于针对缩放基准确定模块处理后的每帧图像，基 于已找到的指尖点和指根关节点的位置以及各单指的长度来对相应的手部结构模板进行 缩放和形变，通过匹配得到每只手的各指关节特征点和手腕中点特征点；其中，模板存储子 单元存储的手部结构模板包括左手结构模板和右手结构模板，左手结构模板和右手结构模 板各自包括：各手指的指尖特征点、各指关节特征点、各指根关节特征点、手腕中点特征点 以及各特征点之间的拓扑关系。
[0014] 进一步地，动作识别单元包括：分割子单元，用于针对每只手的待测特征点序列， 根据预定时间窗将该待测特征点序列分割为多个子序列，并获得每个子序列对应的平均位 置；匹配序列确定子单元，用于针对每只手对应的每个子序列，将该子序列与多个预设特征 点序列中的每一个分别进行匹配，在多个预设特征点序列中选择与该子序列的匹配程度高 于预设的匹配阈值、并且最大的预设特征点序列，作为该子序列的匹配序列；关联子单元， 用于将每个子序列对应的平均位置与该子序列的匹配序列对应的动作名称相关联；动作名 称确定子单元，用于针对每只手，将该只手对应的各子序列的匹配序列作为该只手对应的 多个匹配序列，并将该多个匹配序列各自对应的动作名称作为该只手的多个动作名称。
[0015] 进一步地，手势识别单元包括：手势表存储子单元，用于存储如下映射列表来作为 预设手势表：该映射列表中的每个映射的左端是一组动作名称对及每个动作名称对的位 置；该映射列表中的每个映射的右端是一个手势；手势表匹配子单元，用于将预设手势表 中的每个映射的左端与使用者双手的动作名称和位置进行匹配，其中，动作名称的匹配执 行严格匹配，而位置则是通过使用者双手各自的平均位置计算得到相对位置信息，进而计 算该相对位置信息与映射左端的位置之间的相似度来实现的。
[0016] 进一步地，具有3D摄像组件的电子设备还包括：实时显示单元，用于基于使用者 每只手的位置在设备的屏幕上显示使用者手部的模拟图形。
[0017] 进一步地，实时显示单元用于：根据使用者每只手对应的待测特征点序列，通过连 接骨骼后外延得到该只手的外轮廓图形，作为该只手的模拟图形；通过对使用者双手的相 对位置进行平移校准和比例缩放，确定使用者的每只手在屏幕中的显示位置；基于使用者 每只手的模拟图形和显示位置来在屏幕中显示使用者手部的模拟图形。
[0018] 进一步地，电子设备为以下之一：手机、多媒体播放设备、台式机、笔记本电脑以及 平板电脑。
[0019] 上述根据本发明实施例的具有3D摄像组件的电子设备，先识别单手动作、再通过 双手动作识别手势，进而根据已识别手势来执行对应操作，在人机交互过程中能够准确识 别使用者的手势，识别精度较高，而且识别速度较快。
[0020] 此外，由于本发明实施例采用深度摄像头获取使用者的人体动作作为操作移动计 算设备的输入操控指令，因此能够令使用者使用更加直观、便利的自然动作实现对移动计 算设备的非接触式操控，为移动计算设备在诸如运动游戏、模拟训练、复杂操控、远距离操 控等领域中的应用提供更加便捷精准的输入、控制。
[0021] 本发明的上述具有3D摄像组件的电子设备采用层次化设计算法，算法复杂度低， 便于实现。
[0022] 此外，应用本发明的上述具有3D摄像组件的电子设备，当需要改变（例如修改、增 加或减少等）对动作和/或手势的定义时，可以仅通过调整模板（即，通过修改预设特征点 序列对应的动作名称来改变动作的定义，通过增加或减少预设特征点序列及其对应动作名 称来增、减动作）以及预设手势表（即，通过修改预设手势表中手势对应的多个动作来改变 手势的定义，通过增加或减少预设手势表中的手势及其对应动作来增、减手势），而不需改 变算法或者重新训练分类器，大大提高了算法的适应性。
[0023] 此外，本发明的上述具有3D摄像组件的电子设备的实时性强，能够适合即时交互 需求的场合。
[0024] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的