目摄像头获取图像帧的顺序，将各摄像头获取的图像帧分别划分为W帧图像一组，针对每个摄像头的每组图像叠加为一帧图像； 针对每个摄像头叠加处理后的各帧图像获取操作物上固定点的坐标； 根据双目测距原理，使用针对每个摄像头获取的操作物上的固定点的坐标，计算出各顶点坐标对应的三维坐标； 将计算出的三维坐标按计算获取顺序排列，作为该操作物滑动的三维轨迹。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括:配置窗口长度为M，滑动步长为N ;其中，M，N为大于O的整数； 所述对获取的各帧图像进行图像处理，获取操作物的位置坐标，并根据操作物的位置坐标，以及双目测距原理获取操作物滑动过程中的三维坐标对应的三维轨迹，包括: 当所述操作物带有发光体时，针对双目摄像头中的每个摄像头每间隔N帧图像，针对M帧图像中的每帧图像中的发光体的中心坐标求平均值，作为所述M帧图像的发光体的中心坐标； 根据双目测距原理，使用每个摄像头针对每组M帧图像获得操作物的发光体的三维中心坐标； 将获得的发光体的三维中心坐标按获取顺序排列，作为该操作物滑动的三维轨迹。
4.根据权利要求3所述的方法，其特征在于，所述获得该操作物的二维轨迹之后，所述根据所述二维轨迹进行字符识别之前，所述方法进一步包括: 确定获得操作物的发光体的三维中心坐标的个数是否为大于预设个数阈值，如果是，将所述获得的发光体的三维中心坐标按获取顺序排列，作为该操作物滑动的三维轨迹；否贝1J，继续通过双目摄像头获取图像帧，按照不带发光体的操作物滑动过程处理，获得该操作物滑动的三维轨迹。
5.根据权利要求1所述的方法，其特征在于，所述移动设备为可带在眼睛上的移动设备; 所述获得该操作物的二维轨迹之后，所述根据所述二维轨迹进行字符识别之前，所述方法进一步包括: 确定所述移动设备是否显示虚拟键盘，如果是，根据所述二维轨迹确定经过所述虚拟键盘上的虚拟按键所指示的字符，并根据所述确定的经过所述虚拟键盘上的虚拟按键所指示的字符，以及当前选择的输入法匹配输出相关候选字符并显示；否则，执行所述根据二维轨迹进行二维字符识别及后续操作。
6.根据权利要求1所述的方法，其特征在于，所述移动设备为可带在眼睛上的移动设备; 通过双目摄像头获取操作物点击虚拟键盘上的虚拟按键的各帧图像； 对获取的各帧图像进行图像处理，获取操作物的位置信息，并根据操作物的位置信息，以及双目测距原理获得操作物点击过程中的三维坐标对应的三维轨迹； 并将所述三维轨迹映射到平面上，按照聚类、分类算法区分出落在所述平面上的点；并确定出区分出的落在所述平面上的点在所述虚拟键盘上对应位置的虚拟按键所指示的字符，根据确定出的字符，以及当前选择的输入法匹配出相关候选字符并显示；所述平面使获取的所有三维坐标点到该平面的距离之和最小。
7.根据权利要求5或6所述的方法，其特征在于，所述方法进一步包括: 当通过双目摄像头获取操作点击选择候选字符的各帧图像时，根据候选字符显示的位置，以及获取的图像个数，确定操作物在各候选字符所在位置的停留时间，当确定所述操作物在任一候选字符所在位置停留时间大于预设时间阈值时，确定该候选字符为用户选中输入的字符并显示。
8.一种信息输入装置，其特征在于，应用于安装基于动态的双目摄像头的移动设备上，该装置包括:获取单元、处理单元、映射单元和识别显示单元； 所述获取单元，用于通过双目摄像头获取操作物滑动过程中的各帧图像； 所述处理单元，用于对所述获取单元获取的各帧图像进行图像处理，获取操作物的位置坐标，并根据操作物的位置坐标，以及双目测距原理获取操作物滑动过程中的三维坐标对应的三维轨迹； 所述映射单元，用于将所述处理单元获得的所述三维轨迹映射到平面上，获得该操作物的二维轨迹；所述平面使获取的所有三维坐标点到该平面的距离之和最小； 所述识别显示单元，用于根据所述映射单元获得的二维轨迹进行字符识别，将使用字符识别结果在配置的数据库中匹配到对应的字符并显示。
9.根据权利要求8所述的装置，其特征在于，所述装置进一步包括:配置单元； 所述配置单元，用于配置窗口长度为W;其中，W为大于O的整数； 所述处理单元，具体用于按照双目摄像头获取图像帧的顺序，将各摄像头获取的图像帧分别划分为所述配置单元配置的W帧图像一组，针对每个摄像头的每组图像叠加为一帧图像；针对每个摄像头叠加处理后的各帧图像获取操作物上固定点的坐标；根据双目测距原理，使用针对每个摄像头获取的操作物上的固定点的坐标，计算出各顶点坐标对应的三维坐标；将计算出的三维坐标按计算获取顺序排列，作为该操作物滑动的三维轨迹。
10.根据权利要求8所述的装置，其特征在于，所述装置进一步包括:配置单元； 所述配置单元，用于配置窗口长度为M,滑动步长为N ;其中，M，N为大于O的整数； 所述处理单元，具体用于当所述操作物带有发光体时，针对双目摄像头中的每个摄像头每间隔所述配置单元配置的N帧图像，针对M帧图像中的每帧图像中的发光体的中心坐标求平均值，作为所述M帧图像的发光体的中心坐标；根据双目测距原理，使用每个摄像头针对每组M帧图像获得操作物的发光体的三维中心坐标；将获得的发光体的三维中心坐标按获取顺序排列，作为该操作物滑动的三维轨迹。
11.根据权利要求10所述的装置，其特征在于， 所述处理单元，进一步用于确定获得操作物的发光体的三维中心坐标的个数是否为大于预设个数阈值，如果是，将所述获得的发光体的三维中心坐标按获取顺序排列，作为该操作物滑动的三维轨迹；否则，继续通过双目摄像头获取图像帧，按照不带发光体的操作物滑动过程处理，获得该操作物滑动的三维轨迹。
12.根据权利要求8所述的装置，其特征在于，所述移动设备为可带在眼睛上的移动设备; 所述识别显示单元，进一步用于确定本单元所在移动设备是否显示虚拟键盘，如果是，根据所述二维轨迹确定经过所述虚拟键盘上的虚拟按键所指示的字符，并根据所述确定的经过所述虚拟键盘上的虚拟按键所指示的字符，以及当前选择的输入法匹配输出相关候选字符并显示；否则，执行所述根据二维轨迹进行二维字符识别及后续操作。
13.根据权利要求8所述的装置，其特征在于，所述移动设备为可带在眼睛上的移动设备; 所述获取单元，进一步用于通过双目摄像头获取操作物点击虚拟键盘上的虚拟按键的各帧图像； 所述处理单元，进一步用于对获取的各帧图像进行图像处理，获取操作物的位置信息，并根据操作物的位置信息，以及双目测距原理获得操作物点击过程中的三维坐标对应的三维轨迹； 所述映射单元，进一步用于将所述三维轨迹映射到平面上，所述平面使获取的所有三维坐标点到该平面的距离之和最小； 所述识别显示单元，进一步用于按照聚类、分类算法区分出落在所述平面上的点；并确定出区分出的落在所述平面上的点在所述虚拟键盘上对应位置的虚拟按键所指示的字符，根据确定出的字符，以及当前选择的输入法匹配出相关候选字符并显示。
14.根据权利要求12或13所述的装置，其特征在于， 所述处理单元，进一步用于当通过双目摄像头获取操作点击选择候选字符的各帧图像时，根据候选字符显示的位置，以及获取的图像个数，确定操作物在各候选字符所在位置的停留时间，当确定所述操作物在任一候选字符所在位置停留时间大于预设时间阈值时，确定该候选字符为用户选中输入的字符并触发所述识别显示单元显示。
【专利摘要】本发明提供了一种信息输入方法和装置，应用于安装基于动态的双目摄像头的移动设备上，该移动设备通过双目摄像头获取操作物滑动过程中的各帧图像；对获取的各帧图像进行图像处理，获取操作物的位置坐标，并根据操作物的位置坐标，以及双目测距原理获取操作物滑动过程中的三维坐标对应的三维轨迹；将所述三维轨迹映射到平面上，获得该操作物的二维轨迹；根据所述二维轨迹进行字符识别，将使用字符识别结果在配置的数据库中匹配到对应的字符并显示；能够在多场景下低功耗实现信息的输入。
【IPC分类】G06F3-01
【公开号】CN104714650
【申请号】CN201510156133
【发明人】张国梁, 陈列新, 程俊杰, 马飞, 徐杰, 刁伟
【申请人】三星电子（中国）研发中心, 三星电子株式会社
【公开日】2015年6月17日
【申请日】2015年4月2日