基于视觉定位标识的实物桌面交互方法、系统及装置与流程

1.本文件涉及计算机技术领域，尤其涉及一种基于视觉定位标识的实物桌面交互方法、系统及装置。


背景技术：

2.在现实生活中，特别是青少年的学习过程中，需要大量的桌面作业。在桌面作业过程中，如果需要通过计算机或者网络获得帮助，需要操作多种设备才能完成。按照目前的技术，也可以通过摄像头加手势识别的技术途径，进行一些简化处理，但是手势识别存在精度不高，无法实现像素级别的精度，且需要算力偏大的问题。目前利用视觉识别已经可以对尖角等特征点进行像素级别的定位，例如通过识别可以获得二维码、aruco码的角点坐标，因此完全可以利用视觉定位标识解决实物桌面与智能终端的信息交互问题。


技术实现要素：

3.本发明的目的在于提供一种基于视觉定位标识的实物桌面交互方法、系统及装置，旨在解决现有技术中的上述问题。
4.本发明提供一种基于视觉定位标识的实物桌面交互方法，包括：
5.获取成像装置拍摄的图像，识别图像中是否存在视觉定位标识，其中，所述视觉定位标识携带有可被图像识别的一个或多个特征点，视觉定位标识并不一定是一个独立的标识物或二维码等，任何具有可以被图像识别并确定坐标的一个或多个特征点的物体或物体的局部，都可被称为视觉定位标识，例如，某一张纸的一个角可以被图像识别并确定这个角在图像中的坐标，这个角即可被称为视觉定位标识，或者在鼠标上增加一个容易被识别的尖角，这个角也可被称为视觉定位标识；
6.如果存在所述视觉定位标识，在所述图像中确定所述特征点的坐标；
7.根据特征点的坐标生成交互信息。
8.优选地，根据特征点的坐标生成交互信息具体包括：
9.基于预先存储、远程调用或从所述视觉定位标识中获取的交互信息生成规则，基于所述交互信息生成规则，根据所述特征点的坐标生成所述交互信息。
10.优选地，图像中划分有一个或多个区域，每个区域有对应的交互信息生成规则，各区域对应的交互信息生成规则相同或不同；
11.根据特征点的坐标生成交互信息具体包括：
12.根据所述特征点的坐标，确定所在区域，根据该区域对应的交互信息生成规则，生成所述交互信息。
13.优选地，所述图像中划分有一个或多个区域，具体包括：
14.设置用于标记区域的视觉定位标识；
15.根据图像中用于标记区域的视觉定位标识的特征点的坐标确定所述一个或多个区域。
16.优选地，据所述特征点的坐标生成所述交互信息，具体包括：
17.按照交互信息生成规则，根据所述特征点的坐标，结合通过智能终端或外部设备或图像中的元素或图像中的其他视觉定位标识获得的信息，生成所述交互信息。
18.优选地，根据所述特征点的坐标生成所述交互信息，具体包括：
19.确定视觉定位标识的种类；
20.确定此类视觉定位标识对应的交互信息生成规则；
21.按照交互信息生成规则，根据特征点的坐标，生成交互信息。
22.优选地，根据特征点的坐标生成交互信息具体包括：
23.将图像中识别出来的区域校正成矩形或圆形；
24.获取特征点校正之后的坐标；
25.根据校正后的坐标和该区域对应的交互信息生成规则，生成所述交互信息。
26.优选地，所述区域或校正之后的所述区域是矩形，所述方法进一步包括：
27.以矩形的一条边为基准线；
28.获取特征点到基准线的距离；
29.特征点到基准线距离出现最短距离后，即在出现最短距离之前和之后，特征点到基准线的距离都较最短距离更长，根据出现最短距离时的特征点的坐标生成交互信息。
30.本发明实施例还提供了一种实物桌面交互鼠标装置，所述装置包括：
31.视觉定位标识展示模块，用于展示视觉定位标识，其中，视觉定位标识用于确定特征点在图像中的坐标，视觉定位标识可以是鼠标上的可以图像识别的局部，例如，在鼠标上设置一个直角的尖角，通过图像识别可以获得这个尖角的顶点所对应的坐标；
32.按键，用于获取使用者的操作动作并生成操作信息，所述操作信息可以启动所述基于视觉定位标识的实物桌面交互方法所述的交互过程，或者提供交互信息生成规则所需要的信息。
33.本发明实施例还提供了一种实物桌面交互成像装置，所述装置包括：
34.成像装置，用于获取实物桌面的图像；
35.实物控件，用于获取使用者的操作动作生成操作信息，所述操作信息可以启动所述基于视觉定位标识的实物桌面交互方法所述的交互过程，或者提供交互信息生成规则所需要的信息，所述实物控件可以是任何可以操作的设备或物体，例如各种开关、触摸屏、按键、旋钮、触控板、滚轮等。
36.本发明实施例还提供了一种基于视觉定位标识的实物桌面交互系统，包括：
37.成像装置，用于拍摄图像；
38.处理模块，获取成像装置拍摄的图像，识别图像中是否存在视觉定位标识，其中，所述视觉定位标识携带有可被图像识别的一个或多个特征点；如果存在所述视觉定位标识，在所述图像中确定所述特征点的坐标；根据特征点的坐标生成交互信息。
39.本发明实施例还提供了一种基于视觉定位标识的实物桌面交互装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于视觉定位标识的实物桌面交互方法的步骤。
40.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如上所述的基于视觉定位标识的
实物桌面交互方法的步骤。
41.采用本发明实施例，利用图像识别技术，可以较为简便和准确的实现对物体的定位和测量。
附图说明
42.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明实施例的基于视觉定位标识的实物桌面交互方法的流程图；
44.图2是本发明实施例的原理说明图；
45.图3是本发明实施例的实物桌面交互鼠标的示意图；
46.图4是本发明实施例的触控板示意图；
47.图5是本发明实施例的键盘区域的示意图；
48.图6是本发明实施例中用于实物桌面交互的成像装置的示意图；
49.图7是本发明实施例的区域校正示意图；
50.图8本发明实施例的优选实例的示意图；
51.图9是本发明实施例的基于视觉定位标识的实物桌面交互系统的示意图；
52.图10是本发明实施例的基于视觉定位标识的实物桌面交互系统的优选示意图；
53.图11是本发明实施例的基于视觉定位标识的实物桌面交互装置的示意图。
具体实施方式
54.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
55.方法实施例
56.根据本发明实施例，提供了一种基于视觉定位标识的实物桌面交互方法，图1是本发明实施例的基于视觉定位标识的实物桌面交互方法的流程图，如图1所示，根据本发明实施例的基于视觉定位标识的实物桌面交互方法具体包括：
57.步骤101，获取成像装置拍摄的图像，识别图像中是否存在视觉定位标识，其中，所述视觉定位标识携带有可被图像识别的一个或多个特征点，除特征点外，在一些实施例中，所述视觉定位标识还可以带有用于与其他相似物进行区分的信息，例如用于指示视觉定位标识的特征元素、视觉定位标识的id编号等；
58.步骤102，如果存在所述视觉定位标识，在所述图像中确定所述特征点的坐标，所述特征点可以是图像中直接被识别出来的点，也可以是根据直接识别出来的点的坐标推导出坐标的任意点；
59.步骤103，根据特征点的坐标生成拟向智能终端传递的交互信息。具体地，基于预
先存储、远程调用或从所述视觉定位标识中获取的交互信息生成规则，基于所述交互信息生成规则，根据所述特征点的坐标生成所述交互信息。更具体地，方式一：按照交互信息生成规则，根据所述特征点的坐标，结合通过智能终端或外部设备或图像中的元素或图像中的其他视觉定位标识获得的信息，生成所述交互信息。例如，根据特征点的坐标截取图像中的一部分作为交互信息，或者根据其他视觉定位标识的出现或者消失或者运动轨迹以及本视觉定位标识特征点的坐标，生成交互信息。例如，当图像中被识别出三角形时，根据视觉定位标识确定特征点的坐标，并生成交互信息，命令智能终端在图像中以特征点坐标处为中心画一个圆。又如，多个视觉定位标识分别代表不同的计算机语句或参数，根据多个视觉定位标识的坐标(例如按y坐标从小到大顺序排列)，将多个视觉定位标识转化为一段计算机程序。又如，当鼠标左键或右键被点击时，会根据被点击的按键和特征点的坐标生成不同交互信息。方式二：确定视觉定位标识的种类；确定此类视觉定位标识对应的交互信息生成规则；按照交互信息生成规则，根据特征点的坐标，生成交互信息。
60.在本发明的一个实例中，使用了多个不同的视觉定位标识，每个视觉定位标识对应的交互信息生成规则相同或不同，多个视觉定位标识也可以组合在一起对应一个交互信息生成规则。
61.在本发明的一个实例中，图像中划分有一个或多个区域，每个区域有对应的交互信息生成规则，各区域对应的交互信息生成规则相同或不同；
62.根据特征点的坐标生成交互信息具体包括：
63.根据所述特征点的坐标，确定所在区域，根据该区域对应的交互信息生成规则，生成所述交互信息。
64.其中，所述图像中划分有一个或多个区域具体包括：
65.设置用于标记区域的视觉定位标识；
66.根据图像中用于标记区域的视觉定位标识的特征点的坐标确定所述一个或多个区域。
67.在本发明的另一个实施例中，根据特征点的坐标生成交互信息具体包括：
68.利用单应性将图像中识别出来的区域校正成矩形或圆形；
69.获取特征点校正之后的坐标；
70.根据校正后的坐标和该区域对应的交互信息生成规则，生成所述交互信息。
71.在实际应用中，所述区域或校正之后的所述区域是矩形，所述方法进一步包括：
72.以矩形的一条边为基准线；
73.获取特征点到基准线的距离；
74.特征点到基准线距离出现最短距离后，即在出现最短距离之前和之后，特征点到基准线的距离都较最短距离更长，根据出现最短距离时的特征点的坐标生成交互信息。
75.以下结合附图，对本发明实施例的上述技术方案进行详细说明。
76.如图2所示，实物桌面上放置了带有视觉定位标识的物体，成像装置拍摄实物桌面形成图像，图像中带有视觉定位标识的像，处理模块在图像中识别出视觉定位标识并获得特征点在图像中的坐标，结合交互信息生成规则，生成拟向智能终端传递的交互信息，之后将交互信息传递给智能终端，智能终端根据交互信息进行相应操作。
77.图3是本发明实施例的实物桌面交互鼠标的示意图；如图3所示，在鼠标上增加了
aruco码做为视觉定位标识，点击或释放鼠标按键后，根据按键点击或释放的操作信息和根据aruco码获得的特征点在图像中的坐标信息生成交互信息传递给智能终端，智能终端根据交互信息进行相应的交互处理。例如，在桌面上点击拖拽再释放鼠标左键，则选定图像中左键点击时特征点的坐标和释放时特征点的坐标做为对角所形成的矩形区域进行截图。又例如，在桌面上点击鼠标右键，则在图像中右键点击时特征点所在的坐标画一个点。
78.图4是本发明实施例的触控板示意图；如图4所示，在本实施例中，位于四个角的用于标记区域的视觉定位标识确定了触控板区域的四角，当用于操控的视觉定位标识(本实施例中为aruco码)进入触控板区域后，可以识别特征点(如aruco码的左上角，也可以是根据多个aruco码角坐标能够推导出坐标的任一点)的坐标，通过用于操控的特征点的坐标和触控板区域四个角的坐标获得特征点在触控板区域内的相对位置信息，将相对位置信息做为交互信息传给智能终端，智能终端可以根据相对位置信息将鼠标箭头移动到显示屏相应的位置，实现触控板的功能。
79.图5是本发明实施例的键盘区域的示意图；如图5所示，在本实施例中，位于四个角的用于标记区域的视觉定位标识确定了键盘区域的四角，在键盘区域内又划分了多个按键区域，当特征点的坐标位于某一按键区域内，或者发生点击操作信息时特征点的坐标位于某一按键区域内，则向智能终端输入该按键对应的信息，例如当坐标位于按键a区域时，则输入字符“a”，当坐标位于按键b区域时，则输入字符“b”，从而实现键盘功能。
80.图6是本发明实施例中用于实物桌面交互的成像装置的示意图；具体包括：
81.成像装置，用于获取实物桌面的图像；
82.实物控件(如按键、旋钮等)，用于获取使用者的操作动作生成操作信息，所述操作信息可以用于信息交互过程，或者提供交互信息生成规则所需要的信息。
83.图7是本发明实施例的区域校正示意图；如图7所示，在本实施例中，一个矩形区域在图像中畸变为梯形，首先利用区域四个角的坐标将区域图像校正为矩形(长宽比可以与原矩形一致也可以不一致)，根据单应性可以利用投影变换的相关算法获得特征点坐标在矩形区域校正图像中的坐标，再利用校正后的坐标以及该区域的交互信息生成规则，生成交互信息。例如，将校正后矩形的长宽按照显示器分辨率进行设置，则可以将校正后的特征点坐标做为鼠标的坐标点在显示器中移动鼠标，实现前面所述的触控板功能。
84.图8是本发明实施例的优选实施例的(对应于权利要求8)的示意图；如图8所示，在本实施例中，矩形区域的上边为基准线，在时刻3时，发现在时刻2时产生了最短距离，因此将时刻2时，特征点的坐标做为交互信息发送给智能终端，智能终端根据交互信息进行后续处理。例如，矩形区域代表一个按键，智能终端接到交互信息，确认该按键被点击并执行相关指令。
85.在本发明实施例中，在实物桌面上进行桌面作业时，可以与智能终端进行像素级的互动操作，提升了操作效率，可以使用成像装置替代键盘、鼠标、触控板等输入设备，降低了成本，可以直接在实物桌面进行智能终端的互动操作或编程，减少直视屏幕的时间，有利于保护儿童的视力。
86.系统实施例
87.根据本发明实施例，提供了一种基于视觉定位标识的实物桌面交互系统，图9是本发明实施例的基于视觉定位标识的实物桌面交互系统的示意图，如图9所示，根据本发明实
施例的基于视觉定位标识的实物桌面交互系统具体包括：
88.成像装置130，用于拍摄图像；
89.处理模块132，用于获取成像装置拍摄的图像，识别图像中是否存在视觉定位标识，其中，所述视觉定位标识携带有可被图像识别的一个或多个特征点；如果存在所述视觉定位标识，在所述图像中确定所述特征点的坐标；根据特征点的坐标生成交互信息。
90.如图10所示，在本发明实施例中，处理模块132可以分成两个模块：处理器和存储器。成像装置与处理器可以在物理上是分离的也可以是一体的，成像装置与处理器之间可以进行数据传输，数据传输可以是有线的也可以是无线，可以采用任何一种可行的数据传输方式。
91.本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
92.装置实施例一
93.本发明实施例提供一种基于视觉定位标识的实物桌面交互装置，如图11所示，包括：存储器150、处理器152及存储在所述存储器150上并可在所述处理152上运行的计算机程序，所述计算机程序被所述处理器152执行时实现如方法实施例中所述的步骤。
94.装置实施例二
95.本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器152执行时实现如方法实施例中所述的步骤。
96.本实施例所述计算机可读存储介质包括但不限于为：rom、ram、磁盘或光盘等。
97.装置实施例三
98.本发明实施例提供一种实物桌面交互鼠标装置，具体包括：
99.视觉定位标识展示模块，用于展示视觉定位标识，其中，视觉定位标识用于确定特征点在图像中的坐标；
100.按键，用于获取使用者的操作动作并生成操作信息，所述操作信息可以启动方法实施例中所述的基于视觉定位标识的实物桌面交互方法所述的交互过程，或者提供交互信息生成规则所需要的信息。
101.装置实施例四
102.本发明实施例提供一种实物桌面交互成像装置，具体包括：
103.成像装置，用于获取实物桌面的图像；
104.实物控件，用于获取使用者的操作动作生成操作信息，所述操作信息可以启动上述方法实施例中所述基于视觉定位标识的实物桌面交互方法所述的交互过程，或者提供交互信息生成规则所需要的信息。
105.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、或者网络设备等)执行根据本发明实施方式的上述方法。
106.所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或
半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
107.所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
108.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
109.本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
110.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。