基于终端设备的搜题方法、设备、系统及介质与流程

1.本发明涉及图片验证码技术领域，具体涉及一种基于终端设备的搜题方法、设备、系统及介质。


背景技术：

2.随着电子技术的发展，智能搜题已经成为主流的辅助学习方式。目前搜题方式常见有拍照搜题、扫描搜题、语音搜题、文字输入搜题等。其中，拍照搜题和扫描搜题是用户无需参与阅读题目后再进行搜题，仅仅需要打开搜题相机界面就能实现题目输入，而语音搜题和文字输入搜题(含缩写字符输入)是要求用户阅读题目后才进一步转为语音或者文字进行搜题。
3.对于智能设备上实时显示的题目不是无障碍文本的情况下，要实现快速的搜题，则需要利用另外一部智能设备进行拍照或者扫描，操作成本高。


技术实现要素：

4.本技术的主要目的在于提供一种基于终端设备的搜题方法、设备、系统及介质，解决现有技术基于终端设备的搜题时网络资源消耗大的技术问题。
5.为实现上述目的，本技术的实施例提供一种基于终端设备的搜题方法，所述终端设备包括屏幕，所述方法用于所述终端设备，所述方法包括：
6.接收针对所述屏幕上显示的目标题目的搜题触发信号；
7.基于所述搜题触发信号，调用录屏接口，获取所述屏幕的图片数据；其中，所述图片数据中包括所述目标题目的题目区域；
8.对所述图片数据进行文字识别，获得文本数据；其中，所述文本数据中包括所述目标题目的文本信息；
9.基于所述文本数据，进行题库搜索，获得结果信息集；
10.输出所述结果信息集。
11.可选地，所述基于所述搜题触发信号，调用录屏接口，以获取所述屏幕的图片数据的步骤，包括：
12.基于所述搜题触发信号，调用录屏接口，以通过录屏或截屏的方式获取所述屏幕的图片数据。
13.可选地，所述图片数据中包括用户划定的识别区域，所述识别区域包括所述题目区域；所述对所述图片数据进行文字识别，获得文本数据的步骤，包括：
14.对所述图片数据中的所述识别区域进行文字识别，获得所述文本数据。
15.可选地，所述对所述图片数据进行文字识别，获得文本数据的步骤，包括：
16.对所述图片数据中的所述题目区域进行文字识别，获得所述文本数据。
17.可选地，所述基于所述文本数据，进行题库搜索，获得结果信息集的步骤，包括：
18.基于所述文本数据，从题库检索系统中匹配出所述结果信息集；其中，所述题库检
索系统中包括若干题目的结果信息。
19.可选地，所述结果信息集中包括至少两个结果信息；所述基于所述文本数据，进行题库搜索，获得结果信息集的步骤之后，还包括：
20.获得所述结果信息集中各结果信息与所述文本数据的相似度值，并根据相似度值的大小，对所述结果信息集中各结果信息进行排序，获得排序结果信息；
21.所述输出所述结果信息集的步骤，包括：
22.输出所述排序结果信息。
23.可选地，所述输出所述结果信息集的步骤，包括：
24.将所述结果信息集显示在所述屏幕上。
25.此外，为实现上述目的，本技术的实施例还提供一种基于终端设备的搜题装置，所述终端设备包括屏幕，所述装置用于所述终端设备，所述装置包括：
26.信号接收模块，用于接收针对所述屏幕上显示的目标题目的搜题触发信号；
27.屏幕获取模块，用于基于所述搜题触发信号，调用录屏接口，获取所述屏幕的图片数据；其中，所述图片数据中包括所述目标题目的题目区域；
28.图片识别模块，用于对所述图片数据进行文字识别，获得文本数据；其中，所述文本数据中包括所述目标题目的文本信息；
29.题库搜索模块，用于基于所述文本数据，进行题库搜索，获得结果信息集；
30.结果输出模块，用于输出所述结果信息集。
31.此外，为实现上述目的，本技术的实施例还提供一种终端设备，该终端设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现前述的方法。
32.此外，为实现上述目的，本技术的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现前述的方法。
33.此外，为实现上述目的，本技术的实施例还提供一种计算机程序产品，所述计算机程序产品在被处理器时，实现前述的方法。
34.与现有技术相比，本发明的有益效果在于：
35.本技术的实施例提供一种基于终端设备的搜题方法、设备、系统及介质，该终端设备包括屏幕，该方法用于所述终端设备，该方法包括：接收针对所述屏幕上显示的目标题目的搜题触发信号；基于所述搜题触发信号，调用录屏接口，获取所述屏幕的图片数据；其中，所述图片数据中包括所述目标题目的题目区域；对所述图片数据进行文字识别，获得文本数据；其中，所述文本数据中包括所述目标题目的文本信息；基于所述文本数据，进行题库搜索，获得结果信息集；输出所述结果信息集。也即，该方法在同一部智能设备上，通过录屏接口获取到屏幕图片，代替拍照或扫描，一方面可以在同一部智能设备上完成，解决了现有技术中采用两部智能设备导致的操作成本高的问题；另一方面，由于处理的是图片数据，没有无障碍文本数据的限制，因此，不限定于安卓系统，其操作系统的适用范围更广，系统兼容性更好。
附图说明
36.图1为本技术的实施例涉及的硬件运行环境的终端设备结构示意图；
37.图2为本技术的实施例提供的一种基于终端设备的搜题方法的流程示意图；
38.图3为本技术的实施例提供的一种终端设备的外部结构示意图；
39.图4为图3中屏幕上包括识别区域的效果示意图；
40.图5为本技术的实施例提供的一种基于终端设备的搜题装置的功能模块示意图。
41.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
42.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
43.本技术实施例的主要解决方案是：提供一种基于终端设备的搜题方法、设备、系统及介质，该方法包括：接收针对所述屏幕上显示的目标题目的搜题触发信号；基于所述搜题触发信号，调用录屏接口，获取所述屏幕的图片数据；其中，所述图片数据中包括所述目标题目的题目区域；对所述图片数据进行文字识别，获得文本数据；其中，所述文本数据中包括所述目标题目的文本信息；基于所述文本数据，进行题库搜索，获得结果信息集；输出所述结果信息集。
44.由于现有技术中，拍照搜题和扫描搜题是用户无需参与阅读题目后再进行搜题，仅仅需要打开搜题相机界面就能实现题目输入，而语音搜题和文字输入搜题(含缩写字符输入)是要求用户阅读题目后才进一步转为语音或者文字进行搜题。其中，拍照或者扫描搜题需要至少2部手机等智能设备(其中一部智能设备屏幕上的内容，需要另一部智能设备对其进行拍照或扫描才能获得题目信息)。目前要实现1部智能设备实现搜题，需要依赖设备系统是否能支持无障碍文本获取。当前仅仅android系统支持无障碍文本获取。并且如果题目是图片或者其他非文本格式的，无障碍无法获取到题目内容。因此，需要一种系统兼容性更好的，能在同一部智能设备上实现快速的搜题的方法。
45.本技术提供一种解决方案，该方法在同一部智能设备上，通过录屏接口获取到屏幕图片，代替拍照或扫描，一方面可以在同一部智能设备上完成，解决了现有技术中采用两部智能设备导致的操作成本高的问题；另一方面，由于处理的是图片数据，没有无障碍文本数据的限制，因此，不限定于安卓系统，其操作系统的适用范围更广，系统兼容性更好。
46.参照图1，图1为本技术实施例方案涉及的硬件运行环境的终端设备结构示意图。
47.如图1所示，该终端设备可以是手机、平板、智能手表等智能设备，具体可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
48.本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
49.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模
块、网络通信模块、用户接口模块以及电子程序。
50.在图1所示的设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明设备中的处理器1001、存储器1005可以设置在设备中，所述设备通过处理器1001调用存储器1005中存储的基于终端设备的搜题装置，并执行本技术实施例提供的基于终端设备的搜题方法。
51.参照图2，本技术的实施例提供一种基于终端设备的搜题方法，参照图3，该终端设备包括屏幕，该方法的执行主体同样为该终端设备；
52.该方法包括：
53.s20、接收针对所述屏幕上显示的目标题目的搜题触发信号。
54.在具体实施过程中，目标题目是指屏幕上显示的题目，可以是任何领域或学科的题目，例如英语题目、数学题目等。屏幕上显示的方式也包括多种，例如，在终端设备的网页上显示、图片上显示或者app中显示，本实施例并不作具体限制。搜题触发信号是指用户触发搜题的操作产生的电信号，例如，用户触摸(或滑动等)屏幕产生的电信号，用户语音指令产生的电信号等，本实施例中也不作具体的限制。
55.可以理解的是，在一些应用场景中，用户在使用终端设备解题时，在app上发现目标题目，或者浏览的图片上发现目标题目，需要基于此进行搜题。此时，终端设备的屏幕上显示有目标题目的信息，可以由题干信息，还可以有答案选项信息等。此时，需要搜题的话，需要一个用户触发操作，来产生搜题触发信号，从而触发本实施例方法对应的程序启动搜题程序。
56.s40、基于所述搜题触发信号，调用录屏接口，获取所述屏幕的图片数据；其中，所述图片数据中包括所述目标题目的题目区域。
57.在具体实施过程中，录屏接口是指智能设备的系统自带的接口，例如安卓系统的imagereader，在ios系统以及其它常用的操作系统都有相应的录屏接口，这里不再赘述。在本实施例的方法中，只要调用录屏接口，即可实现对屏幕数据的采集。
58.在一种可选的实施方式中，所述基于所述搜题触发信号，调用录屏接口，以获取所述屏幕的图片数据的步骤，包括：
59.基于所述搜题触发信号，调用录屏接口，以通过录屏或截屏的方式获取所述屏幕的图片数据。
60.在具体实施过程中，调用录屏接口获取所述屏幕的图片数据的方式包括2类，1类是截屏，1类是录屏。不管截屏还是录屏都可以接入视频编码，处理屏幕数据转为标准的图片数据格式，即图片数据。
61.具体的，截屏或录屏都是针对屏幕上显示有目标题目，因此，图片数据中至少包括所述目标题目的题目区域。
62.可以理解的是，录屏或截屏的方式可以采用在同一部智能设备的系统中调用录屏接口的方式来实现，因此，可以避免使用另外的智能设备对该屏幕的显示内容进行拍照或扫描。且由于调用录屏接口的方式在各个常用的操作系统中都可以实现，因此，该实施方式的兼容性更好。
63.s60、对所述图片数据进行文字识别，获得文本数据；其中，所述文本数据中包括所述目标题目的文本信息。
64.在具体实施过程中，文字识别可以采用常用的图片转文字的方法，例如ocr。具体的，由于屏幕显示的内容可能不止目标题目的相关内容，且目标题目的内容也可能包括题干和选项等，而并不一定需要全部识别文字，才能进行搜题，因此，在文字识别时，文字识别的内容可以根据需要进行选择。可以理解的是，部分识别可以提高识别效率，进而提高整个方法的执行效率，反映在软件界面，可以提高用户的使用体验。
65.作为一种可选地实施方式，所述图片数据中包括用户划定的识别区域，所述识别区域包括所述题目区域；所述对所述图片数据进行文字识别，获得文本数据的步骤，包括：对所述图片数据中的所述识别区域进行文字识别，获得所述文本数据。
66.在具体实施过程中，用户划定的识别区域可以是用户在触发搜题的操作时所划定的区域。划定的动作可以在触发搜题的操作时产生，例如，点击屏幕触发搜题，同时在屏幕上画圈，将触发搜题的动作和画圈产生的信号共同作为搜题触发信号。也可以在接收到搜题触发信号后，提示用户进行识别区域划定，再接收用户对识别区域的划定。
67.作为一种可选的实施方式，在接收针对所述屏幕上显示的目标题目的搜题触发信号的步骤后，可以在屏幕上提示用户进行区域划分，并在接收到用户的区域划分操作信号后，在图片数据上添加上识别区域。参见图4，图4为用户在屏幕上划定的区域的效果示意图，图中圈住的即为划定的区域。
68.可以理解的是，一般来说，识别区域包括所述题目区域，因此识别的重点还是目标题目的相关信息。但是，在一些情况下，还可以对目标题目以外的一些信息进行识别，有助于后续进行搜题的准确性。因此，在该种情况下，仅仅对图片数据中的识别区域进行文字识别，可以提高识别效率，进而提高整个方法的执行效率，反映在软件界面，可以提高用户的使用体验。
69.在另一种可选地实施方式中，所述对所述图片数据进行文字识别，获得文本数据的步骤，包括：
70.对所述图片数据中的所述题目区域进行文字识别，获得所述文本数据。
71.在具体实施过程中，题目区域可以通过智能识别进行区域识别，例如，可以通过已识别的文字进行人工智能判断是否属于题目信息，从而继续对题目区域进行识别，完成对图片数据中的题目区域的文字识别。
72.可以理解的是，仅仅对题目区域进行识别可以进一步识别效率，进而提高整个方法的执行效率，反映在软件界面，可以提高用户的使用体验。
73.s80、基于所述文本数据，进行题库搜索，获得结果信息集。
74.在具体实施过程中，题库搜索可以采取简易的关键字匹配，或者一些常用的检索系统实现的方法进行检索。例如：倒排索引：把题目抽取关键字，然后把这题库的id加到关键字后面，这样检索的时候，也把需要检索的文本抽取关键字，直接获取到该关键字下的题目。
75.结果信息集中可以包括一个或至少两个结果信息。结果信息可以包括题目信息、答案信息等。
76.具体地，所述基于所述文本数据，进行题库搜索，获得结果信息集的步骤，包括：
77.基于所述文本数据，从题库检索系统中匹配出所述结果信息集；其中，所述题库检索系统中包括若干题目的结果信息。
78.在具体实施过程中，题库检索系统可以是本地的题库，也可以是云端的题库，在本实施例中并不受限制。题库检索系统中包括若干题目的结果信息，可以通过关键字匹配等进行检索。
79.在一种可选地实施方式中，所述结果信息集中包括至少两个结果信息；所述基于所述文本数据，进行题库搜索，获得结果信息集的步骤之后，还包括：
80.获得所述结果信息集中各结果信息与所述文本数据的相似度值，并根据相似度值的大小，对所述结果信息集中各结果信息进行排序，获得排序结果信息；
81.在具体实施过程中，相似度值可以通过一些现有的相似度计算方法获得，例如，最短编辑距离、最长子串、语义相似度等。
82.相应的，所述输出所述结果信息集的步骤，包括：输出所述排序结果信息。
83.在具体实施过程中，直接将排序结果信息输出给用户，一方面，给用户更多的选择，可以提升用户的搜题体验；另一方面，排序可以辅助用户进行目标对象的快速选择，进一步提升搜题效率。
84.s100、输出所述结果信息集。
85.在具体实施过程中，输出的方式包括多种，例如，屏幕显示、语音播报等。
86.作为一种可选地实施方式，所述输出所述结果信息集的步骤，包括：
87.将所述结果信息集显示在所述屏幕上。
88.在具体实施过程中，在采用显示的方式输出时，可以根据系统特制或者通用。通用方式采取android或ios的画中画方式进行显示；根据系统特制，android系统用window悬浮窗方式进行显示。
89.具体的，显示的内容包括：答案，题目，题目省略部分，解析，解析省略部分等自由组合。答案包括abcd，1234或者直接选项均为答案。
90.以上便是本实施例的搜题方法的执行过程，下面对其实现方式进行描述。
91.本实施例的方法由一个程序执行，该程序通过与系统现有的程序通信来实现搜题，具体的，在android系统中，可以利用imagereader缓存成功接口实现读屏数据触发。此外，利用定时轮询机制(包括handler，定时器等方式)来实现多个搜题信号的列队处理。在ios系统中，采取local socket或者local http server方式进行数据交互。其它的常用操作系统也可以通过类似的方式进行数据交互。
92.应当理解的是，以上仅为举例说明，对本技术的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以基于需要进行设置，此处不做限制。
93.通过上述描述不难发现，本实施例的方法中，录屏或截屏的方式可以采用在同一部智能设备的系统中调用录屏接口的方式来实现，因此，可以避免使用另外的智能设备对该屏幕的显示内容进行拍照或扫描。且由于调用录屏接口的方式以及程序之间的通信方式在各个常用的操作系统中都可以实现，因此，该实施方式的兼容性更好。即本实施的方法在同一部智能设备上，通过录屏接口获取到屏幕图片，代替拍照或扫描，一方面可以在同一部智能设备上完成，解决了现有技术中采用两部智能设备导致的操作成本高的问题；另一方面，由于处理的是图片数据，没有无障碍文本数据的限制，因此，不限定于安卓系统，其操作系统的适用范围更广，系统兼容性更好。
94.参照图5，基于同样的发明原理，本技术的实施例还提供一种基于终端设备的搜题
装置，所述终端设备包括屏幕，所述装置用于所述终端设备，所述装置包括：
95.信号接收模块，用于接收针对所述屏幕上显示的目标题目的搜题触发信号；
96.屏幕获取模块，用于基于所述搜题触发信号，调用录屏接口，获取所述屏幕的图片数据；其中，所述图片数据中包括所述目标题目的题目区域；
97.图片识别模块，用于对所述图片数据进行文字识别，获得文本数据；其中，所述文本数据中包括所述目标题目的文本信息；
98.题库搜索模块，用于基于所述文本数据，进行题库搜索，获得结果信息集；
99.结果输出模块，用于输出所述结果信息集。
100.应当理解的是，以上仅为举例说明，对本技术的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以基于需要进行设置，此处不做限制。
101.通过上述描述不难发现，本实施例的装置中，录屏或截屏的方式可以采用在同一部智能设备的系统中调用录屏接口的方式来实现，因此，可以避免使用另外的智能设备对该屏幕的显示内容进行拍照或扫描。且由于调用录屏接口的方式以及程序之间的通信方式在各个常用的操作系统中都可以实现，因此，该实施方式的兼容性更好。即本实施的方法在同一部智能设备上，通过录屏接口获取到屏幕图片，代替拍照或扫描，一方面可以在同一部智能设备上完成，解决了现有技术中采用两部智能设备导致的操作成本高的问题；另一方面，由于处理的是图片数据，没有无障碍文本数据的限制，因此，不限定于安卓系统，其操作系统的适用范围更广，系统兼容性更好。
102.此外，在一种实施例中，本技术的实施例还提供一种计算机程序产品，所述计算机程序产品在被处理器时，实现前述的方法。
103.此外，在一种实施例中，本技术的实施例还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
104.在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
105.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
106.作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hyper text markup language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
107.作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
108.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列元素的过程、方法、物品或者系统不仅包括那些元素，而
且还包括没有明确列出的其他元素，或者是还包括为这种过程、方法、物品或者系统所固有的元素。在没有更多限制的情况下，由语句“包括一个
……”
限定的元素，并不排除在包括该元素的过程、方法、物品或者系统中还存在另外的相同元素。
109.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
110.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本技术各个实施例所述的方法。
111.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。