一种信息处理方法及设备与流程

本申请涉及信息处理领域，涉及但不限于一种信息处理方法及设备。

背景技术：

随着科学技术的飞速发展，自动化技术广泛应用于工业、农业、军事、科学研究、医疗、服务和家庭等方面。采用自动化技术可以在没有人或者较少人的直接参与下，按照人的要求，进行自动检测、信息处理、分析判断、操作控制，就能实现预期的目标。这样不仅能够把人从繁重的体力劳动中解放出来，而且极大地提高劳动生产率。

在进行自动化控制或者自动化操作时，需要首先识别出设备当前的状态，再基于当前的状态确定下一步的操作控制，而目前主要采用图像对比技术来识别设备的当前状态，但是这样对拍照要求较高并且无法适应多分辨率，从而造成效率低下的问题。

技术实现要素：

有鉴于此，本申请实施例的技术方案是这样实现的：

一方面，本申请实施例提供一种信息处理方法，包括：

对获取到的第一图像进行识别，其中，所述第一图像为第一设备的显示图像；

如果第一识别结果表明所述第一图像中包含第一识别信息，至少基于所述第一识别信息，确定针对所述第一图像的第一操作，其中，所述第一识别信息中包括至少一个识别文本字段和至少一个识别文本字段对应的位置信息；

控制操作机构针对所述第一设备执行所述第一操作。

另一方面，本申请实施例提供一种信息处理设备，至少包括：

第一接口，用于获得第一图像，其中，所述第一图像是图像采集装置针对第一设备的显示显示图像采集得到的；

处理装置，用于识别所述第一图像，如果第一识别结果表明所述第一图像中包含第一识别信息，至少基于所述第一识别信息，确定针对所述第一图像的第一操作，并控制操作机构针对所述第一设备执行所述第一操作；其中，所述第一识别信息中包括至少一个识别文本字段和至少一个识别文本字段对应的位置信息。

本申请实施例提供一种信息处理方法及设备，其中，首先对获取到的第一图像进行识别，其中，所述第一图像为第一设备的显示图像；如果第一识别结果表明所述第一图像中包含第一识别信息，至少基于所述第一识别信息，确定针对所述第一图像的第一操作，其中，所述第一识别信息中包括至少一个识别文本字段和至少一个识别文本字段对应的位置信息；控制操作机构针对所述第一设备执行所述第一操作；如此，能够通过对第一图像进行文本识别所得到的第一识别信息，以识别出设备的当前状态，从而再确定下一步要执行的第一操作，能够提高识别准确率，进而提高自动化工作效率。

附图说明

图1为本申请实施例一种信息处理方法的实现流程示意图；

图2为本申请实施例另一种信息处理方法的实现流程示意图；

图3为本申请实施例文本识别结合图标识别的识别效果示意图；

图4为本申请实施例进行协同测试的示意图；

图5为本申请实施例信息处理装置的组成结构示意图；

图6为本申请实施例信息处理设备的组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本申请的技术方案进一步详细阐述。

本实施例提供一种信息处理方法，该方法应用于信息处理设备，该信息处理方法所实现的功能可以通过信息处理设备中的处理装置调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该信息处理设备至少包括处理装置和存储介质。

图1为本申请实施例一种信息处理方法的实现流程示意图，如图1所示，该方法包括以下步骤：

步骤s101，信息处理设备对获取到的第一图像进行识别。

这里，第一图像为第一设备的显示图像。该信息处理设备可以包括图像采集装置，该图像采集装置可以为摄像头。第一设备可以是智能终端，例如可以是智能手机、平板电脑、笔记本电脑等具有无线通信能力的移动终端。需要说明的是，在本申请实施例中，第一设备至少包括具有触控功能的显示装置。

步骤s101在实现时，可以是信息处理设备通过摄像头对第一设备的显示界面进行拍摄，以获取到第一图像，然后对第一图像进行文本识别，得到第一识别结果。

步骤s102，如果第一识别结果表明所述第一图像中包含第一识别信息，信息处理设备至少基于所述第一识别信息，确定针对所述第一图像的第一操作。

这里，第一识别信息中包括至少一个识别文本字段和所述至少一个识别文本字段对应的位置信息。

在其他实施例中，在所述步骤s102之前，所述方法还包括：信息处理设备判断第一识别结果是否表明第一图像中包含第一识别信息，该第一识别信息可以是由预先设计好的操作脚本确定的。如果第一识别结果表明第一图像中包含第一识别信息，说明第一设备显示的第一图像符合所述操作脚本的操作规则，此时进入步骤s102。

步骤s102在实现时，如果第一识别结果表明第一图像中包含第一识别信息，那么信息处理设备可以根据预设的操作脚本和第一识别信息，来确定第一图像对应的目标文本字段或目标位置信息，进而再基于目标文本字段或目标位置信息确定针对第一图像的第一操作。

步骤s103，信息处理设备控制操作机构针对所述第一设备执行所述第一操作。

这里，该操作机构可以是所述信息处理设备的一个组成部分，所述信息处理设备的处理器与所述操作机构可以通过通信总线进行信息和数据的传输，所述操作机构也可以与信息处理设备通过无线通信连接进行信息和数据的传输。

在其他实施例中，该操作机构也可以是独立于信息处理设备的实体，该操作机构与该信息处理设备建立有无线通信连接或有线通信连接，以进行信息和数据的传输。

步骤s103在实现时，可以是信息处理设备控制操作机构接触所述第一设备中所述目的位置信息对应的显示装置的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作；还可以是信息处理设备控制操作机构输出所述目标文本字段对应的音频信息，以使得所述第一设备的音频采集装置能获得所述音频信息。

在本申请实施例提供的信息处理方法中，对获取到的第一图像进行识别，其中，所述第一图像为第一设备的显示图像；如果第一识别结果表明所述第一图像中包含第一识别信息，至少基于所述第一识别信息，确定针对所述第一图像的第一操作；并控制操作机构针对所述第一设备执行所述第一操作；如此，能够在自动化操作中通过对第一图像进行文本识别所得到的第一识别信息，来确定下一步要执行的第一操作，从而提高识别准确率，进而提高自动化工作效率。

基于前述的实施例，本申请实施例再提供一种信息处理方法，应用于信息处理设备，图2为本申请实施例另一种信息处理方法的实现流程示意图，如图2所示，所述方法包括以下步骤：

步骤s201，信息处理设备基于启动自动化操作的操作指令，获取第一设备显示的第一图像。

这里，该信息处理设备可以是自动化设备。自动化设备是指在人极少参与或不参与的情况下，自动进行操作、处理数据，并以适当方式显示或输出结果的设备。该信息处理设备至少包括主机和操作盒，操作盒和主机建立有有线或无线通信连接。操作盒中至少包括图像采集装置、被操作设备的固定装置以及操作机构，其中，图像采集装置可以是摄像头，能够采集被操作设备的显示屏中所显示的图像，操作机构可以是机械手，可以模拟人手对被测设备进行操作，在其他实施例中，操作机构还可以是语音输出装置，例如可以是音箱，能够输出语音数据。

在本实施例中，当信息处理设备接收到启动自动化操作的操作指令后，会通过操作盒中的图像采集装置，获取第一设备显示的第一图像，其中，第一设备为被操作设备。

步骤s202，信息处理设备对第一图像进行文本识别，得到第一识别结果。

这里，在本申请实施例中，在获取到第一图像后，对图像进行文本识别，以获取第一图像中所包含的文本信息，以确定第一图像中的显示内容。

步骤s202在实现时，可以首先利用光学字符识别(opticalcharacterrecognition，ocr)技术来识别出第一图像中的字符，然后再将识别出的字符跟预设的词库进行匹配，以确定第一识别结果。需要说明的是，这里用到的词库可以是根据目前市面上所包括的各个应用的名称以及各个应用的各级界面中所包括的词语组成的有限词库，从而能够提高识别效率。

步骤s203，信息处理设备判断第一识别结果中是否包含第一识别信息。

这里，第一识别信息中包括至少一个识别文本字段和所述至少一个识别文本字段对应的位置信息。

在进行自动化操作时，会预先生成或者预先设计好操作脚本，该操作脚本中记录有每一步操作的预期结果，以及如果经过验证该步得到的结果与预期结果相符时，下一步执行什么步骤。信息处理设备判断第一识别结果中是否包括第一识别信息可以认为是对第一识别结果进行验证的过程，也可以认为是对第一图像进行验证的过程，以确定第一识别结果是否与预期结果相符。在本实施例中，第一识别信息可以认为是预期结果，如果第一结果中包含第一识别信息，则表明第一识别结果与预期结果相符，此时进入步骤s204；如果第一识别结果中不包含第一识别信息，则表明第一识别结果与预期结果不符，此时结束流程。

步骤s204，信息处理设备基于所述第一识别信息，确定第一图像对应的目标位置信息。

这里，步骤s204在实现时，可以是通过操作脚本和第一识别信息，来确定第一图像对应的目标位置信息。其中，目标位置信息指的是下一步执行操作所对应的位置。

例如第一识别信息中，包括有“11:30”、“3月25日”、“设置”、“应用市场”、“备忘录”、“计算器”、“手机管家”、“图库”，八个文字字段，以及这八个文字字段的位置信息，此时可以认为第一图像为第一设备的桌面图像，并且基于操作脚本，确定下一步要进入“手机管家”这一应用，那么此时目标位置信息即为“手机管家”这一文字字段对应的位置信息。

步骤s205，信息处理设备控制控制操作机构接触所述第一设备中所述目的位置信息对应的显示装置的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作。

这里，在确定出目标位置信息后，信息处理设备可以向操作盒中的操作机构发送一控制指令，该控制指令中至少包括有目标位置信息，操作机构在接收到该控制指令后，移动至该控制指令中携带的目标位置信息对应的显示区域，并接触该显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作。

在本实施例中，第一设备在接收到该接触操作后，会基于该接触操作，执行相应的指令。例如，当该接触操作为接触“手机管家”，那么第一设备会基于该接触操作，打开“手机管家”这一应用，此时第一设备显示的为第二图像。

步骤s206，信息处理设备获取第一设备显示的第二图像。

步骤s207，信息处理设备对获取到的第二图像进行文本识别，得到第二识别结果。

这里，第二识别结果中包括第二图像中的各个文本字段，以及各个文本字段中的位置信息。

步骤s208，如果第二识别结果表明所述第二图像中包含第二识别结果，至少基于所述第二识别结果，确定针对所述第二图像的第二操作。

这里，所述第二识别结果中包括至少一个识别文本字段和所述至少一个识别文本字段对应的位置信息。如果第二识别结果表明第二图像中包含第二识别结果，那么认为第二识别结果与预期结果相符，此时可以进一步确定下一步执行什么步骤。

例如，第二识别结果中包括“一键优化”、“清理加速”、“骚扰拦截”“病毒查杀”这四个文本字段，以及这四个文本字段对应的位置信息，基于操作脚本，确定第二操作为进行清理加速，那么可以基于第二识别结果中“清理加速”这一文本字段的位置信息，确定第二操作所对应的位置。

步骤s209，信息处理设备控制操作机构针对所述第一设备执行所述第二操作。

这里，步骤s209在实现时，可以是信息处理设备控制控制操作机构接触所述第一设备中第二操作的目的位置信息所对应的显示装置中的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作，从而第一设备能够执行该接触操作对应的操作指令。

在其他实施例中，在第一设备执行第二操作之后，还可以再获取第一设备显示的当前图像，并对图像进行文本识别，并基于识别得到的识别结果对该图像进行验证，以及确定下一步要执行的操作。

在本申请实施例提供的信息处理方法中，在信息处理设备接收到启动自动化操作的操作指令后，基于该操作指令获取待操作的第一设备中显示的第一图像，并对第一图像进行文本识别，以获取第一识别结果，如果第一识别结果表明第一图像包含第一识别信息，那么认为第一图像符合预期结果，进而基于第一识别信息确定下一步要执行的第一操作，再控制操作机构针对第一设备执行该第一操作，这样就可以再进行下一轮的操作，对第一设备显示的第二图像进行验证，并确定再下一步要执行的第二操作；由于在该信息处理方法中，使用了文本识别对第一设备显示的图像进行验证，并且在识别过程中所采用的是基于市面上出现的应用的名称及应用显示界面中的词汇构成的词库，这样能够极大的提高识别准确率，从而能够保证自动化操作能够持续进行，进而提高工作效率。

需要说明的是，在其他实施例中，步骤s204和步骤s205可以用以下步骤代替：

步骤s204’，信息处理设备基于所述第一识别信息，确定第一图像对应的目标文本字段；

步骤s205’，信息处理设备控制操作机构输出所述目标文本字段对应的音频信息，以使得所述第一设备的音频采集装置能获得所述音频信息。

这里，操作机构可以是音频输出装置，例如可以是麦克风，在实际实现过程中，如果是向第一设备发出语音指令，需要先通过预设的操作指令来启动第一设备的语音采集装置，在语音采集装置启动后，再输出目标文本字段对应的音频信息，从而使得第一设备采集到该音频信息后，执行该音频信息对应的操作指令。

在实际实现过程中，步骤s202可以通过以下步骤实现：

步骤s2021，对所述第一图像进行文本识别，获取识别出的n个原始文本字段和n个所述原始文本字段的位置信息。

这里，步骤s2021在实现时，可以是利用ocr技术对第一图像进行文本识别，还可以是利用其他文本识别方法对第一图像进行文本识别，以获取识别出的n个原始文本字段和n个所述原始文本字段的位置信息，此处不进行限定。

步骤s2022，将第i个原始文本字段与预设的词库进行匹配，得到所述第i个原始文本字段的第一匹配值和第二匹配值。

这里，第一匹配值大于第二匹配值，i＝1，2，…，n。

预设的词库可以是根据市面上所包括的各个应用的名称以及各个应用的各级界面中所包括的词语组成的有限词库，这样在对识别出的原始文本字段进行匹配时，能够提高匹配效率。

步骤s2022在实现时，可以首先将第i个原始文本字段与所述词库中的各个词库文本字段进行匹配，得到所述第i个原始文本字段与所述各个词库文本字段之间的各个匹配值；在本申请实施例中，将所述各个匹配值中最大的匹配值确定为第一匹配值，将所述各个匹配值中除所述第一匹配值之外最大的匹配值确定为第二匹配值。

步骤s2023，判断第i个原始文本字段的第一匹配值与第二匹配值是否满足预设条件。

这里，如果第一匹配值与第二匹配值满足预设条件，那么说明第一匹配值对应的词库字段可以认为是识别文本字段；此时进入步骤s2024；如果第一匹配值与第二匹配值不满足预设条件，那么说明第一匹配值对应的词库字段不能认为是识别文本字段，此时进入步骤s2025，再次对第i个原始文本字段对应的图像进行识别。

如果词库中有多个与原始文本字段中相近的词语，那么第一匹配值与第二匹配值就会比较接近，此时为了能够正确识别出第i个字段，就必须要求第一匹配值与第二匹配值满足一预设条件。在本申请实施例中，预设条件可以是第一匹配值是第二匹配值的1.5倍，例如，第i个原始文本字段为“计算嚣”，第一匹配值为67％，对应词库中的“计算器”一词，第二匹配值为10％，对应词库中“支付宝”一词，由于第一匹配值与第二匹配值满足预设条件，那么就进入步骤s2024。

步骤s2024，如果所述第i个原始文本字段的第一匹配值与所述第二匹配值满足预设条件，将所述第一匹配值对应的词库字段确定为第i个识别文本字段。

这里，承接步骤s2023中的举例，就将“计算器”确定为第i个识别文本字段。

步骤s2025，如果所述第i个原始文本字段的第一匹配值与所述第二匹配值不满足预设条件，基于所述第i个原始文字字段的位置信息，获取所述第一设备上所述位置信息对应的第五图像。

这里，如果第i个原始文本字段为“嘀嘀出行”，第一匹配值为80％，对应的词库字段为“嘀嘀出行”，第二匹配值为75％，对应的词库字段为“嘀嗒出行”，即便此时第一匹配值已经相当高，但由于第二匹配值与第一匹配值很接近，表示词库中有至少两个词汇与原始文本字段都相似，那么此时认为第一匹配值与第二匹配值不满足预设条件，需要重新进行识别。这时可以是基于第i个原始文本字段的位置信息，再次获取该位置信息对应的第五图像。

需要说明的是，在获取第五图像时，会根据该位置信息来调整图像采集装置的位置以及采集参数，以获取到完整清晰的第五图像。

步骤s2026，对所述第五图像进行识别，获取所述第五图像中包含的文本字段。

这里，步骤s2026在实现时，可以是对获取到的第五图像进行图像匹配，得到匹配结果，然后再基于匹配结果确定第五图像中包含的文本字段。其中，在对第五图像进行图像匹配时，采用的匹配图库可以是目前市面上出现的应用的图标，以及应用中各级界面的图像。

承接步骤s2025中的举例，由于没有确定出“嘀嘀出行”的正确识别结果，那么可以获取“嘀嘀出行”对应的图标，然后进行图像匹配，从而获取与该图标对应的匹配图像，然后再根据匹配图像对应的应用名称，确定“嘀嘀出行”的正确识别结果。

需要说明的是，在该步骤中，还可以是对第五图像进行文本识别，得到第五图像中的原始文本字段，进而与词库进行匹配，从而确定第i个识别文本字段。

步骤s2027，将第五图像中包含的文本字段确定为第i个识别文本字段。

步骤s2028，基于n个识别文本字段和所述n个识别字段对应的位置信息确定第一识别结果。

在步骤s2021至步骤s2028所在的实施例中，在对第一图像进行文本识别时，可以将获取到的原始文本字段与预设的有限词库进行匹配，以确定第一图像中所包含的文本信息，在利用文本识别不能确定识别结果时，还可以与图标识别相结合，这样不仅能够提高识别准确率，还能够保证较高的识别效率。

图3为利用本申请实施例文本识别结合图标识别的识别效果示意图，如图3所示，单独通过图标识别(iconrecognition，ir)进行识别，准确率为81％，单独通过ocr进行识别，准确率为95％，通过ocr和图标识别(iconrecognition，ir)的合并定制了人工智能(artificialintelligence，ai)搜索引擎进行识别时，识别正确率能够达到96％以上。

基于前述的实施例，本申请实施例再提供一种信息处理方法，应用于由信息处理设备、第一设备和第二设备组成的信息处理系统，所述方法包括：

步骤s301，信息处理设备获取第一设备显示的第一图像。

这里，在本申请实施例中，信息处理设备包括一个主机和至少两个操作盒，并且至少两个操作盒中各有一个待操作设备，其中包括第一设备和第二设备，并且两个操作盒都与主机建立有无线或有线连接。

步骤s302，信息处理设备对第一图像进行文本识别，得到第一识别结果。

步骤s303，信息处理设备判断第一识别结果中是否包含第一识别信息。

这里，如果第一识别结果中包含第一识别信息，此时可以认为第一图像与预期结果相符，此时进入步骤s304，如果第一识别结果中不包含第一识别信息，结束流程。

步骤s304，信息处理设备基于所述第一识别信息，确定第一图像对应的目标位置信息。

步骤s305，信息处理设备控制控制操作机构接触所述第一设备中所述目的位置信息对应的显示装置的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作。

这里，在本实施例中，第一操作可以是指示第一设备向第二设备发送消息的操作。例如，第一操作为在文本输入框中输入“你好”，再点击第一设备中“发送”这一按钮控件对应的显示区域，那么操作机构会模拟人手的操作，输入“你好”，并发送该消息。

步骤s306，信息处理设备获取所述第一设备当前显示的第三图像，并对所述第三图像进行识别，获取第三识别结果。

这里，第三图像为第一设备向第二设备发送完消息后所显示的图像。在本实施例中，对第三图像进行识别，可以是对第三图像进行文本识别，以获取第三图像中包含的文本信息。

步骤s307，信息处理设备获取所述第二设备当前显示的第四图像，并对所述第四图像进行识别，获取第四识别结果。

这里，第四图像为第二设备接收到第一设备发送的消息后所显示的图像。

步骤s308，信息处理设备对所述第三识别结果和第四识别结果进行验证，得到验证结果，以验证第一操作的执行结果是否正确。

这里，对第三识别结果和第四识别结果进行验证，以验证第一操作的执行结果是否正确，可以是验证第三识别结果和第四识别结果中是否包括发送的消息内容，以及消息内容所显示的位置是否正确。

需要说明的是，本实施例中与其它实施例中相同步骤或概念的解释可以参考其它实施例中的描述。

在本申请实施例提供的信息处理方法中，完成了基于信息处理设备、第一设备和第二设备的协同测试，图4为本申请实施例进行协同测试的示意图，如图4所示，信息处理设备中的主机401和盒子a402、盒子b403都建立有通信连接，盒子a中有待测的第一设备，盒子b中有待测的第二设备。tsi可以认为是测试脚本中的第i条测试用例，主机进行tsi的测试时，需要与tsj配合以完成测试，此时需要找到一个可用的盒子b，分配给tsj进行测试，主机会监控与协调盒子a和盒子b以完成tsi，这样通过信息处理设备和第一设备、第二设备协同合作，就完成了两个设备间的互动测试。

在其他实施例中，在信息处理设备获取第一图像之前，所述方法还包括：

步骤41，信息处理设备获取所述第一设备的显示装置的尺寸信息和分辨率信息。

这里，步骤41在实现时，可以是通过第一设备的品牌、型号等信息，来获取第一设备的详细参数，从而进一步获取第一设备的显示装置的尺寸信息和分辨率信息。

步骤42，信息处理设备根据所述尺寸信息和分辨率信息确定进行图像采集的目标采集参数和/或图像采集装置的目标位置。

这里，步骤42在实现时，可以首先通过信息处理设备的图像采集装置对预先设置好的拍摄标准分辨表进行拍摄，并对拍摄得到的标准分辨表的图像进行分析，以确定图像采集装置的实际性能参数，进而在根据第一设备的尺寸信息、分辨率、第一设备的位置信息和图像采集装置的实际性能参数来确定进行图像采集的目标采集参数和/或图像采集装置的目标位置。

步骤43，信息处理设备基于所述目标采集参数和/或目标位置，调整所述图像采集装置，从而获得所述第一设备显示的第一图像。

这里，调整所述图像采集装置，包括调整图像采集装置的采集参数和/或位置，以达到目标采集参数和/或目标位置，进而再采集第一设备显示的第一图像，这样能够保证对采集到的图像的精确匹配，有效的将识别率从80％提升到95％以上。

本申请实施例提供一种信息处理装置，图5为本申请实施例信息处理装置的组成结构示意图，如图5所示，所述信息处理装置500至少包括：第一识别模块501、第一确定模块502和第一控制模块503，其中：

所述第一识别模块501，用于对获取到的第一图像进行识别，其中，所述第一图像为第一设备的显示图像；

所述第一确定模块502，用于如果第一识别结果表明所述第一图像中包含第一识别信息，至少基于所述第一识别信息，确定针对所述第一图像的第一操作，其中，所述第一识别信息中包括至少一个识别文本字段和所述至少一个识别文本字段对应的位置信息；

所述第一控制模块503，用于控制操作机构针对所述第一设备执行所述第一操作。

在其他实施例中，所述第一确定模块，包括：

第一确定单元，用于基于所述第一识别信息，确定第一图像对应的目标位置信息或目标文本字段；

第二确定单元，用于基于所述目标位置信息或目标文本字段确定针对所述第一图像的第一操作。

在其他实施例中，所述第一控制模块，包括：

第一控制单元，用于控制操作机构接触所述第一设备中所述目的位置信息对应的显示装置的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作；或者，

第二控制单元，用于控制操作机构输出所述目标文本字段对应的音频信息，以使得所述第一设备的音频采集装置能获得所述音频信息。

在其他实施例中，所述装置还包括：

第二识别模块，用于对获取到的第二图像进行识别，其中，所述第二图像为第一设备的显示图像；

第二确定模块，用于如果第一识别结果表明所述第二图像中包含第二识别结果，至少基于所述第二识别结果，确定针对所述第二图像的第二操作，其中，所述第二识别结果中包括至少一个识别文本字段和所述至少一个识别文本字段对应的位置信息；

第二控制模块，用于控制操作机构针对所述第一设备执行所述第二操作。

在其他实施例中，当所述第一操作为指示所述第一设备向第二设备发送消息的操作时，所述装置还包括：

第三识别模块，用于获取所述第一设备当前显示的第三图像，并对所述第三图像进行识别，获取第三识别结果；

第四识别模块，用于获取所述第二设备当前显示的第四图像，并对所述第四图像进行识别，获取第四识别结果；

验证模块，用于对所述第三识别结果和第四识别结果进行验证，得到验证结果，以验证第一操作的执行结果是否正确。

在其他实施例中，所述装置还包括：

第一获取模块，用于获取所述第一设备的显示装置的尺寸信息和分辨率信息；

第三确定模块，用于根据所述尺寸信息和分辨率信息确定进行图像采集的目标采集参数和/或图像采集装置的目标位置；

调整模块，用于基于所述目标采集参数和/或目标位置，调整所述图像采集装置，从而获得所述第一设备显示的第一图像。

在其他实施例中，所述第一识别模块，包括：

第一获取单元，用于对所述第一图像进行文本识别，获取识别出的n个原始文本字段和n个所述原始文本字段的位置信息；

第一匹配单元，用于将第i个原始文本字段与预设的词库进行匹配，得到所述第i个原始文本字段的第一匹配值和第二匹配值，其中，所述第一匹配值大于第二匹配值，i＝1，2，…，n；

第三确定单元，用于如果所述第i个原始文本字段的第一匹配值与所述第二匹配值满足预设条件，将所述第一匹配值对应的词库字段确定为第i个识别文本字段；

第四确定单元，用于基于n个识别文本字段和所述n个识别字段对应的位置信息确定第一识别结果。

在其他实施例中，所述第一匹配单元，包括：

匹配子单元，用于将第i个原始文本字段与所述词库中的各个词库文本字段进行匹配，得到所述第i个原始文本字段与所述各个词库文本字段之间的各个匹配值；

第一确定子单元，用于将所述各个匹配值中最大的匹配值确定为第一匹配值；

第二确定子单元，用于将所述各个匹配值中除所述第一匹配值之外最大的匹配值确定为第二匹配值。

在其他实施例中，所述装置还包括：

第二获取模块，用于如果所述第i个原始文本字段的第一匹配值与所述第二匹配值不满足预设条件，基于所述第i个原始文字字段的位置信息，获取所述第一设备上所述位置信息对应的第五图像；

第五识别模块，用于对所述第五图像进行识别，获取所述第五图像中包含的文本字段；

第四确定模块，用于将所述第五图像中包含的文本字段确定为第i个识别文本字段。

在其他实施例中，所述第五识别模块包括：

第二匹配单元，用于对所述第五图像进行图像匹配，得到匹配结果；

第五确定单元，用于基于所述匹配结果，确定所述第五图像中包含的文本字段。

这里需要指出的是：以上信息处理装置实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果。对于本申请信息处理装置实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解。

基于前述的实施例，本申请实施例提供一种信息处理设备，图6为本申请实施例信息处理设备的组成结构示意图，如图6所示，该信息处理设备600至少包括：

第一接口601，用于获得第一图像，其中，所述第一图像是图像采集装置针对第一设备的显示显示图像采集得到的；

处理装置602，用于识别所述第一图像，如果第一识别结果表明所述第一图像中包含第一识别信息，至少基于所述第一识别信息，确定针对所述第一图像的第一操作，并控制操作机构603针对所述第一设备执行所述第一操作；其中，所述第一识别信息中包括至少一个识别文本字段和至少一个识别文本字段对应的位置信息。

在其他实施例中，所述操作机构603包括指点装置6031，所述指点装置6031用于基于所述处理装置602的控制，接触所述第一设备中所述目的位置信息对应的显示装置的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作。

如图6所示，指点装置6031与步进式马达6032相连，该步进式马达6031是将电脉冲转化为角位移的执行机构。当步进式马达中的步进驱动器接收到一个脉冲信号后，会驱动步进马达按设定的方向转动一个固定的角度。步进马达的旋转是以固定的角度一步一步运行的，可以通过控制脉冲个数来控制角位移量，从而达到准确定位的目的，因此步进式马达可以基于处理装置的控制精确地调整指点装置的位置，从而保证指点装置接触正确的显示区域。

在其他实施例中，所述指点装置还包括机械臂，所述机械臂为三轴柔性机械臂。

在其他实例中，所述操作机构603还可以包括音频输出装置6032，所述音频输出装置6032用于基于所述处理装置的控制，输出所述目标文本字段对应的音频信息，以使得所述第一设备的音频采集装置能获得所述音频信息。

在其他实施例中，该信息处理装置600还包括：图像采集装置604和采集调整装置605，其中所述图像采集装置604安装于所述采集调整装置605之上，所述采集调整装置605可以基于处理装置602的控制，将所述图像采集装置605调整至目标位置，从而获得所述第一设备显示的第一图像。在其他实施例中，采集调整装置可以包括另一步进式马达，该步进式马达可以基于处理装置的控制，驱动采集调整装置对图像采集装置的位置进行调整。

在其他实施例中，所述处理装置在执行如果第一识别结果表明所述第一图像中包含第一识别信息，至少基于所述第一识别信息，确定针对所述第一图像的第一操作的步骤时，执行以下步骤：

基于所述第一识别信息，确定第一图像对应的目标位置信息或目标文本字段；

基于所述目标位置信息或目标文本字段确定针对所述第一图像的第一操作。

在其他实施例中，处理装置在控制操作机构针对第一设备执行所述第一操作之后，还执行以下步骤：

对获取到的第二图像进行识别，其中，所述第二图像为第一设备的显示图像；

如果第二识别结果表明所述第二图像中包含第二识别结果，至少基于所述第二识别结果，确定针对所述第二图像的第二操作，其中，所述第二识别结果中包括至少一个识别文本字段和所述至少一个识别文本字段对应的位置信息，m为正整数；

控制操作机构针对所述第一设备执行所述第二操作。

在其他实施例中，处理装置在控制操作机构针对所述第一设备执行所述第一操作之后，还执行以下步骤：

获取所述第一设备当前显示的第三图像，并对所述第三图像进行识别，获取第三识别结果；

获取所述第二设备当前显示的第四图像，并对所述第四图像进行识别，获取第四识别结果；

对所述第三识别结果和第四识别结果进行验证，得到验证结果，以验证第一操作的执行结果是否正确。

在其他实施例中，处理装置还执行以下步骤：

获取所述第一设备的显示装置的尺寸信息和分辨率信息；

根据所述尺寸信息和分辨率信息确定进行图像采集的目标采集参数和/或图像采集装置的目标位置；

基于所述目标采集参数和/或目标位置，调整所述图像采集装置，从而获得所述第一设备显示的第一图像。

在其他实施例中，处理装置执行对获取到的第一图像进行识别，获取第一识别结果的步骤时，执行以下步骤：

对所述第一图像进行文本识别，获取识别出的n个原始文本字段和n个所述原始文本字段的位置信息；

将第i个原始文本字段与预设的词库进行匹配，得到所述第i个原始文本字段的第一匹配值和第二匹配值，其中，所述第一匹配值大于第二匹配值，i＝1，2，…，n；

如果所述第i个原始文本字段的第一匹配值与所述第二匹配值满足预设条件，将所述第一匹配值对应的词库字段确定为第i个识别文本字段；

基于n个识别文本字段和所述n个识别字段对应的位置信息确定第一识别结果。

在其他实施例中，处理装置执行将第i个原始文本字段与预设的词库进行匹配，得到所述第i个原始文本字段的第一匹配值和第二匹配值的步骤时，执行以下步骤：

将第i个原始文本字段与所述词库中的各个词库文本字段进行匹配，得到所述第i个原始文本字段与所述各个词库文本字段之间的各个匹配值；

将所述各个匹配值中最大的匹配值确定为第一匹配值；

将所述各个匹配值中除所述第一匹配值之外最大的匹配值确定为第二匹配值。

在其他实施例中，处理装置还执行以下步骤：

如果所述第i个原始文本字段的第一匹配值与所述第二匹配值不满足预设条件，基于所述第i个原始文字字段的位置信息，获取所述第一设备上所述位置信息对应的第五图像；

对所述第五图像进行识别，获取所述第五图像中包含的文本字段；

将所述第五图像中包含的文本字段确定为第i个识别文本字段。

在其他实施例中，处理装置在执行对所述第五图像进行识别，获取所述第五图像中包含的文本字段的步骤时，执行以下步骤：

对所述第五图像进行图像匹配，得到匹配结果；

基于所述匹配结果，确定所述第五图像中包含的文本字段。

这里需要指出的是：以上信息处理设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果。对于本申请信息处理设备实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解。

相应地，本申请实施例再提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述该计算机可执行指令被处理装置执行时实现上述实施例提供的信息处理方法的步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(readonlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。