一种电器设备的控制方法、装置、存储介质及电器设备与流程

文档序号:21588258发布日期:2020-07-24 16:33阅读:143来源:国知局
一种电器设备的控制方法、装置、存储介质及电器设备与流程

本发明属于电器设备如家用电器技术领域,具体涉及一种电器设备的控制方法、装置、存储介质及电器设备,尤其涉及一种基于多尺度ocr技术控制电器设备(如空调)的方法、装置、存储介质及电器设备(如空调)。



背景技术:

一些语音电器设备,可以通过语音技术控制电器设备,以满足绝大多数用户的语音控制需求。但少部分不方便发出语音的用户不能利用语音来控制电器设备,只能用文字来控制电器设备,所以说语音电器设备也存在使用不方便的问题。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本发明的目的在于,针对上述缺陷,提供一种电器设备的控制方法、装置、存储介质及电器设备,以解决一些电器设备的控制方式对只能用文字进行控制的用户而言存在使用不方便的问题,达到使只能用文字控制电器设备的用户能够通过文字控制方式使用电器设备从而提升使用便捷性的效果。

本发明提供一种电器设备的控制方法,包括:获取电器设备所属环境或电器设备的控制端所属环境中的文本图像;识别电器设备所属环境或电器设备的控制端所属环境中文本图像中的文本信息;根据文本信息控制电器设备,以实现通过电器设备所属环境或电器设备的控制端所属环境中的文本信息控制电器设备。

可选地,获取电器设备所属环境或电器设备的控制端所属环境中的文本图像,包括:在电器设备的文本控制功能开启的情况下,通过图像采集模块,识别电器设备所属环境或电器设备的控制端所属环境中设定控制区域中是否存在文本;若电器设备所属环境或电器设备的控制端所属环境中设定控制区域中存在文本,则获取电器设备所属环境或电器设备的控制端所属环境中设定控制区域中文本的文本图像;其中,设定控制区域,包括:电器设备所属环境或电器设备的控制端所属环境中图像采集模块能够采集到的区域。

可选地,识别电器设备所属环境或电器设备的控制端所属环境中文本图像中的文本信息,包括:通过多尺度ocr识别技术,识别文本图像中的文本图片,并提取文本图片中的特征信息;对文本图片中的特征信息进行预处理后,对预处理得到的文字图片进行切割,以得到文字图片中的文字;对切割得到的文字图片中的文字进行解析,得到文字图片中的文字的含义,作为电器设备所属环境或电器设备的控制端所属环境中文本图像中的文本信息。

可选地,对文本图片中的特征信息进行预处理,包括:对文本图片中的特征信息进行角度矫正、去噪、去雾、图像增强中的至少一种处理。

可选地,根据文本信息控制电器设备,包括:根据文本信息,生成控制指令,以根据控制指令控制电器设备;和/或,根据文本信息,合成语音控制信息,播报语音控制信息,并根据语音控制信息控制电器设备;和/或,根据文本信息,合成与电器设备所属环境或电器设备的控制端所属环境中使用者的年龄信息匹配的语音朗读信息,播报语音朗读信息,以根据语音朗读信息向使用者播报文本图像中的文本信息。

与上述方法相匹配,本发明另一方面提供一种电器设备的控制装置,包括:获取单元,用于获取电器设备所属环境或电器设备的控制端所属环境中的文本图像;识别单元,用于识别电器设备所属环境或电器设备的控制端所属环境中文本图像中的文本信息;控制单元,用于根据文本信息控制电器设备,以实现通过电器设备所属环境或电器设备的控制端所属环境中的文本信息控制电器设备。

可选地,获取单元获取电器设备所属环境或电器设备的控制端所属环境中的文本图像,包括:在电器设备的文本控制功能开启的情况下,通过图像采集模块,识别电器设备所属环境或电器设备的控制端所属环境中设定控制区域中是否存在文本;若电器设备所属环境或电器设备的控制端所属环境中设定控制区域中存在文本,则获取电器设备所属环境或电器设备的控制端所属环境中设定控制区域中文本的文本图像;其中,设定控制区域,包括:电器设备所属环境或电器设备的控制端所属环境中图像采集模块能够采集到的区域。

可选地,识别单元识别电器设备所属环境或电器设备的控制端所属环境中文本图像中的文本信息,包括:通过多尺度ocr识别技术,识别文本图像中的文本图片,并提取文本图片中的特征信息;对文本图片中的特征信息进行预处理后,对预处理得到的文字图片进行切割,以得到文字图片中的文字;对切割得到的文字图片中的文字进行解析,得到文字图片中的文字的含义,作为电器设备所属环境或电器设备的控制端所属环境中文本图像中的文本信息。

可选地,识别单元对文本图片中的特征信息进行预处理,包括:对文本图片中的特征信息进行角度矫正、去噪、去雾、图像增强中的至少一种处理。

可选地,控制单元根据文本信息控制电器设备,包括:根据文本信息,生成控制指令,以根据控制指令控制电器设备;和/或,根据文本信息,合成语音控制信息,播报语音控制信息,并根据语音控制信息控制电器设备;和/或,根据文本信息,合成与电器设备所属环境或电器设备的控制端所属环境中使用者的年龄信息匹配的语音朗读信息,播报语音朗读信息,以根据语音朗读信息向使用者播报文本图像中的文本信息。

与上述装置相匹配,本发明再一方面提供一种电器设备,包括:以上所述的电器设备的控制装置。

与上述方法相匹配,本发明再一方面提供一种存储介质,包括:所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行以上所述的电器设备的控制方法。

与上述方法相匹配,本发明再一方面提供一种电器设备,包括:处理器,用于执行多条指令;存储器,用于存储多条指令;其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行以上所述的电器设备的控制方法。

本发明的方案,通过利用多尺度技术来识别电器设备所属环境或电器设备的控制端所属环境中的文本控制信息,通过识别文本来控制电器设备,可以满足特殊群体摆脱遥控器能使用文本来控制,提升用户使用的便捷性。

进一步,本发明的方案,通过利用多尺度技术来识别电器设备所属环境或电器设备的控制端所属环境中的文本控制信息,通过识别文本来控制电器设备,可以通过多尺度识别文本,并基于识别结果合成语音如合成不同年龄段语音,从而给特殊群体(如会听不会说话的群体)带来语音电器设备的语音效果。

进一步,本发明的方案,通过利用多尺度技术来识别电器设备所属环境或电器设备的控制端所属环境中的文本控制信息,可以识别文字来合成不同年龄阶段语音进行朗诵课文进行纠正孩子发音,方便孩子学习。

进一步,本发明的方案,通过利用多尺度技术来识别电器设备所属环境或电器设备的控制端所属环境中的文本控制信息,可以识别孩子课文的文章来朗诵课文,这样来提高孩子发音能力。

进一步,本发明的方案,通过利用多尺度技术来识别电器设备所属环境或电器设备的控制端所属环境中的文本控制信息,当特殊用户需要与电器设备闲聊可以进行文本与语音之间进行实时对话,人性化更好。

由此,本发明的方案,通过利用多尺度技术来识别电器设备所属环境或电器设备的控制端所属环境中的文本控制信息,通过识别文本来控制电器设备,解决一些电器设备的控制方式对只能用文字进行控制的用户而言存在使用不方便的问题,达到使只能用文字控制电器设备的用户能够通过文字控制方式使用电器设备从而提升使用便捷性的效果。

本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。

下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的空调的控制方法的一实施例的流程示意图;

图2为本发明的方法中获取空调所属环境或电器设备的控制端所属环境中的文本图像的一实施例的流程示意图;

图3为本发明的方法中识别空调所属环境或电器设备的控制端所属环境中文本图像中的文本信息的一实施例的流程示意图;

图4为本发明的空调的控制装置的一实施例的结构示意图;

图5为本发明的空调的一实施例的特征区域多尺度变换示意图;

图6为本发明的空调的一实施例的基于多尺度ocr技术控制空调流程示意图。

结合附图,本发明实施例中附图标记如下:

102-获取单元;104-识别单元;106-控制单元。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

根据本发明的实施例,提供了一种电器设备(如空调)的控制方法,如图1所示本发明的方法的一实施例的流程示意图。该电器设备(如空调)的控制方法可以应用于语音电器设备(如空调),语音电器设备(如空调)的控制方法,可以包括:步骤s110至步骤s130。

在步骤s110处,在启动语音电器设备(如空调)的文本控制功能的情况下,获取电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本图像。文本控制功能,即利用文本信息对电器设备(如空调)如语音电器设备(如空调)进行控制的功能。

可选地,可以结合图2所示本发明的方法中获取电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本图像的一实施例流程示意图,进一步说明步骤s110中获取电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本图像的具体过程,可以包括:步骤s210和步骤s220。

步骤s210,在电器设备(如空调)的文本控制功能开启的情况下,通过图像采集模块如电器设备(如空调)上或电器设备(如空调)的控制端(如空调的遥控器、空调的app客户端等)上设置的摄像头,识别电器设备(如空调)所属环境或电器设备的控制端所属环境中设定控制区域中是否存在文本。

步骤s220,若电器设备(如空调)所属环境或电器设备的控制端所属环境中设定控制区域中存在文本,则获取电器设备(如空调)所属环境或电器设备的控制端所属环境中设定控制区域中文本的文本图像。其中,设定控制区域,可以包括:电器设备(如空调)所属环境或电器设备的控制端所属环境中图像采集模块能够采集到的区域。

例如:通过摄像头实时读取室内房间图像,获取带有文本文字的图片。

具体地,当特殊群体用户用手势去控制电器设备(如空调)可能有很大的误识别的情况下(比如肢体动作不够灵活的用户用手势控制、手势动作不够精准的用户用手势控制的情况下很有可能出现手势识别出现错误的情况),或者在摆脱遥控器控制的情况下,当特殊群体单独在室内时可以通过摄像头识别用户手写的文本来控制电器设备(如空调),比如能够通过摄像头识别文本文字来控制电器设备(如空调)的基本功能和在线资源控制。也就是说,语音电器设备(如空调)不仅覆盖普通用户使用电器设备(如空调)语音功能,特殊群体也能单独使用识别图像中的文本来控制电器设备(如空调)听音乐等功能。

由此,通过在电器设备(如空调)所属环境或电器设备的控制端所属环境中的控制区域中有文本的情况下获取该文本的文本图像,以避免随意获取到的图像不是文本图像而进行文本图像的处理造成能源浪费,也可以提升基于文本图像控制电器设备(如空调)的可靠性。

在步骤s120处,识别电器设备(如空调)所属环境或电器设备的控制端所属环境中文本图像中的文本信息。

可选地,步骤s120中识别电器设备(如空调)所属环境或电器设备的控制端所属环境中文本图像中的文本信息的具体过程,可以参见以下示例性说明。

下面结合图3所示本发明的方法中识别电器设备(如空调)所属环境或电器设备的控制端所属环境中文本图像中的文本信息的一实施例流程示意图,进一步说明步骤s120中识别电器设备(如空调)所属环境或电器设备的控制端所属环境中文本图像中的文本信息的具体过程,可以包括:步骤s310至步骤s330。

步骤s310,通过多尺度ocr识别技术,识别文本图像中的文本图片,并提取文本图片中的特征信息。

例如:当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法,针对不同距离图像中的文本和图像文本字体大小,调整图像提取的提取框大小,以进行特征信息提取。

步骤s320,对文本图片中的特征信息进行预处理后,对预处理得到的文字图片进行切割,以得到文字图片中的文字。

例如:当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法把不同距离图像中的文本和图像文本字体大小进行框起来进行特征信息提取后,通过图像一系列图像预处理,对识别到框图中的特征区域文字进行行分割,将识别到的每一行文字切割下来,再对切割下来的每一行文本进行列分割,切割出每个字符即切割出每一行文本中每一列所对应的字符。

更可选地,步骤s320中对文本图片中的特征信息进行预处理,可以包括:对文本图片中的特征信息进行角度矫正、去噪、去雾、图像增强中的至少一种处理。

例如:当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法把不同距离图像中的文本和图像文本字体大小进行框起来进行特征信息提取后,通过图像一系列图像预处理,如进行角度矫正和去噪以及去雾处理和图像增强过程。

由此,通过多种形式对文本图片中的特征信息进行预处理,可以提升特征信息的精准性,以有利于提升基于文本图像控制电器设备(如空调)的精准性和可靠性。

步骤s330,对切割得到的文字图片中的文字进行解析,得到文字图片中的文字的含义,作为电器设备(如空调)所属环境或电器设备的控制端所属环境中文本图像中的文本信息。

例如:当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法,针对不同距离图像中的文本和图像文本字体大小,调整图像提取的提取框大小,以进行特征信息提取,然后通过图像一系列图像预处理,然后对识别到框图中的特征区域文字进行行分割,将识别到的每一行文字切割下来;最后再对切割下来的每一行文本进行列分割,切割出每个字符即切割出每一行文本中每一列所对应的字符。然后对每个切割文本进行解析得到识别到的文本信息。

由此,通过利用多尺度ocr识别技术识别文本图像中的文本信息,识别方式可靠,识别结果精准,有利于提升基于文本图像控制电器设备(如空调)的精准性和可靠性。

在步骤s130处,根据文本信息控制电器设备(如空调),以实现通过电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本信息控制电器设备(如空调)。

例如:可以利用多尺度技术来识别离电器设备(如空调)不同距离的文字文本,通过识别文本来控制电器设备(如空调),如通过ocr识别文本来控制电器设备(如空调),以使少部分特殊用户不能利用语音来控制电器设备(如空调)的用户,可以用文字来控制电器设备(如空调)。这样,通过添加多尺度ocr技术控制电器设备(如空调),可以满足特殊群体摆脱遥控器能使用文本来控制。

由此,通过基于文本图像识别到文本信息,进而根据文本信息控制电器设备(如空调),可以满足在摆脱遥控器控制的情况下不能使用语音控制电器设备(如空调)的用户的控制便捷性。

可选地,步骤s130中根据文本信息控制电器设备(如空调),可以包括:以下任一种控制情形。

第一种控制情形:根据文本信息控制电器设备(如空调)运行。

根据文本信息,生成控制指令,以根据控制指令控制电器设备(如空调),即控制电器设备(如空调)执行该控制指令。

例如:通过ocr识别生成文本,然后通过双向lstm进行对文本进行解析。基于解析后的文本,生成文本发送相关命令,以控制电器设备(如空调)。

第二种控制情形:根据文本信息控制电器设备(如空调)语音播报并控制电器设备(如空调)运行。

根据文本信息,合成语音控制信息,播报语音控制信息,并根据语音控制信息控制电器设备(如空调),即控制电器设备(如空调)执行该语音控制信息。

例如:过摄像头识别图像中的文字来控制电器设备(如空调),这部分功能是提供给特殊人群;可以通过识别图像的文本合成语音播报出来。

例如:可以通过多尺度识别文本,并基于识别结果合成语音如合成不同年龄段语音。如可以识别不同字体大小来控制电器设备(如空调),可以通过多尺度ocr技术来给特殊群体(如会听不会说话的群体)带来语音电器设备(如空调)的语音效果。

例如:通过识别到的文本进行双向lstm进行语义解析,解析到文本语义去控制电器设备(如空调)或者获取云端相关需要的资源信息,或者合成文本或基于文本内容生成语音。当特殊用户需要与电器设备(如空调)闲聊可以进行文本与语音之间进行实时对话。

第三种控制情形:根据文本信息控制电器设备(如空调)语音播报。

根据文本信息,合成与电器设备(如空调)所属环境或电器设备的控制端所属环境中使用者的年龄信息匹配的语音朗读信息,播报语音朗读信息,以根据语音朗读信息向使用者播报文本图像中的文本信息。其中,在确定使用者的年龄信息时,可以获取使用者的图像信息,根据使用者的图像信息的特征信息与预存不同年龄段的特征信息的对比关系确定使用者的年龄信息;或者,可以根据使用者的图像信息所对应的身份信息与预存家庭成员的身份信息的对比关系确定使用者的年龄信息。

例如:通过ocr识别生成文本,然后通过双向lstm进行对文本进行解析。基于解析后的文本,生成文本并合成不同性别年龄段的语音,如合成语音对话教育功能,可以朗读孩子课本文章,如可以进行朗诵儿童课文中的文本。

例如:可以通过多尺度识别文本,并基于识别结果合成语音如合成不同年龄段语音。可以让电器设备(如空调)识别文字来合成不同年龄阶段语音进行朗诵课文进行纠正孩子发音,如可以识别孩子课文的文章来朗诵课文,这样来提高孩子发音能力。其中,识别文章课文,语音电器设备(如空调)会识别课文文字并通过tts合成语音并纠正孩子发音。

例如:通过摄像头识别用户手写的文本来控制电器设备(如空调)来满足不同用户对电器设备(如空调)的需求,也可以利用具有ocr技术电器设备(如空调)运用到孩子教育上并进行矫正孩子的语音发音。如可以通过语音电器设备(如空调)识别到课文和相关的文章合成语音并朗诵课文来引导孩子跟读并矫正孩子错误发音。

由此,通过基于文本信息既能控制电器设备(如空调),也能方便不用用户的使用需求,大大提升了电器设备(如空调)的智能程度,也提升了用户使用的便捷性。

经大量的试验验证,采用本实施例的技术方案,通过利用多尺度技术来识别电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本控制信息,通过识别文本来控制电器设备(如空调),可以满足特殊群体摆脱遥控器能使用文本来控制,提升用户使用的便捷性。

根据本发明的实施例,还提供了对应于电器设备(如空调)的控制方法的一种电器设备(如空调)的控制装置。参见图4所示本发明的装置的一实施例的结构示意图。该电器设备(如空调)的控制装置可以应用于语音电器设备(如空调),语音电器设备(如空调)的控制装置,可以包括:获取单元102、识别单元104和控制单元106。

在一个可选例子中,获取单元102,可以用于在启动语音电器设备(如空调)的文本控制功能的情况下,获取电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本图像。该获取单元102的具体功能及处理参见步骤s110。文本控制功能,即利用文本信息对电器设备(如空调)如语音电器设备(如空调)进行控制的功能。

可选地,获取单元102获取电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本图像,可以包括:

获取单元102,具体还可以用于在电器设备(如空调)的文本控制功能开启的情况下,通过图像采集模块如电器设备(如空调)上或电器设备(如空调)的控制端(如空调的遥控器、空调的app客户端等)上设置的摄像头,识别电器设备(如空调)所属环境或电器设备的控制端所属环境中设定控制区域中是否存在文本。该获取单元102的具体功能及处理还参见步骤s210。

获取单元102,具体还可以用于若电器设备(如空调)所属环境或电器设备的控制端所属环境中设定控制区域中存在文本,则获取电器设备(如空调)所属环境或电器设备的控制端所属环境中设定控制区域中文本的文本图像。其中,设定控制区域,可以包括:电器设备(如空调)所属环境或电器设备的控制端所属环境中图像采集模块能够采集到的区域。该获取单元102的具体功能及处理还参见步骤s220。

例如:通过摄像头实时读取室内房间图像,获取带有文本文字的图片。

具体地,当特殊群体用户用手势去控制电器设备(如空调)可能有很大的误识别的情况下(比如肢体动作不够灵活的用户用手势控制、手势动作不够精准的用户用手势控制的情况下很有可能出现手势识别出现错误的情况),或者在摆脱遥控器控制的情况下,当特殊群体单独在室内时可以通过摄像头识别用户手写的文本来控制电器设备(如空调),比如能够通过摄像头识别文本文字来控制电器设备(如空调)的基本功能和在线资源控制。也就是说,语音电器设备(如空调)不仅覆盖普通用户使用电器设备(如空调)语音功能,特殊群体也能单独使用识别图像中的文本来控制电器设备(如空调)听音乐等功能。

由此,通过在电器设备(如空调)所属环境或电器设备的控制端所属环境中的控制区域中有文本的情况下获取该文本的文本图像,以避免随意获取到的图像不是文本图像而进行文本图像的处理造成能源浪费,也可以提升基于文本图像控制电器设备(如空调)的可靠性。

在一个可选例子中,识别单元104,可以用于识别电器设备(如空调)所属环境或电器设备的控制端所属环境中文本图像中的文本信息。该识别单元104的具体功能及处理参见步骤s120。

可选地,识别单元104识别电器设备(如空调)所属环境或电器设备的控制端所属环境中文本图像中的文本信息,可以包括:

识别单元104,具体还可以用于通过多尺度ocr识别技术,识别文本图像中的文本图片,并提取文本图片中的特征信息。该识别单元104的具体功能及处理还参见步骤s310。

例如:当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法把不同距离图像中的文本和图像文本字体大小进行框起来进行特征信息提取。

识别单元104,具体还可以用于对文本图片中的特征信息进行预处理后,对预处理得到的文字图片进行切割,以得到文字图片中的文字。该识别单元104的具体功能及处理还参见步骤s320。

例如:当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法把不同距离图像中的文本和图像文本字体大小进行框起来进行特征信息提取后,通过图像一系列图像预处理,对识别到框图中的特征区域文字进行行分割,将识别到的每一行文字切割下来,再对切割下来的每一行文本进行列分割,切割出每个字符即切割出每一行文本中每一列所对应的字符。

更可选地,识别单元104对文本图片中的特征信息进行预处理,可以包括:识别单元104,具体还可以用于对文本图片中的特征信息进行角度矫正、去噪、去雾、图像增强中的至少一种处理。

例如:当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法把不同距离图像中的文本和图像文本字体大小进行框起来进行特征信息提取后,通过图像一系列图像预处理,如进行角度矫正和去噪以及去雾处理和图像增强过程。

由此,通过多种形式对文本图片中的特征信息进行预处理,可以提升特征信息的精准性,以有利于提升基于文本图像控制电器设备(如空调)的精准性和可靠性。

识别单元104,具体还可以用于对切割得到的文字图片中的文字进行解析,得到文字图片中的文字的含义,作为电器设备(如空调)所属环境或电器设备的控制端所属环境中文本图像中的文本信息。该识别单元104的具体功能及处理还参见步骤s330。

例如:当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法把不同距离图像中的文本和图像文本字体大小进行框起来进行特征信息提取,然后通过图像一系列图像预处理,然后对识别到框图中的特征区域文字进行行分割,将识别到的每一行文字切割下来;最后再对切割下来的每一行文本进行列分割,切割出每个字符即切割出每一行文本中每一列所对应的字符;然后对每个切割文本进行解析得到识别到的文本信息。

由此,通过利用多尺度ocr识别技术识别文本图像中的文本信息,识别方式可靠,识别结果精准,有利于提升基于文本图像控制电器设备(如空调)的精准性和可靠性。

在一个可选例子中,控制单元106,可以用于根据文本信息控制电器设备(如空调),以实现通过电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本信息控制电器设备(如空调)。该控制单元106的具体功能及处理参见步骤s130。

例如:可以利用多尺度技术来识别离电器设备(如空调)不同距离的文字文本,通过识别文本来控制电器设备(如空调),如通过ocr识别文本来控制电器设备(如空调),以使少部分特殊用户不能利用语音来控制电器设备(如空调)的用户,可以用文字来控制电器设备(如空调)。这样,通过添加多尺度ocr技术控制电器设备(如空调),可以满足特殊群体摆脱遥控器能使用文本来控制。

由此,通过基于文本图像识别到文本信息,进而根据文本信息控制电器设备(如空调),可以满足在摆脱遥控器控制的情况下不能使用语音控制电器设备(如空调)的用户的控制便捷性。

可选地,控制单元106根据文本信息控制电器设备(如空调),可以包括:以下任一种控制情形。

第一种控制情形:根据文本信息控制电器设备(如空调)运行。

控制单元106,具体还可以用于根据文本信息,生成控制指令,以根据控制指令控制电器设备(如空调),即控制电器设备(如空调)执行该控制指令。

例如:通过ocr识别生成文本,然后通过双向lstm进行对文本进行解析。基于解析后的文本,生成文本发送相关命令,以控制电器设备(如空调)。

第二种控制情形:根据文本信息控制电器设备(如空调)语音播报并控制电器设备(如空调)运行。

控制单元106,具体还可以用于根据文本信息,合成语音控制信息,播报语音控制信息,并根据语音控制信息控制电器设备(如空调),即控制电器设备(如空调)执行该语音控制信息。

例如:过摄像头识别图像中的文字来控制电器设备(如空调),这部分功能是提供给特殊人群;可以通过识别图像的文本合成语音播报出来。

例如:可以通过多尺度识别文本,并基于识别结果合成语音如合成不同年龄段语音。如可以识别不同字体大小来控制电器设备(如空调),可以通过多尺度ocr技术来给特殊群体(如会听不会说话的群体)带来语音电器设备(如空调)的语音效果。

例如:通过识别到的文本进行双向lstm进行语义解析,解析到文本语义去控制电器设备(如空调)或者获取云端相关需要的资源信息,或者合成文本或基于文本内容生成语音。当特殊用户需要与电器设备(如空调)闲聊可以进行文本与语音之间进行实时对话。

第三种控制情形:根据文本信息控制电器设备(如空调)语音播报。

控制单元106,具体还可以用于根据文本信息,合成与电器设备(如空调)所属环境或电器设备的控制端所属环境中使用者的年龄信息匹配的语音朗读信息,播报语音朗读信息,以根据语音朗读信息向使用者播报文本图像中的文本信息。其中,在确定使用者的年龄信息时,可以获取使用者的图像信息,根据使用者的图像信息的特征信息与预存不同年龄段的特征信息的对比关系确定使用者的年龄信息;或者,可以根据使用者的图像信息所对应的身份信息与预存家庭成员的身份信息的对比关系确定使用者的年龄信息。

例如:通过ocr识别生成文本,然后通过双向lstm进行对文本进行解析。基于解析后的文本,生成文本并合成不同性别年龄段的语音,如合成语音对话教育功能,可以朗读孩子课本文章,如可以进行朗诵儿童课文中的文本。

例如:可以通过多尺度识别文本,并基于识别结果合成语音如合成不同年龄段语音。可以让电器设备(如空调)识别文字来合成不同年龄阶段语音进行朗诵课文进行纠正孩子发音,如可以识别孩子课文的文章来朗诵课文,这样来提高孩子发音能力。其中,识别文章课文,语音电器设备(如空调)会识别课文文字并通过tts合成语音并纠正孩子发音。

例如:通过摄像头识别用户手写的文本来控制电器设备(如空调)来满足不同用户对电器设备(如空调)的需求,也可以利用具有ocr技术电器设备(如空调)运用到孩子教育上并进行矫正孩子的语音发音。如可以通过语音电器设备(如空调)识别到课文和相关的文章合成语音并朗诵课文来引导孩子跟读并矫正孩子错误发音。

由此,通过基于文本信息既能控制电器设备(如空调),也能方便不用用户的使用需求,大大提升了电器设备(如空调)的智能程度,也提升了用户使用的便捷性。

由于本实施例的装置所实现的处理及功能基本相应于前述图1至图3所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。

经大量的试验验证,采用本发明的技术方案,通过利用多尺度技术来识别电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本控制信息,通过识别文本来控制电器设备(如空调),可以通过多尺度识别文本,并基于识别结果合成语音如合成不同年龄段语音,从而给特殊群体(如会听不会说话的群体)带来语音电器设备(如空调)的语音效果。

根据本发明的实施例,还提供了对应于电器设备(如空调)的控制装置的一种电器设备(如空调)。该电器设备(如空调)可以包括:以上所述的电器设备(如空调)的控制装置。

在一个可选实施方式中,考虑到少部分特殊用户不能利用语音来控制电器设备(如空调),只能用文字来控制电器设备(如空调);也考虑到可以让电器设备(如空调)识别文字来合成不同年龄阶段语音进行朗诵课文进行纠正孩子发音。本发明的方案,提供一种基于多尺度ocr技术控制电器设备(如空调)的方案,可以利用多尺度技术来识别离电器设备(如空调)不同距离的文字文本,通过识别文本来控制电器设备(如空调),如通过ocr识别文本来控制电器设备(如空调),以使少部分特殊用户不能利用语音来控制电器设备(如空调)的用户,可以用文字来控制电器设备(如空调)。这样,通过添加多尺度ocr技术控制电器设备(如空调),可以满足特殊群体摆脱遥控器能使用文本来控制。

其中,可以利用ocr和双向lstm技术可以读取文本并进行语义解析。

ocr(opticalcharacterrecognition光学字符识别)技术,是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程;即,对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程。

双向lstm是传统lstm的扩展,可以提高序列分类问题的模型性能。在输入序列的所有时间步长可用的问题中,双向lstm在输入序列上训练两个而不是一个lstm。输入序列中的第一个是原样的,第二个是输入序列的反转副本。

进一步地,本发明的方案,还可以通过多尺度识别文本,并基于识别结果合成语音如合成不同年龄段语音。

可选地,可以识别不同字体大小来控制电器设备(如空调),可以通过多尺度ocr技术来给特殊群体(如会听不会说话的群体)带来语音电器设备(如空调)的语音效果。

可选地,可以让电器设备(如空调)识别文字来合成不同年龄阶段语音进行朗诵课文进行纠正孩子发音,如可以识别孩子课文的文章来朗诵课文,这样来提高孩子发音能力。其中,识别文章课文,语音电器设备(如空调)会识别课文文字并通过tts合成语音并纠正孩子发音。

在一个可选具体实施方式中,可以参见图5和图6所示的例子,对本发明的方案的具体实现过程进行示例性说明。

图5为为本发明的电器设备(如空调)的一实施例的特征区域多尺度变换示意图。

图5可以表示多尺度变换示意图,可以根据离文本文字离电器设备(如空调)不同距离调节框图来获取特征区域。

图6为本发明的电器设备(如空调)的一实施例的基于多尺度ocr技术控制电器设备(如空调)流程示意图。

图6可以表示基于多尺度ocr技术控制电器设备(如空调)流程图,通过摄像头识别图像中的文字来控制电器设备(如空调),这部分功能是提供给特殊人群;可以通过识别图像的文本合成语音播报出来。

具体地,参见图5和图6所示的例子,基于多尺度ocr技术控制电器设备(如空调)流程,可以包括:

步骤1、通过摄像头实时读取室内房间图像,获取带有文本文字的图片。

具体地,当特殊群体用户用手势去控制电器设备(如空调)可能有很大的误识别的情况下(比如肢体动作不够灵活的用户用手势控制、手势动作不够精准的用户用手势控制的情况下很有可能出现手势识别出现错误的情况),或者在摆脱遥控器控制的情况下,当特殊群体单独在室内时可以通过摄像头识别用户手写的文本来控制电器设备(如空调),比如能够通过摄像头识别文本文字来控制电器设备(如空调)的基本功能和在线资源控制。也就是说,语音电器设备(如空调)不仅覆盖普通用户使用电器设备(如空调)语音功能,特殊群体也能单独使用识别图像中的文本来控制电器设备(如空调)听音乐等功能。

步骤2、通过多尺度调节,识别到带有文本文字的图片中的文本大小。

具体地,当电器设备(如空调)中的摄像头识别到室内图像如带有文本文字的图片时,电器设备(如空调)中的图像模块可以通过多尺度算法把不同距离图像中的文本和图像文本字体大小进行框起来进行特征信息提取;然后通过图像一系列图像预处理,进行角度矫正和去噪以及去雾处理和图像增强过程;然后对识别到框图中的特征区域文字进行行分割,将识别到的每一行文字切割下来;最后再对切割下来的每一行文本进行列分割,切割出每个字符即切割出每一行文本中每一列所对应的字符;然后对每个切割文本进行解析得到识别到的文本信息,这也是ocr一般流程。

这样,通过识别到的文本进行双向lstm进行语义解析,解析到文本语义去控制电器设备(如空调)或者获取云端相关需要的资源信息,或者合成文本或基于文本内容生成语音。其中,云端相关需要的资源信息,可以包括:云端一些音乐、天气、故事等网络资源。

步骤3、通过ocr识别生成文本,然后通过双向lstm进行对文本进行解析,执行步骤4、步骤5等。

步骤4、基于解析后的文本,生成文本发送相关命令,以控制电器设备(如空调)。

步骤5、基于解析后的文本,生成文本并合成不同性别年龄段的语音,如合成语音对话教育功能,可以朗读孩子课本文章。

具体地,当特殊用户需要与电器设备(如空调)闲聊可以进行文本与语音之间进行实时对话,也可以进行朗诵儿童课文中的文本。通过摄像头识别用户手写的文本来控制电器设备(如空调)来满足不同用户对电器设备(如空调)的需求,也可以利用具有ocr技术电器设备(如空调)运用到孩子教育上并进行矫正孩子的语音发音。

例如:可以通过语音电器设备(如空调)识别到课文和相关的文章合成语音并朗诵课文来引导孩子跟读并矫正孩子错误发音。

由于本实施例的电器设备(如空调)所实现的处理及功能基本相应于前述图4所示的装置的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。

经大量的试验验证,采用本发明的技术方案,通过利用多尺度技术来识别电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本控制信息,可以识别文字来合成不同年龄阶段语音进行朗诵课文进行纠正孩子发音,方便孩子学习。

根据本发明的实施例,还提供了对应于电器设备(如空调)的控制方法的一种存储介质。该存储介质,可以包括:所述存储介质中存储有多条指令;所述多条指令,用于由处理器加载并执行以上所述的电器设备(如空调)的控制方法。

由于本实施例的存储介质所实现的处理及功能基本相应于前述图1至图3所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。

经大量的试验验证,采用本发明的技术方案,通过利用多尺度技术来识别电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本控制信息,可以识别孩子课文的文章来朗诵课文,这样来提高孩子发音能力。

根据本发明的实施例,还提供了对应于电器设备(如空调)的控制方法的一种电器设备(如空调)。该电器设备(如空调),可以包括:处理器,用于执行多条指令;存储器,用于存储多条指令;其中,所述多条指令,用于由所述存储器存储,并由所述处理器加载并执行以上所述的电器设备(如空调)的控制方法。

由于本实施例的电器设备(如空调)所实现的处理及功能基本相应于前述图1至图3所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。

经大量的试验验证,采用本发明的技术方案,通过利用多尺度技术来识别电器设备(如空调)所属环境或电器设备的控制端所属环境中的文本控制信息,当特殊用户需要与电器设备(如空调)闲聊可以进行文本与语音之间进行实时对话,人性化更好。

综上,本领域技术人员容易理解的是,在不冲突的前提下,上述各有利方式可以自由地组合、叠加。

以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1