专利名称：智能电视人机交互方法、装置和系统的制作方法
技术领域：
本发明涉及智能电视领域，特别是ー种智能电视人机交互方法、装置和系统。
背景技术：
随着社会的发展，电视将逐渐发展成为ー个开放的业务承载平台，成为家庭智能娱乐终端。智能电视将拥有传统电视厂商所不具备的应用平台优势。智能电视将实现网络捜索、IP电视、视频点播(VOD)、数字音乐、网络新闻、网络视频电话等各种应用服务。电视机正在成为继计算机、手机之后的第三种信息访问终端，用户可随时访问自己需要的信息；电视机也将成为ー种智能设备，实现电视、网络和程序之间跨平台捜索；智能电视还将是ー个“娱乐中心”，用户可以捜索电视频道、录制电视节目、能够播放卫星和有线电视节目以及网络视频。智能电视的到来，顺应了电视机高清化、网络化、智能化的趋势。除了这些“网络化”、“智能化”之外，作为电视的基本功能，观众对电视节目更感兴趣，比如电视剧、人物访谈、 体育赛事、旅游风光等电视节目。有时候，观众往往对电视画面中的某一特定目标感兴趣，比如某ー演员，运动员，某ー标志建筑等，并想进一歩了解该目标的详细情况，就需要对画面中的某一目标进行方便的点选。和电脑上不同的是，要在电视上实现这些功能，只能依靠ー个遥控器。如何利用遥控器，对电视画面中感兴趣的目标进行方便的点选，以便进行后续的信息处理或网络搜索，需要设计ー种方便快捷的人机交互方法和系统。
发明内容
本发明要解决的技术问题是提供ー种智能电视人机交互方法、装置和系统，使用户利用遥控器即可对电视画面中感兴趣的目标进行方便的点选。根据本发明的ー个方面，提供ー种智能电视人机交互装置，包括遥控器模块，适于接收用户操作，产生相应的控制信号；所述控制信号包括分析当前画面的控制信号和选择控制信号；服务器模块，适于接收并解析所述控制信号以获取指令；所述指令包括与分析当前画面的控制信号相对应的分析当前画面的指令、与选择控制信号相对应的选定感兴趣区域指令；感兴趣区域分析模块，适于根据所述分析当前画面的指令，截取当前电视画面并对其进行分析，以获取潜在区域并反馈给服务器模块；所述服务器模块还适于将接收到的反馈数据绘制在原始图像上，成为潜在区域图像；所述服务器模块还适于接收选定感兴趣区域指令，将选定的反馈数据绘制在原始图像上，成为选定的感兴趣区域图像；和输出模块，适于输出所述潜在区域图像和选定的感兴趣区域图像。可选的，所述的智能电视人机交互装置，还包括信息检索模块，适于根据所述选定感兴趣区域指令，对选定感兴趣区域进ー步进行目标分析、识别和信息检索。根据本发明的另ー个方面，提供ー种智能电视人机交互系统，包括上述的智能电视人机交互装置；和电视模块，适于接收输出模块发来的指令并根据指令进行操作。可选的，所述电视模块接收并显示来自输出模块的数据。
根据本发明的又ー个方面，提供一种基于上述智能电视人机交互装置的智能电视人机交互方法，包括步骤一、接收用户操作，产生控制信号；所述控制信号包括分析当前画面的控制信号；步骤ニ、解析该信号以获取指令；所述指令包括与分析当前画面的控制信号相对应的分析当前画面的指令；步骤三、根据所述分析当前画面的指令，对当前电视画面进行分析以获取潜在区域，将潜在区域绘制在原始图像上，成为潜在区域图像，并输出潜在区域图像；步骤四、接收用户操作，产生控制信号；所述控制信号包括选择控制信号；步骤五、解析该信号以获取指令；所述指令包括与选择控制信号相对应的选定感兴趣区域指令；步骤六、基于选定感兴趣区域指令，将选定的反馈数据绘制在原始图像上，成为选定的感兴趣区域图像，并输出选定的感兴趣区域图像。可选的，所述的智能电视人机交互方法，还包括步骤七、利用选定感兴趣区域所覆盖的图像信息，对选定感兴趣区进ー步进行目标分析、识别和信息检索。可选的，在步骤一中，当用户按下遥控器模块的某个功能键，可以产生分析当前画面的控制信号；在步骤四中，基于潜在区域，当用户按下遥控器模块的某个数字键或字母键，可以产生选择控制信号。可选的，步骤三还包括截取当前电视画面，对当前画面进行潜在区域分析以获取潜在区域；对潜在区域按位置进行标号；将位置和标号信息反馈给服务器模块。可选的，所述潜在区域分析包括人脸检測。可选的，所述潜在区域用矩形表示；所述位置信息包括矩形左上角坐标和矩形右下角坐标表示；所述标号信息包括数字标号。与现有技术相比，本发明的优点在于(I)通过自动对当前画面进行分析，提供给观众ー些潜在区域，观众利用普通遥控器，就可以方便的进行目标区域的点选，该方案使用简捷，符合当前观众的使用习惯，是ー种方便有效的人 机交互方式；(2)确定了感兴趣区域之后，可以根据实际需要进行后续的处理，比如识别该目标，根据识别结果进行网络搜索相关信息等操作。
图1是本发明一个实施例中提供的智能电视人机交互装置的结构框图；图2是本发明一个实施例中提供的智能电视人机交互系统的结构框图；图3是图2中的智能电视人机交互系统的示例的工作过程流程图；图4是本发明一个实施例中感兴趣区域分析模块的分析结果示意图；图5是本发明一个实施例中提供的智能电视人机交互方法流程图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一歩详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。根据本发明一个实施例，提供ー种智能电视人机交互装置。如图1所示，该装置包括
遥控器模块101，适于接收用户操作，并产生相应的控制信号。例如，用户按下遥控器模块的某个功能键，可以产生分析当前画面的控制信号；又例如，为了对自动分析得到的潜在区域进行选择，确定真正感兴趣的区域，按下遥控器模块的某个数字键或字母键，可以产生数字或字母选择控制信号。本实施例中，所述遥控器模块101可以是长虹电视机遥控器或创维电视机遥控器。在本发明的其他实施例中，用户也可以利用带鼠标定位功能的遥控器模块101，将鼠标直接移至感兴趣区域内部，并按确定键发出数字选择信号。服务器模块103，适于接收并解析遥控器模块101发来的信号以获取指令(指令格式可以是ニ进制编码格式，不同的编码代表不同的指令)。如果信号中包含的指令是分析当前画面的指令或选择某一区域的指令(例如数字键)，进行如下处理(I)如果是分析当前画面的指令，服务器模块103将调用感兴趣区域分析模块104，接收感兴趣区域分析模块104的分析结果(即反馈数据)，服务器模块103将接收到的反馈数据绘制在原始图像上成为潜在区域图像，并将该潜在区域图像发送给输出模块105 ；和(2)如果是选择当前画面中某区域的指令，即选定感兴趣区域指令(例如数字键)，服务器模块103将接收到的指令与所述反馈数据进行比较，然后将反馈数据中的被选择区域的数据绘制在原始图像上，成为选定的感兴趣区域图像，并将该感兴趣区域图像发送给输出模块105。感兴趣区域分析模块104，适于对当前电视画面进行分析，具体包括(I)截取当前电视画面，对当前画面进行感兴趣区域分析。感兴趣的图像区域可以通过自动分析图像特征(包括但不限于边缘特征、纹理特征等)完成，或者通过模式识别中的目标检测和识别算法进行特定类的目标检测(比如人脸检测等)，也可以利用其他技术对潜在区域进行自动检测，在此不限制使用的具体方法。下面以人脸检测为 例，说明感兴趣区域分析模块104对人脸目标的检测过程(可以利用opencv中公开的人脸检测的训练和检测模块)首先对电视节目中的人脸进行标注，作为人脸分类器的正例样本，再收集部分不含人脸的图片作为反例样本，调用人脸检测的训练模块，生成人脸检测分类器。在待检测图片上，调用人脸检测模块，扫描整个图像，利用已经训练好的人脸分类器对图像中的人脸目标进行检测，并给出最終检测到的人脸区域。具体的技术细节和操作过程，为目前学术界和エ业界共知的技术，在此不再详细描述。其他的目标训练和检测方法，类似于此。也可以利用其他技术对潜在的目标进行检测，在此不限制使用的具体方法。这些分析得到的感兴趣区域可能是人脸等区域，可以用矩形或圆形參数表示，其位置信息可以用矩形表示，也可以用圆或椭圆信息表示，比如矩形的左上角坐标，矩形的长宽等信息。在本发明的其他实施例中，上述区域可以以其他可用的形状參数表示。(2)对分析得到当前画面中的潜在区域按位置进行标号；并将位置和标号信息反馈给服务器模块103。例如，标号可以从I开始，可以是1、2、3等数字键。在本发明的其他实施例中，上述标号方式可以以其他可用的方式进行，例如字母编号、汉字编号等。感兴趣区域分析模块104的分析结果可以用下面的数据格式表示{m，(I, (xll，yll)，(xl2，yl2)), (2，(x21，y21)，(x22，y22)), }其中m表示分析得到的m个潜在区域，(I, (xll, yll), (xl2, yl2))表示第一个感兴趣区域的矩形表示，用矩形左上角坐标和矩形右下角坐标表示。例如，如图4所示，分析结果可表示为{2，(I, (100,50)，(200,200))，(2，(250,70)，(320,180))}。上述的服务器模块103和感兴趣区域分析模块104可以由微处理器芯片分别实现，或在ー个微处理器芯片上完成服务器模块103和感兴趣区域分析模块104的功能。输出模块105,接收并输出服务器模块103发来的数据。例如，如图4所示，服务器模块103接收到的指令是遥控器按下数字键1，即选择了第一个感兴趣区域，则服务器模块删除其他的感兴趣2，仅保留感兴趣1，并将数据{1，(I,(100,50), (200,200))}表示的图形绘制到原始图像上，然后发送给输出模块105，输出模块105将该数据发送给电视机进行显示。进ー步的，该智能电视人机交互装置还可以包括信息检索模块106。当服务器模块103接收到的指令是选择当前画面中某一区域(例如数字键)，服务器模块103还调用信息检索模块106。信息检索模块106适于接收服务器模块转发来的观众感兴趣区域数据信息，比如{1，(I, (100,50), (200，200))}，并在当前电视画面中截取感兴趣区域所覆盖的图像信息，利用服务器模块存储的数据，对区域内容进ー步进行目标分析和识别，包括并不限于，演员，运动员，采访嘉宾，标志性建筑等。以人脸为例，服务器模块可以提前存储该电视剧中出现的角色的人脸图像，并对这些人脸图像进行了名字标注，建立人脸库。将感区域图像信息和人脸库中的图像信息进行比对，从而确定感兴趣区域中的角色身份。根据该识别结果对该目标进行服务器端或者网络检索，并`得到最終的检索结果反馈给服务器模块103。信息检索方法包括并不限于图像匹配，目标匹配，关键字检索等，并可以利用特定电视节目的演员信息，嘉宾信息等。信息检索的结果可以是图像、视频或者文字等信息。服务器模块103接收感兴趣区域分析模块104和信息检索模块106的分析结果和检索結果，并将其发送给输出模块105。输出模块105可以将该数据发送给电视机进行显示。在本发明的其他实施例中，也可以发送给其他设备进行表达，以给用户提供指示(包括但不限于图形、色彩、声音)。结合上述装置，本发明ー个实施例中，提供ー种智能电视人机交互系统。如图2所示，该系统包括上述的智能电视人机交互装置和电视模块107。所述电视模块107适于接收输出模块105发来的具体指令(包括传统遥控器涉及的命令，比如换台，调音量等等)和显示图像，并根据指令进行操作，所述操作、处理过程皆为目前学术界和エ业界的公知技木，不再赘述。如图3所示，该系统的工作过程如下S101、遥控器按键发出分析当前画面信号；即当观众对当前画面中的某区域感兴趣，希望进ー步了解该目标的信息时，需要按下遥控器上的某个功能按键；S102、服务器模块解析该信号，调用感兴趣区域分析模块；S103、感兴趣区域分析模块将分析结果反馈给服务器模块；感兴趣区域分析模块首先截取当前画面，自动分析当前画面，利用算法获取用户潜在区域，并按顺序进行标号，最后将潜在的感兴趣区域位置信息和标号信息反馈给服务器模块；S104、服务器模块将编号之后的分析结果数据绘制到原始图像，并发送给输出模块；S105、遥控器按数字键选择某一个感兴趣区域；用户根据屏幕显示的自动分析得到的潜在区域，利用数字键进行点选；S106、服务器模块解析该信号，调用信息检索模块；S107、信息检索模块根据用户点选的感兴趣区域，对目标进行检索并将检索结果反馈给服务器模块；检索结果可以是图像、视频或者文字信息，网页信息等；S108、服务器模块将检索结果发送给输出模块。与上述的装置相应的，本发明ー个实施例中，提供ー种智能电视人机交互方法，主要包括根据画面内容自动生成潜在区域，确定感兴趣区域两个步骤。如图5所示，所述方法具体包括S201、接收用户操作，产生控制信号；所述控制信号包括分析当前画面的控制信号；其过程与上述遥控器模块101的工作过程相同，不再赘述；S202、解析该信号以获取指令；所述指令包括与分析当前画面的控制信号相对应的分析当前画面的指令；S203、根据所述分析当前画面的指令，对当前电视画面进行分析以获取潜在区域，将潜在区域绘制在原始图像上，成为潜在区域图像，并输出潜在区域图像；其过程与上述服务器模块103、感兴趣区域分析模块104的工作过程相同，不再赘述；S204、接收用户操作，产生控制信号；所述控制信号包括选择控制信号；S205、解析该信号以获取指令；所述指令包括与选择控制信号相对应的选定感兴趣区域指令； S206、基于选定感兴趣区域指令，将选定的反馈数据绘制在原始图像上，成为选定的感兴趣区域图像，并输出选定的感兴趣区域图像。该过程与上述服务器模块103描述相同，不再赘述。进ー步的，上述方法在步骤S206后还包括S207、利用选定感兴趣区域所覆盖的图像信息，对选定感兴趣区进ー步进行目标分析和识别。该过程与上述服务器模块103、信息检索模块106的描述相同，不再赘述。利用上述方法和系统，如果观众对当前电视画面中的某些部分感兴趣，想进ー步了解相关信息，需要按动遥控器上的某ー按钮，遥控器通过无线信号发送给电视机，电视机解析这ー指令，截取当前图像，利用内容分析模块，对当前图像进行分析，通过一定的算法，得到一些用户可能感兴趣的区域，并进行标号，同时在当前图像中显示出来，由用户利用遥控器的数字键对标示出的目标框进行选择。该结果反馈给电视机，由信息检索模块，根据选择的目标，进行后台捜索或网络搜索，将结果呈现出来，供观众了解更多的信息。应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。
权利要求
1.一种智能电视人机交互装置，包括 遥控器模块，适于接收用户操作，产生相应的控制信号；所述控制信号包括分析当前画面的控制信号和选择控制信号； 服务器模块，适于接收并解析所述控制信号以获取指令；所述指令包括与分析当前画面的控制信号相对应的分析当前画面的指令、与选择控制信号相对应的选定感兴趣区域指令； 感兴趣区域分析模块，适于根据所述分析当前画面的指令，截取当前电视画面并对其进行分析，以获取潜在区域并反馈给服务器模块；所述服务器模块还适于将接收到的反馈数据绘制在原始图像上，成为潜在区域图像；所述服务器模块还适于接收选定感兴趣区域指令，将选定的反馈数据绘制在原始图像上，成为选定的感兴趣区域图像；和输出模块，适于输出所述潜在区域图像和选定的感兴趣区域图像。
2.根据权利要求1所述的智能电视人机交互装置，还包括 信息检索模块，适于根据所述选定感兴趣区域指令，对选定感兴趣区域进一步进行目标分析、识别和信息检索。
3.—种智能电视人机交互系统,包括 如权利要求1 2之一所述的智能电视人机交互装置；和 电视模块，适于接收输出模块发来的指令并根据指令进行操作。
4.根据权利要求3所述的智能电视人机交互系统，其中，所述电视模块接收并显示来自输出模块的数据。
5.—种智能电视人机交互方法,包括 步骤一、接收用户操作，产生控制信号；所述控制信号包括分析当前画面的控制信号; 步骤二、解析该信号以获取指令；所述指令包括与分析当前画面的控制信号相对应的分析当前画面的指令； 步骤三、根据所述分析当前画面的指令，对当前电视画面进行分析以获取潜在区域，将潜在区域绘制在原始图像上，成为潜在区域图像，并输出潜在区域图像； 步骤四、接收用户操作，产生控制信号；所述控制信号包括选择控制信号； 步骤五、解析该信号以获取指令；所述指令包括与选择控制信号相对应的选定感兴趣区域指令； 步骤六、基于选定感兴趣区域指令，将选定的反馈数据绘制在原始图像上，成为选定的感兴趣区域图像，并输出选定的感兴趣区域图像。
6.根据权利要求5所述的智能电视人机交互方法，还包括 步骤七、利用选定感兴趣区域所覆盖的图像信息，对选定感兴趣区进一步进行目标分析、识别和息检索。
7.根据权利要求5所述的智能电视人机交互方法，其中， 在步骤一中，当用户按下遥控器模块的某个功能键，可以产生分析当前画面的控制信号; 在步骤四中，基于潜在区域，当用户按下遥控器模块的某个数字键或字母键，可以产生选择控制信号。
8.根据权利要求5所述的智能电视人机交互方法，其中，步骤三还包括 截取当前电视画面，对当前画面进行潜在区域分析以获取潜在区域； 对潜在区域按位置进行标号； 将位置和标号信息反馈给服务器模块。
9.根据权利要求8所述的智能电视人机交互方法，其中，所述潜在区域分析包括人脸检测。
10.根据权利要求8所述的智能电视人机交互方法，其中，所述潜在区域用矩形表示；所述位置信息包括矩形左上角坐标和矩形右下角坐标表示；所述标号信息包括数字标号。
全文摘要
本发明提供一种智能电视人机交互装置，包括遥控器模块，适于接收用户操作，产生相应的控制信号；服务器模块，适于接收并解析所述控制信号以获取指令；感兴趣区域分析模块，适于根据所述分析当前画面的指令，截取当前电视画面并对其进行分析，以获取潜在区域并反馈给服务器模块；和输出模块，适于输出所述潜在区域图像和选定的感兴趣区域图像。并且提供一种基于该装置的智能电视人机交互系统，还包括电视模块，适于接收输出模块发来的指令并根据指令进行操作以及接收并显示来自输出模块的数据。相应的，还提供一种基于上述智能电视人机交互装置的智能电视人机交互方法。使用户利用遥控器即可对电视画面中感兴趣的目标进行方便的点选。
文档编号H04N21/258GK103051934SQ201110312478
公开日2013年4月17日 申请日期2011年10月14日 优先权日2011年10月14日
发明者刘宏, 钱跃良, 王向东 申请人:中国科学院计算技术研究所