助视装置、助视系统及助视方法
【专利摘要】本发明公开了一种助视装置、助视系统及助视方法。助视装置包括：摄像头，用于对一预定区域的图像进行采集，得到预定区域的图像信息，并将预定区域的图像信息传输到处理器；处理器，与摄像头连接，用于：根据预定区域的图像信息、预设的肤色的颜色直方图和反向投影方法来确定预定区域的图像信息的第一概率密度分布图；根据连通域检测算法确定第一概率密度分布图中的手体区域；根据手体区域在预定区域内标定一显示区域；以及将显示区域的图像信息放大，并将放大后的显示区域的图像信息传输到显示器；以及显示器，用于将放大后的显示区域的图像信息进行显示。由此，可以实现智能化助视阅读，无需手动操作，十分便捷。
【专利说明】
助视装置、助视系统及助视方法
技术领域
[0001]本发明涉及计算机视觉领域，具体地，涉及一种助视装置、助视系统及助视方法。
【背景技术】
[0002]从古至今，阅读一直是人们获取信息、提高修养的一种重要途径。然而，一些人群具有不同程度的阅读障碍，这些人群包括近视、远视、弱视患者以及大部分的老年人等。他们常常利用各种辅助工具(例如，放大镜、助视器等)将书本上的图像放大来进行阅读。
[0003]在利用现有的辅助工具进行阅读时，读者需要手握该辅助工具，将其放置在需要阅读或写字的地方，这样势必会占用一只手，不论是写字还是阅读都很不方便。因此，对于视力差的人群来说，通过利用辅助工具将图像放大来进行阅读或写字时，还需要额外对这些辅助工具进行操作来选取想要放大的目标。这样，读者在阅读或写字的同时又增加了对这些辅助工具的操作动作，不仅影响阅读速度，还影响阅读体验。
【发明内容】
[0004]本发明的目的是提供一种无需手动操作、实现智能化助视阅读的助视装置、系统和方法。
[0005]为了实现上述目的，本发明提供一种助视装置，该助视装置包括:摄像头，用于对一预定区域的图像进行采集，得到所述预定区域的图像信息，并将所述预定区域的图像信息传输到处理器；所述处理器，与所述摄像头连接，用于:根据所述预定区域的图像信息、预设的肤色的颜色直方图和反向投影方法来确定所述预定区域的图像信息的第一概率密度分布图；根据连通域检测算法确定所述第一概率密度分布图中的手体区域；根据所述手体区域在所述预定区域内标定一显示区域；以及将所述显示区域的图像信息放大，并将放大后的所述显示区域的图像信息传输到显示器；以及所述显示器，与所述处理器连接，用于将所述放大后的所述显示区域的图像信息进行显示。
[0006]优选地，所述处理器还用于:在确定所述预定区域的图像信息的第一概率密度分布图之后，在所述手体在所述预定区域内移动的情况下，根据背景差分法来确定所述预定区域的第一背景差分图像；以及将所述第一背景差分图像中判断为背景的像素点在所述第一概率密度分布图中的概率降低为零。
[0007]优选地，所述处理器还用于:在根据连通域检测算法确定所述第一概率密度分布图中的手体区域之后，通过将所述手体区域与预设的手体特征进行匹配来对所述预定区域内的手体区域进行确认。
[0008]优选地，在所述手体在所述预定区域移动之前的初始帧中，在所述预定区域内标定初始帧的一跟踪区域，使得该初始帧的跟踪区域至少包括所述手体区域的一部分；确定所述初始帧的跟踪区域的像素点的颜色直方图，根据初始帧的所述预定区域的图像信息、所述初始帧的跟踪区域的像素点的颜色直方图和反向投影方法来确定初始帧的所述预定区域的图像信息的第二概率密度分布图；在所述初始帧之后的每一帧中，根据上一帧的所述跟踪区域的像素点的颜色直方图、当前帧的所述预定区域的图像信息和反向投影方法，确定当前帧的第二概率密度分布图，根据均值漂移算法标定当前帧的跟踪区域，使得跟踪区域在所述当前帧的第二概率密度分布图中的概率分布与上一帧的所述跟踪区域在上一帧的第二概率密度分布图中的概率分布相匹配；以及根据当前帧的跟踪区域来标定当前帧的显示区域。
[0009]优选地，所述处理器还用于:在标定所述初始帧的跟踪区域之前，将所述手体区域在所述第一概率密度分布图中的概率分布按照一预定规则进行调整，使得所述手体区域在所述第一概率密度分布图中的概率随所述预定区域边缘的延伸方向而逐渐减小，之后，再根据调整后的所述手体区域在所述第一概率密度分布图中的概率分布标定所述初始帧的跟踪区域；以及在标定所述当前帧的跟踪区域之前，将所述当前帧的所述手体区域在所述第二概率密度分布图中的概率分布按照所述预定规则进行调整，使得所述当前帧的所述手体区域在所述第二概率密度分布图中的概率随所述预定区域边缘的延伸方向而逐渐减小，之后，再根据调整后的所述手体区域在所述第二概率密度分布图中的概率分布标定所述当前帧的跟踪区域。
[0010]优选地，所述处理器还用于:在所述初始帧之后的每一帧中，在确定当前帧的第二概率密度分布图之后，根据背景差分法来确定当前帧的第二背景差分图像；以及将所述当前帧的第二背景差分图像中判断为背景的像素点在所述当前帧的第二概率密度分布图中的概率降低为零。
[0011]优选地，所述处理器还用于:对所述手体的手势进行识别，根据所识别的手势对所述显示区域的图像信息进行处理，并将处理后的所述显示区域的图像信息传输到所述显示器；以及所述显示器还用于对处理后的所述显示区域的图像信息进行显示。
[0012]优选地，该助视装置还包括音频播放器，其中，所述处理器还用于对所述显示区域的字符进行识别，生成与所识别的字符对应的语音信息，并将所述语音信息传输到所述音频播放器；以及所述音频播放器与所述处理器连接，用于将所述语音信息进行播放，其中，所述处理器还用于接收用户切换指令，并在接收到所述用户切换指令的情况下，向所述显示器传输放大后的所识别的字符，其中，所述用户切换指令用于指示显示放大后的所识别的字符。
[0013]本发明还提供一种助视系统，该助视系统包括:上述助视装置；以及服务器，与所述助视装置通信，用于与所述助视装置远程交互。
[0014]本发明还提供一种助视方法，该助视方法包括:对一预定区域的图像进行采集，得到所述预定区域的图像信息；根据所述预定区域的图像信息、预设的肤色的颜色直方图和反向投影方法来确定所述预定区域的图像信息的第一概率密度分布图；根据连通域检测算法确定所述第一概率密度分布图中的手体区域；根据所述手体区域在所述预定区域内标定一显示区域；将所述显示区域的图像信息放大；以及将所述放大后的所述显示区域的图像信息进行显示。
[0015]通过上述技术方案，本发明的助视装置根据摄像头采集的一预定区域的图像信息确定出该预定区域内的手体区域，根据该手体区域确定一显示区域，然后将该显示区域中的图像信息放大后在显示器上显示出来。这样，当视力差的读者用该助视装置阅读或写字的时候，只要把阅读文件放在预定区域，把手放在该阅读文件的纸面上，指向想要阅读的地方，显示器中就能够显示出想要阅读的地方的放大的图像。因此，通过应用本发明的助视装置，使得视力差的读者通过将图像放大来阅读的同时，不需要对该助视装置进行操作来选取想要放大的区域，从而加快了阅读速度，改善阅读体验。在本发明的优选实施方式中，该助视装置能够将手体的一部分自动标定为目标进行实时跟踪，从而能够自动地跟踪手体所指的显示区域，使显示器中能够自动放大显示读者想要关注的地方。
[0016]本发明的其他特征和优点将在随后的【具体实施方式】部分予以详细说明。
【附图说明】
[0017]附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的【具体实施方式】一起用于解释本发明，但并不构成对本发明的限制。在附图中:
[0018]图1是根据本发明的实施方式提供的助视装置的结构框图；
[0019]图2a_图2d是根据本发明的实施方式提供的标定的各个区域的示意图；
[0020]图3是根据本发明的实施方式提供的助视装置的示意图；
[0021]图4是根据本发明的另一实施方式提供的助视装置的结构框图；
[0022]图5是根据本发明的实施方式提供的助视系统的示意图；以及
[0023]图6是根据本发明的实施方式提供的助视方法的流程图。
[0024]附图标记说明
[0025]100助视装置101摄像头 102处理器
[0026]103显示器 104音频播放器110服务器
[0027]I 预定区域II 手体区域 III显示区域
[0028]IV 跟踪区域
【具体实施方式】
[0029]以下结合附图对本发明的【具体实施方式】进行详细说明。应当理解的是，此处所描述的【具体实施方式】仅用于说明和解释本发明，并不用于限制本发明。
[0030]图1是根据本发明的实施方式提供的助视装置的结构框图。如图1所示，该助视装置100可以包括摄像头101、处理器102和显示器103。其中，摄像头101可以用于对一预定区域的图像进行采集，得到该预定区域的图像信息，并将该预定区域的图像信息传输到处理器102。处理器102与摄像头101连接，处理器102可以用于进行以下操作:根据预定区域的图像信息、预设的肤色的颜色直方图和反向投影方法来确定预定区域的图像信息的第一概率密度分布图；根据连通域检测算法确定第一概率密度分布图中的手体区域；根据手体区域在预定区域内标定一显示区域；以及将显示区域的图像信息放大，并将放大后的显示区域的图像信息传输到显示器103。显示器103与处理器102连接，显示器103可以用于将放大后的显示区域的图像信息进行显示。
[0031]图2a_图2d是根据本发明的实施方式提供的处理器102进行图像处理的示意图。如图2a-图2d所示，预定区域I可以是摄像头101所能采集的区域。例如，可以将该预定区域I设定为略大于A4纸，这样，对于一般的阅读材料，摄像头101可以一次性采集一个版面，而不需要在阅读过程中再去移动书本。
[0032]以下详细描述处理器102对采集到的预定区域I的图像信息的处理过程。
[0033]首先，根据预定区域I的图像信息、预设的肤色的颜色直方图和反向投影方法来确定预定区域I的图像信息的第一概率密度分布图。肤色是人体专有的颜色特征，可以通过预设色调饱和度亮度(HSV，hue, saturat1n, value)颜色空间中的色调取值范围来确定肤色的色调。也就是，可以以一阈值作为分割界限，将肤色色调与非肤色色调区分开来。例如，可以根据经验在HSV颜色空间中设定肤色色调在336-360和0_68的范围内。在预设肤色的色调范围之后，可以确定该预设的肤色的颜色直方图。然后，根据将该预设的肤色的颜色直方图、预定区域I的图像信息和反向投影方法，可以得到预定区域I的图像信息的第一概率密度分布图。2011年江西理工大学江凤兵的硕士论文《不同颜色空间肤色检测算法的研究》中详细描述了利用各种颜色空间的肤色检测算法，其全部内容在此被合并引用。在读者将手放到预定区域I内的情况下，处理器102得到的第一概率密度分布图中会出现一个手形的区域。
[0034]在一些复杂的背景中，预定区域I中可能会有些不属于手体但与肤色相似的像素点，这时，由上述肤色检测方法得到的第一概率密度分布图中由肤色区域确定的手体区域可能会有冗余信息。要得到准确的手体区域，需要将这些不属于手体但具有与肤色相似颜色的像素点剔除。因此，优选地，处理器102还可以结合一种背景差分的方法来剔除掉冗余信息。也就是，在手体在预定区域I内移动的情况下，根据背景差分法来确定预定区域I的第一背景差分图像；以及将第一背景差分图像中判断为背景的像素点在第一概率密度分布图中的概率降低为零。
[0035]其中，该背景差分法可以利用例如混合高斯模型构建出一帧可以参考的背景图像，取得当前帧与背景帧之间的差值，这个差值饱含了帧间变化的运动信息，可以剔除掉长时间没有发生变化的背景区域，只剩下具有运动状态的目标。2013年电子科技大学普婕的硕士论文《复杂动态场景背景建模与目标检测技术研究》详细描述了背景建模和目标检测技术，其全部内容在此被合并引用。第一背景差分图像中“凸显”的区域为检测为运动的图像区域，该图像区域呈现手体形状。这样，通过将在第一背景差分图像中判断为背景的像素点在第一概率密度分布图中的概率降低为零，可以将这些非手体的肤色像素点剔除。
[0036]接下来，处理器102根据连通域检测算法确定第一概率密度分布图中的手体区域。也就是，在手体以一定比例进入到预定区域I时，在第一概率密度分布图上，通过连通域检测算法，提取出概率密度较大的一些连通区域，提取出来的该连通区域可以确定为手体区域II (如图2a-图2d所示)。2014年吉林大学王霏的硕士论文《基于视频的运动目标检测算法研究》中详细描述了该连通域检测算法，其全部内容在此被合并引用。
[0037]为了降低对手体区域II误判的可能性，处理器102可以进一步对手体区域II进行确认。优选地，处理器102在根据连通域检测算法确定第一概率密度分布图中的手体区域II之后，可以通过将手体区域II与预设的手体特征进行匹配，以对预定区域I内的手体区域II进行确认。其中，所述手体特征可以是根据手体的大小、形状、动作和/或手体区域与预定区域I的边缘的位置关系(例如，手体区域II与预定区域I的边缘相交的部分应该是手臂或手腕的图像区域，不应该出现手指的形状)来确定的特征。例如，该手体特征可以是一些手形的模板，并且可以预存在处理器102中。在手体区域II的形状与预设的手体特征的匹配程度在误差范围的情况下，可以进一步确认由连通域检测算法确定的第一概率密度分布图中的上述手体区域II就是实际手体所对应的图像区域。
[0038]接下来，处理器102根据手体区域II在预定区域I内标定一显示区域III (如图2b所示)。具体地，可以以多种方式来标定该显示区域III。例如，可以以手体区域II的左上角的像素点为中心标定一个矩形，或者可以以手体区域II的左上角的像素点向上或向左平移一预定距离为中心标定一个矩形。或者，在处理器102检测到手体区域II与预定区域I的左侧边缘相交的情况(读者用左手指示想要关注的区域)下，可以以手体区域II的右上角的像素点为中心标定一个矩形，或者可以以手体区域II的右上角的像素点向上或向右平移一预定距离为中心标定一个矩形。该显示区域III就是其中的图像信息可以在显示器103中进行放大显示的区域，也就是读者想要关注的区域。
[0039]以上处理器102标定显示区域III可以在手体静止不动的情况下来标定。当由于阅读的需要而使读者关注的区域发生变化时，读者可以将手体在预定区域I内移动时，指示想要关注的区域。因此，优选情况下，处理器102可以根据手体的移动来动态标定该显示区域III。
[0040]具体地，处理器102根据手体区域II在预定区域I内标定一显示区域III可以包括:
[0041]1、在手体在预定区域I移动之前的初始帧中，在预定区域内标定初始帧的一跟踪区域IV(如图2c所示)，使得该初始帧的跟踪区域IV至少包括手体区域II的一部分。也就是，可以选取包含手体区域II中的任意一部分的矩形框作为跟踪区域IV。
[0042]2、确定初始帧的跟踪区域IV的像素点的颜色直方图，根据初始帧的预定区域I的图像信息、初始帧的跟踪区域IV的像素点的颜色直方图和反向投影方法来确定初始帧的预定区域I的图像信息的第二概率密度分布图。
[0043]3、在初始帧之后的每一帧中，根据上一帧的跟踪区域IV的像素点的颜色直方图、当前帧的预定区域I的图像信息和反向投影方法，确定当前帧的第二概率密度分布图，根据均值漂移算法标定当前帧的跟踪区域IV，使得当前帧的跟踪区域IV在当前帧的第二概率密度分布图中的概率分布与上一帧的跟踪区域IV在上一帧的第二概率密度分布图中的概率分布相匹配。该匹配可以为:当前帧的跟踪区域IV在当前帧的第二概率密度分布图的概率分布与上一帧的跟踪区域IV在上一帧的第二概率密度分布图中的概率分布在差别允许的范围内被判为相一致。也就是，在确定初始帧的跟踪区域IV后，以此作为均值漂移算法的起始位置，在后续的每一帧中，该均值漂移算法通过第二概率密度分布图中跟踪区域IV的概率分布递归计算出概率质心的漂移矢量，相对起点得出一个新的跟踪区域IV位置，以此位置作为新的一帧中对手体移动轨迹的跟踪结果，随后的每一帧进行类似的迭代工作，达到跟随手体移动的跟踪效果。2005年6月，第24卷第2期的《计算技术与自动化》中，陈彩虹的《复杂背景下实时运动手指提取及指尖检测方法》详细描述了用均值漂移算法进行目标跟踪的方法，其全部内容在此被合并引用。
[0044]4、根据当前帧的跟踪区域IV来标定当前帧的显示区域III，如图2d所示。例如，可以在预定区域I的图像信息的当前帧中，将跟踪区域IV中心的像素点向上或向右平移一预定距离的像素点为中心标定一个矩形的显示区域III，该显示区域III就是用户希望关注的区域。
[0045]处理器102采用上述步骤在预定区域I内标定一显示区域III之后，将显示区域III的图像信息放大，并将放大后的显示区域III的图像信息传输到显示器103。这样，处理器102就将读者期望关注的部分的放大信息传输到显示器103进行显示。
[0046]为了选择合适的跟踪范围来对手体区域II进行跟踪。优选地，处理器102还可以用于:在标定初始帧的跟踪区域之前，将手体区域II在第一概率密度分布图中的概率分布按照一预定规则进行调整，使得手体区域II在第一概率密度分布图中的概率随着向预定区域I边缘的延伸方向而逐渐减小，之后，再根据调整后的手体区域II在第一概率密度分布图中的概率分布标定一跟踪区域IV。以及，处理器102还可以在标定当前帧的跟踪区域IV之前，将当前帧的手体区域II在第二概率密度分布图中的概率分布按照上述预定规则进行调整，使得当前帧的手体区域II在第二概率密度分布图中的概率随预定区域I边缘的延伸方向而逐渐减小，之后，再根据调整后的手体区域II在第二概率密度分布图中的概率分布标定当前帧的跟踪区域IV。其中，该预定规则例如可以是使手体区域II中各个像素点的概率沿着向预定区域I边缘的延伸方向按比例减小。上述优选实施方式中，在初始帧中对手体区域II中各个像素点的概率进行调整，便于优先选择包含手背部分(比手臂部分概率大)的矩形框作为跟踪区域IV，在当前帧中对手体区域II中各个像素点的概率进行调整，便于处理器102准确、快速地找到相匹配的跟踪区域IV。
[0047]在手体移动的情况下，优选地，还可以根据背景差分的方法来剔除第二概率密度分布图中手体检测的冗余信息。具体地，处理器102还可以用于:在初始帧之后的每一帧中，在确定当前帧的的第二概率密度分布图之后，根据背景差分法来确定当前帧的第二背景差分图像；以及将当前帧的第二背景差分图像中判断为背景的像素点在当前帧的第二概率密度分布图中的概率降低为零。
[0048]为了方便读者选择适合自己的字体大小，优选情况下，处理器102还可以用于对手体的手势进行识别，根据所识别的手势对显示区域III的图像信息进行处理，并将处理后的显示区域III的图像信息传输到显示器103。显示器103还可以用于对根据所识别的手势处理后的显示区域的图像信息进行显示。具体地，手势识别可以采用BP(BackPropagat1n)神经网络的算法来分类各种手势。以跟踪区域IV概率的质心为原点，按角度将周围划分为η个邻域，并以η个邻域的质心与原点的位置关系作为特征输入，经过训练好的神经网络分类器输出手势的判定结果。其中，对显示区域III的图像信息进行的处理可以包括缩放图像和截图等。读者通过缩放图像可以选择合适的字体大小；通过截图并将图片存储在处理器102中，可以将感兴趣的部分记录下来，方便以后查找。2013年9月第39卷第3期的《延边大学学报(自然科学版)》中，何良华的《一种基于视频的手势识别算法》中详细描述了这种手势识别算法，其全部内容在此被合并引用。
[0049]处理器102将放大(或处理)后的显示区域III的图像信息传输到显示器103后，由显示器103来进行显示。该显示器103例如可以是手机、平板等，与处理器102可以有线或无线地连接。
[0050]图3是根据本发明的实施方式提供的助视装置100的示意图。由图3所示，该实施方式中，助视装置100可以制作成台灯样式置于桌面上，摄像头101可以安装在助视装置100的支架上。用该助视装置100进行阅读的时候，可以将要阅读的书本放置在桌面上，此时，摄像头101所能采集到图像信息的范围可以为预定区域I。当摄像头101采集到预定区域I的图像信息之后，将该图像信息传输到处理器102，处理器102例如可以安装在在助视装置100的支架顶端。处理器102对该预定区域的图像信息进行处理之后，提取出显示区域III中的图像信息并将其放大后传输到显示器103。最后，经放大的显示区域III中的图像信息在显示器103中显示出来。由于处理器102中可以根据检测的手体来标定显示区域III，所以，读者只要把手置于该预定区域I中，显示器103中就可以放大显示手体附近的图像信息。并且，读者在阅读过程中移动手体，显示器103中就可以跟踪显示读者想要关注的区域。在图3的实施方式中，显示器103可以通过延长杆和头箍固定到头部，这种安装方法不仅方便阅读，而且还保护颈椎。
[0051]另外，在读者阅读疲劳的情况下，本发明的助视装置100还可以提供语音播报功能。图4是根据本发明的另一实施方式提供的助视装置的结构框图。如图4所示，该优选实施方式中，助视装置100还可以包括音频播放器104。其中，处理器102还可以用于对显示区域III的字符进行识别，生成与所识别的字符对应的语音信息，并将该语音信息传输到音频播放器104。该音频播放器104可以与处理器102连接，用于将语音信息进行播放。其中，处理器102还用于接收用户切换指令，并在接收到用户切换指令的情况下，向显示器102传输放大后的所识别的字符，其中，用户切换指令用于指示显示放大后的所识别的字符；显示器102还可以用于将放大后的所识别的字符进行显示。助视装置100的该优选实施方式还能够使读者以多途径接收信息，增强了阅读体验。并且，与摄像头101采集的显示区域III的图像信息不同，该识别后的图像信息中包括计算机能够识别出的字符，而不包括图片之类不能识别为字符的信息。读者可以选择这种显示方式来简化显示内容，减轻阅读负担。
[0052]通过以上技术方案，当视力差的读者用该助视装置100阅读或写字的时候，只要把阅读文件放在预定区域I，把手放在该阅读文件的纸面上，指向想要阅读的地方，显示器103中就能够显示出想要阅读的地方的放大的图像。因此，通过应用本发明的助视装置100，使得由视力差的读者在通过将图像放大来阅读的同时，不需要对辅助工具进行操作来选取想要放大的区域，从而加快了阅读速度，增强了阅读体验。
[0053]本发明还提供一种助视系统。图5是根据本发明的实施方式提供的助视系统的示意图。如图5所示，该助视系统可以包括上述助视装置100 (例如8个)和服务器110。其中，服务器110可以与助视装置100通信，用于与各个助视装置100远程交互。具体地，月艮务器110可以通过网络(例如，互联网或局域网)从一助视装置100接收图像信息，并对图像信息进行处理(例如，存储、分类)，还可以将处理后的图像信息发送到该助视装置100或其他助视装置100。该实施方式中，每个助视装置100的用户还可以通过该服务器110与其它助视装置100的用户建立社交网络，彼此交换存储的信息，交流心得体会。
[0054]本发明还提供一种助视方法。图6是根据本发明的实施方式提供的助视方法的流程图。如图6所示，该助视方法可以包括:
[0055]步骤S601，对一预定区域的图像进行采集，得到预定区域的图像信息；
[0056]步骤S602，根据预定区域的图像信息、预设的肤色的颜色直方图和反向投影方法来确定预定区域的图像信息的第一概率密度分布图；
[0057]步骤S603，根据连通域检测算法确定第一概率密度分布图中的手体区域；
[0058]步骤S604，根据手体区域在预定区域内标定一显示区域；
[0059]步骤S605，将显示区域的图像信息放大；以及
[0060]步骤S606，将放大后的显示区域的图像信息进行显示。
[0061]优选地，该助视方法还可以包括:在步骤S602之后，在手体在预定区域内移动的情况下，根据背景差分法来确定预定区域的第一背景差分图像；以及将第一背景差分图像中判断为背景的像素点在第一概率密度分布图中的概率降低为零。
[0062]优选地，该助视方法还可以包括:在步骤S603之后，通过将手体区域与预设的手体特征进行匹配来对预定区域内的手体区域进行确认。
[0063]优选地，步骤S604可以包括:在手体在所述预定区域移动之前的初始帧中，在预定区域内标定初始帧的一跟踪区域，使得该初始帧的跟踪区域至少包括手体区域的一部分；确定初始帧的跟踪区域的像素点的颜色直方图，根据初始帧的预定区域的图像信息、初始帧的跟踪区域的像素点的颜色直方图和反向投影方法来确定初始帧的预定区域的图像信息的第二概率密度分布图；在所述初始帧之后的每一帧中，根据上一帧的跟踪区域的像素点的颜色直方图、当前帧的预定区域的图像信息和反向投影方法，确定当前帧的第二概率密度分布图，根据均值漂移算法标定当前帧的跟踪区域，使得当前帧的跟踪区域在当前帧的第二概率密度分布图中的概率分布与上一帧的跟踪区域在上一帧的第二概率密度分布图中的概率分布相匹配；以及根据当前帧的跟踪区域来标定当前帧的显示区域。
[0064]优选地，通过以下方式在预定区域内标定一跟踪区域:将手体区域在第一概率密度分布图中的概率分布按照一预定规则进行调整，使得手体区域在第一概率密度分布图中的概率随预定区域边缘的延伸方向而逐渐减小，并根据调整后的手体区域在第一概率密度分布图中的概率分布标定一跟踪区域；以及在确定当前帧的第二概率密度分布图之后，并在标定当前帧的跟踪区域之前，该方法还包括:将当前帧的手体区域在所述第二概率密度分布图中的概率分布按照上述预定规则进行调整，使得当前帧的手体区域在第二概率密度分布图中的概率随预定区域边缘的延伸方向而逐渐减小。
[0065]优选地，该助视方法还可以包括:在初始帧之后的每一帧中，在确定当前帧的第二概率密度分布图之后，根据背景差分法来确定当前帧的第二背景差分图像；以及将当前帧的第二背景差分图像中判断为背景的像素点在当前帧的第二概率密度分布图中的概率降低为零。
[0066]优选地，该助视方法还可以包括:对手体的手势进行识别，根据所识别的手势对显示区域的图像信息进行处理；以及对处理后的所述显示区域的图像信息进行显示。
[0067]优选地，该助视方法还可以包括:该方法还包括:对显示区域的字符进行识别，生成与所识别的字符对应的语音信息；将语音信息进行播放；以及接收用户切换指令，并在接收到所述用户切换指令的情况下，将放大后的所识别的字符进行显示，其中，用户切换指令用于指示显示放大后的所识别的字符。
[0068]通过本发明的助视方法，使得由视力差的读者在通过将图像放大来阅读的同时，不需要对辅助工具进行操作来选取想要放大的区域，从而加快了阅读速度，增强了阅读体验。
[0069]以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
[0070]另外需要说明的是，在上述【具体实施方式】中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
[0071]此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
【主权项】
1.一种助视装置，该助视装置包括: 摄像头，用于对一预定区域的图像进行采集，得到所述预定区域的图像信息，并将所述预定区域的图像信息传输到处理器； 所述处理器，与所述摄像头连接，用于: 根据所述预定区域的图像信息、预设的肤色的颜色直方图和反向投影方法来确定所述预定区域的图像信息的第一概率密度分布图； 根据连通域检测算法确定所述第一概率密度分布图中的手体区域； 根据所述手体区域在所述预定区域内标定一显示区域；以及 将所述显示区域的图像信息放大，并将放大后的所述显示区域的图像信息传输到显示器；以及 所述显示器，与所述处理器连接，用于将所述放大后的所述显示区域的图像信息进行显不O2.根据权利要求1所述的助视装置，其特征在于，所述处理器还用于: 在确定所述预定区域的图像信息的第一概率密度分布图之后，在所述手体在所述预定区域内移动的情况下，根据背景差分法来确定所述预定区域的第一背景差分图像；以及将所述第一背景差分图像中判断为背景的像素点在所述第一概率密度分布图中的概率降低为零。3.根据权利要求1所述的助视装置，其特征在于，所述处理器还用于: 在根据连通域检测算法确定所述第一概率密度分布图中的手体区域之后，通过将所述手体区域与预设的手体特征进行匹配来对所述预定区域内的手体区域进行确认。4.根据权利要求1所述的助视装置，其特征在于，所述处理器根据所述手体区域在所述预定区域内标定一显示区域包括: 在所述手体在所述预定区域移动之前的初始帧中，在所述预定区域内标定该初始帧的跟踪区域，使得该初始帧的跟踪区域至少包括所述手体区域的一部分； 确定所述初始帧的跟踪区域的像素点的颜色直方图，根据初始帧的所述预定区域的图像信息、所述初始帧的跟踪区域的像素点的颜色直方图和反向投影方法来确定初始帧的所述预定区域的图像信息的第二概率密度分布图； 在所述初始帧之后的每一帧中，根据上一帧的所述跟踪区域的像素点的颜色直方图、当前帧的所述预定区域的图像信息和反向投影方法，确定当前帧的第二概率密度分布图，根据均值漂移算法标定当前帧的跟踪区域，使得该跟踪区域在所述当前帧的第二概率密度分布图中的概率分布与上一帧的所述跟踪区域在上一帧的第二概率密度分布图中的概率分布相匹配；以及 根据当前帧的跟踪区域来标定当前帧的显示区域。5.根据权利要求4所述的助视装置，其特征在于，所述处理器还用于: 在标定所述初始帧的跟踪区域之前，将所述手体区域在所述第一概率密度分布图中的概率分布按照一预定规则进行调整，使得所述手体区域在所述第一概率密度分布图中的概率随所述预定区域边缘的延伸方向而逐渐减小，之后，再根据调整后的所述手体区域在所述第一概率密度分布图中的概率分布标定所述初始帧的跟踪区域；以及 在标定所述当前帧的跟踪区域之前，将所述当前帧的所述手体区域在所述第二概率密度分布图中的概率分布按照所述预定规则进行调整，使得所述当前帧的所述手体区域在所述第二概率密度分布图中的概率随所述预定区域边缘的延伸方向而逐渐减小，之后，再根据调整后的所述手体区域在所述第二概率密度分布图中的概率分布标定所述当前帧的跟足示区域。6.根据权利要求4所述的助视装置，其特征在于，所述处理器还用于: 在所述初始帧之后的每一帧中，在确定当前帧的第二概率密度分布图之后，根据背景差分法来确定当前帧的第二背景差分图像；以及 将所述当前帧的第二背景差分图像中判断为背景的像素点在所述当前帧的第二概率密度分布图中的概率降低为零。7.根据权利要求1所述的助视装置，其特征在于，所述处理器还用于: 对所述手体的手势进行识别，根据所识别的手势对所述显示区域的图像信息进行处理，并将处理后的所述显示区域的图像信息传输到所述显示器；以及所述显示器还用于对处理后的所述显示区域的图像信息进行显示。8.根据权利要求1-7中任一权利要求所述的助视装置，其特征在于，该助视装置还包括音频播放器， 其中，所述处理器还用于对所述显示区域的字符进行识别，生成与所识别的字符对应的语音信息，并将所述语音信息传输到所述音频播放器；以及 所述音频播放器与所述处理器连接，用于将所述语音信息进行播放， 其中，所述处理器还用于接收用户切换指令，并在接收到所述用户切换指令的情况下，向所述显示器传输放大后的所识别的字符，其中，所述用户切换指令用于指示显示放大后的所识别的字符； 所述显示器还用于将放大后的所识别的字符进行显示。9.一种助视系统，该助视系统包括: 权利要求1-8中任一权利要求所述的助视装置；以及 服务器，与所述助视装置通信，用于与所述助视装置远程交互。10.一种助视方法，该助视方法包括: 对一预定区域的图像进行采集，得到所述预定区域的图像信息； 根据所述预定区域的图像信息、预设的肤色的颜色直方图和反向投影方法来确定所述预定区域的图像信息的第一概率密度分布图； 根据连通域检测算法确定所述第一概率密度分布图中的手体区域； 根据所述手体区域在所述预定区域内标定一显示区域； 将所述显示区域的图像信息放大；以及 将所述放大后的所述显示区域的图像信息进行显示。11.根据权利要求10所述的助视方法，其特征在于，该方法还包括: 在确定所述预定区域的图像信息的第一概率密度分布图的步骤之后，在所述手体在所述预定区域内移动的情况下，根据背景差分法来确定所述预定区域的第一背景差分图像；以及 将所述第一背景差分图像中判断为背景的像素点在所述第一概率密度分布图中的概率降低为零。12.根据权利要求10所述的助视方法，其特征在于，该方法还包括: 在根据连通域检测算法确定所述第一概率密度分布图中的手体区域的步骤之后，通过将所述手体区域与预设的手体特征进行匹配来对所述预定区域内的手体区域进行确认。13.根据权利要求10所述的助视方法，其特征在于，根据所述手体区域在所述预定区域内标定一显示区域的步骤包括: 在所述手体在所述预定区域移动之前的初始帧中，在所述预定区域内标定初始帧的一跟踪区域，使得该初始帧的跟踪区域至少包括所述手体区域的一部分； 确定所述初始帧的跟踪区域的像素点的颜色直方图，根据初始帧的所述预定区域的图像信息、所述初始帧的跟踪区域的像素点的颜色直方图和反向投影方法来确定初始帧的所述预定区域的图像信息的第二概率密度分布图； 在所述初始帧之后的每一帧中，根据上一帧的所述跟踪区域的像素点的颜色直方图、当前帧的所述预定区域的图像信息和反向投影方法，确定当前帧的第二概率密度分布图，根据均值漂移算法标定当前帧的跟踪区域，使得跟踪区域在所述当前帧的第二概率密度分布图中的概率分布与上一帧的所述跟踪区域在上一帧的第二概率密度分布图中的概率分布相匹配；以及 根据当前帧的跟踪区域来标定当前帧的显示区域。14.根据权利要求13所述的助视方法，其特征在于，该方法还包括: 在标定所述初始帧的跟踪区域之前，将所述手体区域在所述第一概率密度分布图中的概率分布按照一预定规则进行调整，使得所述手体区域在所述第一概率密度分布图中的概率随所述预定区域边缘的延伸方向而逐渐减小，之后，再根据调整后的所述手体区域在所述第一概率密度分布图中的概率分布标定所述初始帧的跟踪区域；以及 在标定所述当前帧的跟踪区域之前，将所述当前帧的所述手体区域在所述第二概率密度分布图中的概率分布按照所述预定规则进行调整，使得所述当前帧的所述手体区域在所述第二概率密度分布图中的概率随所述预定区域边缘的延伸方向而逐渐减小，之后，再根据调整后的所述手体区域在所述第二概率密度分布图中的概率分布标定所述当前帧的跟足示区域。15.根据权利要求13所述的助视方法，其特征在于，该方法还包括: 在所述初始帧之后的每一帧中，在确定当前帧的第二概率密度分布图之后，根据背景差分法来确定当前帧的第二背景差分图像；以及 将所述当前帧的第二背景差分图像中判断为背景的像素点在所述当前帧的第二概率密度分布图中的概率降低为零。16.根据权利要求10所述的助视方法，其特征在于，该方法还包括: 对所述手体的手势进行识别，根据所识别的手势对所述显示区域的图像信息进行处理；以及 对处理后的所述显示区域的图像信息进行显示。17.根据权利要求10-16中任一权利要求所述的助视方法，其特征在于，该方法还包括: 对所述显示区域的字符进行识别，生成与所识别的字符对应的语音信息； 将所述语音信息进行播放；以及 接收用户切换指令，并在接收到所述用户切换指令的情况下，将放大后的所识别的字符进行显示，其中，所述用户切换指令用于指示显示放大后的所识别的字符。
【文档编号】G06F3/01GK105989365SQ201510047704
【公开日】2016年10月5日
【申请日】2015年1月30日
【发明人】沈沾俊, 刘程浩, 陈少发, 张书强, 陈菊敏
【申请人】深圳市思路飞扬信息技术有限责任公司