专利名称：利用视线识别的图像录像系统及其控制方法
技术领域：
本发明涉及一种图像的录像，尤其涉及一种在广播中的图像录像及重现时，利用视线识别自动进行录像、停止或者重现的利用视线识别的图像录像系统及其控制方法。
背景技术：
个人用录像机(Personal Video Recorder以下简称PVR)作为一种能够把数字广播在硬盘中进行录像的设备，不仅具有录像的基本功能，而且能够提供时间移动(time-shift)、在视听中的瞬间重现(instant replay)及其他各种特技游戏功能，同时比现有的盒式录像机VCR具有更多的功能。
特别是，个人用录像机具有对高清晰度(HD)级高画面质量的数字广播，在任何时候都可以录到硬盘之后再视听的长处和各种附加服务功能。这种个人用录像机所具有的功能对用户而言有很强的吸引力。
并且，近年来随着存储技术的发展，在个人用录像机中安装硬盘的容量正在非常迅速地增加。随着其容量的增加，在个人用录像机中能够录制节目的份量也在迅速增加。
当前的个人用录像机正在从独立的使用到与机顶盒相结合起来使用的方向发展，因此能够对当前广播中的数字广播自由地进行录像及重现。
这种个人用录像机具有现有电视机(TV)不可能具有的功能。
其中重要的功能是时间移动(time shifter)功能。这种功能是用户在接收的广播信号流中，只选择用户希望的信号流，并将选择的信号在电视机(TV)内部或在外部的存储器即硬盘(HDD)中进行存储，并且在用户希望看的时间重现存储的广播信号。另外，如果用户需要离开视听节目现场，则可将离开时间内广播的内容存储到存储器中；如果用户回来，则从存储的内容到当前广播的内容为止连接起来进行视听。
除此之外，作为其他功能有快进&倒带(Fast Forward & Rewind)功能、慢速动作(Slow Motion)功能、书签(Bookmark)功能(选择再想看的位置)、剪辑录像(Clip Recording){在时间移动(time shift)中只录像希望的区间}功能、返回当前广播位置(Return to Live)功能等。
参照附图，以下对传统技术个人用录像机进行说明。
图1是传统技术个人用录像机的构成方框图。
传统技术个人用录像机如图1所示，是由下述部分构成为了选择用户希望的频道而设置的调谐器；对通过被选择的频道输入的广播信号，为了以传送流形态进行译码而设置的由频道译码器构成的频道段10；为了能够把以传送流形态译码的数据进行重现及存储，对已译码的数据进行编码或译码的数据处理部20；对数据处理部20中被处理的数据进行显示的显示部30；对数据处理部20中被处理的数据进行存储的存储部40；对包括数据处理部20的视频录像机全面进行控制的中央处理器50。
如上所述，传统技术的个人用录像机，对频道段10中接收的广播信号，在数据处理部20中通过显示部30(例如，数字电视机TV)进行输出；或存储在存储部(例如，硬盘HDD)40中；或者将存储部40中存储的图像重现之后进行视听。
但是，这种传统技术个人用录像机存在如下问题
第一，用户通过个人用录像机在实时广播或者在视听存储部中存储图像的过程中，如果出现需要办的事情(例如，来电话、正在用煤气做的食品沸腾、门铃响了等)，则对这些事情用手动进行录像或停止，特别是对实时时间广播不能进行录像的情况，就不能够进行视听。
第二，如果司机在车辆中安装了个人用录像机，并在实时视听广播中的节目，则车辆在停上状态下通常不会产生特殊问题，但车辆在运行中由于重现画面是自动进行，因此存在对这种情况下用手动进行录像或不能视听等问题。如果司机一定要视听该节目，不希望放弃对该节目的视听，则会因为精力集中，对开车产生不利影响。
发明内容
本发明是为了解决上述技术存在问题而开发的，其目的是提供利用视线识别，对正在广播中的图像自动进行录像、停止或重现的利用视线识别的图像录像系统及其控制方法。
为达到上述目的本发明利用视线识别的图像录像系统是由下述部分构成检测用户视线的视线检测摄像机；对视线检测摄像机检测的用户视线坐标进行计算的视线坐标检测器；根据视线坐标检测器检测的视听用户坐标计算结果，对输出中的图像的录像、停止或重现自动地进行控制的个人用录像机。
所述的个人用录像机由下述部分构成选择视听用户希望的频道，并对通过被选择频道输入的广播信号，以传送流的形态进行译码的频道段；对以传送流的形态已译码的广播数据，为使其能够重现及存储而进行编码或译码的数据处理部；对数据处理部中已处理的数据进行显示的显示部；对数据处理部中已处理的数据进行存储的存储部；对个人用录像机全面进行控制，并根据视线坐标检测部检测的视线坐标，对当前显不部输出中的图像的录像、停止或重现进行自动控制的个人用录像机。
为达到上述目的利用视线识别的图像录像系统的控制方法是由下述阶段组成将已译码的图像正在输出到显示部的状态下，对正在视听中的用户的视线通过视线检测摄像机及视线坐标检测器进行检测，如果视听用户的视线在显示部中移动，则自动停止图像输出，或根据时间移动对输出中的图像，在个人用录像机中进行的录像阶段；在视线检测摄像机及视线坐标检测器中，检测出视听用户的视线在显示部中被固定，则将自动停止的图像自动进行重现，或在个人用录像机中被录像的图像以时间移动功能进行的重现的阶段。
所述的将输出中的图像进行录像的阶段是，如果视听用户的视线移动被检测到，则对其立即进行录像；如果经过了设定的时间，则多采用录像方法中的一种对其立即进行录像，并且，包括以时间移动进行重现之后，对已被录像的图像进行自动删除的阶段。
如果所述的个人用图像录像系统在车辆中被安装，并且视听用户为司机，则此时个人用录像系统是由下述阶段组成对车辆移动进行的检测阶段；如果检测出车辆移动，则停止图像输出到显示部，并根据时间移动对图像进行的存储阶段；对车辆的停车和司机的视线是否集中在显示部中进行判断，并且多包括根据判断结果将存储图像进行的重现的阶段。
如上所述，本发明利用视线识别的图像录像系统其控制方法具有如下效果第一，由于对广播能够自动进行录像及重现，因此利用个人用录像机能够容易地视听广播，特别是产生紧急事情时能安全地进行对策。
第二，对个人用录像机(PVR)安装在车辆的情况，由于可以进行对广播的自动录像及重现，因此提高了司机的安全性。
图1是传统技术个人用录像机的构成方框图。
图2是本发明利用视线识别的图像录像系统构成方框图。
图3是本发明第1实例利用视线识别的图像录像系统的控制方法流程图。
图4是本发明第2实例利用视线识别的图像录像系统的控制方法流程图。
图中，100个人用录像机(PVR)110频道段120数据处理部 130显示部140存储部 150中央处理器(CPU)200视线检测摄像机 300视线坐标检测器具体实施方式
参照附图，以下对本发明利用视线识别的图像录像系统及其控制方法进行说明。
图2是本发明利用视线识别的图像录像系统构成方框图。
本发明利用视线识别的图像录像系统如图2所示，是由下述部分构成对视听显示部{例如，数字电视机(TV)(以下简称DTV)}所输出图像上的视听用户视线进行检测的视线检测摄像机200；对视线检测摄像机200检测的用户视线坐标进行计算的视线坐标检测器300；根据视线坐标检测器300检测的视听用户坐标计算结果，对所输出图像的录像、停止或重现自动进行控制的个人用录像机(PVR)100。
所述的个人用录像机是由下述部分构成为了用户选择所希望的频道而设置的调谐器；为了对通过被选择频道输入的广播信号以传送流形态进行译码而设置的由频道译码器构成的频道段110；为使以传送流形态已译码的数据能够进行重现及存储，对已译码的数据进行编码或译码的数据处理部120；将数据处理部120中被处理的数据进行显示的显示部(例如，数字电视机DTV)130；将数据处理部120中被处理的数据进行存储的存储部、(例如，硬盘HDD)140；对个人用录像机(PVR)100的进行全面的控制，并根据视线坐标检测器300中检测的视线坐标，对当前显示部130中输出图像的录像、停止或重现进行控制的中央处理器(CPU)150。
本发明是以对视听用户视线进行检测的视线检测摄像机200和从视线检测摄像机200输入的信号为基础，以视听用户的瞳孔位置为基准来计算出视听用户的视线坐标。在视线坐标检测器300中，将计算出的视线坐标传送到个人用录像机100的中央处理器(CPU)150。如果视听用户的视线在显示部130中不存在，则将当前正在显示的图像自动存储到存储部140；如果视听用户的视线集中在显示部130中，则将已录像的图像自动进行重现；当然，对这种情况应通过快速检索功能将录像的图像进行重现。并且，如果被再现的图像是在存储部140中的输出图像，则不是自动存储，而是在自动暂停(pause)动作之后，根据视听用户的视线是否集中来进行重现。
此时，音频(Audio)信号也在一起进行录像。只是音频与音频存储不同，音频将继续进行输出，或者根据视听用户的选择，经过一定时间之后关闭扬声器(speaker out)。
图3是本发明第1实例利用视线识别的图像录像系统控制方法流程图。
本发明第1实例图像录像系统的图像自动录像及重现方法。如果视听用户通过遥控器或个人用录像机100的前面按键(Front key)，选择视线识别时间移动(Time shifter)功能的动作(S10)，则个人用录像机100的中央处理器(CPU)150将根据视听用户的视线及视听用户设定的实时时间，对音频的接通与关闭进行检测(S20)。
在这里，对视听用户的视线是否固定在画面上进行判断(S30)，即，视线检测摄像机200对视听用户的视线进行检测，并将检测的结果传送到视线坐标检测器300。在视线坐标检测器300中计算视线坐标，并将计算结果传送到个人用录像机100的中央处理器(CPU)150。根据计算出的视线坐标，中央处理器(CPU)150将对显示部130输出的图像是否在设定范围内进行判断。这种判断通常利用一般的视线识别技术。
如果判断结果(S30)是视听用户的视线没有移动，则继续对存储部140中是否存在以前的录像部分进行判断(S40)。
如果判断结果是以前的录像部分不存在，则对当前频道段110中接收的并在数据处理部120中已处理的广播信号进行输出，同时使视听用户视听到正常的画面(S50)；或者将存储部140中存储的图像，在数据处理部120中经过处理之后进行视听欣赏的画面。
但是，如果判断结果(S30)是视听用户的视线移动了，则对是否经过了设定时间进行判断(S60)。
如果判断结果(S60)是视线的移动经过了设定时间，则根据实时时间音频接通/关闭的检测(S20)结果，对扬声器的音频输出进行关闭(speaker out)(S70)。当然，如果实时时间音频接通，则与广播录像无关，可以继续视听音频。
在这里，根据时间移动功能，将当前数据处理部120处理的广播数据(图像及音频)在存储部140中进行存储(录像)(S80)。此时，如果将已录像的广播数据进行重现时，是以快速重现动作进行，则有可能不需要音频录像，因此根据是否需要，也可能对音频不进行存储。
但是，如果判断结果(S60)是视听用户的视线在设定的时间以内移动，则对视听用户的视线是否同定在画面上进行判断(S30)。即，如果视听用户只是在短暂地时间内(例如，1-5秒之间)移动视线，而此时扬声器正处在输出音频的状态，因此即使只在设定时间内视听用户没有视听广播，也不会特别担心对广播内容的视听。这种情况可以防止对广播经常进行不必要的录像(S80)。当然，可以根据需要省略对是否经过设定时间进行的判断阶段(S60)，直接以时间移动功能来进行广播录像(option)。
接着，如果视听用户视线再次在画面上固定(S30)，则对以前的录像部分是否存在进行判断(S40)。如果判断结果是存在以前的录像部分，则以时间移动功能对广播进行重现(S90)。
其次，在存储部存储的数据中，删除相应于重现部分大小的数据(S100)。
当然，如果视听用户对广播内容希望以正常速度视听，则为了以正常速度重现，可通过操作遥控器或个人用录像机的前面按键，使数据处理部120处理的数据继续在存储部140中进行存储作业，并使存储的内容以正常速度通过显示部130和扬声器进行输出。
图4是本发明第2实例利用视线识别的图像录像系统的控制方法流程图。
本发明第2实例利用视线识别的图像录像系统的控制方法主要是适用于车辆司机的图像录像系统及其控制方法。
所述的第2实例利用视线识别的图像录像系统的控制方法是如果司机通过操作遥控器或个人用录像机100前面按键(Front key)选择视线识别时间移动(time shifter)功能的动作(S110)，则个人用录像机100的中央处理器(CPU)150将对在司机设定的实时时间内音频是否接通/关闭进行检测(S120)。
接着，对司机的视线是否固定在画面上进行判断(S130)。即，视线检测摄像机200对视听用户的视线进行检测，并且，如果检测的视听用户视线被传送到视线坐标检测器300，则视线坐标检测器300对视线坐标进行计算之后，将计算出的视线坐标传送到个人用录像机100的中央处理器(CPU)150。中央处理器(CPU)150则对其是否在司机的设定范围以内还是以外进行判断。
如果判断结果(S130)是司机的视线没有移动，则继续对车辆是否在正常行驶中还是在设定速度以下(例如，5km/H以下)进行判断(S140)。即，对车辆是否正常行驶进行判断。
如果判断结果(S140)是车辆当前几乎不在行驶状态，则对在存储部140中以前的录像部分是否存在进行判断(S150)。如果判断结果是以前的录像部分不存在，则将当前频道段110中接收的并在数据处理部120中经过处理的数据进行输出，从而使视听用户可以视听到正常的画面(S160)。
但是，如果判断结果(S130)是视听用户的视线被移动，则继续对车辆是否在行驶中或是否在设定速度以下(例如5km/H以下)进行判断(S170)。
如果判断结果是车辆不行驶，则继续对是否经过了设定时间进行判断(S180)。
如果判断结果(S180)是视听用户的视线移动经过了设定时间，则根据实时时间音频是否接通/关闭的检测(S120)结果，对扬产器的音频输出进行关闭(speaker out)(S190)。当然，也可以存在根据实时时间音频是否接通/关闭的检测(S120)的结果，对扬声器音频输出继续维持接通状态。
接着，以时间移动功能，对当前数据处理部120中处理的广播数据(图像及音频)在存储部140中进行存储(S200)。此时，如果被录像的广播数据以快速动作进行重现，则有可能不需要对音频进行录像，因此根据需要，也可对音频不进行存储。
其次，如果确认了车辆停止(S210)，则司机的视线是否在画面上被固定(S130)、确认车辆行驶(S140)之后，如果司机的视线固定在画面上，并且车辆不是正常行驶，则根据以前的录像部分是否存在，以时间移动功能对广播进行重现(S220)，并在存储部140中删除相应于重现部分大小的存储数据(S230)。当然，对录像的图像进行重现时也要对车辆是否行驶进行判断。
此时，与本发明第1实例分析方法相同，如果司机视线的画面移动没有经过设定的时间，则对视听用户的视线是否在画面上被固定再进行判断(S130)。即，如果视听用户只是在短时间(例如，1-5秒之间)间内移动视线，则由于扬声器此时正处在输出音频的状态，因此即使只在视听用户设定的时间内没有视听广播，也不会特别担心对广播内容不能视听。当然，根据需要可以省略对是否经过设定时间所进行的判断阶段(S180)，而直接用时间移动功能来进行广播录像(option)。
并且，在对车辆行驶进行判断的阶段(S140)(S170)，如果所有车辆行驶都被确认，则立即以时间移动功能对广播进行录像(S200)。此时，如果判断为车辆行驶持续了1km以上，则对司机或步行者均能提高其安全性。
本发明第2实例主要是对司机的适用，而第1实例主要是对家庭、车辆的前后座位乘客的适用。
权利要求
1.利用视线识别的图像录像系统，其特征在于所述的个人用图像录像系统是由下述部分构成检测用户视线的视线检测摄像机；对视线检测摄像机检测的用户视线坐标进行计算的视线坐标检测器；根据视线坐标检测器检测的视听用户坐标的计算结果，对输出中的图像的录像、停止或重现自动进行控制的个人用录像机。
2.根据权利要求1所述的利用视线识别的图像录像系统，其特征在于所述的个人用录像机是由下述部分构成选择视听用户希望的频道，并对通过被选择频道输入的广播信号，以传送流的形态进行译码的频道段；对以传送流的形态已译码的广播数据，为使其能够重现及存储而进行编码或译码的数据处理部；对数据处理部中已处理的数据进行显示的显示部；对数据处理部中已处理的数据进行存储的存储部；对个人用录像机全面进行控制，并根据视线坐标检测部检测的视线坐标，对当前显示部中输出图像的录像、停止或重现进行控制的中央处理器。
3.利用视线识别的图像录像系统的控制方法，其特征在于所述控制方法是由下述阶段组成将已译码的图像正在输出到显示部的状态下，对正在视听中的用户的视线通过视线检测摄像机及视线坐标检测器进行检测，如果视听用户的视线在显示部中移动，则自动停止图像输出，或根据时间移动对输出中的图像，在个人用录像机中进行的录像阶段；在视线检测摄像机及视线坐标检测器中，检测出视听用户的视线在显示部中被固定，则将自动停止的图像自动进行重现，或在个人用录像机中被录像的图像以时间移动功能进行的重现的阶段。
4.根据权利要求3所述的利用视线识别的个人用图像录像系统的控制方法，其特征在于所述的将输出中的图像进行录像阶段是如果视听用户的视线移动被检测到，则对其立即进行录像；如果经过了设定的时间，则多采用录像方法中的一种对其立即进行录像；并且，包括以时间移动进行重现之后，对已被录像的图像进行自动删除的阶段。
5.根据权利要求3所述的利用视线识别的个人用图像录像系统的控制方法，其特征在于所述的如果个人用录像系统在车辆中被安装，并且视听用户为司机，则此时个人用图像录像系统是由下述阶段组成对车辆移动进行的检测阶段；如果检测出车辆移动，则停止图像输出到显示部，并根据时间移动对图像进行的存储阶段；对车辆的停车和司机的视线是否集中在显示部中进行判断，并且多包括根据判断结果将存储图像进行的重现的阶段。
全文摘要
本发明涉及一种图像的录像，尤其涉及一种在广播中的图像录像及重现时，利用视线识别自动进行录像、停止或者重现的利用视线识别的图像录像及其控制方法。为达到上述目的本发明利用视线识别的个人用图像录像系统是由下述部分构成视线检测摄像机；视线坐标检测器；个人用录像机(PVR)。其控制方法是由下述阶段组成在图像输出到显示部时，对用户视线进行检测，若视线移动，则停止图像输出或进行录像的阶段；若视线固定，则重现停止的图像，或对录像的图像进行重现的阶段。本发明不仅能够利用个人用录像机(PVR)容易地视听广播，特别是产生紧急事情时能安全地进行对策，而且对其安装在车辆的情况，提高了司机的安全性。
文档编号G11B19/02GK1856063SQ20051004629
公开日2006年11月1日 申请日期2005年4月20日 优先权日2005年4月20日
发明者李在晟 申请人:乐金电子(沈阳)有限公司