专利名称：影像系统的影像显示方法和图像处理装置的制作方法
技术领域：
本发明涉及显示所输入的影像信息的技术。
背景技术：
随着液晶显示器技术的发展，已生产出画面尺寸为2英寸至4英寸左右的便携式液晶电视，用该小型画面的液晶电视来接收普通的电视广播的收看收听者日益增加。另外，预定在不久的将来，地面波数字广播即将开始，可显示所广播的数字图像或来自因特网的数字图像的便携式装置(例如，参照日本特开2003-101898号公报)等也正在考虑中。
另一方面，在通常的电视广播中，可以认为各种节目的制作是假定画面尺寸为14英寸至30英寸左右的接收机的。
另外，作为近年的倾向，在上述通常的广播之外，配合数字广播技术的引入，HDTV(高品质电视或高清晰度电视)广播也已开始，也可以设想随着地面波数字广播的开始，这些HDTV节目将会增加。
这种HDTV，作为显示条件，考虑将30～50英寸左右或更大的画面尺寸纳入视野而进行节目制作。
除此之外，适应手机、数码相机、便携式摄像机(camcorder)、汽车导航系统、笔记本型便携式个人计算机(PC)等移动设备的活动图像的进展十分迅速，可以料想，以1.5英寸至5英寸左右的小型画面再现活动图像的情况的普及化也只是时间问题。
不过，会产生如下问题在用2～3英寸左右的便携式液晶电视收看收听上述通常的电视广播的节目时，难以看出演出者的面部和表情，难以读出照相机拍摄的文字(风景中的招牌及新闻报道标题等)。
特别是，可以认为，用手机收看收听电视广播的节目的情况及利用汽车导航系统的DVD再现功能来进行节目再现等情况，今后将会增加，在从移动设备取得信息的依赖率不断提高的情况下，必须减轻这种视听困难就成为研究课题。
另外，随着信息数字化的进展，如上所述，HDTV等的活动图像的高精细化进步，节目制作时的预想显示尺寸和实际的显示尺寸的(多样化的一端)小型画面之间的落差有日益加大的倾向。
此外，作为消除这些困难的方法之一，具有在收看收听时进行部分放大显示功能的设备正在产品化，但对于每个图像必须手动设定放大率和放大(中心)位置，如果是静止图像花费些时间还可以适应，可是如果这是活动图像，要时时刻刻手动改变上述两个因素，对于一般用户而言，可以认为这是一种实质上不可能的困难程度极大的操作。
发明内容
本发明是要解决上述的课题，其目的是使用户无须进行麻烦的操作就可以对所希望的部分图像进行放大处理，使其显示于小画面的显示装置上。
为达到上述目的，根据本发明的一个实施形式，提供一种显示所输入的影像信息的影像系统的影像显示方法，包括输入影像信息和关于显示在小画面的显示装置中的部分影像的副信息的步骤；根据所输入的副信息对上述部分影像进行放大处理的步骤；以及将放大处理后的部分影像显示在上述小画面的显示装置中的步骤。
另外，根据本发明的一个实施形式，提供一种处理所输入的图像信息的图像处理装置，包括输入图像信息和关于显示在小画面的显示装置上的部分图像的副信息的输入装置；根据所输入的副信息对上述部分图像进行放大处理的处理装置；以及使放大处理后的部分图像显示在上述小画面的显示装置中的显示控制装置。
关于本发明的其他目的，可从下面的附图及后述的详细说明得到了解。
图1为表示实施形式中的影像系统的显示侧的构成的图。
图2为用来说明区域直接指定中的长方形的示例的图。
图3为用来说明区域直接指定中的圆形的示例的图。
图4为用来说明区域直接指定中的多边形的示例的图。
图5为用来说明区域直接指定中的多边形的示例的图。
图6为用来说明重要点指定中的部分放大区域的设定的图。
图7为表示显示到上位第三个重要度的情况的示例的图。
图8为表示显示到上位第五个重要度的情况的示例的图。
图9为按照重要度从高到低的顺序将从P1(x1，y1)到P3(x3，y3)的3点用x-y坐标指定在HDTV标准的画面内的图。
图10为表示按照优先顺序切换的显示区域的显示画面的图。
图11为添加到时间轴上来表示直接指定部分放大区域时的整个摄像区域和部分放大区域的关系的图。
图12为表示将数据(比特)流按每规定单位(例如，MPEG的GOP等)进行分割后的情况的构成的图。
图13为表示AV(声音和影像)数据的一例的图。
图14为表示影像数据的数据(比特)流的详细情况的图。
图15为表示多个广播标准间的显示区域的包含关系的图。
图16为其他实施形式的进行部分放大处理后的画面显示的图。
具体实施例方式
下面参照附图详细说明本发明的实施形式。
作为本实施形式，例如，输入电视广播的或由移动设备记录的声音及影像信息，将用附加到该影像信息上的元数据指定的希望的区域进行部分放大处理，使用户能在小画面显示器上容易观察所希望的区域，下面对此情况进行说明。另外，对根据由元数据指定的影像信息的重要度将影像进行部分放大处理的情况进行说明。
图1为表示实施形式的影像系统的显示侧的构成的图。如图1所示，在本实施形式中，作为信息的输入源，假定有以下三种。
(1)广播·通信系统(2)碟状记录介质(3)半导体存储卡另外，上述输入源，以天线101、碟介质103、存储卡105的符号来表示。并且，各输入源通过(无线)接收部102、碟再现部104、存储器数据读出部106，以数字数据流提供给次级的源选择部107。
并且，系统控制部118，检测用户操作、碟介质103、存储卡105的装载状况，生成选择控制信号，控制对源选择部107的选择动作。此系统控制部118，至少由控制整体的CPU、存储该CPU的程序及控制数据的ROM、CPU执行处理时使用的作业区域及定义了各种表等的RAM构成。
之后，由源选择部107根据来自系统控制部118的选择控制信号选择的数据(比特)流被提供给次级的数据分离部108。此数据分离部108，将数据(比特)流分离为主影像数据、声音数据及元数据，使影像数据输入到数据块抽取部113，声音数据输出到扬声器等声音再现装置109，元数据输出到元数据分析部110。
此处，元数据分析部110，为了从众多的元数据中抽取所希望的副信息，确认用于部分放大的参考信息是以何种形式附加的。大致区分时可分为发送关于重要度的信息、并在再现侧进行部分放大区域的设定的类型(Type-A)，和发送直接指定部分放大区域的信息的类型(Type-B)。其中，关于区域指定，通过根据长方形、圆形、多边形的差异而改变定义的方式，来谋求高效率化。这样，判别信息的类型和定义方法的差异，后述的关注区域数据抽取部111及关注区域设定部112抽取并设定部分放大区域。
另外，包含在上述元数据中的副信息，是由拍摄影像侧自动或手动生成的。
首先，用图2～图5，对从用上述类型(Type-B)指定的参考信息中抽取副信息(部分放大区域)的关注区域数据抽取部111中的区域抽取方法的具体例，按照以下顺序进行说明。
图2为用来说明区域直接指定中的长方形的示例的图。图2的示例，是参考信息为区域直接指定的长方形的情况，如图2所示，采用由左上和右下的2点(x1，y1)、(x2，y2)进行x-y坐标指定的长方形，抽取部分放大区域。
图3为用来说明区域直接指定中的圆形的示例的图。图3的示例，是参考信息为区域直接指定的圆形的情况，如图3所示，采用由中心点(x1，y1)和半径r定义的圆形，抽取部分放大区域。
图4为用来说明区域直接指定中的多边形的示例的图。图4的示例，是参考信息为区域直接指定的多边形的情况，如图4所示，采用由多边形全部顶点进行坐标指定后的多边形，抽取部分放大区域。
图5为用来说明区域直接指定中的多边形的示例的图。图5的示例，是参考信息为区域直接指定的多边形的情况，在此情况下，如图5所示，以多边形的一个顶点为起点，由角度和距离顺序定义邻接的顶点，采用围着全部顶点绕行一圈的多边形，抽取部分放大区域。具体来说，角度以相对y轴的倾角θ表示，长度以基准画面的对角线长为100％时的百分比来表示。当然，以x-y坐标的标量值及像素数换算的距离等其他形式规定长度也可以。用坐标指定重要度高的点或狭窄区域的中心。并且，利用此信息在显示侧适当地设定部分放大区域。
下面利用图6～图10对由上述类型(Type-A)指定的参考信息中抽取副信息(部分放大区域)的关注区域数据设定部112的区域设定方法的具体例按照以下顺序进行说明。
图6为用来说明重要点指定中的部分放大区域的设定的图。在图6的示例中，是按照重要度从高到低的顺序，对P1(x1，y1)～P5(x5，y5)的5个点进行x-y坐标指定。并且，多个坐标指定信息作为副信息，与主信息的影像信息一起，嵌入到元数据中进行记录和传送。
接收这些信息，根据再现·显示侧的要求进行部分放大区域的运算·设定。作为显示方法，指定要显示的重要度的级别，确定包含满足此条件的所有点P的最小区域。
图7为表示显示到上位第三个重要度的情况的示例的图。另外，图8为表示显示到上位第五个重要度的情况的示例的图。不过，示于图7及图8的显示例表示最小区域，在各点的周围应该存在所需要的信息，所以如果只包含指定坐标，则因为缺少所希望的区域的可能性较高，所以设定为也包含各点的周围，比最小区域大一些，可以获得良好的结果。
图9为按照重要度从高到低的顺序、在HDTV标准的画面内以x-y坐标指定从P1(x1，y1)到P3(x3，y3)的3个点的图。此多个坐标指定信息作为副信息，与主信息的HD影像一起，嵌入到元数据中进行记录与传送。
接收这些信息，根据再现·显示侧的要求进行部分放大区域的运算·设定。作为显示方法，在HDTV画面中设定称为QVGA的元图像的1/16左右的面积的区域，但如上述的方法那样，不是同时显示全部3个点，而是首先将以第1重要点P1为中心的QVGA区域设定为部分放大区域。此处，如果根据用户希望而想显示另一个区域时，就对于每次选择操作(例如，按下NEXT按钮)，按照重要度的从高到低顺序，对P1→P2→P3这种状况赋予优先顺序，进行显示区域切换。将其进行图示的是图10所示的(A)、(B)、(C)。
此处，再次对从各输入源输入的全部数据(比特)流、AV(声音及影像)数据及元数据的关系进行详细说明。
图11为将直接指定了部分放大区域时的整个摄像区域和部分放大区域的关系添加到时间轴上来表示的图。在显示时，必须在对象的活动图像的全部帧中设定部分放大区域。
另外，在图11中，例示了每一帧部分放大区域都变化的情况，但也可以通过任意指定关键帧而固定。例如，在新闻节目中，可以将在播音员的背景中显示的采访影像的区域作为部分放大区域固定指定进行使用。
下面对数据(比特)流的结构进行说明。
图12为表示将数据(比特)流以每规定单位(例如，MPEG的GOP等)进行分割的情况的构成的图。在图12中，1201是首部，是描述各种ID及参数的字段。1202是元数据，作为基本信息，是生成年月日、作者、标题、缩略图像、著作权信息、时间代码等。如果是所谓搁置型的，则与TV节目及市售的软件相对应，记录节目信息(广播台、广播年月日、登场人物)，如果是便携式摄像机(camcorder)，则记录摄像机信息(变焦距、聚焦、光圈、快门、增益等)。而且，1203是AV数据。关于此AV数据在后面叙述。
另外，在图12中，只记述关于本发明的重要度信息及部分放大区域指定信息，上述信息在图中未示出，但是毋庸赘言，可以考虑一起记录。
另外，在图12的示例中，是对每个GOP(是MPEG的I画面单位的图像组的基本单位，通常由15个帧构成)设定元数据的，但如上所述，在实际的显示处理中，因为必须对全部帧设定部分放大区域，所以在GOP内，可以保持为相同的区域设定，也可以从前后的GOP进行区域的插值处理，使每个帧都改变。此时，由图1所示的关注区域设定部112进行运算处理。
此处，如图12所示，首先，显示图像数据的类型用左端的2位的ID码来识别。此ID码和类型的关系如下这样确定00HD(高清晰度电视)标准(9∶16宽长宽比)01SD-WIDE(标准清晰度)的9∶16宽长宽比10SD(标准清晰度)的3∶4标准长宽比11QVGA(SD的大约1/4的画面尺寸)
其次，用于设定放大区域的副信息，用参数的称为P-ID的3位识别码来表示。
000全画面显示的Full模式，如果元图像和显示图像的尺寸一样，则因为不必进行用于部分放大的变换处理，所以如果是Full模式、2点显示，就指定最左上端和最右下端。
001因为是重要点信息的模式，所以按照重要度的顺序将坐标点存储为P-1～P-6。
010因为是重要区域的圆指定，所以将中心点和半径分别存储为P-1、P-2，在显示时，根据显示画面的长宽比来设定包含此圆的最小的部分放大区域。
101以距离和角度设定多边形，P-1为起点，以P-2和P-3为一组顺次存储角度与距离。
其次，对由图1所示的数据分离部108分离的声音数据及影像数据进行说明。
图13为表示AV(声音和影像)数据的一例的图。图13的示例，表示由视频(Video)序列1301和音频(Audio)序列1302构成的数据串的样子。
图14为表示影像数据的数据(比特)流的详细情况的图。图中从上向下层次性地表示出图像数据的结构，此结构是MPEG的代表性结构。如图14所示，视频序列层中的VIDEO部分由GOP层构成，是用I、P、B三种编码算法进行编码的。另外，通常由IBBPBBPBBPBBPBB的15帧构成一个GOP。
其下层是图片层，由Y(亮度)和Cr、Cb(色彩)组成，再下层是由称为切片(slice)层的预定单位的数据(宏)块组成，再下层是宏块层，在4∶1∶1的情况下，Y是由4块单位组成，Cr、Cb各由1块单位组成，最下层称为块层，是由纵横8像素的共计64像素组成的像素块。
在这些数据块(宏块或像素块)内，数据块抽取部113抽取必要的内容，通过解码器114执行与编码算法相对应的解码处理，就可以扩展为像素信息，对于由上述关注区域数据抽取部111及关注区域设定部112抽取及设定的部分放大区域，由部分放大处理部115执行扩展后的像素信息的放大处理。
图15为表示多个广播标准间的显示区域的包含关系的图。如图15所示，按照HD(区域A)、SD-WIDE(区域B)、SD(区域C)、Q-VGA(区域D)的顺序面积减小。并且，各部分放大区域的设定，在上述标准的区域以内进行设定。
例如，要在与SD(区域C)标准对应的显示装置(小画面监视器)中显示以HD标准制作的影像(区域A)时，在比C区域更狭的范围内设定部分放大区域，将该设定后的部分放大区域信息提供给部分放大处理部115，执行放大处理为与C区域相当的面积的部分放大处理。就是说，将实施了此部分放大处理的信息提供给与SD标准对应的显示装置进行显示。另外，在用与区域C相当的框剪切时，成为不伴随放大处理的单纯的修饰处理。
如上所述，从解码器114输出标准图像信号，供给标准监视器116，例如，以HD尺寸的输入源本来的尺寸进行图像显示。另一方面，由部分放大处理部115进行部分放大处理后的信号，被提供给小画面监视器117，进行适应小画面的图像显示。
另外，根据用户的操作或存储介质的装载状况等，由系统控制部118执行使各监视器的画面显示开通·关断的判断，对监视器116、117发出适当的指示。
如上所述，根据本实施形式，利用附加到影像信息上的元数据，可以很好地进行小画面显示，可以得到解决以往技术的问题的效果。
特别是，可以实现视听者在收看收听中不必进行操作，就可以获得上述效果的自动化。
另外，根据使用标准监视器或小画面监视器的哪一个，可以自动地选择标准信号和部分放大信号，可提高操作性。
另外，在本实施形式中，所说明的是影像系统具有标准监视器和小画面监视器，将所希望的部分影像进行放大处理而显示于小画面监视器中的情况，但本发明并不限于此，例如，也适用于用手机等收看收听电视广播的节目的情况，以及利用车用导航系统的DVD再现功能来进行节目再现等的情况等，将所希望的部分影像显示于小画面的显示器的情况。
下面，参照附图对本发明的其他实施形式进行详细说明。
作为其他实施形式，是以利用影像信息的属性，进行部分的区域选择，在小画面上进行良好的显示的情况为例进行说明的。
另外，其他实施形式中的影像系统的显示侧的构成与图1所示的构成一样，省略其说明。此处，关注区域设定部112根据预先指定的影像信息的属性，设定进行部分放大处理的区域。
图16为其他实施形式中的经过部分放大处理后的画面显示的图。如图16所示，大致可区分为属性1、属性2是活动图像，属性3、属性4是文字。
如进行更详细的区分，属性1是采访影像，是新闻性最高的影像属性。属性2是演播室影像，在新闻性上优先度低。属性3是文字信息，是一种更新频率比较低的种类的信息，在新闻性这一点上优先度低。属性4同样是文字信息，是突发性的新闻性高的文字属性。利用这些属性，进行用于部分放大的区域设定。
另外，这些属性，例如，对每个镜头(cut)等的预定期间进行设定即可，也未必要对各帧单位进行设定。
因为作为影像信息的重要领域，属性1是适当的，所以为了对于与属性1相当的活动图像区域进行剪切，使其适合于输出标准，由图1所示的框图的部分放大处理部115实施部分放大处理而显示于小画面监视器117。
另外，也可以采用将新闻性低的活动图像和文字的属性2、3显示于标准监视器116中，将新闻性高的文字属性4显示于小画面监视器117中的结构。
例如，也可以进行控制，使得在由2画面构成的手机的主画面上显示属性1的活动图像，在副画面上显示属性4的文字信息。
这样，根据其他实施形式，根据影像信息的属性分割显示区域，可以进行部分放大处理来显示。
另外，可以针对影像信息的每个属性，将显示监视器分为主(标准)监视器或副(小画面)监视器进行显示。
另外，本发明既可以应用于由多台设备(例如，主计算机、接口设备、读取器、打印机等)组成的系统，也可以应用于由一台设备构成的装置(例如，复印机、传真装置等)。
另外，显然本发明的目的可以通过将记录了实现上述实施形式的功能的软件的程序代码的记录介质提供给系统或装置，该系统或装置的计算机(或CPU及MPU)读出并执行记录介质上存储的程序代码而实现。
在此情况下，从记录介质读出的程序代码本身可实现上述实施形式的功能，记录了该程序代码的记录介质构成本发明。
作为用来提供此程序代码的记录介质，可使用例如软盘(Floppy注册商标)、硬盘、光碟、磁光碟、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。
另外，不仅包括由计算机执行所读出的程序代码，来实现上述实施形式的功能的情况，还包括根据该程序代码的指示，运行在计算机上的操作系统(OS)等执行实际处理的一部分或全部，通过该处理实现上述实施形式的功能的情况。
此外，在将从存储介质读入的程序写入到插入在计算机中的功能扩展板或与计算机相连接的功能扩展单元中所具有的存储器中后，该功能扩展板或功能扩展单元中的CPU等执行实际处理的全部或一部分，通过这一处理来实现上述实施方式的功能的情况当然也包含在内。
如上所述，根据实施例，用户无需进行麻烦的操作，就可以将所希望的部分图像进行放大处理而使其显示于小画面的显示装置。
以上通过优选实施例对本发明进行了说明，但本发明并不限于上述实施例，在权利要求所述的范围内，可以有各种变形。
权利要求
1.一种显示输入的影像信息的影像系统的影像显示方法，包括输入影像信息和关于显示在小画面的显示装置中的部分影像的副信息的步骤；根据所输入的副信息对上述部分影像进行放大处理的步骤；以及将放大处理后的部分影像显示在上述小画面的显示装置中的步骤。
2.根据权利要求1所述的影像显示方法，其特征在于上述副信息是指定上述部分影像的二维的区域信息。
3.根据权利要求1所述的影像显示方法，其特征在于上述副信息是表示上述部分影像的重要度的信息。
4.根据权利要求3所述的影像显示方法，其特征在于在对多个部分影像指定了表示上述重要度的信息的情况下，在上述放大处理步骤中，按照上述重要度顺序对各部分影像进行放大处理。
5.根据权利要求1所述的影像显示方法，其特征在于上述副信息是表示上述影像信息的属性的信息。
6.根据权利要求5所述的影像显示方法，其特征在于上述影像信息的属性，是至少识别活动图像、静止图像、文字的任一个的信息。
7.根据权利要求6所述的影像显示方法，其特征在于上述影像系统具有上述小画面的显示装置和标准的显示装置，根据上述影像信息的属性分别显示在各显示装置上。
8.根据权利要求1所述的影像显示方法，其特征在于包括在记录上述影像信息之时，生成并记录针对该影像信息的副信息的步骤。
9.一种处理输入的图像信息的图像处理装置，包括输入图像信息和关于显示在小画面的显示装置上的部分图像的副信息的输入装置；根据所输入的副信息对上述部分图像进行放大处理的处理装置；以及使放大处理后的部分图像显示在上述小画面的显示装置中的显示控制装置。
全文摘要
本发明提供一种影像系统的影像显示方法和图像处理装置。从接收部、碟再现部或存储器数据读取部输入影像信息和关于显示在小画面的显示装置上的部分影像的副信息，在关注区域数据抽取部和关注区域设定部中根据该副信息对部分影像进行抽取和设定，部分放大处理部对该部分影像进行放大处理并显示于小画面监视器上。
文档编号H04N5/445GK1574923SQ20041004550
公开日2005年2月2日 申请日期2004年5月28日 优先权日2003年5月30日
发明者高桥宏尔 申请人:佳能株式会社