专利名称：运动图象再生质量控制装置及其控制方法
技术领域：
本发明涉及三维虚拟空间中的运动图象再生的质量控制方法及其装置。
以往，在运动图象再生中，对于运动图象的帧速率和画质等的再生质量控制，主要以在数据传送线路中的控制为主，被传送来的运动图象，按照在传送时被设定的帧速率和画质再生。
可是，近年，已经开始通过因特网和CD-ROM和DVD等，提供运动图象、声音、三维计算机图形学等的多媒体数据，制作出融合了运动图象和三维计算机图形学，在三维虚拟空间中再生运动图象那样的内容。
在该假想的三维虚拟空间中，当再生距离视听者远的位置上的运动图象的情况下，图象在显示器投影面上的显示尺寸变小。如果该显示尺寸变小，则运动图象再生质量的劣化通常难以识别。因而，在显示尺寸变小的情况下，不需要维持和显示尺寸大的情况相同的再生质量。即，即使与视点位置相应地降低帧速率和画质，在显示器投影面上视听也没有问题。
但是，在以往的运动图象再生方法中，因为不考虑在三维虚拟空间中的运动图象再生，所以即使在如上述那样的显示尺寸小的情况下，也必须按照预先设定的帧速率和画质再生，存在必须花费和显示尺寸大的情况相同的运算量的问题。
本发明就是鉴于这种以往的问题而提出的，其目的在于提供相应于三维虚拟空间中被再生的运动图象距视点的位置，控制再生质量的方法及其装置。
为了解决上述问题，本发明的(权利要求1)中的运动图象再生质量控制装置，是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的装置，包括目标生成装置，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定装置，输入与被配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间中的目标位置；视点位置确定装置，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间中的视点，用和该目标位置的相关关系确定视点位置；距离计算装置，输入上述目标位置以及上述视点位置，算出从上述视点到目标的距离；帧速率确定装置，输入已算出的距离，根据预先设定的表示从视点到目标的距离和附着在该目标上的运动图象的帧速率的关系的表或者公式，确定与已输入的距离对应帧速率；帧速率控制装置，输入已确定的帧速率，用该帧速率控制再生附着在目标上的运动图象的帧；运动图象生成装置，从外部输入运动图象数据，根据上述控制，从该运动图象数据再生需要的运动图象的帧；透视投影显示装置，输入上述目标位置及上述视点位置，以及被再生的运动图象的帧，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标，在该目标的投影面上附着上述运动图象的帧进行显示。
涉及本发明(权利要求2)的运动图象再生质量控制装置，在权利要求1所述的运动图象再生质量控制装置中，上述距离计算装置，进一步输入在三维虚拟空间中的显示器投影面的坐标，通过上述目标位置、视点位置，以及在三维虚拟空间中的显示器投影面的坐标，求相对于显示器投影面的目标的倾斜角度，上述帧速率确定装置，根据预先被设定的表示上述倾斜角度和附着在上述目标上的运动图象的帧速率的关系的表或者公式，将对应上述距离确定的帧速率，更新为与上述距离以及上述倾斜角度对应的帧速率。
涉及本发明(权利要求3)的运动图象再生质量控制装置，是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的装置，包括目标生成装置，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标，生成目标；目标位置确定装置，输入与用上述目标生成装置配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入移动该目标，确定在该三维虚拟空间上的目标位置；视点位置确定装置，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间上的视点，用和该目标位置的相关关系确定视点位置；透视投影装置，输入上述目标位置以及上述视点位置，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标；面积计算装置，输入与透视投影的目标的投影面有关的数据，算出该投影面面积；帧速率确定装置，输入算出的面积，根据预先被设定的表示目标的投影面的面积和附着在该投影面上的运动图象的帧速率的关系的表或者公式，确定与已输入的面积对应的帧速率；帧速率控制装置，输入已确定帧速率，控制用该帧速率再生附着在目标上的运动图象的帧；运动图象生成装置，从外部输入运动图象数据，根据上述控制，从该运动图象数据中再生需要的运动图象的帧；显示装置，在透视投影有从上述透视投影装置输入的目标的二维显示器投影面上，贴上从运动图象生成装置输入的运动图象的帧显示。
涉及本发明(权利要求4)的运动图象再生质量控制装置，在权利要求1或者3所述的运动图象再生质量控制装置中，上述面积计算装置，进一步从上述透视投影装置输入目标位置，上述帧速率确定装置，当对上述目标生成装置从外部输入了变更目标尺寸的三维目标数据时，进一步从上述距离计算装置或者上述面积计算装置输入目标位置，通过该目标位置识别目标的尺寸变更，根据预先被设定的表示目标的尺寸和附着在该目标上的运动图象的帧速率的关系的表或公式，将对应于上述距离或者面积确定的帧速率，进一步变更为还与变更后的目标尺寸对应的帧速率。
涉及本发明(权利要求5)的运动图象再生质量控制装置，是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的装置，包括目标生成装置，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定装置，输入与被上述目标生成装置配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间中的目标位置；视点位置确定装置，输入已确定的目标位置，根据来自外部的用户输入移动上述三维虚拟空间中的视点，用和该目标位置的相关关系确定视点位置；距离计算装置，输入上述目标位置以及上述视点位置，计算出从视点到目标的距离；过滤器选择装置，输入已算出的距离，根据预先被设定的表示从视点到目标的距离和用于附着在该目标上的运动图象的放大或者缩小处理的过滤器的关系的表或者公式，选择与已输入的距离对应的过滤器；过滤器控制装置，输入由上述过滤器选择装置选择的过滤器的信息，用该过滤器控制放大或者缩小处理附着在目标上的运动图象的帧；运动图象生成装置，从外部输入运动图象数据，从该运动图象数据中再生运动图象的帧；过滤处理装置，从上述运动图象生成装置输入上述运动图象的帧，根据上述过滤器控制装置的控制，过滤处理该帧；透视投影显示装置，输入上述目标位置及上述视点位置，以及被过滤处理后的运动图象的帧，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标，在该显示器的投影面上附着上述运动图象的帧显示。
涉及本发明(权利要求6)的运动图象再生质量控制装置，在权利要求5所述的运动图象再生质量控制装置中，上述距离计算装置，进一步输入在三维虚拟空间中的显示器投影面的坐标，根据上述目标位置、视点位置，以及在三维虚拟空间中的显示器投影面的坐标求相对于显示器投影面的目标的倾斜角度，上述过滤器选择装置，根据预先被设定的表示上述倾斜角度和用于附着在上述目标上的运动图象的放大以及缩小处理的过滤器的关系的表或者公式，将对应上述距离选择出的过滤器，更新为与上述距离以及上述倾斜角度对应的过滤器。
涉及本发明(权利要求7)的运动图象再生质量控制装置，是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的装置，包括目标生成装置，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定装置，输入与用上述目标生成装置配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间上的目标位置；视点位置确定装置，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间上的视点，用和该目标位置的相关关系确定视点位置；透视投影装置，输入上述目标位置以及上述视点位置，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标；面积计算装置，输入与被透视投影的目标的投影面有关的数据，算出该投影面面积；过滤器选择装置，输入已算出的距离，根据预先被设定的表示目标的的投影面的面积和用于附着在该目标上的运动图象的放大或者缩小处理的过滤器的关系的表或者公式，选择与已输入的面积对应的过滤器；过滤器控制装置，输入被选择出的过滤器的信息，用该过滤器控制放大或者缩小处理附着在目标上的运动图象的帧；运动图象生成装置，从外部输入运动图象数据，从该运动图象数据中再生运动图象的帧；过滤处理装置，从上述运动图象生成装置输入上述运动图象的帧，根据上述过滤器控制装置的控制，过滤处理该帧；显示装置，在透视投影有从上述透视投影装置输入的目标的二维显示器投影面上，附着从上述运动图象生成装置输入的运动图象的帧显示。
涉及本发明(权利要求8)的运动图象再生质量控制装置，在权利要求5或者7所述的运动图象再生质量控制装置中，上述面积计算装置，进一步从上述透视投影装置输入目标位置，上述过滤器选择装置，在对上述目标生成装置从外部输入变更目标尺寸大小的三维目标数据时，从上述距离计算装置或者上述面积计算装置进一步输入目标位置，通过该目标位置识别目标的尺寸变更，根据预先被设定的表示目标的尺寸和用于放大或者缩小处理附着在该目标上的帧的关系的表或者公式，将对应上述距离或者面积选择的过滤器，进一步更新为与变更后的目标的尺寸对应的过滤器。
涉及本发明(权利要求9)的运动图象再生质量控制方法，是融合运动图象以及计算机图形学在三维虚拟空间中再生运动图象的方法，包括目标生成步骤，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定步骤，输入与被配置在三维虚拟空间上的目标有关的数据，通过来自外部用户输入，移动该目标，确定在该三维虚拟空间中的目标位置；视点位置确定步骤，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间中的视点，用和该目标位置的相关关系确定视点位置；距离计算步骤，输入上述目标位置以及上述视点位置，算出从视点到目标的距离；帧速率确定步骤，输入已算出的距离，根据预先被设定的表示从视点到目标的距离和附着在该目标上的运动图象的帧速率的关系的表或者公式，确定与已输入的距离对应的帧速率；帧速率控制步骤，输入已确定的帧速率，用该帧速率再生附着在目标上的运动图象的帧；运动图象生成步骤，从外部输入运动图象数据，根据上述控制，从该运动图象数据再生需要的运动图象的帧；透视投影显示步骤，输入上述目标位置及上述视点位置，以及被再生的运动图象的帧，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标，在该目标的投影面上附着上述运动图象的帧显示。
涉及本发明(权利要求10)的运动图象再生质量控制方法，在权利要求9所述的运动图象再生质量控制方法中，上述距离计算步骤，进一步输入在三维虚拟空间中的显示器投影面的坐标，通过上述目标位置、视点位置，以及在三维虚拟空间中的显示器投影面的坐标，求相对显示器投影面的目标的倾斜角度，上述帧速率确定步骤，根据预先被设定的表示上述倾斜角度和附着在上述目标上的运动图象的帧速率的关系的表或者公式，将对应上述距离确定的帧速率，更新为与上述距离以及上述倾斜角度对应的帧速率。
涉及本发明(权利要求11)的运动图象再生质量控制方法，是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的方法，包括目标生成步骤，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定步骤，输入与用上述目标生成步骤配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入移动该目标，确定在该三维虚拟空间上的目标位置；视点位置确定步骤，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间上的视点，用和该目标位置的相关关系确定视点位置；透视投影步骤，输入上述目标位置以及上述视点位置，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标；面积计算步骤，输入与透视投影的目标的投影面有关的数据，算出该投影面面积；帧速率确定步骤，输入已算出的面积，根据预先被设定的表示目标的投影面的面积和附着在该投影面上的运动图象的帧速率的关系的表或者公式，确定与已输入的面积对应的帧速率；帧速率控制步骤，输入已确定的帧速率，控制用该帧速率再生附着在目标上的运动图象的帧；运动图象生成步骤，从外部输入运动图象数据，根据上述控制，从该运动图象数据中再生需要的运动图象的帧；显示步骤，在透视投影有从上述透视投影步骤输入的目标的二维显示器投影面上，附着从运动图象生成装置输入的运动图象的帧显示。
涉及本发明(权利要求12)的运动图象再生质量控制方法，在权利要求9或者11所述的运动图象再生质量控制方法中，上述面积计算步骤，进一步从上述透视投影步骤输入目标位置，上述帧速率确定步骤，当在上述目标生成步骤从外部输入了变更目标尺寸的三维目标数据时，进一步从上述距离计算步骤或者上述面积计算步骤输入目标位置，通过该目标位置识别目标的尺寸变更，根据预先被设定的表示目标的尺寸和附着在该目标上的运动图象的帧速率的关系的表和公式，将对应于上述距离或者面积确定的帧速率，进一步变更为还与变更后的目标尺寸对应的帧速率。
涉及本发明(权利要求13)的运动图象再生质量控制方法，是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的方法，包括目标生成步骤，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定步骤，输入与由上述目标生成步骤配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间中的目标位置；视点位置确定步骤，输入已确定的目标位置，根据来自外部的用户输入移动上述三维虚拟空间中的视点，用和该目标位置的相关关系确定视点位置；距离计算步骤，输入上述目标位置以及上述视点位置，计算出从视点到目标的距离；过滤器选择步骤，输入已算出的距离，根据预先被设定的表示从视点到目标的距离和用于放大或者缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，选择与已输入的距离对应的过滤器；过滤器控制步骤，输入由上述过滤器选择步骤选择的过滤器的信息，用该过滤器控制对附着在目标上的运动图象的帧的放大或者缩小处理；运动图象生成步骤，从外部输入运动图象数据，从该运动图象数据中再生运动图象的帧；过滤处理步骤，从上述运动图象生成步骤输入上述运动图象的帧，根据上述过滤器控制步骤的控制，过滤处理该帧；透视投影显示步骤，输入上述目标位置及上述视点位置，以及被过滤处理后的运动图象的帧，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标，在该显示器的投影面上附着上述运动图象的帧显示。
涉及本发明(权利要求14)的运动图象再生质量控制方法，在权利要求13所述的运动图象再生质量控制方法中，上述距离计算步骤，进一步输入在三维虚拟空间中的显示器投影面的坐标，根据上述目标位置、视点位置，以及在三维虚拟空间中的显示器投影面的坐标求相对显示器投影面的目标的倾斜角度，上述过滤器选择步骤，根据预先被设定的表示上述倾斜角度和用于放大以及缩小处理附着在上述目标上的运动图象的过滤器的关系的表或者公式，将对应上述距离选择的过滤器，更新为与上述距离以及上述倾斜角度对应的过滤器。
涉及本发明(权利要求15)的运动图象再生质量控制方法，是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的方法，包括目标生成步骤，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定步骤，输入与用上述目标生成步骤配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间上的目标位置；视点位置确定步骤，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间上的视点，用和该目标位置的相关关系确定视点位置；透视投影步骤，输入上述目标位置以及上述视点位置，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标；面积计算步骤，输入与透视投影的目标的投影面有关的数据，算出该投影面面积；过滤器选择步骤，输入已算出的距离，根据预先被设定的表示目标的投影面的面积和用于放大以及缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，选择与已输入的面积对应的过滤器；过滤器控制步骤，输入被选择的过滤器的信息，用该过滤器控制对附着在目标上的运动图象的帧的放大或者缩小处理；运动图象生成步骤，从外部输入运动图象数据，从该运动图象数据中再生运动图象的帧；过滤处理步骤，从上述运动图象生成步骤输入上述运动图象的帧，根据上述过滤器控制步骤的控制，过滤处理该帧；显示步骤，在透视投影有从上述透视投影步骤输入的目标的二维显示器投影面上，附着从上述运动图象生成步骤输入的运动图象的帧显示。
涉及本发明(权利要求16)的运动图象再生质量控制方法，在权利要求13或者15所述的运动图象再生质量控制方法中，上述面积计算步骤，进一步从上述透视投影步骤输入目标位置，上述过滤器选择步骤，在对上述目标生成步骤从外部输入变更目标尺寸大小的三维目标数据时，从上述距离计算步骤或者上述面积计算步骤进一步输入目标位置，通过该目标位置识别目标的尺寸变更，根据预先被设定的表示目标的尺寸和用于放大以及缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，将对应上述距离或者面积选择出的过滤器，进一步更新为与变更后的目标的尺寸对应的过滤器。
如上所述，如果采用权利要求1以及权利要求9所述的本发明，因为设置成取得在三维虚拟空间中的目标位置以及视点位置，计算从视点位置到目标的距离，根据预先设定的表或者公式，与该距离相应地确定附着在该目标上的运动图象的帧速率，根据该帧速率，从外部输入的运动图象数据生成使帧速率下降的运动图象的帧，附着在上述目标上。所以，如果在显示器投影面上的目标显示部分变小，则使该目标的运动图象的帧速率下降，使用户不会感觉到在显示画面上的运动图象再生质量降低，具有可以减轻生成该运动图象时的译码处理和纹理映射处理所需要的运算量的效果。
如果采用权利要求2以及权利要求10所述的发本发明，因为设置成在相对显示器投影面的目标的倾斜角度被变更的情况下，通过显示器位置、视点位置，以及显示器投影面的三维坐标判断该倾角的变更，根据预先被确定的表示该倾角和帧速率的关系的表或者公式，确定与该倾角相适应的帧速率。所以，因为还与相对显示器投影面的目标的倾角变化对应地在倾斜角度大时，显示器投影面上的显示部分变小，所以通过使运动图象的帧速率下降调节该目标的运动图象的帧速率，就可以不使用户感觉到在显示画面上的运动图象再生质量降低，具有可以减轻生成该运动图象时的译码处理和纹理映射的处理所需要的运算量的效果。
如果采用权利要求3以及权利要求11所述的本发明，因为设置成根据从三维虚拟空间中的目标位置以及视点位置透视变更目标的二维图象数据，计算该目标在显示器投影面上的面积，根据预先设定的表或者公式，适应该面积，确定附着在该目标上的运动图象的帧速率，根据该帧速率，从外部输入的运动图象数据生成使帧速率下降的运动图象的帧，附着在上述目标上。所以，如果在显示器投影面上的目标显示部分变小，则使该目标的运动图象的帧速率下降，使用户不会感觉到在显示画面上的运动图象再生的质量降低，具有可以减轻生成该运动图象时的译码处理和结果变换处理所需要的运算量的效果。
如果采用权利要求4以及权利要求12所述的本发明，因为设置成在三维虚拟空间中目标的尺寸被变更的情况下，由目标位置(目标的三维坐标)判断该目标的尺寸的变更，从预先被设定的表或者公式中，根据适应该尺寸再选择的表或者公式，确定帧速率。所以，通过还和在3为虚拟空间中的目标的尺寸变换对应地调节该目标的运动图象的帧速率，使用户不会感觉到在显示画面中的运动图象再生的质量降低，具有可以减轻生成该运动图象时的译码处理和纹理映射的处理所需要的运算量的效果。
如果采用权利要求5以及权利要求13所述的本发明，因为设置成取得在三维虚拟空间中的目标位置以及视点位置，算出从视点位置到目标的距离，根据预先被设定的表等，与该距离相应地选择用于放大或者缩小附着在该目标上的运动图象的过滤处理中的过滤器，用该过滤处理从外部输入的运动图象数据中生成的运动图象的帧，附着在上述目标上。所以，如果在显示器投影面上的目标的显示部分变小，则降低该目标的运动图象的画质，不会使用户感觉到显示画面中的运动图象再生的质量降低，具有可以减轻在放大或者缩小该运动图象的过滤处理中所需要的计算量的效果。
如果采用权利要求6以及权利要求14所述的本发明，因为设置成在相对显示器投影面的目标的倾角被变更的情况下，由目标在显示器投影面上的二维坐标判断该倾角的变更，根据预先被设定的使该倾角和选择的过滤器对应的表等，选择适应该倾角的过滤器。所以，通过控制放大或者缩小该目标的运动图象的过滤处理，不会使用户感觉到在显示画面中的运动图象再生的质量降低，具有可以减轻在放大或者缩小该运动图象的过滤处理中所需要的计算量的效果。
如果采用权利要求7以及权利要求15所述的本发明，因为取得在三维虚拟空间中的目标位置以及视点位置，根据透视变换目标的二维图象数据计算显示器投影面上的目标的面积，根据预先被设定的表等，适应该面积，选择在放大或者缩小附着在该目标上的运动图象的过滤处理中使用的过滤器，用该过滤器处理从外部输入的运动图象数据中生成的运动图象的帧，附着在上述目标上。所以，如果在显示器投影面上的目标的显示部分变小，则降低该目标的运动图象的画质，不会使用户感觉到在显示画面上的运动图象再生质量降低，具有可以减轻在放大或者缩小该运动图象的过滤处理中所需要的计算量的效果。
如果采用权利要求8以及权利要求16所述的本发明，因为设置成在三维虚拟空间中目标的尺寸被变更的情况下，由目标位置(目标的三维坐标)判断该目标的尺寸的变更，根据预先被设定的使目标尺寸和选择的过滤器对应的表等，选择与该尺寸相应的过滤器。所以，通过还与在三维虚拟空间中的目标的尺寸变化对应地控制放大或者缩小该目标的运动图象的过滤处理，不会使用户感觉到在显示画面中的运动图象再生的质量降低，具有可以减轻在放大或者缩小该运动图象的过滤处理中所需要的计算量的效果。
图1是展示本发明的实施例1中的运动图象再生质量控制装置的构成的方框图。
图2是展示在图1中使用的目标在三维虚拟空间中的位置与运动图象再生帧速率的关系的模式图。
图3是展示图2的显示器投影面上的目标的面积与运动图象再生帧速率的关系的模式图。
图4是展示由在图1的帧速率确定部分中预先设定的表或者公式表示的帧速率和从视点位置到目标的距离的关系的图。
图5是展示在相对显示器投影面目标的倾斜角度变化的情况下的，显示器投影面上的目标的面积与运动图象再生帧速率的关系的模式图。
图6是展示由在图1的帧速率确定部分中预先设定的表或者公式表示的目标向显示器投影面的倾斜角度和帧速率的关系的图。
图7是展示在本发明的实施例2中的运动图象再生质量控制装置的构成的方框图。
图8是展示由在图7的帧速率确定部分中预先设定的表或者公式表示的帧速率和显示器投影面上的目标的面积的关系的图。
图9是展示本发明的实施例3的运动图象再生质量控制装置的构成的方框图。
以下，根据附图详细说明本发明的实施例。
图1是展示本发明的实施例1中的运动图象再生质量控制装置的构成的方框图。
在图中，11是目标生成部分，根据从外部输入的三维目标数据，生成用于在三维虚拟空间上附着运动图象的目标。即，该目标通常是平板平面和立方体的面等，而通过确定该目标的三维坐标，确定表示该目标的初始的形状以及位置的初始值，生成目标。12是目标位置确定部分，输入在目标生成部分11中生成并被确定的目标的初始值，确定该初始值被来自外部的用户输入变更后的目标的三维坐标。13是视点位置确定部分，在使在目标位置确定部分12中被确定的目标位置固定的状态下，确定被来自外部的用户输入变更的视点位置。进而，对于视点位置，也用三维坐标表示，另外，在目标生成部分11中确定了目标的初始值的时刻，视点位置的初始值也被确定。14是透视投影部分，根据在目标位置确定部分12中确定的目标的三维坐标，以及在视点位置确定部分13中确定的视点位置，透视变换该目标并将其在显示器投影面上作为二维图象投影。15是光栅化部分，将在透视投影部分14中被透视投影的二维图象变换为由象素图案组成的对应图象，进行纹理映射，在投影了目标的部分上附着从运动图象生成部分输出的运动图象。16是距离计算部分，根据在目标位置确定部分12中确定的目标的三维坐标，以及在视点位置确定部分13中确定的视点位置，计算该目标距离视点位置的距离。17是帧速率确定部分，通过在距离计算部分16中计算出的目标的距离，确定附着在该目标上的运动图象的帧速率。具体地说，预先设定表示目标距视点位置的距离和帧速率的关系的表或者公式，通过在该表或者公式中适用在距离计算部分16中计算出的目标的距离，确定附着在该目标上的运动图象的帧速率。18是帧速率控制部分，它进行控制，对于从外部输入用于附着在目标上的运动图象数据的运动图象生成部分，从该运动图象数据的帧中抽出需要的帧，使其成为在帧速率确定部分17中确定的帧速率。即，被输入的运动图象数据，如果是例如MPEG标准的帧内编码数据等，则必须进行控制从作为运动图象数据被输入的位流中，抽出压缩译码所需要的帧(只是画面内编码的I帧)的数据。19是运动图象生成部分，根据来自帧速率控制部分18的指令，从由外部输入的运动图象数据的帧中，抽出所需要的帧，使其成为在帧速率确定部分17中被确定的帧速率。在此，当被输入的运动图象数据是MPEG标准和DV(数字电视)等的压缩数据的情况下，还进行该压缩数据的译码处理。进而，从外部输入的运动图象数据，可以是来自和被输入到目标生成部分11中的三维目标数据相同的源的数据，如果两数据固定对应也可以来自不同的源。20是显示部分，显示从光栅化部分15输入的显示器投影面全体的图象。
图2是展示在图1中使用的目标在三维虚拟空间中的位置与运动图象再生帧速率的关系的模式图。(a)展示目标在三维虚拟空间中的位置与显示器投影面的面积的关系。(b)展示对应于从视点到三维虚拟空间内的目标的距离，运动图象再生帧速率的变化例。另外，三维虚拟空间D，是相对显示器投影面T被假想在视点S的相反一侧的三维虚拟空间。另外，图示的关系，不只在一定尺寸的目标移动于三维虚拟空间时成立，在目标相对显示器投影面保持一定的倾角移动时也成立。
图3展示图2(a)的显示器投影面上的目标的面积与运动图象再生帧速率的关系的模式图。
在图中，21是目标A的投影面，表示被投影在显示器投影面T上的目标A的面积。22是目标B的投影面，表示被投影在显示器投影面T上的目标B的面积。
以下，参照图1～图3说明如上述构成的运动图象再生质量控制装置的动作。
在此，在本实施例1中，说明显示被记录在DVD(数字视盘)等中的在三维虚拟空间中再生运动图象的游戏等的内容的情况。这种情况下，通过用户对该内容的程序交互输入，完成与该输入对应的再生、显示。
首先，从外部的DVD等中记录在该DVD中的内容的数据中将三维目标数据输入到目标生成部分11。当被输入的三维目标数据是与目标A有关的数据的情况下，通过根据该三维目标数据，确定在三维虚拟空间D中的目标A的三维坐标，生成目标A。进而，目标A用a～d4点三维坐标表示，由此，确定表示目标A的初始的形状以及位置的初始值。
接着，在目标位置确定部分12中，输入在目标生成部分11中确定的目标的初始值，通过用户从外部输入变更该初始值，确定变更后的目标的位置。这时，用户根据上述内容的程序，通过操作鼠标、键盘、操纵杆等，变更目标位置。
接着，在视点位置确定部分13中，输入在目标位置确定部分12中确定的目标位置，在固定该目标位置的状态下，通过用户从外部输入改变视点位置，确定变更后的视点位置。这时，也是通过用户根据上述内容的程序，操纵鼠标、键盘、操纵杆等，变更视点位置，但在以和相对于目标位置确定部分12输入时的方式不同的方式操作鼠标等，变更视点位置。
接着，距离计算部分16，输入在目标位置确定部分12中确定的目标位置，以及在视点位置确定部分13中确定的视点位置，计算从视点位置到目标的距离。例如，设定连结视点S和显示器投影面的重心γ的直线V，对于目标A，根据上述目标位置，即a～d 4点三维坐标计算目标A的平板平面的重心位置，求从视点到从该重心位置垂直向下到直线V的位置α的距离R，作为从视点位置到目标A的距离。
接着，帧速率确定部分17，输入在距离计算部分16中计算出的目标的距离，根据预先设定的表或者公式，确定附着在该目标上的运动图象的帧速率。在帧速率确定部分17中设定公式，该公式在帧速率和从视点位置到目标的距离的关系如图4(a)所示那样的情况下，目标A根据距离R被确定为25fps(帧/秒)。另外，如果是目标B，则根据距离Q被确定为15fps。在此，预先设定在帧速率确定部分17中的公式，除了帧速率和从视点到目标的距离的关系如图4(a)所示那样外，还可以表示为图4(b)以及图4(c)等。
接着，帧速率控制部分18，输入来自帧速率确定部分17的帧速率，根据该帧速率相对于运动图象生成部分19指示在运动图象生成中进行帧速率调整。这时，在运动图象生成部分19中，从记录有包含被输入目标生成部分11中的三维目标数据的内容的外部DVD，输入用于附着在目标上的运动图象数据，根据帧速率控制部分18的指示，处理该运动图象数据生成运动图象的帧。即，从被输入的运动图象数据生成使输入时的运动图象数据的帧速率(图2的情况下，是30fps)下降到在帧速率确定部分17中确定的帧速率(目标A是25fps，目标B是15fps)的运动图象的帧。因而，当在运动图象生成部分19中输入MPEG标准和DV等的压缩数据的情况下，如果在从被输入的位流中只抽出所需要的帧的数据后再译码，则可以减轻译码处理。进而，译码处理，有由专用的硬件进行的情况，和由CPU使用软件进行的情况，以及CPU和专用硬件分担进行的情况，其结果可以减轻给CPU和硬件的处理负担。
另一方面，透视投影部分14，输入在目标位置确定部分12中确定的目标的三维坐标，以及在视点位置确定部分13中确定的视点位置，根据它们，透视变换三维虚拟空间的目标，并将其在显示器投影面上作为二维图象投影。
接着，光栅化部分15，输入在透视投影部分14中透视投影的二维图象，以及在运动图象生成部分19中生成的运动图象的帧，将上述二维图象变换为由象素图案组成的对应图象，进行在投影有目标的部分上附着上述运动图象的帧的纹理映射。因而，因为输入帧速率下降的运动图象，所以可以减轻纹理映射的处理。
接着，在显示部分20中，输入来自光栅化部分15的输出，显示内容的图象。进而，从在目标生成部分11中的目标的初始值的确定开始，经由目标位置确定部分12、视点位置确定部分13、透视投影部分14，以及光栅化部分15，在显示部分20上被显示的过程，沿着通常的三维CG(计算机图形学)流水线进行处理。
这样，对内容的程序，通过用户交互输入，重复从目标位置确定部分12到显示部分20的一连串的动作。
但是，如上所述，从视点到三维虚拟空间的目标的距离与上述帧速率的关系，在一定尺寸的目标相对显示器投影面保持一定的倾角在三维虚拟空间中移动时成立。因而，该距离并未变更，当目标的尺寸变更的情况下，加上上述倾角变更的情况下，产生需要更新上述关系的需要。
首先，说明目标的尺寸被变更的情况。
即，对于尺寸被变更后的目标的数据，从外部DVD等重新输入到目标生成部分11，该目标的形状以及位置作为初始值被再次确定。
接着，只在目标的尺寸被变更的情况下，在目标位置确定部分12中，没有用户输入，只输入在目标生成部分11中被再次确定的目标的初始值，确定目标的位置。另外，即使在视点位置确定部分13中，也没有用户输入，而输入在目标位置确定部分12中确定的目标位置，确定视点位置。
接着，距离计算部分16，输入在目标位置确定部分12中确定的目标位置，以及在视点位置确定部分13中确定的视点位置，计算从视点位置到目标的距离。在此，是只有目标的尺寸被变更的情况，但例如在以相似形进行膨胀的情况下，因为目标的重心位置以及视点位置不变化，所以在上述距离上没有变更。
接着，帧速率确定部分17，从距离计算部分16，将目标位置(目标的三维坐标)和从视点位置到目标的距离一同输入，由目标位置判断目标的尺寸的变更，从预先被设定的表或者公式中再次选择适应目标尺寸的表或者公式，根据其确定帧速率。因而，即使在距离上没有变更，帧速率也可以变更。
有关其它动作，和上述目标的尺寸没有变更的情况相同。
以下，对目标倾角变化时进行说明。
图5，是展示相对显示器投影面目标倾角变化的情况下的显示器投影面上的目标的面积与运动图象再生帧速率的关系的模式图。(a)是展示相对显示器投影面目标的倾角小的情况的图。(b)是展示相对显示器投影面的目标的倾角大的情况的图。进而，(a)以及(b)的目标是同一尺寸，并且在距离显示器投影面T同一距离上。
如图所示，即使是距离显示器投影面T相同距离的同一尺寸的目标，根据该目标相对显示器投影面T的倾角，随着倾角增大，在该显示器投影面T上的目标的面积减小。如果该面积减小，则即使降低运动图象的再生帧速率，用户也不会感觉到运动图象的再生质量的降低。即，即使是距离显示器投影面T距离相同的同一尺寸的目标，也可以根据该目标相对显示器投影面的倾角使帧速率下降。因而，必须适应上述倾角的变化变更帧速率。
即，当目标的倾角变更的情况下，首先，在目标位置确定部分12中，通过用户从外部输入目标位置变更，即目标的倾角被变更，确定变更后的目标的位置。
接着，在视点位置确定部分13中，也输入在目标位置确定部分12中确定的目标位置，在固定了该目标位置的状态下，通过用户从外部输入变更视点位置，即变更目标的倾角后确定倾角变更后的视点位置。这样，目标的倾角，通过用户的输入，即通过目标位置变更，或者视点位置变更而变化，也通过目标位置和视点位置变更来变化。因而，目标相对显示器投影面的倾斜角度由目标位置(三维坐标)、视点位置，以及显示器投影面的三维坐标判断。该显示器投影面的三维坐标也在确定视点位置时确定。
接着，在距离计算部分16中，输入在上述目标位置、上述视点位置，以及在三维虚拟空间中的显示器投影面的坐标，根据该目标位置以及视点位置计算从视点到目标的距离，从该目标位置、视点位置，以及显示器投影面的坐标求相对显示器投影面目标的倾斜角度。
接着，帧速率确定部分17，从距离计算部分16中，将上述倾斜角度和被算出的距离一同输入，根据预先被设定的表示该距离和帧速率的关系的表或者公式设定帧速率，进而使用表示该倾斜角度和帧速率的关系的公式等，与该倾斜角度相应地修正已设定的帧速率，不仅根据距离而且根据目标相对于显示器投影面的倾角确定对应的帧速率。进而，作为表示倾斜角度和帧速率的关系的公式，可以使用图6所示的公式。
其他的动作，和上述目标的距离变更的情况相同。
如上所述，在本发明的实施例1中的运动图象再生质量控制装置中，因为设置成取得三维虚拟空间中的目标位置以及视点位置，计算从视点到目标的距离，根据预先被设定的表或者公式，与该距离相应地确定附着在该目标上的运动图象的帧速率，根据该帧速率，从外部输入的运动图象数据生成使帧速率下降的运动图象的帧，附着在上述目标上。所以，如果在显示器投影面上的目标的显示部分变小，则使该目标的运动图象的帧速率下降，使用户感觉不到在显示画面上的运动图象再生质量降低，可以减轻生成该运动图象时的译码处理和纹理映射处理时所需要的运算量。
另外，因为设置成在三维虚拟空间中只有目标尺寸变更的情况下，由目标位置判断该目标的尺寸的变更(目标的三维坐标)，从预先被设定的表或者公式，根据与该尺寸相应地被再选择的表或者公式，确定帧速率。所以，通过还与在三维虚拟空间中的目标的尺寸变换对应地调节该目标的运动图象的帧速率，就可以使用户感觉不到在显示画面中的运动图象再生质量的降低，可以减轻生成该运动图象时的译码处理和纹理映射处理所需要的运算量。
进而，因为设置成在变更相对显示器投影面的目标的倾斜角度的情况下，由目标位置、视点位置，以及显示器投影面的三维坐标判断该倾角的变更，根据预先被设定的表示与该倾角和帧速率的关系的表或者公式，确定与该倾角相应的帧速率。所以，因为还与相对显示器投影面的倾角变化对应，如果倾斜角度大，则显示器投影面上的显示部分变小。所以通过使运动图象的帧速率下降调节该目标的运动图象的帧速率，就可以使用户不会感觉到在显示画面上的运动图象再生质量降低，可以减轻生成其运动图象时的译码处理和纹理映射处理所需要的运算量。
进而，在本实施例1中，设置成附着在目标上的运动图象的帧速率根据从视点到在三维虚拟空间中的目标的距离来确定，但即使设定成代替视点根据从显示器投影面开始到在三维虚拟空间中的目标的距离来确定也可以取得和上述同样的效果。
图7展示本发明的实施例2的运动图象再生质量控制装置的构成的方框图。
在图中和图1相同的符号是相同或者相当部分。另外，31是面积计算部分，输入在透视投影部分14中被透视变换的目标的二维图象数据，根据该二维图象数据，计算该目标的二维图象的面积。
以下，参照图2～图3，以及图7说明如上述那样构成的运动图象再生质量控制装置的动作。
在此，在本实施例2中，也设置成和上述实施例1一样，显示被记录在DVD等中的在三维虚拟空间中再生运动图象的游戏等的内容。另外，图2以及图3所示的目标和显示器投影面上的目标的面积的关系，以及该面积和帧速率的关系，如上所述，不只是一定尺寸的目标在三维虚拟空间中移动时成立，而且在目标相对显示器投影面保持一定的倾角移动时也成立。
首先，和实施例1相同，根据从外部的DVD等输入的三维虚拟空间数据，沿着通常的三维CG流程，在目标生成部分11、目标位置确定部分12，以及视点位置确定部分13中进行动作处理，在透视投影部分14中透视变换目标后在显示器投影面上作为二维图象投影。
接着，在面积计算部分31中，输入在透视投影部分14中被透视变换的目标的二维图象数据，根据该二维图象数据，计算该目标在显示器投影面上的面积。例如，在目标A中，从目标A的投影面21中的e～h4点二维坐标计算面积X。
接着，帧速率确定部分17，输入在面积计算部分31中计算出的目标的面积，根据预先被设定的表或者公式，对应该面积，确定附着在该目标上的运动图象的帧速率。
在帧速率确定部分17中设定公式，当公式如图8(a)所示表示帧速率和上述面积的关系的情况下，目标A，根据面积X被确定为25fps，如果是目标B，则根据面积W被确定为15fps。另外，作为其它公式的例子，帧速率和面积的关系还可以表示成图8(b)以及图8(c)所示的公式表示帧速率和上述面积的关系。进而，当然还可以代替上述公式，使用将帧速率和面积的关系制成表的形式。
以后，和实施例1相同，帧速率控制部分18，输入来自帧速率确定部分17的帧速率，根据该帧速率对运动图象生成部分19，指示在运动图象生成中的帧速率调整。
接着，光栅化部分15，输入在透视投影部分14中被透视投影的二维图象，以及在运动图象生成部分19中生成的运动图象的帧，将上述二维图象向由象素图案组成的对应图象变换，在投影有目标的部分上进行附着上述运动图象的帧的纹理映射。
接着，在显示部分20中，输入来自光栅化部分15的输出，显示内容的图象。
在此，如上所述，作为显示器投影面上的目标的面积和帧速率的关系，在一定尺寸的目标移动时成立。因而，在目标尺寸变更时，必须更新上述关系。
即，在目标尺寸变更时，和上述实施例1相同，对于尺寸被变更后的目标的数据，被从外部DVD等重新输入到目标生成部分11，该目标的形状以及位置作为初始值被再次确定。
接着，当只有目标的尺寸变更的情况下，在目标位置确定部分12中，没有用户输入，而只输入在目标生成部分11中再次被确定的目标的初始值，确定目标的位置。另外，即使在视点位置确定部分13中，也没有用户输入，而输入在目标位置确定部分12中被确定的目标位置，确定视点位置。
接着，透视投影部分14，输入在目标位置确定部分12中确定的目标位置，以及在视点位置确定部分13中被确定的视点位置，根据这些数据，透视变换三维虚拟空间的目标在显示器投影面上作为二维图象投影。这时，因为只有目标的尺寸被变更，所以该目标在显示器上的面积也相应于尺寸变更而变更。但是，在只有面积变化中，不能判断是由目标的尺寸变更引起的，还是由在三维虚拟空间中的移动引起的。
接着，帧速率确定部分17，从面积计算部分31中，输入目标在显示器投影面上的面积及目标位置(目标的三维坐标)，由目标位置判断目标的尺寸的变更，从预先被设定的表或者公式中，再次选择与目标的尺寸相应的表或者公式，根据它们确定帧速率。
其他的动作，和上述目标的尺寸没有变更的情况相同。
如上所述，在本发明的实施例2中的运动图象再生质量控制装置中，因为设置成根据由在三维虚拟空间中的目标位置以及视点位置透视变换目标的二维图象数据，计算该目标在显示器投影面上的面积，根据预先被设定的表或者公式，适应该面积，确定附着在该目标上的运动图象的帧速率，根据该帧速率，从外部输入的运动图象数据生成使帧速率下降后的运动图象的帧，附着在上述目标上。所以，如果在显示器投影面上的目标的显示部分变小，则使该目标的运动图象的帧速率下降，用户不会感觉到在显示画面中的运动图象再生质量的降低，可以减轻生成该运动图象时的译码处理和纹理映射处理所需要的运算量。
另外，因为设置成在三维虚拟空间中目标的尺寸被变更的情况下，由目标位置(目标的三维空间坐标)判断该目标的尺寸的变更，根据预先被设定的表示目标尺寸和帧速率的关系的表或者公式，确定与该尺寸相应的帧速率。所以，通过还和在三维虚拟空间中的目标的尺寸变化对应地调整该目标的运动图象的帧速率，就可以使用户不会感觉到在显示画面中的运动图象再生质量的降低，可以减轻生成该运动图象时的译码处理和纹理映射处理所需要的运算量。
进而，在本实施例2中，设置成附着在目标上的运动图象的帧速率，根据目标在显示器投影面上的面积确定，但代替面积，即使设置成根据目标被投影在显示器投影面上的显示区域的纵以及横的长度确定，也可以得到和上述同样的结果。
另外，也可以在设置成获得目标在显示器投影面上的面积和显示器投影面全体的面积的比之后，根据该比确定帧速率。
进而，也可以根据目标在显示器投影面上的面积和作为运动图象数据被输入到运动图象生成部分时被设定的面积的比，确定帧速率。即，该运动图象数据的面积，是与显示器投影面全体的面积和被投影在显示器投影面上的目标的面积无关联地被输入到运动图象生成部分的面积，如果源相同，则相对某个目标输入一定面积的运动图象数据。在此，该运动图象数据，如上所述，因为即使不是和被输入到目标生成部分的三维目标数据相同的源的数据，如果两数据固定对应也可以是来自不同的源的数据，所以还产生从不同的多个源输入的情况。例如，如果源是广播，则根据NTSC标准输入720×480象素的数据，如果是因特网，则输入320×240象素等的数据，当在相同的显示器投影面上的1个目标中附着前者的运动图象数据，在另一目标上附着后者的运动图象数据的情况下，在考虑到被输入时被设定的运动图象数据的面积(与象素数对应)之后，取得其和在数据投影面上的目标的面积的比，与该比相应地确定帧速率。
进而，在本实施例2中所具备的面积计算部分，同时具备实施例1中的距离计算部分，在帧速率确定部分中，设定表示距离和帧速率的关系，以及面积和帧速率的关系的表或者公式，如果适宜地使用它们控制帧速率，则不会使用户感觉到在显示画面上的运动图象再生质量的降低，可以尽可能地降低帧速率，可以尽量减轻生成运动图象时的译码处理和纹理映射处理所需要的运算量。
图9是展示本发明的实施例3中的运动图象再生质量控制装置的构成的方框图。
在图中和图1以及图5相同的符号是相同或者相当部分。另外，41是过滤器选择部分，根据在距离计算部分16中计算出的目标的距离，或者在面积计算部分31中计算出的目标在显示器投影面上的面积，选择用于对附着在该目标上的运动图象进行放大/缩小处理的过滤器的种类。即，如图2以及图3所示，目标在三维虚拟空间中距视点的距离越远显示器投影面上的面积越小，即使画质降低也难于使用户察觉。因而，在上述距离远，或者上述面积小时，选择计算量少的过滤器，反之，在上述距离近，或者上述面积大时，选择计算量大且画质不下降的过滤器。作为该过滤器的种类，有附近近似，双线性，三线性等。42是过滤器控制部分，对于输入了在运动图象生成部分19中生成的运动图象的帧的过滤处理部分，使用在过滤器选择部分41中被选择的过滤器进行控制，过滤处理输入的运动图象的帧。进而，从外部输入到运动图象生成部分19中的运动图象数据，当然和实施例1以及2一样，既可以是来自和被输入到目标生成部分11中的三维目标数据相同的源的数据，也可以是来自不同的源的数据。43是过滤处理部分，从运动图象生成部分19输入运动图象的帧，根据来自过滤器控制部分42的指示，过滤处理被输入的运动图象的帧。因而，调整在过滤器选择部分41中被选择出的与过滤器对应地被处理的运动图象的画质。
以下，参照图2～图3，以及图9说明如上述那样构成的运动图象再生质量控制装置的动作。
在此，即使在本实施例3中，也和上述的实施例1以及2一样，设置成显示被记录在DVD等上的在三维虚拟空间中再生运动图象的游戏等的内容。另外，在实施例1以及2中，如图2以及图3所示的在三维虚拟空间中的目标的位置(即，从视点到目标的距离)或者显示器投影面上的目标的面积和运动图象再生帧速率的关系，在该距离或者该面积和放大或者缩小运动图象时的过滤处理中的计算量的关系中也适用。即，如果上述距离变远，或者上述面积减小，因为用户很难识别在显示画面上显示的的运动图象质量的降低，所以用计算量少的过滤处理该运动图象，就可以降低画质。因而，前者的关系，在一定的尺寸的目标在三维虚拟空间中移动时，以及目标对显示器投影面保持一定的倾角移动时成立这一点，在后者的关系中也成立。
首先，和实施例1以及2相同，根据从外部的DVD等输入的三维目标数据，沿着通常的三维CG流程，在目标生成部分11、目标位置确定部分12，以及视点位置确定部分13中进行动作处理，在透视投影部分14中透视变换目标后在显示器投影面上作为二维图象投影。另外，距离计算部分16，输入在目标位置确定部分12中确定的目标位置，以及在视点位置确定部分13中确定的视点位置，计算从视点位置到目标的距离。进而，在面积计算部分31中，输入在透视投影部分14中透视变换后的目标的二维图象数据，根据该二维图象数据，计算该目标在显示器投影面上的面积。
接着，过滤器选择部分41，输入在距离计算部分16中计算出的目标的距离，或者在面积计算部分31中计算出的目标在显示器投影面上的面积，选择适合该距离或者该面积的过滤器。例如，分段划分该距离的远近，每增加一距离，准备固定对应分支数少的过滤器的表，根据该表，选择与被输入的距离对应的分支数的过滤器。在此，上述分支数越多过滤处理的计算量越多，越少计算量越少。对于上述面积也一样，可以选择过滤器。这样通过上述距离以及上述面积分别选择过滤器，可以在被选择的过滤器不同的情况下调整，也可以用对应上述距离、上述面积，以及过滤器的分支数这3个的表等选择1个过滤器。进而，当然也可以设置成只用上述距离，或者只用上述面积选择过滤器。
另一方面，在运动图象生成部分19中，从记录有被输入到目标生成部分11中的包含三维目标数据的目标的外部DVD，输入用于附着在目标上的运动图象数据，进行译码该运动图象数据等的处理以生成运动图象的帧。
接着，过滤器控制部分42，输入在过滤器选择部分14中选择的过滤器的信息，根据该信息对过滤处理部分43，使用被选择的过滤器控制进行过滤处理。
接着，在过滤处理部分43，从运动图象生成部分19输入运动图象的帧，根据过滤器控制部分42的指示，进行放大或者缩小处理被输入的运动图象的帧时的过滤处理。即，参照图3，在上述距离近时，或者上述面积大时，在显示器投影面T上如目标A的投影面21那样的显示，这种情况下，用运动图象的画质不下降的过滤处理。另一方面，上述距离远，或者上述面积小时，在显示器投影面T上如目标B的投影面22那样地显示，这种情况下，通过用计算量少的过滤器使画质下降处理运动图象。因而，在过滤处理部分43中，可以根据上述距离和面积减轻运动图象的过滤处理所需要的计算量。
接着，光栅化部分15，输入在透视投影部分14中被透视投影的二维图形，以及在过滤处理部分43中被处理的运动图象的帧，将上述二维图象变换为由象素图案组成的对应图象，进行在投影有目标的部分上贴和上述运动图象的帧的纹理映射。
接着，在本实施例3中，也需要在上述那样的三维虚拟空间的目标尺寸变化时和目标相对显示器投影面的倾角变化时的对应处理。但可以和实施例1以及2一样地处理。这时，可以设置成在过滤处理部分43中，根据预先被设定的与目标尺寸和选择的过滤器对应的表等，选择与该尺寸相应的过滤器，或者根据预先被设定的与目标向显示器投影面的倾斜角度和选择的过滤器对应的表等，选择与该倾角对应的过滤器。
如上所述，在本发明的实施例3的运动图象再生质量控制装置中，因为设置成取得在三维虚拟空间中的目标位置以及视点位置，计算视点位置到目标的距离，或者根据透视变换目标的二维图象数据计算目标在显示器投影面上的面积，根据预先被设定的表等，根据该距离或者该面积，选择用于放大或者缩小附着在该目标上的运动图象的过滤处理的过滤器，用该过滤器放大或者缩小处理从外部输入的运动图象数据中生成的运动图象的帧，附着在上述目标上。所以，如果在显示器投影面上的目标的显示部分变小，则降低该目标的运动图象的画质进行再生，使用户不会感觉到在显示画面上的运动图象再生的质量降低，可以减轻放大或者缩小该运动图象的过滤处理所需要的计算量。
另外，因为设置成当在三维虚拟空间中目标的尺寸被变更的情况下，由目标位置(目标的三维坐标)判断该目标的尺寸的变更，根据预先被设定的与目标尺寸和选择的帧对应的表等，选择适应该尺寸的过滤器。所以，通过还与在三维虚拟空间中的目标尺寸变化对应地控制放大或者缩小该目标的运动图象的过滤处理，就可以使用户不会感觉到在显示画面上的运动图象再生质量的降低。可以减轻放大或者缩小该运动图象的过滤处理中所需要的计算量。
进而，因为设置成在相对显示器投影面的目标的倾角被变更的情况下，由目标在显示器投影面中的二维坐标判断该倾角的变更，根据预先被设定的与该倾角和选择的过滤器对应的表，选择适应该倾角的过滤器。所以，通过控制放大或者缩小该目标的运动图象的过滤处理，就可以使用户不会感觉到在显示画面中的运动图象再生的质量降低，可以减轻放大或者缩小该运动图象的过滤处理中所需要的计算量。
进而，在本实施例3的运动图象再生质量控制装置中，进一步具备在实施例1以及中3的帧速率确定部分以及帧速率控制部分，如果在过滤处理的同时控制帧速率，则不仅不会使用户感觉到在显示画面上再生的运动图象的空间方向(画质)的质量降低，而且不会感觉到在时间方向(帧速率)的质量降低，可以尽可能地控制运动图象再生的质量，可以极力减轻生成运动图象时的译码处理、过滤处理，以及纹理映射处理中所需要的计算量。
另外，在本发明的实施例1～3中展示的方法，也可以使用记录在CD-ROM、DVD等的记录媒体上的数据实施。
本发明提供了运动图象再生质量控制装置以及其控制方法，利用当再生距离视听者的视点远的位置上的运动图象的情况下，显示尺寸变小，难以识别运动图象的再生质量的劣化这一点，根据从视点到在三维虚拟空间中的目标的距离确定运动图象的帧速率和画质，谋求降低运动图象处理所需要的运算量。
权利要求
1.一种运动图象再生质量控制装置，它是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的装置，其特征在于包括目标生成装置，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标，生成目标；目标位置确定装置，输入与被配置在三维虚拟空间上的目标有关的数据，通过来自外部用户输入，移动该目标，确定在该三维虚拟空间中的目标位置；视点位置确定装置，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间中的视点，用和该目标位置的相关关系确定视点位置；距离计算装置，输入上述目标位置以及上述视点位置，算出从上述视点到目标的距离；帧速率确定装置，输入已算出的距离，根据预先设定的表示从视点到目标的距离和附着在该目标上的运动图象的帧速率的关系的表或者公式，确定与已输入的距离对应的帧速率；帧速率控制装置，输入已确定的帧速率，用该帧速率控制再生附着在目标上的运动图象的帧；运动图象生成装置，从外部输入运动图象数据，根据上述控制，从该运动图象数据中再生需要的运动图象的帧；透视投影显示装置，输入上述目标位置及上述视点位置，以及被再生的运动图象的帧，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标，在该目标的投影面上附着上述运动图象的帧进行显示。
2.如权利要求1所述的运动图象再生质量控制装置，其特征在于上述距离计算装置，进一步输入在三维虚拟空间中的显示器投影面的坐标，通过上述目标位置、视点位置，以及在三维虚拟空间中的显示器投影面的坐标，求相对于显示器投影面的目标的倾斜角度；上述帧速率确定装置，根据预先被设定的表示上述倾斜角度和附着在上述目标上的运动图象的帧速率的关系的表或者公式，将对应上述距离确定的帧速率，更新为与上述距离以及上述倾斜角度对应的帧速率。
3.一种运动图象再生质量控制装置，它是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的装置，其特征在于包括目标生成装置，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标，生成目标；目标位置确定装置，输入与被上述目标生成装置配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入移动该目标，确定在该三维虚拟空间上的目标位置；视点位置确定装置，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间上的视点，用和该目标位置的相关关系确定视点位置；透视投影装置，输入上述目标位置以及上述视点位置，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标；面积计算装置，输入与被透视投影的目标的投影面有关的数据，算出该投影面面积；帧速率确定装置，输入算出的面积，根据预先被设定的表示目标的投影面的面积和附着在该投影面上的运动图象的帧速率的关系的表或者公式，确定与已输入的面积对应的帧速率；帧速率控制装置，输入已确定帧速率，进行控制以用该帧速率再生附着在目标上的运动图象的帧；运动图象生成装置，从外部输入运动图象数据，根据上述控制，从该运动图象数据中再生需要的运动图象的帧；显示装置，在透视投影有从上述透视投影装置输入的目标的二维显示器投影面上，附着从运动图象生成装置输入的运动图象的帧显示。
4.如权利要求1或者3所述的运动图象再生质量控制装置，其特征在于上述面积计算装置，进一步从上述透视投影装置输入目标位置；上述帧速率确定装置，在对上述目标生成装置从外部输入了变更目标尺寸的三维目标数据时，进一步从上述距离计算装置或者上述面积计算装置输入目标位置，通过该目标位置识别目标的尺寸变更，根据预先被设定的表示目标的尺寸和附着在该目标上的运动图象的帧速率的关系的表和公式，将对应于上述距离或者面积确定的帧速率，进一步变更为还与变更后的目标尺寸对应的帧速率。
5.一种运动图象再生质量控制装置，它是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的装置，其特征在于包括目标生成装置，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定装置，输入与被上述目标生成装置配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间中的目标位置；视点位置确定装置，输入已确定的目标位置，根据来自外部的用户输入移动上述三维虚拟空间中的视点，用和该目标位置的相关关系确定视点位置；距离计算装置，输入上述目标位置以及上述视点位置，计算出从视点到目标的距离；过滤器选择装置，输入已算出的距离，根据预先被设定的表示从视点到目标的距离和用于放大或者缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，选择与已输入的距离对应的过滤器；过滤器控制装置，输入由上述过滤器选择装置选择的过滤器的信息，用该过滤器控制对附着在目标上的运动图象的帧的放大或者缩小处理；运动图象生成装置，从外部输入运动图象数据，从该运动图象数据中再生运动图象的帧；过滤处理装置，从上述运动图象生成装置输入上述运动图象的帧，根据上述过滤器的控制，过滤处理该帧；透视投影显示装置，输入上述目标位置及上述视点位置，以及被过滤处理后的运动图象的帧，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标，在该显示器的投影面上附着上述运动图象的帧并显示。
6.如权利要求5所述的运动图象再生质量控制装置，其特征在于上述距离计算装置，进一步输入在三维虚拟空间中的显示器投影面的坐标，根据上述目标位置、视点位置，以及三维虚拟空间中的显示器投影面的坐标求相对于显示器投影面的目标的倾斜角度；上述过滤器选择装置，根据预先被设定的表示上述倾斜角度和用于放大以及缩小处理附着在上述目标上的运动图象的过滤器的关系的表或者公式，将对应上述距离选择的过滤器更新为与上述距离以及上述倾斜角度对应的过滤器。
7.一种运动图象再生质量控制装置，它是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的装置，其特征在于包括目标生成装置，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定装置，输入与被上述目标生成装置配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间上的目标位置；视点位置确定装置，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间上的视点，用和该目标位置的相关关系确定视点位置；透视投影装置，输入上述目标位置以及上述视点位置，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标；面积计算装置，输入与被透视投影的目标的投影面有关的数据，算出该投影面面积；过滤器选择装置，输入已算出的距离，根据预先被设定的表示目标的投影面的面积和用于放大或者缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，选择与已输入的面积对应的过滤器；过滤器控制装置，输入已选择出的过滤器的信息，用该过滤器控制对附着在目标上的运动图象的帧的放大或者缩小处理；运动图象生成装置，从外部输入运动图象数据，从该运动图象数据中再生运动图象的帧；过滤处理装置，从上述运动图象生成装置输入上述运动图象的帧，根据上述过滤器控制装置的控制，过滤处理该帧；显示装置，在透视投影有从上述透视投影装置输入的目标的二维显示器投影面上，附着从上述运动图象生成装置输入的运动图象的帧并显示。
8.如权利要求5或者7所述的运动图象再生质量控制装置，其特征在于上述面积计算装置，进一步从上述透视投影装置输入目标位置；上述过滤器选择装置，在对上述目标生成装置从外部输入变更目标尺寸的三维目标数据时，从上述距离计算装置或者上述面积计算装置进一步输入目标位置，通过该目标位置识别目标的尺寸变更，根据预先被设定的表示目标的尺寸和用于放大或者缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，将对应上述距离或者面积选择出的过滤器，进一步更新为与变更后的目标的尺寸对应的过滤器。
9.一种运动图象再生质量控制方法，它是融合运动图象以及计算机图形学在三维虚拟空间中再生运动图象的方法，其特征在于包括目标生成步骤，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定步骤，输入与被配置在三维虚拟空间上的目标有关的数据，通过来自外部用户的输入，移动该目标，确定在该三维虚拟空间中的目标位置；视点位置确定步骤，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间中的视点，用和该目标位置的相关关系确定视点位置；距离计算步骤，输入上述目标位置以及上述视点位置，算出从上述视点到目标的距离；帧速率确定步骤，输入已算出的距离，根据预先设定的表示从视点到目标的距离和附着在该目标上的运动图象的帧速率的关系的表或者公式，确定与已输入的距离对应的帧速率；帧速率控制步骤，输入已确定的帧速率，用该帧速率再生附着在目标上的运动图象的帧；运动图象生成步骤，从外部输入运动图象数据，根据上述控制，从该运动图象数据中再生需要的运动图象的帧；透视投影显示步骤，输入上述目标位置及上述视点位置，以及被再生的运动图象的帧，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标，在该目标的投影面上附着上述运动图象的帧显示。
10.如权利要求9所述的运动图象再生质量控制方法，其特征在于上述距离计算步骤，进一步输入在三维虚拟空间中的显示器投影面的坐标，通过上述目标位置、视点位置，以及在三维虚拟空间中的显示器投影面的坐标，求相对于显示器投影面的目标的倾斜角度；上述帧速率确定步骤，根据预先被设定的表示上述倾斜角度和附着在上述目标上的运动图象的帧速率的关系的表或者公式，将对应上述距离确定的帧速率，更新为与上述距离以及上述倾斜角度对应的帧速率。
11.一种运动图象再生质量控制方法，它是融合运动图象以及三维计算机图形学，在三维虚拟空间中再生运动图象的方法，其特征在于，包括目标生成步骤，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标，生成目标；目标位置确定步骤，输入与被上述目标生成步骤配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入移动该目标，确定在该三维虚拟空间上的目标位置；视点位置确定步骤，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间上的视点，用和该目标位置的相关关系确定视点位置；透视投影步骤，输入上述目标位置以及上述视点位置，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标；面积计算步骤，输入与透视投影的目标的投影面有关的数据，算出该投影面面积；帧速率确定步骤，输入算出的面积，根据预先被设定的表示目标的投影面的面积和附着在该投影面上的运动图象的帧速率的关系的表或者公式，确定与已输入的面积对应的帧速率；帧速率控制步骤，输入已确定的帧速率，用该帧速率控制再生附着在目标上的运动图象的帧；运动图象生成步骤，从外部输入运动图象数据，根据上述控制，从该运动图象数据中再生需要的运动图象的帧；显示步骤，在透视投影有从上述透视投影步骤输入的目标的二维显示器投影面上，贴上从运动图象生成步骤输入的运动图象的帧显示。
12.如权利要求9或者11所述的运动图象再生质量控制方法，其特征在于上述面积计算步骤，进一步从上述透视投影步骤输入目标位置；上述帧速率确定步骤，当对上述目标生成步骤从外部输入了变更目标尺寸的三维目标数据时，进一步从上述距离计算步骤或者上述面积计算步骤输入目标位置，通过该目标位置识别目标的尺寸变更，根据预先被设定的表示目标的尺寸和附着在该目标上的运动图象的帧速率的关系的表和公式，将对应于上述距离或者面积确定的帧速率，进一步变更为还与变更后的目标尺寸对应的帧速率。
13.一种运动图象再生质量控制方法，它是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的方法，其特征在于包括目标生成步骤，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定步骤，输入与被上述目标生成步骤配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间中的目标位置；视点位置确定步骤，输入已确定的目标位置，根据来自外部的用户输入移动上述三维虚拟空间中的视点，用和该目标位置的相关关系确定视点位置；距离计算步骤，输入上述目标位置以及上述视点位置，计算出从视点到目标的距离；过滤器选择步骤，输入已算出的距离，根据预先被设定的表示从视点到目标的距离和用于放大或者缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，选择与已输入的距离对应的过滤器；过滤器控制步骤，输入由上述过滤器选择步骤选择的过滤器的信息，用该过滤器控制对附着在目标上的运动图象的帧的放大或者缩小处理；运动图象生成步骤，从外部输入运动图象数据，从该运动图象数据中再生运动图象的帧；过滤处理步骤，从上述运动图象生成步骤输入上述运动图象的帧，根据上述过滤器控制步骤的控制，过滤处理该帧；透视投影显示步骤，输入上述目标位置及上述视点位置，以及被过滤处理后的运动图象的帧，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标，在该显示器的投影面上附着上述运动图象的帧显示。
14.如权利要求13所述的运动图象再生质量控制方法，其特征在于上述距离计算步骤，进一步输入在三维虚拟空间中的显示器投影面的坐标，根据上述目标位置、视点位置，以及在三维虚拟空间中的显示器投影面的坐标求相对显示器投影面的目标的倾斜角度；上述过滤器选择步骤，根据预先被设定的表示上述倾斜角度和用于放大或者缩小处理附着在上述目标上的运动图象的过滤器的关系的表或者公式，将对应上述距离选择的过滤器，更新为与上述距离以及上述倾斜角度对应的过滤器。
15.一种运动图象再生质量控制方法，它是融合运动图象以及三维计算机图形学在三维虚拟空间中再生运动图象的方法，其特征在于包括目标生成步骤，从外部输入与附着上述运动图象的目标有关的三维目标数据，根据该三维目标数据，在三维虚拟空间上配置目标生成目标；目标位置确定步骤，输入与被上述目标生成步骤配置在三维虚拟空间上的目标有关的数据，通过来自外部的用户输入，移动该目标，确定在该三维虚拟空间上的目标位置；视点位置确定步骤，输入已确定的目标位置，由来自外部的用户输入移动在上述三维虚拟空间上的视点，用和该目标位置的相关关系确定视点位置；透视投影步骤，输入上述目标位置以及上述视点位置，根据该目标位置以及视点位置在二维显示器投影面上投影上述目标；面积计算步骤，输入与透视投影的目标的投影面有关的数据，算出该投影面的面积；过滤器选择步骤，输入已算出的距离，根据预先被设定的表示目标的投影面的面积和用于放大或者缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，选择与已输入的距离对应的过滤器；过滤器控制步骤，输入被选择出的过滤器的信息，用该过滤器控制对附着在目标上的运动图象的帧的放大或者缩小处理；运动图象生成步骤，从外部输入运动图象数据，从该运动图象数据中再生运动图象的帧；过滤处理步骤，从上述运动图象生成步骤中输入上述运动图象的帧，根据上述过滤器控制步骤的控制，过滤处理该帧；显示步骤，在透视投影有从上述透视投影步骤输入的目标的二维显示器投影面上，附着从上述运动图象生成步骤输入的运动图象的帧显示。
16.如权利要求13或者15所述的运动图象再生质量控制方法，其特征在于上述面积计算步骤，进一步从上述透视投影步骤输入目标位置；上述过滤器选择步骤，在对上述目标生成步骤从外部输入变更目标尺寸大小的三维目标数据时，从上述距离计算步骤或者上述面积计算步骤进一步输入目标位置，通过该目标位置识别目标的尺寸变更，根据预先被设定的表示目标的尺寸和用于放大或者缩小处理附着在该目标上的运动图象的过滤器的关系的表或者公式，将对应上述距离或者面积选择的过滤器，进一步更新为与变更后的目标的尺寸对应的过滤器。
全文摘要
提供一种根据在三维虚拟空间中被再生的运动图象的位置控制再生质量的方法及其装置。包括:目标生成部分11,根据外部输入的三维虚拟空间数据生成目标;目标位置确定部分12,通过用户输入移动生成的目标确定目标位置;视点位置确定部分13用户输入移动视点确定视点位置;距离计算部分16,根据目标位置以及视点位置计算距离;帧速率确定部分17,由被设定的表或者公式,确定与算出的距离对应的帧速率;帧速率控制部分18以及运动图象生成部分19,使外部输入的运动图象数据的帧速率下降再生运动图象。
文档编号G06T13/20GK1258366SQ99800326
公开日2000年6月28日 申请日期1999年3月18日 优先权日1998年3月18日
发明者津田贤治郎, 锦织义久, 稻坦悟, 三木孝保, 十河美存, 中濑义盛, 米山辉, 中野博仁, 今村哲也 申请人:松下电器产业株式会社