周耀平
(中广电广播电影电视设计研究院音视频设计研究所,北京 100045)
1 沉浸式视频的界定
沉浸式视频通过视频、音频及特效等终端系统,构建具备大视角、高画质、三维声特性,具备画面包围感和沉浸式声音主观感受特征的视听环境,使观众能够在所处位置同时获得周围多方位的视听信息,让观众体验到单一平面视频无法实现的高度沉浸感。其呈现形式包括球幕、环幕、沉浸屋CAVE等异形显示空间,该技术已在文旅、虚拟仿真、展陈、科技场馆等多个领域逐渐得到应用。随着超高清4K/8K 技术日趋成熟和不断发展,沉浸式视频也进入了一个新阶段:层次更丰富、细节更精致。
2020年9月,国家广播电视总局颁布 《5G 高新视频-沉浸式视频技术白皮书2020》,该白皮书对沉浸式视频分辨率提出如下建议:以水平视角为180°的球幕为例,若要达到精确辨别的需求,分辨率对应的像素数为7200,一般以8K 标称;若要达到模糊辨别的需求,分辨率对应的像素数为3600,一般以4K 标称。
本文基于人眼特性、设备及视场角技术,通过对分辨率的主要影响因素进行分析,探讨沉浸式视频分辨率指标的确定原则。
2 分辨率与解像力
2.1 人眼的分辨能力
人眼是个复杂的系统,若仅描述物转换为像的过程,人眼可简化为一个光学器件 (晶体)加一个成像面(视网膜),人眼分辨能力取决于两个因素,一是视网膜上视杆细胞的间距,二是晶体前面瞳孔的直径,两者共同作用,构成人眼的分辨能力,下面对已有研究进行简述。
首先,视网膜结构中对人眼分辨能力起决定性作用的是视杆细胞,人眼单眼视网膜上共约有1.1～1.3亿个视杆细胞,平均直径约2.5μm。要想实现对细节的分辨,必须保证反映物体细节差异的2个光子分别落在2个视杆细胞上,才能形成两个不同的刺激,即分辨。
其次,人眼晶体可简化为凸透镜,具有衍射特性,解像力遵循瑞利判据——即当一个成像爱里斑的中心与另一个成像爱里斑的第一级暗环重合时,刚好能分辨出是两个像。人眼晶体前的瞳孔直径为2～8mm,在最小直径2mm 时具备最高解像力。
图1 简化眼成像及视敏角示意图
通过对人眼分辨能力的分析得出:分辨能力由视网膜视杆细胞分布和瞳孔直径决定,其中瞳孔直径是满足人眼最高分辨能力所需的光学条件。与分辨率指标形成直接关系的是视网膜视杆细胞分布,即分辨率由成像面数据决定。
2.2 人眼的视场角
从认知角度,人观看画面首先关注的是其完整性,其次才是细节。前述人眼分辨能力只能说明人眼对局部细节的辨析能力,而分辨率的概念是针对画面“全貌”的,为此还需要另一个条件的支撑——视觉范围(FOV),医学称为视野,显示技术上称为视场,均以角度表示。研究表明,人眼双眼水平视角约为160°～170°,垂直视角约为110°～120°,且呈不规则形,双眼视野重合区可简化成宽高比约为1.33∶1的长方形(单眼视角简单叠加区的宽高比约为1.8∶1),如图2所示。
图2 人双眼视角示意图
人眼的视场角内还具有认知方面的以下特性:分辨视角 (15°～30°)——分辨细节;有效视角(30°～60°)——看见全貌;诱导视角 (60°以外)——余光、环境感 (以上量值均为双眼水平视角)。虽然视角范围内的视杆细胞分布不均匀,但视网膜形成的“影像”传递到大脑后仍然被认知为完整且连续的。
2.3 基于视场角的分辨率
人眼视网膜上视杆细胞的物理分布呈现如下特性:在偏离中央凹6mm (单眼视角20°)附近分布密度最高,然后分布密度逐渐下降,边沿处只有中心密度的1/3,笔者将视场角和视杆细胞分布密度关系用图3进行直观表示。
图3 人眼视场角和视杆细胞分布密度关系示意图
根据以上人眼分辨能力及视场角的特性,人的双眼在15°水平视角范围内的细节分辨量=FOV/θ=15°/1′=900,垂直方向上为675,可见,在分辨能力一定的情况下,分辨量由视场角决定。在显示技术应用中,为更直观表达分辨率和视场角之间的关系,将视场角由观看距离和屏幕宽高来表达,分辨能力由像素间距来表达,由此产生基于显示宽度和高度的像素量——分辨率,这就是分辨率概念的理论基础。如图4 所示,图中d为像素间距,θ为视敏角,φ为观看距离L 和屏幕高度D 之间形成的垂直视场角。
图4 像素间距、屏幕尺寸和观看距离与分辨率关系示意
2.4 呈现设备的分辨率及解像力
以上基于人眼视场角分辨率的特性,为呈现端分辨率的确定提供了基础依据。
对于投射型呈现设备,其分辨率和解像力包括:显示器件分辨率、光学部件解像力、呈现介质解像力这3项指标,典型代表为投影机+投影幕;对于自发光式显示设备,显示器件分辨率即为其分辨率,典型代表为LED 显示屏、液晶显示屏 (LCD)、等离子显示屏。
下面对显示器件分辨率、光学部件解像力、呈现介质解像力以及节目内容的分辨率分别加以介绍。
第一,显示器件的分辨率。数字化时代,任何节目内容都需要经过显示器件的视频信号“转换”,形成人眼可见的光学影像。通常在投影机中采用的显示器件为DMD,自发光式显示设备中采用的显示器件为LED 或液晶(LCD)或等离子。
显示器件上的微小原件的分布数量被称为分辨率,与拍摄设备成像器件称为××万像素不同,显示设备分辨率一般以水平方向的原件数量 (像素)来表述,如:720、1280、1440、1920……。近些年各行业词汇不断交叉渗透,出现2K、4K、8K……等略语,这些略语也成为显示器件分辨率指标的表述方式。
此外,显示设备常见的PPI指标是标示在器件层面表达的单位尺寸上的像素分布情况,是设备分辨率的基础,但非整机分辨率概念,本文不作介绍。
第二,光学部件的解像力。非直显式视频呈现设备和所有拍摄设备均需通过光学镜头来投射影像,在同等图像单元和同等图像处理能力情况下,镜头的解像力是影响最终呈现端图像清晰度的重要因素。通常,镜头解像力(又称解析力),表述为lp/mm,即每毫米内的线对数量。可见,镜头解像力是基于光学层面的清晰度概念,而前述视频分辨率是基于信号和电子处理设备层面的概念,有技术分析文章通过物理光学的瑞利判据来推导视频分辨率,显然是错误的。
第三,呈现介质的解像力。投射显示方式的视频设备最后呈现影像的是介质,介质材料的颗粒度、材质微观分布、光线散射性等因素也是影响最终呈现端图像清晰度的重要因素,通常,呈现介质的解像力(也称解析力),表述为lp/mm,即每毫米内的线对数量。
如同前文中人眼瞳孔直径是影响人眼分辨能力一样,呈现设备介质解像力和光学部件解像力均属于光学层面的概念,虽然是最终图像清晰度的影响因素,但不属于视频分辨率范畴,本文不作深入介绍。
第四,节目内容的分辨率。数字节目内容的像素分布情况也称为分辨率,与显示设备一样,通常以水平方向的像素来表述,如:720、1280、1440、1920…,随着显示和摄制技术的发展,近些年也出现2K、4K、8K…等略语。在不考虑光学器件及呈现介质因素情况下,要想忠实还原节目内容的分辨率,显示设备的分辨率指标应大于等于节目内容的分辨率,否则节目内容中有用信息会被显示端“丢弃”。
小结:在显示技术方面,人眼分辨率、设备分辨率、设备光学部件解像力、呈现介质解像力、节目内容分辨率具有相关性但概念不同,可用图5进行直观表示。
图5 显示技术中不同的分辨率与解像力概念
3 沉浸式视频的分辨率
3.1 分辨率对显示质量的作用
无论是从观众对显示品质的主观需求还是从视频行业技术发展的趋势来看,分辨率指标一直是视频技术的第一要素。从模拟到数字,从标清到高清到超高清,从576 到720 到1280 到1920 到2K 到4K、8K,分辨率一直是消费者、专业技术、厂家不断谈论和追求的视频领域技术话题,现今各种2K、4K 分辨率的内容及显示端呈现出来的品质已使观众得到了耳目一新的体验。分辨率的提升对显示质量起到至关重要的作用。
尽管如此,由于人眼分辨能力是存在先天极限的,分辨率达到一定量值后,继续提升分辨率对提高观众画面质量的感受作用就会越来越不明显。要想提高显示质量,就必须从色彩、对比度、帧率、视场角等多个维度进行改进,其中视场角的改进就是沉浸式视频在传统视频观感效果上的技术迭代。
3.2 传统视频的视场角和分辨率
传统视频的观看模式基本上是基于15°～30°视场角,即:专注方式地“看”内容,画面内容主要分布在人眼的分辨视角范围内,典型场景是标清、高清电视及电脑显示器的观看。按前述人眼视敏角量值,传统视频的分辨率定义在960～2K 区间,节目内容和显示终端也是按此原则进行指标约定。而电影为了让观众更加投入剧情,除了在环境和音效方面的要求高外,其视场角是明显大于传统视频的。所以在传统视频盛行时期,电影和电视的界限泾渭分明:看电视,画面只占据视野小部分区域,视野的其他部分可能是家具、物品等;看电影,画面占据视野大部分区域,场景感强,尤其是环幕、球幕、巨幕等特种电影,场景感更强,所以即便当初电影还未升级到数字4K 的时候,2K 分辨率的电影也比2K 电视的画面感受要好,这也充分证明了人眼在追求分辨率到一定阶段后,需要更强的画面“包裹感”,这就为沉浸式视频的出现奠定了基础。
3.3 沉浸式视频的视场角和分辨率
沉浸式视频是在VR、特种电影、显示技术等多种因素发展成熟后,诞生出的一种新兴视频模式,其与传统视频的重要区别之一是:画面覆盖形成约120°的视场角。原理是:在保持人眼或头部不转动的情况下,画面尽量覆盖人的视野,以形成观看安全的高度画面包围感,即“沉浸式”,此命名借鉴了人体主观感受的表达。120°视场角的确定是基于人眼生理特性:颞侧和鼻侧视杆细胞分布的不对称性,及颞侧在视轴60°以外视杆细胞迅速减少,视野范围消失。所以取视轴颞侧和鼻侧双侧对称60°共120°作为沉浸式视频的综合视场角,如图6所示。
图6 人眼单眼视场角与视觉细胞分布示意
但沉浸式视频的分辨率指标应该怎幺确定呢?笔者2020年参加的某课题曾做过一个约800人的群体调查问卷,其中关于沉浸式视频画面分辨率方面,约24.5%的受访者认为应达到4K 的指标,约51.5%的受访者认为分辨率越高越好。可见,观众对沉浸式视频的分辨率指标还是希望选“高”的。
以人眼1.1～1.3亿个视杆细胞在水平方向上的简化的分布数据指标12000～13000个计算,沉浸式视频提供的120°视场角内画面,已经对约70%的视杆细胞形成刺激 (考虑到视网膜上视杆细胞的非平均分布特性),可以说,沉浸式视频在超大且安全的视场角指标方面为观众提供了以往视频模式及常规商业电影所不具有的“沉浸感”,同时,基于120°视场角下的8K 分辨率已经达到人眼极限。
因此,按上文沉浸式视频的综合视场角约定,120°水平视角情况下人眼的细节分辨量=FOV/θ=120°/1′=7200,以画面像素与人眼细胞感应点对点对应,则画面像素数为7200 (标称8K),这就是沉浸式视频的分辨率确定依据。
4 结语
综上,沉浸式视频分辨率的理论基础是人眼的视敏角特性,确定依据是其视场角,可以归纳为:视场角决定视频的最高分辨率指标。目前,沉浸式视频在视场角和分辨率指标方面已趋于达到人眼感知极限,因此未来的视频技术发展和应用一定会在色彩、对比度、帧率等方面形成新的技术迭代和模式。❖
