对比文件名称:发明申请_US20160241836A1 METHODS AND APPARATUS FOR RECEIVING AND_OR USING REDUCED RESOLUTION IMAGES
目标专利名称:用于360度视频的混合图形及像素域架构
模型名称:本次评估由专利代理师执行。
## 特征比对表格
| 技术特征描述及公开性判断结果 | 对比文件原文引用(段落标号或位置) | 公开性论述 |
| **技术特征A:** 所述设备包括:存储器,其经配置以存储所述视频数据<br>**《直接公开》** | 对比文件[0077]描述系统700:“The system 700 includes ... a memory 712.” 以及[0098]:“The memory 712 includes ... received input images 732, e.g., 360 degree stereoscopic video of a scene, encoded scene portions 734...” | 对比文件明确公开了系统包含存储器(memory 712),并且该存储器用于存储接收到的输入图像(如360度立体视频)和编码后的场景部分。这与目标专利中“存储器经配置以存储视频数据”的特征在结构和作用上完全相同。因此,本领域技术人员能毫无疑义地得出该技术特征。 |
| **技术特征B:** 一或多个处理器,其经配置以在像素域中编码所存储的视频数据的一部分以产生像素域视频数据,其中,所述像素域视频数据包括各自具有360视频图像的一部分的多个图块<br>**《直接公开》** | 1. 编码处理器:[0077]:“The system 700 includes ... a processor 708... The memory 712 includes ... encoder(s) 718...” 以及[0100]:“The encoder(s) 718 ... are configured to encode received image content...”。<br>2. 图块/部分:[0074]:“...the scene data 302 is partitioned into data corresponding to different scene areas...” 以及[0079]:“Each encoded version ... represents multiple frames which have been coded.” [0080]进一步说明了存储的编码部分对应于不同的场景区域。 | 对比文件公开了处理器(708)和编码器(718)对接收的图像内容进行编码。同时,对比文件明确将360度场景分割(partition)成多个不同的部分(scene areas/portions),这些部分在编码后被存储和流式传输。这些“部分”在概念和作用上与目标专利的“图块”一致,都是360度图像的一部分。因此,编码处理器对存储的视频数据(即分割后的部分)进行编码以产生编码视频数据(即像素域处理)的特征被直接公开。 |
| **技术特征C:** 第一图形处理单元,其经配置以在图形域中处理所述视频数据以产生图形域视频数据,其中所述图形域视频数据包括具有所述360视频图像的全部的纹理<br>**《隐含公开》** | 1. 图形处理/纹理应用:[0010], [0128], [0177]等段落描述了在播放设备端,解码后的图像作为纹理(texture)应用(映射)到环境模型(如球面网格)的表面。<br>2. 纹理包含整个环境:[0010]:“In at least some embodiments the environment is represented using a mesh model. Images are captured and encoded into frames. At the playback device the encoded images are decoded and applied to a surface of the environmental model, e.g., as a texture.” [0200]图示了将纹理应用到网格模型以形成完整的360度环境视图。 | 对比文件的核心技术之一是在播放端使用纹理映射技术将接收到的图像渲染到3D环境模型上。虽然对比文件没有明确使用“图形处理单元(GPU)”这一术语,但其描述的“渲染(rendering)”过程(例如由处理器808和图像渲染模块822执行,见[0111])本质上是图形域操作。本领域技术人员公知,此类3D纹理映射和渲染通常由GPU执行。对比文件公开了将(解码后的)图像作为纹理应用于整个环境模型(即360度图像的全部),这隐含了在图形域产生用于覆盖整个球面的纹理数据的过程。因此,该技术特征被隐含公开。 |
| **技术特征D:** 以及接口,其用以发射包含具有所述360视频图像的所述全部的所述纹理的所述图形域视频数据及包含所述多个图块的子集的所述像素域视频数据的子集<br>**《隐含公开》** | 1. 发射接口:[0077]:“The system 700 includes ... network interface 710”。[0101]:“The streaming controller 720 is configured to control streaming of encoded content ... over the communications network 105.”<br>2. 发射内容子集:[0105]:“The selection module 728 is configured to determine which portions of a 360 degree scene to stream to a playback device based on the current viewing angle/head position information of the user.” | 对比文件公开了网络接口(710)和流控制器(720)用于发射编码内容。同时,基于用户的当前视角/头部位置,选择模块(728)确定要流式传输360度场景中的哪些部分(即图块的子集)。虽然对比文件没有明确区分“图形域视频数据”和“像素域视频数据”两种独立的流,但其发射的编码图像内容(像素域数据)在接收端被用作纹理(图形域应用)。本领域技术人员可以合理推断,为了支持实时渲染,源装置需要发射这些编码图像数据(即像素域数据的子集),而这些数据在接收端将产生覆盖整个360度环境的纹理。因此,接口发射包含纹理信息的像素域数据子集这一特征被隐含公开。 |
| **技术特征E:** 其中,所述一或多个处理器进一步经配置以将所述视频数据拼接在一起以形成等矩形画布;其中,所述一或多个处理器经配置以将所述等矩形画布映射到立方图或金字塔形投影中的一者,并以多种分辨率编码所述多个图块,且其中,所述多个图块的所述子集在用户视野内。<br>**《隐含公开》** | 1. 图像拼接与投影映射:[0150]-[0152]描述了使用多相机阵列捕捉图像,并将来自不同相机的图像进行缝合(seamed together)以创建360度场景。环境模型是球形的(如[0158]的球体1500)。将2D图像映射到球形3D模型的过程,本质上涉及将平面图像投影到球面坐标,等矩形投影是本领域常见的映射方式之一。<br>2. 多种分辨率编码与视野内子集:[0211]:“...select a first resolution allocation to be used for at least one image...”,以及[0212]执行分辨率降低操作。图21-24及对应说明展示了如何对图像的不同部分进行选择性降采样(不同分辨率)。[0105]明确基于用户头部位置选择要流式传输的场景部分(即视野内的子集)。 | 对比文件公开了将多相机图像拼接成完整环境视图,并映射到球形模型。虽然未明确提及“等矩形画布”和“立方图/金字塔形投影”,但这些投影方式是实现球形映射的常规技术手段。对比文件明确公开了基于选择的分辨率分配方案,对图像的不同部分进行不同级别的分辨率降低(即多种分辨率编码),并且基于用户头部位置(视野)选择传输哪些部分。本领域技术人员结合对比文件公开的“图像拼接-映射到球形模型-选择性分辨率编码-基于视角传输”这一整体技术方案,能够合理推断出使用等矩形投影等具体映射方式以及为视野内图块子集进行编码的技术特征。因此,该技术特征被隐含公开。 |
| **技术特征F:** 且其中,所述第一图形处理单元进一步经配置以将所述等矩形画布转换为所述纹理且在球体内部显现所述纹理;其中,所述一或多个处理器经配置以确定所述用户的运动适应性,并基于所确定的所述用户的运动适应性来确定所述视野。<br>**《隐含公开》** | 1. 纹理转换与球体内显现:[0128]:“Step 938 involves applying the first image to the environmental model in accordance with UV map to be used. Thus the first image is used as a texture which is applied to segments of the environmental model...” [0200]描述了将纹理应用到网格模型内部以模拟完整的360度环境(从中心观看)。<br>2. 确定运动适应性/视野:[0104]:“The current head position determination module 726 is configured to determine a current viewing angle and/or a current head position of the user, e.g., position of the head mounted display, from information received from the playback device.” [0111]播放设备也有头部位置确定模块(818)。 | 对比文件明确公开了在播放端将图像作为纹理应用到环境模型(通常是球体内部)进行显现。同时,源装置和播放装置都包含用于确定用户当前头部位置/视角(即运动适应性)的模块,并利用该信息来确定视野(即选择传输哪些场景部分,见特征E论述)。将“等矩形画布转换为纹理”是图形渲染管线中从源图像生成纹理的常规步骤。因此,结合对比文件公开的纹理应用和头部追踪确定视野,本领域技术人员能够合理推断出图形处理单元执行纹理转换和显现,以及处理器基于运动适应性确定视野的技术方案。该技术特征被隐含公开。 |
| **技术特征G:** 其中,所述第一图形处理单元经配置以经由所述接口以第一帧率发射所述纹理;其中,所述一或多个处理器经配置以确定所述用户的运动适应性,基于所确定的所述用户的运动适应性来确定所述视野,且基于经确定的视野来调适环绕声视频。<br>**《未公开》** | 对比文件未提及以特定帧率发射“纹理”数据流。虽然对比文件涉及传输编码图像帧(可能具有不同帧率,见[0078]),但并未将这些帧的传输描述为独立于编码视频的“图形域纹理”流。此外,对比文件全文未提及调适环绕声视频以匹配用户运动适应性或视野。 | 对比文件没有公开任何关于音频处理,特别是基于用户运动适应性或视野来调适环绕声视频的内容。同时,对比文件也未区分图形域纹理流和像素域视频流并以不同帧率发射它们。该技术特征在对比文件中既无直接记载,也无法从已公开内容中合理推断得出。 |
| **技术特征H:** 且其中所述一或多个处理器进一步经配置以经由所述接口以大于所述第一帧率的第二帧率发射所述像素域视频数据的所述子集;其中,所述一或多个处理器经配置以在第三分辨率下基于所述运动适应性发射所述图块子集中处于所述视野的中心的图块,且在低于所述第三分辨率的第四分辨率下发射所述图块子集中在所述视野内但不在所述视野的所述中心的图块。<br>**《隐含公开》** | 1. 不同分辨率分配:[0212]-[0213]描述了根据选定的分辨率分配(resolution allocation)对图像进行分辨率降低操作,生成具有不同分辨率区域(图像部分)的降低分辨率图像。图21-24明确展示了为中心/重要区域分配高分辨率,为边缘/次要区域分配低分辨率。<br>2. 基于运动适应性/视野:[0105]基于用户头部位置(运动适应性)选择要流式传输的场景部分(视野)。结合分辨率分配,可以合理推断视野中心(重要区域)会获得高分辨率,而视野周边获得低分辨率。<br>*注:对比文件未明确比较图形域流和像素域流的帧率(特征G的一部分),但公开了编码图像(像素域数据)的传输。* | 对比文件明确公开了基于对场景重要性的判断(可关联到用户视野中心),对图像的不同空间区域进行不同级别的分辨率编码(高分辨率给重要区域,低分辨率给次要区域)。虽然未明确使用“视野中心”和“视野内但非中心”的表述,但基于用户头部位置确定传输区域(视野)并结合选择性分辨率分配的技术方案,本领域技术人员能够直接且合理地推断出:在确定的视野内,为中心区域分配高分辨率、为周边区域分配低分辨率的技术手段。这是实现高效带宽利用和视觉质量优化的常规设计。因此,该分辨率分配特征被隐含公开。但“以大于第一帧率的第二帧率发射”这部分未被公开(依赖于特征G未被公开的帧率设定)。 |
| **技术特征I:** 并且其中,所述第一图形处理单元经配置以经由所述接口以第一分辨率发射所述纹理<br>**《未公开》** | 对比文件未提及独立的“图形域视频数据”或“纹理”流,也未提及以特定分辨率发射此类流。纹理信息是包含在编码图像帧(像素域数据)中传输的,在接收端解码后用作纹理。 | 对比文件没有区分图形域和像素域的数据流。其传输的是统一的编码图像数据。因此,“第一图形处理单元以第一分辨率发射纹理”这一特征在对比文件中没有依据。 |
| **技术特征J:** ,且其中,所述一或多个处理器进一步经配置以经由所述接口以大于所述第一分辨率的第二分辨率发射所述像素域视频数据的所述子集。<br>**《未公开》** | 对比文件虽然公开了以不同分辨率编码和传输图像部分(特征H),但并未将这些分辨率与一个独立的“图形域纹理流”的分辨率(特征I)进行比较。特征J依赖于特征I中定义的“第一分辨率”,而特征I未被公开。 | 由于特征I(第一图形处理单元以第一分辨率发射纹理)未被对比文件公开,因此特征J中要求的“大于第一分辨率的第二分辨率”失去了比较的基准,该技术特征整体上未被公开。 |
<<<A>>><<<B>>><<<c>>><<<d>>><<<e>>><<<f>>><<<h>>>