对比文件名称:2012-04-19_WO2012050758A_发明申请_WO2012050758A1 JOINT LAYER OPTIMIZATION FOR A FRAME-COMPATIBLE VIDEO DELIVERY
目标专利名称:326用于可缩放视频译码及3D视频译码的多假设运动补偿CN104521237B
模型名称:本次评估由深度思考的专利代理师执行。
### 特征比对表格
| 技术特征描述以及公开性判断结果 | 对比文件原文引用 | 公开性论述 |
| **A**:识别第一层中的第一视频单元《直接公开》 | [p0069] “...the impact of the coding decision on the dependent layer is measured by taking into account motion estimation and compensation in the EL.” (……通过考虑EL中的运动估计和补偿来测量编码决策对依赖层的影响。) 以及 [p0053] “This module then selects the parameters ... and sends them to the ‘disparity compensation 0’ module, which, using only causal information and information from the reference picture buffer, yields a prediction block or region r_pred.” (然后该模块选择参数……并将它们发送到“视差补偿0”模块,该模块仅使用因果信息和来自参考图片缓冲区的信息,产生预测块或区域 r_pred。) | 对比文件明确描述了在多层视频编码系统中,对当前层(第一层,如基础层)中的块或区域(第一视频单元)进行处理(如选择编码参数、进行运动估计)。这直接对应于识别第一层中的视频单元以进行编码或预测的过程。 |
| **B**:基于所述第一层中的至少一个其他视频单元的运动信息确定用于预测所述第一视频单元的显式假设,显式假设为其运动信息在所述视频信息中被译码的假设《直接公开》 | [p0053] “Disparity estimation includes motion and illumination estimation and coding decision, while disparity compensation includes motion and illumination compensation and generation of intra prediction samples, among others.” (视差估计包括运动和光照估计以及编码决策,而视差补偿包括运动和光照补偿以及帧内预测样本的生成等。) [p0053] “...the process of generating the prediction samples given the selections in the Disparity Estimation module is called ‘Disparity Compensation 0’.” (……根据视差估计模块中的选择生成预测样本的过程称为“视差补偿0”。) | 对比文件详细描述了视频编码中的运动估计和补偿过程。运动估计模块基于因果信息(包括来自已编码的、空间或时间上相邻的其他视频单元的运动信息)为当前块选择运动参数(如运动向量)。这些运动参数随后被用于运动补偿生成预测块,并且这些运动参数需要被编码到码流中(显式假设)。这直接公开了基于第一层中其他视频单元的运动信息来确定用于预测第一视频单元的显式假设。 |
| **C**:确定旗标的值,所述旗标指示隐式假设是否用于预测,隐式假设为其运动预测信息未在所述视频信息中被译码的假设《未公开》 | 未找到对应内容。 | 目标专利中的“旗标”是专门用于指示解码器是否应从其他层(如基础层)隐式导出额外运动假设的控制信号。对比文件虽然涉及多层编码和考虑层间影响,但并未描述或提及使用这样一个专门的旗标来显式控制是否启用“隐式假设”预测模式。对比文件中的优化决策是基于率失真代价在编码端进行的,并未在码流中为此类模式设置专门的指示符。 |
| **D**:基于确定所述旗标的所述值指示使用所述隐式假设:《未公开》 | 未找到对应内容。 | 由于特征C(控制隐式假设使用的旗标)未被对比文件公开,因此基于该旗标值触发后续操作(使用隐式假设)的这一条件性步骤也未被公开。 |
| **E**:识别第二层中的第二视频单元,《直接公开》 | [p0069] “Consider, for instance, a scene change in a video, in which case the temporal references would have low (or no) temporal correlation with the current dependent layer reconstructed pictures while the inter-layer correlation would generally be high.” (例如,考虑视频中的场景变化,在这种情况下,时间参考与当前依赖层重构图片的时间相关性较低(或没有),而层间相关性通常较高。) [p0069] 以及图13上下文,描述了依赖层(第二层)及其处理。 | 对比文件明确描述了包含基础层和增强层(依赖层)的多层系统。在优化基础层编码决策时,需要考虑对“依赖层”(第二层)的影响,这必然涉及到识别或处理依赖层中的对应区域或块,即第二视频单元。 |
| **F**:获取与所述第二层中的所述第二视频单元相关联的运动信息,《隐含公开》 | [p0072] “Another embodiment may use the motion vectors corresponding to the same frame from the previous layer encoder. The motion vectors may be used as is or they may optionally be used to initialize and thus speed up the motion search in the motion estimation module.” (另一实施例可以使用来自前一层编码器的同一帧对应的运动向量。这些运动向量可以按原样使用,或者可选地用于初始化从而加速运动估计模块中的运动搜索。) | 对比文件提到,在编码依赖层时,可以使用来自前一层(第一层)编码器的运动向量。这隐含了可以从第一层(作为参考)获取与第二层视频单元相关联(例如,通过共位关系关联)的运动信息的可能性。虽然此处描述的是从第一层到第二层的运动信息传递,但本领域技术人员可以合理推断,在多层编码框架下,获取与另一层中视频单元相关联的运动信息是一种通用技术手段。 |
| **G**:以及确定用于从与所述第二层中的所述第二视频单元相关联的所述运动信息预测所述第一视频单元的所述隐式假设,《隐含公开》 | [p0072] “The motion vectors may be used as is or they may optionally be used to initialize and thus speed up the motion search in the motion estimation module.” (这些运动向量可以按原样使用,或者可选地用于初始化从而加速运动估计模块中的运动搜索。) | 对比文件指出,来自前一层的运动向量可以用于初始化依赖层的运动搜索。这意味着这些运动向量信息可以被用来形成对依赖层块进行预测的起点或假设。虽然目标专利是从第二层(参考层)信息为第一层(增强层)导出隐式假设,方向相反,但对比文件公开了利用层间运动信息来辅助形成预测假设的核心思想。本领域技术人员基于该思想,有可能推理出也可以利用参考层的运动信息来为增强层生成额外的预测假设。 |
| **H**:以及根据所述显式假设和所述隐式假设来预测所述第一视频单元,《隐含公开》 | [p0069] “Consequently, such a choice of utilizing ‘temporal’ references in place of or in combination with ‘inter-layer’ references would generally render previously estimated D’ and D” distortions unreliable. Thus, in example 4, techniques are proposed that enhance coding decisions at the previous layer by considering the reference picture selection and coding decision at the dependent layer.” (因此,选择使用“时间”参考来代替或结合“层间”参考,通常会使先前估计的D’和D”失真变得不可靠。因此,在示例4中,提出了通过考虑依赖层的参考图片选择和编码决策来增强前一层的编码决策的技术。) | 对比文件在示例4中提出,在优化基础层(第一层)的编码决策时,需要考虑依赖层(第二层)可能选择时间参考还是层间参考进行预测。这隐含了基础层的最终预测效果(或编码决策的评估)会受到依赖层多种预测假设(时间参考假设、层间参考假设)共同影响的思想。虽然对比文件侧重于编码端的联合优化而非解码端的预测值组合,但本领域技术人员可以从中推理出预测可以基于来自不同来源(层)的多个假设这一概念。 |
| **I**:或者基于确定所述旗标的所述值指示未使用所述隐式假设,《未公开》 | 未找到对应内容。 | 同特征D,由于控制旗标(特征C)未被公开,因此“旗标指示未使用隐式假设”这一分支条件也未被公开。 |
| **J**:基于所述显式假设来预测所述第一视频单元。《隐含公开》 | [p0053] “This module then selects the parameters ... and sends them to the ‘disparity compensation 0’ module, which, using only causal information and information from the reference picture buffer, yields a prediction block or region r_pred.” (然后该模块选择参数……并将它们发送到“视差补偿0”模块,该模块仅使用因果信息和来自参考图片缓冲区的信息,产生预测块或区域 r_pred。) | 对比文件详细描述了传统的视频编码过程:运动估计模块为当前块选择运动参数(显式假设),然后运动补偿模块仅使用这些参数从参考图片缓冲区获取参考块,生成预测值。这是标准的基于显式运动信息的预测方式。当编码决策不考虑依赖层影响(即不涉及隐式假设)时,预测完全基于显式假设进行。 |
| **K**:其中所述第一视频单元及所述第二视频单元各自包括帧、切片、译码单元CU、预测单元PU、块或像素区。《直接公开》 | [p0050] “A region may be rectangular, comprising multiple blocks or even a single pixel, but may also comprise multiple blocks that are simply connected but do not constitute a rectangle.” (区域可以是矩形的,包括多个块甚至单个像素,但也可以包括多个简单连接但不构成矩形的块。) [p0050] “Blocks or, in general, structured regions are easier to describe and handle...” (块或一般意义上的结构化区域更容易描述和处理……) | 对比文件明确将视频数据处理的单元描述为“块(block)”或“区域(region)”,并指出区域可以包含多个块或单个像素。这涵盖了目标专利中视频单元所定义的范围(块、像素区等)。术语“块”在视频编码领域通常可对应PU、CU等。因此,对比文件直接公开了视频单元可以是块或像素区。 |
| **L**:其中所述第一层是增强层且所述第二层是参考层,或其中所述第一层是3D视频的相依视图且所述第二层是3D视频的基础视图。《直接公开》 | [p0040] “A ‘dependent layer’ is a layer that depends on the previous layer (which may also be another dependent layer) for its decoding. A layer that is independent of any other layers is referred to as the base layer.” (“依赖层”是在解码时依赖于前一层的层。不依赖于任何其他层的层被称为基础层。) [p0042] “...the Stereo High Profile utilizes a base layer that is compliant with the High Profile of Annex A of H.264/AVC and which compresses one of the views that is termed the base view. An enhancement layer then compresses the other view, which is termed the dependent view.” (……立体高级档次使用符合H.264/AVC附录A高级档次的基础层,该层压缩称为基础视图的一个视图。然后增强层压缩另一个视图,称为依赖视图。) | 对比文件明确定义了多层系统中的基础层(独立层)和增强/依赖层,并将其应用于立体(3D)视频编码,其中基础层压缩基础视图,增强层压缩依赖视图。这直接公开了目标专利中“第一层是增强层,第二层是参考层(基础层)”以及“用于3D视频”的层间关系。 |
| **M**:其中所述第二层中的所述第二视频单元在空间上与所述第一层中的所述第一视频单元位于同一地点。《直接公开》 | [p0069] “...to yield a prediction block or region r_RPU (1100) that comprises a prediction of the co-located block or region in the dependent layer.” (……产生预测块或区域 r_RPU (1100),它包含对依赖层中共位块或区域的预测。) | 对比文件在描述参考处理单元(RPU)操作时,明确使用了“co-located block or region in the dependent layer”(依赖层中的共位块或区域)这一表述。这直接公开了第二层(依赖层)中的视频单元与第一层(处理层)中的当前视频单元在空间上位于同一地点。 |
| **N**:其中所述第一层的所述至少一个其他视频单元在空间上邻近于所述第一视频单元。《直接公开》 | [p0053] “The ‘disparity estimation 0’ module uses as input (a) the source input block or region, ... (b) ‘causal information’ that includes motion vectors and pixel samples from regions/blocks that have already been coded...” (“视差估计0”模块使用作为输入(a)源输入块或区域,……(b)“因果信息”,包括来自已编码区域/块的运动向量和像素样本……) | 对比文件指出,运动估计模块会使用“因果信息”,其中包括来自已编码区域/块的运动向量。在典型的视频编码顺序(如光栅扫描)中,已编码的区域/块通常就是当前块空间上的左方和上方的邻近块。因此,这直接公开了使用空间上邻近的其他视频单元的运动信息。 |
| **O**:其中所述第一层的所述至少一个其他视频单元在时间上邻近于所述第一视频单元且在空间上与所述第一视频单元位于同一地点。《直接公开》 | [p0053] “...and (c) reference pictures from the reference picture buffer...” (……以及(c)来自参考图片缓冲区的参考图片……) | 对比文件说明运动估计会使用来自参考图片缓冲区的参考图片。时间预测意味着使用时间上邻近的已编码帧(参考图片)中,与当前块空间位置相同(共位)的块或其周围区域的信息进行预测。这直接对应了“时间上邻近且空间共位”的其他视频单元。 |
| **P**:其中所述第一层的所述至少一个其他视频单元在时间上在所述第一视频单元后面,或在时间上在所述第一视频单元前面。《直接公开》 | [p0049] “One type of inter prediction is uni-predictive motion compensation where the prediction block is derived from a single reference picture. Modern codecs also apply bi-predictive motion compensation where the final prediction block is the result of a weighted linear combination of two prediction ‘hypotheses’ blocks, which may be derived from a single reference picture or two different reference pictures.” (一种类型的帧间预测是单向预测运动补偿,其中预测块来自单个参考图片。现代编解码器还应用双向预测运动补偿,其中最终预测块是两个预测“假设”块的加权线性组合的结果,这两个假设块可以来自单个参考图片或两个不同的参考图片。) | 对比文件描述了单向预测和双向预测。双向预测明确涉及从两个不同的参考图片生成预测假设,这两个参考图片一个在时间上在当前图片之前(前向参考),一个在时间上在当前图片之后(后向参考)。这直接公开了用于预测的其他视频单元可以位于当前视频单元的时间前面或后面。 |
| **Q**:其中通过缩放与所述第二视频单元关联的预先界定的运动向量来得到与所述第二视频单元关联的所述运动信息,且其中所述缩放是基于所述第一层与所述第二层之间的空间分辨率上的差异及帧速率上的差异中的至少一者。《未公开》 | 未找到对应内容。 | 目标专利明确描述了为了在增强层中使用基础层的运动信息,需要根据层间分辨率差异对基础层运动向量进行缩放。对比文件虽然涉及多层编码和层间预测,但全文未提及对运动向量进行缩放的操作,特别是基于空间分辨率或帧速率差异进行缩放。对比文件中的RPU处理可能涉及上采样/滤波,但未与运动向量的缩放关联。 |
| **R**:其中通过对以下值平均来预测所述第一视频单元:(i)基于确定所述旗标的所述值指示未使用所述隐式假设的所述显式假设,或(ii)所述显式假设和基于确定所述旗标的所述值指示使用所述隐式假设的隐式假设,并将0,1或2的舍入偏移应用于通过平均获得的值。《未公开》 | 未找到对应内容。 | 目标专利具体限定了通过对多个假设(显式和/或隐式)的平均值进行预测,并应用特定的舍入偏移(0,1,2)。对比文件虽然提到双向预测是多个假设的加权组合([p0049]),但未具体公开“平均”操作,更未提及对平均值应用“0,1或2的舍入偏移”这一具体技术细节。 |
| **S**:其包括:存储器单元,其经配置以存储与第一层及对应第二层相关联的视频信息,所述视频信息包含用于所述第一层及第二层的至少运动预测信息《直接公开》 | [p0053] “...reference pictures from the reference picture buffer...” (……来自参考图片缓冲区的参考图片……) 及图3、4、5中所示的参考图片缓冲区。 | 对比文件的编码器和解码器框图中均包含“参考图片缓冲区”,用于存储已解码的参考图片,这些图片包含用于运动预测的像素数据及关联的运动信息。这是视频编码系统的标准组成部分,直接对应于存储视频信息(包括运动预测信息)的存储器单元。 |
| **T**:及处理器,其与所述存储器单元通信,所述处理器经配置以:识别所述第一层中的第一视频单元《直接公开》 | [p0069] “...the impact of the coding decision on the dependent layer is measured by taking into account motion estimation and compensation in the EL.” (……通过考虑EL中的运动估计和补偿来测量编码决策对依赖层的影响。) 整个编码决策过程由编码器的处理单元执行。 | 对比文件描述的多层视频编码系统必然包含处理器(如编码器中的处理模块)来执行编码决策、运动估计等操作。识别当前正在处理的视频单元(第一视频单元)是这些操作的前提步骤。因此,处理器被配置为识别第一层中的第一视频单元是直接隐含在系统描述中的。 |
| **U**:获取与所述第一层中的至少一个其它视频单元相关联的运动信息《直接公开》 | 同特征B、N、O、P的引用及论述。 | 对比文件公开的运动估计过程,需要从已编码的、空间或时间上邻近的其他视频单元获取运动信息(作为因果信息的一部分)。这直接对应于获取与第一层中其他视频单元相关的运动信息。 |
| **V**:基于所述第一层中的至少一个其他视频单元的运动信息确定用于预测所述第一视频单元的显式假设,显式假设为其运动信息在所述视频信息中被译码的假设《直接公开》 | 同特征B的引用及论述。 | 同特征B。对比文件公开的运动估计和补偿过程,就是基于其他视频单元的运动信息来确定当前块的显式运动假设(运动向量等)的过程。 |
| **W**:对所述视频信息中的所述至少一个其他视频单元的所述运动信息进行编码《直接公开》 | [p0052] “The quantized transform coefficients, along with other information such as coding modes, motion, block sizes, among others, are coded using an entropy coder that produces the compressed bitstream.” (经量化的变换系数,连同其他信息如编码模式、运动、块大小等,使用产生压缩码流的熵编码器进行编码。) | 对比文件明确说明,运动信息(motion)与其他语法元素一起被熵编码到压缩码流中。这直接公开了对运动信息进行编码的步骤。 |
| **X**:识别所述第二层中的第二视频单元《直接公开》 | 同特征E的引用及论述。 | 同特征E。在考虑层间影响的优化过程中,必然涉及识别第二层(依赖层)中的对应视频单元。 |
| **Y**:确定用于从与所述第二层中的所述第二视频单元相关联的所述运动信息预测所述第一视频单元的隐式假设,隐式假设为其运动预测信息未在所述视频信息中被译码的假设《隐含公开》 | 同特征G的引用及论述。 | 同特征G。对比文件公开了利用层间运动信息(如从基础层到增强层)来辅助形成预测假设的思想。虽然目标专利中是从第二层(参考层)为第一层(增强层)确定隐式假设,方向与对比文件例子可能不同,但“利用一层中视频单元的运动信息来为另一层确定预测假设”这一核心概念已被隐含公开。本领域技术人员基于该概念,有可能推理出所述技术方案。 |
| **Z**:基于确定所述隐式假设是否用于预测所述第一视频单元,在所述视频信息中提供指示。《未公开》 | 未找到对应内容。 | 目标专利要求在码流中提供指示,以通知解码器是否使用隐式假设。对比文件主要描述编码端的联合优化决策过程,并未提及需要在码流中为此类决策提供一个专门的指示符(如旗标或索引)来指导解码器是否执行隐式假设推导。编码端的优化决策本身并不等同于在码流中提供解码指示。 |
### 结论
根据上述比对分析:
- 对比文件直接公开了技术特征 **A, B, E, K, L, M, N, O, P, S, T, U, V, W, X**。
- 对比文件隐含公开了技术特征 **F, G, H, J, Y**。
- 对比文件未公开技术特征 **C, D, I, Q, R, Z**。
<<<A>>><<<B>>><<<E>>><<<K>>><<<L>>><<<M>>><<<N>>><<<O>>><<<P>>><<<S>>><<<T>>><<<U>>><<<V>>><<<W>>><<<X>>><<<f>>><<<g>>><<<h>>><<<j>>><<<y>>>