非显而易见杯

专利无效挑战赛

目标专利:198用于视频译码的同时定位与地图构建

专利公开号:CN106716490B

专利权人:高通股份有限公司

无效请求书提交日期:2026年


上一项目 下一项目

非显而易见性评估仅供参考,不构成法律建议。



权利要求列表点击可跳转

序号 权利要求内容

1

一种解码视频数据的方法,所述方法包括: 基于复合图像及场景结构图而产生合成图像,其中所述复合图像是由先前经解码的一或多个图像构造,其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经解码的所述视频数据的图像的场景结构图,其中所述场景结构图包含所述当前图像或先前经解码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度,其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同,且其中产生所述合成图像进一步包括:互连所述场景结构图的点以形成代理几何结构; 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型;及渲染所述基于图像的模型以产生所述合成图像; 确定残差图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中确定所述残差图像包括基于包括背景静态部分的所述当前图像的一或多个部分来确定所述残差图像;及基于所述合成图像及所述残差图像而重构所述当前图像。

2

根据权利要求1所述的方法,其中确定所述残差图像包括:接收所述当前图像的所述残差图像。

3

根据权利要求1所述的方法,其中纹理映射包括:基于一或多个先前经解码图像的摄像机位置及定向信息而将所述复合图像纹理映射到所述代理几何结构。

4

根据权利要求1所述的方法,其进一步包括: 接收所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与先前经解码的所述图像的所述场景结构图之间的差异的信息中的一者;及基于所述所接收信息而产生所述场景结构图,其中产生所述合成图像包括:基于所述复合图像及所述所产生场景结构图而产生所述合成图像。

5

根据权利要求1所述的方法,其进一步包括: 接收关于用于构造所述复合图像的所述一或多个先前经解码图像及所述当前图像的摄像机位置及摄像机定向中的一者或两者,其中产生所述合成图像包括:基于所述一或多个先前经解码图像及所述当前图像的所述摄像机位置及所述摄像机定向中的一者或两者而产生所述合成图像。

6

一种编码视频数据的方法,所述方法包括: 基于复合图像及场景结构图而产生合成图像,其中所述复合图像是由先前经编码的一或多个图像构造,其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经编码的所述视频数据的图像的场景结构图,其中所述场景结构图包含所述当前图像或先前经编码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度,其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同,且其中产生所述合成图像进一步包括:互连所述场景结构图的点以形成代理几何结构; 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型;及渲染所述基于图像的模型以产生所述合成图像; 基于所述合成图像及所述当前图像而确定残差图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中确定所述残差图像包括基于包括背景静态部分的所述当前图像的一或多个部分来确定所述残差图像;及输出指示所述残差图像的信息以编码所述视频数据的所述当前图像。

7

根据权利要求6所述的方法,其进一步包括: 确定关于用于构造所述复合图像的所述一或多个先前经编码图像的摄像机位置及定向信息及关于所述当前图像的摄像机位置及定向信息,其中纹理映射包括:基于所述一或多个先前经编码图像的所述摄像机位置及定向信息而将所述复合图像纹理映射到所述代理几何结构。

8

根据权利要求7所述的方法,其进一步包括: 利用同时定位与地图构建SLAM技术确定所述当前图像的所述摄像机位置,其中确定关于所述一或多个先前经编码图像的所述摄像机位置包括:利用所述SLAM技术来确定关于所述一或多个先前经编码图像的所述摄像机位置。

9

根据权利要求6所述的方法,其进一步包括: 利用同时定位与地图构建SLAM技术来产生所述场景结构图。

10

根据权利要求6所述的方法,其进一步包括: 确定所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与先前经编码的所述图像的所述场景结构图之间的差异的信息中的一者;及输出所述经确定信息。

11

根据权利要求6所述的方法,其中所述合成图像包括第一合成图像,所述方法进一步包括:输出关于用于构造所述复合图像的所述一或多个先前经编码图像及关于所述当前图像的摄像机位置及摄像机定向中的一者或两者,其中所述摄像机位置及所述摄像机定向中的所述一者或两者由解码器处理器用于产生与所述第一合成图像相同的第二合成图像。

12

根据权利要求6所述的方法,其进一步包括: 确定所述当前图像的前景非静态部分及所述当前图像的背景静态部分,其中输出所述残差图像包括:输出第一层中的所述残差图像,所述第一层不同于包含关于所述当前图像的所述前景非静态部分的残差数据的第二层。

13

一种用于译码视频数据的装置,所述装置包括: 视频存储器,其经配置以存储先前经译码且用于构造复合图像的一或多个图像;及译码器处理器,其经配置以:基于所述复合图像及场景结构图而产生合成图像,其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经译码的所述视频数据的图像的场景结构图,其中所述场景结构图包含所述当前图像或先前经译码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度,其中为了产生所述合成图像,所述译码器处理器经配置以利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同,且其中为了产生所述合成图像,所述译码器处理器进一步经配置以:互连所述场景结构图的点以形成代理几何结构; 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型;及渲染所述基于图像的模型以产生所述合成图像;及基于所述当前图像的残差图像而译码所述当前图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中所述残差图像是基于包括背景静态部分的所述当前图像的一或多个部分。

14

根据权利要求13所述的装置,其中所述译码器处理器包括解码器处理器,且其中所述解码器处理器经配置以接收所述当前图像的所述残差图像,且其中为译码所述当前图像,所述解码器处理器经配置以通过基于所述合成图像及所述残差图像而重构所述当前图像而解码所述当前图像。

15

根据权利要求14所述的装置,其中所述解码器处理器经配置以: 接收所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与所述先前经译码图像的所述场景结构图之间的差异的信息中的一者;及基于所述所接收信息而产生所述场景结构图,其中为产生所述合成图像,所述解码器处理器经配置以基于所述复合图像及所述所产生场景结构图而产生所述合成图像。

16

根据权利要求14所述的装置,其中所述解码器处理器经配置以: 接收关于用于构造所述复合图像的所述一或多个先前经译码图像及所述当前图像的摄像机位置及摄像机定向中的一者或两者,其中为产生所述合成图像,所述解码器处理器经配置以基于所述一或多个先前经译码图像及所述当前图像的所述摄像机位置及所述摄像机定向中的一者或两者而产生所述合成图像。

17

根据权利要求13所述的装置,其中所述译码器处理器包括编码器处理器,其中为了译码所述当前图像,所述编码器处理器经配置以:基于所述合成图像及所述当前图像而确定所述残差图像;及 输出指示所述残差图像的信息以编码所述视频数据的所述当前图像。

18

根据权利要求17所述的装置,其中所述编码器处理器经配置以利用同时定位与地图构建SLAM技术来产生所述场景结构图。

19

根据权利要求17所述的装置,其中所述编码器处理器经配置以: 确定所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与所述先前经译码图像的所述场景结构图之间的差异的信息中的一者;及输出所述经确定信息。

20

根据权利要求17所述的装置,其中所述合成图像包括第一合成图像,且其中所述编码器处理器经配置以:利用同时定位与地图构建SLAM技术来确定关于所述一或多个先前经译码图像的摄像机位置;及输出关于用于构造所述复合图像的一或多个先前经译码图像及关于所述当前图像的所述摄像机位置及摄像机定向中的一者或两者,其中所述摄像机位置及所述摄像机定向中的所述一者或两者由解码器处理器用于产生与所述第一合成图像相同的第二合成图像。

21

根据权利要求13所述的装置,其中为产生所述合成图像,所述译码器处理器包括图形处理单元GPU,其中所述GPU经配置以产生所述合成图像。

22

根据权利要求13所述的装置,其中为纹理映射,所述译码器处理器经配置以基于一或多个先前经译码图像的摄像机位置及定向信息而将所述复合图像纹理映射到所述代理几何结构。

23

一种非暂时性计算机可读存储媒体,其上存储有指令,所述指令在被执行时致使用于译码视频数据的装置的一或多个处理器进行以下操作:基于复合图像及场景结构图而产生合成图像,其中所述复合图像是由先前经译码的一或多个图像构造,其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经译码的所述视频数据的图像的场景结构图,其中所述场景结构图包含所述当前图像或先前经译码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度,其中致使所述一或多个处理器产生所述合成图像的指令包括致使所述一或多个处理器利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同的指令,且其中致使所述一或多个处理器产生所述合成图像的指令进一步包括致使所述一或多个处理器进行以下操作的指令:互连所述场景结构图的点以形成代理几何结构; 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型;及渲染所述基于图像的模型以产生所述合成图像;及基于所述当前图像的残差图像而译码所述当前图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中所述残差图像是基于包括背景静态部分的所述当前图像的一或多个部分。


对比文件列表

编号 名称
0 1994-08-05_None_发明专利_JPH06214557A Video processor system.docx
0 1995-01-24_None_发明专利_JPH0720849A Device for mixing computer graphics and animation sequence_+++B+++.docx
0 1995-04-04_US5404437A_发明授权_US5404437A Mixing of computer graphics and animation sequences_+++b+++.docx
0 1996-12-31_US5590252A_发明授权_US5590252A Video processor system and audio processor system.docx
0 1997-07-11_None_发明专利_JPH09181922A Method for data compression and expansion and its device.docx
0 1998-02-03_US5714997A_发明授权_US5714997A Virtual reality television system_+++A_C_D_E_F_G_H_L_M_N_O_P_Q_b+++.docx
0 1998-09-29_None_发明专利_JPH10261106A Hot area in interactive dynamic image.docx
0 1998-10-06_US5818463A_发明授权_US5818463A Data compression for animated three dimensional objects_+++D_F_O_a_c_h_i_j_p+++.docx
0 1998-10-13_US5821947A_发明授权_US5821947A Mixing of computer graphics and animation sequences_+++b+++.docx
0 1998-12-18_None_发明专利_JPH10336680A Data compression method_+++D_F_K_a_c_h_i_j_o_p+++.docx
0 1999-01-19_US5861920A_发明授权_US5861920A Hierarchical low latency video compression_+++I_J_K_b_e_q+++.docx
0 1999-05-18_None_发明专利_JPH11505396A Method of encoding in the transmission unit image sequence.docx
0 1999-06-01_US5909218A_发明授权_US5909218A Transmitter-receiver of three-dimensional skeleton structure motions and method thereof_+++H+++.docx
0 1999-07-09_None_发明专利_JPH11187398A Encoding and decoding system_+++G_H_O_P_a_b_c_d_e_f_l_m_n_q+++.docx
0 1999-10-05_US5963217A_发明授权_US5963217A Network conference system using limited bandwidth to generate locally animated displays_+++b_h+++.docx
0 1999-11-23_US5990959A_发明授权_US5990959A Method, system and product for direct rendering of video images to a video data stream_+++b_k+++.docx
0 1999-11-30_US5995679A_发明授权_US5995679A Process for coding image sequences in a transmitter unit.docx
0 2000-02-01_US6020885A_发明授权_US6020885A Three-dimensional virtual reality space sharing method and system using local and global object identification codes_+++e+++.docx
0 2000-03-14_US6037983A_发明授权_US6037983A High quality reduced latency transmission of video objects_+++i_j_k_o_p_q+++.docx
0 2000-03-28_US6044397A_发明授权_US6044397A System and method for generation and interfacing of bitstreams representing MPEG-coded audiovisual objects.docx
0 2000-04-19_CN1250978A_发明公开_CN1250978A 在场景描述中用于数据类型变型和代数操作的方法.docx
0 2000-04-21_JP2000115807A_发明专利_JP2000115807A Data-type scanning in scene description of audiovisual object and method for algebraic processing.docx
0 2000-05-02_US6058211A_发明授权_US6058211A Data compression method and apparatus_+++i_j+++.docx
0 2000-05-23_US6067119A_发明授权_US06067119A Hierarchical low latency video compression_+++K_e_i_q+++.docx
0 2000-05-30_US6069631A_发明授权_US6069631A Coding of facial animation parameters (FAPs) for transmission of synthetic talking head video over band limited channels.docx
0 2000-07-14_JP2000194843A_发明专利_JP2000194843A Method for encoding_decoding progressively three- dimensional mesh information having error recoverability.docx
0 2000-07-18_US6092107A_发明授权_US6092107A System and method for interfacing MPEG-coded audiovisual objects permitting adaptive control_+++b+++.docx
0 2000-08-11_JP2000224582A_发明专利_JP2000224582A Method and device for coding_decoding three dimensional mesh information with novelty_+++f_o+++.docx
0 2000-10-03_JP2000513178A_发明专利_JP2000513178A System and method for coupling at generation and the interface of the bit streams representing Mpeg coded audiovisual objects.docx
0 2000-10-03_JP2000513179A_发明专利_JP2000513179A System and method for coupling a mpeg encoding audiovisual objects which can perform adaptive control on the interface.docx
0 2000-10-10_US6130679A_发明授权_US6130679A Data reduction and representation method for graphic articulation parameters gaps.docx
0 2000-10-24_US6137836A_发明授权_US6137836A Communication of pictorial data by encoded primitive component pictures_+++D_f+++.docx
0 2000-11-28_US6154222A_发明授权_US6154222A Method for defining animation parameters for an animation definition interface.docx
0 2000-12-20_CN1277774A_发明公开_CN1277774A 在广播应用中仿真互联网上的流式传输.docx
0 2001-07-12_WO2000042773A_发明申请_WO0042773A9 SYSTEM AND METHOD FOR IMPLEMENTING INTERACTIVE VIDEO.docx
0 2001-09-12_CN1313008A_发明公开_CN1313008A 用于合成和显示MPEG-4视频节目的终端.docx
0 2001-09-28_JP2001265562A_发明专利_JP2001265562A Real time communication of sport event.docx
0 2002-07-02_JP2002519954A_发明专利_JP2002519954A Mpeg-4 constitute a video program and presented for Terminal.docx
0 2002-07-03_CN1356669A_发明公开_CN1356669A 利用线性近似对动画路径进行压缩和重构的方法和装置.docx
0 2002-07-30_JP2002523156A_发明专利_JP2002523156A Real-time video game to emulate streaming through the Internet in broadcasting.docx
0 2002-07-30_JP2002523980A_发明专利_JP2002523980A Emulation of streaming on the Internet in broadcast applications_+++a_h_o_p+++.docx
0 2002-08-07_CN1362696A_发明公开_CN1362696A 图象的合成_+++a_b_f_g_h+++.docx
0 2002-08-16_JP2002230581A_发明专利_JP2002230581A Method for compressing and method for decompressing animation trail using linear approximation technique, and device for same.docx
0 2002-08-16_JP2002232897A_发明专利_JP2002232897A Coding apparatus and method for orientation interpolator node.docx
0 2002-08-23_JP2002236937A_发明专利_JP2002236937A Image construction method and device.docx
0 2002-09-04_CN1367618A_发明公开_CN1367618A 用于定向内插器节点的编码装置和方法.docx
0 2002-10-02_CN1372768A_发明公开_CN1372768A 用于修改编码图像区域的电路和方法.docx
0 2002-10-18_JP2002305744A_发明专利_JP2002305744A Apparatus and method for composition of image.docx
0 2002-12-06_JP2002354436A_发明专利_JP2002354436A Video telephone apparatus.docx
0 2003-01-07_JP3361492B_发明专利_JP3361492B2 Encoding _ decoding method of progressive 3D mesh information having error recovery.docx
0 2003-01-10_JP2003009145A_发明专利_JP2003009145A Personalized motion imaging system.docx
0 2003-01-22_CN1392734A_发明公开_CN1392734A 电视电话设备.docx
0 2003-02-12_CN1396561A_发明公开_CN1396561A 用于图形动画的关键码数据的编码和译码装置和方法_+++d+++.docx
0 2003-03-12_CN1402852A_发明公开_CN1402852A 面向目标的视频系统_+++g_h+++.docx
0 2003-05-09_JP2003133963A_发明专利_JP2003133963A Encoding_decoding apparatus and method for graphic animation data.docx
0 2003-05-19_JP3407287B_发明专利_JP3407287B2 Encoding and decoding system_+++G_H_a_b_d_e_l_o_p_q+++.docx
0 2003-06-24_JP2003519940A_发明专利_JP2003519940A Circuit and method for changing the area of the encoded image_+++b_i_j_k+++.docx
0 2003-12-31_CN1133273C_发明授权_CN1133273C 在场景描述中用于数据类型变型和代数操作的方法.docx
0 2004-01-14_CN1134958C_发明授权_CN1134958C 在广播应用中仿真互联网上的流式传输.docx
0 2004-02-18_CN1139254C_发明授权_CN1139254C 用于合成和显示MPEG-4视频节目的终端.docx
0 2004-02-19_DE69628467T_发明专利_DE69628467T2 Video encoding and decoding device_+++B_K_O_a_c_i_j_p+++.docx
0 2004-04-19_JP3521412B_发明专利_JP3521412B2 Encoding apparatus and a method of orientation interpolation node.docx
0 2005-02-10_JP2005039771A_发明专利_JP2005039771A Weak edge repositioning in multiple raster content segmentor.docx
0 2005-03-16_CN1193319C_发明授权_CN1193319C 用于图形动画的关键码数据的编码和译码装置和方法.docx
0 2005-04-07_JP2005094741A_发明专利_JP2005094741A Image pickup device and image synthesizing method.docx
0 2005-04-20_CN1198462C_发明授权_CN1198462C 用于定向内插器节点的编码装置和方法.docx
0 2005-08-17_CN1215440C_发明授权_CN1215440C 利用线性近似对动画路径进行压缩和重构的方法和装置.docx
0 2005-09-14_JP3694477B_发明专利_JP3694477B2 Compression method and decompression method and apparatus of the animation path using linear approximation method.docx
0 2005-09-28_JP3699066B_发明专利_JP3699066B2 Encoding and decoding apparatus and method of graphic animation data.docx
0 2006-02-01_CN1728781A_发明公开_CN1728781A 将附加内容插入视频的方法和装置.docx
0 2006-04-13_DE69634423T_发明专利_DE69634423T2 Video encoding and decoding device_+++A_B_K_j+++.docx
0 2006-07-13_JP2006187015A_发明专利_JP2006187015A Progressive three-dimensional mesh information coding_decoding method, and apparatus therefor_+++d_f_o_p+++.docx
0 2006-07-19_CN1806443A_发明公开_CN1806443A 利用三维模型表示画面序列的方法以及对应的信号和设备_+++A_D_F_G_H_O_P_Q_b_c_e_l_m_n+++.docx
0 2006-11-01_JP3839054B_发明专利_JP3839054B2 Method of encoding in the transmission unit images.docx
0 2006-12-07_JP2006527945A_发明专利_JP2006527945A How representation of the picture sequence to use the 3d model, the corresponding signal, and corresponding device.docx
0 2007-05-31_JP2007514387A_发明专利_JP2007514387A System and method for processing the image data.docx
0 2007-07-18_CN101002477A_发明公开_CN101002477A 用于压缩混合的图形和视频源的系统和方法.docx
0 2008-04-03_JP2008510349A_发明专利_JP2008510349A System and method for compressing a mixed source of graphics and video.docx
0 2008-05-22_JP2008118637A_发明专利_JP2008118637A System and method for interfacing mpeg-coded audio_visual objects permitting adaptive control_+++b_f_g_h+++.docx
0 2008-05-28_CN101188758A_发明公开_CN101188758A 图像信息传输系统和图像信息传输方法.docx
0 2008-10-01_JP4159673B_发明专利_JP4159673B2 Audio - methods for data type casting and algebra in the scene description of visual objects.docx
0 2008-11-27_JP2008289187A_发明专利_JP2008289187A System and method for generating and interfacing of bitstream representing mpeg-coded audiovisual object_+++a_h_o_p+++.docx
0 2008-12-03_JP4189883B_发明专利_JP4189883B2 Image compression device, image processing system, image compression method, and program.docx
0 2008-12-18_JP2008304805A_发明专利_JP2008304805A Image processing apparatus and method.docx
0 2008-12-31_WO2009002885A_发明申请_WO2009002885A2 VIDEO CODING USING SPATIO-TEMPORAL TEXTURE SYNTHESIS.docx
0 2009-02-18_JP4226484B_发明专利_JP4226484B2 Methods and systems to improve the weak selector signal of mixed raster signal.docx
0 2009-06-04_None_发明专利_JPWO2007074912A1 データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム.docx
0 2009-07-22_JP4302257B_发明专利_JP4302257B2 Encoding _ decoding method and apparatus of the progressive three-dimensional mesh information.docx
0 2009-10-28_CN101569196A_发明公开_CN101569196A 使用纹理合成的图像编码和解码方法以及设备_+++a_b_i+++.docx
0 2010-04-21_JP4452242B_发明专利_JP4452242B2 Encoding _ decoding method and apparatus of the progressive three-dimensional mesh information_+++D_f_g_h_o_p+++.docx
0 2010-04-30_JP2010514310A_发明专利_JP2010514310A Compression and _ or restoration of the image.docx
0 2010-04-30_JP2010514325A_发明专利_JP2010514325A Encoding the video using texture synthesis, decoding methods and apparatus_+++b_k+++.docx
0 2010-05-27_JP2010118919A_发明专利_JP2010118919A Image processing system.docx
0 2010-09-24_JP2010213356A_发明专利_JP2010213356A Method and system for processing image data.docx
0 2010-12-08_CN101911703A_发明公开_CN101911703A 利用辅助信息的针对视频编码的纹理合成方法、设备、程序以及介质.docx
0 2011-01-06_WO2011002812A_发明申请_WO2011002812A2 TEXTURE COMPRESSION IN A VIDEO DECODER FOR EFFICIENT 2D-3D RENDERING_+++B_e_h_l_m_n_q+++.docx
0 2011-03-23_JP4656457B_发明专利_JP4656457B2 Image processing system.docx
0 2011-05-04_CN102047663A_发明公开_CN102047663A 具有纹理合成的图像编码方法_+++B_J_K_a_h_i+++.docx
0 2011-05-19_JP2011515875A_发明专利_JP2011515875A The method of texture synthesis for video coding using side information, apparatus, program, and recording medium.docx
0 2011-07-20_JP4726096B_发明专利_JP4726096B2 System and method for coupling at generation and the interface of the bit streams representing Mpeg coded audiovisual objects.docx
0 2011-07-20_JP4726097B_发明专利_JP4726097B2 System and method for coupling a mpeg encoding audiovisual objects which can perform adaptive control on the interface.docx
0 2011-07-28_JP2011522496A_发明专利_JP2011522496A Image coding method according to the texture synthesis.docx
0 2012-02-01_JP4868171B_发明专利_JP4868171B2 Data compression method and apparatus, data recovery method and apparatus as well as the program.docx
0 2012-05-23_CN102474604A_发明公开_CN102474604A 用于高效2D-3D呈现的视频解码器中的纹理压缩.docx
0 2012-06-27_JP4959504B_发明专利_JP4959504B2 System and method for coupling a mpeg encoding audio-visual objects which can perform adaptive control on the interface.docx
0 2012-08-01_JP4987988B_发明专利_JP4987988B2 Compression and _ or restoration of the image.docx
0 2012-08-02_JP2012147481A_发明专利_JP2012147481A Real time video game for emulation of streaming over the internet in broadcast_+++H_o+++.docx
0 2012-11-28_JP5084644B_发明专利_JP5084644B2 System and method for coupling at generation and the interface of the bit streams representing Mpeg coded audiovisual objects.docx
0 2012-12-13_JP2012532502A_发明专利_JP2012532502A Texture compression in a video decoder for efficient 2d-3d rendering.docx
0 2013-02-04_JP2013504240A_发明专利_JP2013504240A Scalable image encoding and decoding.docx
0 2013-02-27_JP5153216B_发明专利_JP5153216B2 Image processing apparatus, image processing method_+++e+++.docx
0 2013-03-13_JP5160704B_发明专利_JP5160704B2 Real-time video game to emulate streaming through the Internet in broadcasting_+++D_O_a_b_c_e_h_p_q+++.docx
0 2013-03-27_CN101346745B_发明授权_CN101346745B 数据压缩方法及装置、数据还原方法及装置_+++d_f_h+++.docx
0 2013-06-24_JP2013125994A_发明专利_JP2013125994A Image compression device, image compression method, and computer program.docx
0 2013-10-09_JP5313916B_发明专利_JP5313916B2 Encoding the video using texture synthesis, decoding methods and apparatus.docx
0 2014-07-28_None_发明专利_JPWO2012140904A1 画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置.docx
0 2014-09-11_JP2014168244A_发明专利_JP2014168244A Texture compression in video decoder for efficient 2d-3d rendering_+++g_h+++.docx
0 2015-01-19_JP2015502057A_发明专利_JP2015502057A シーンの複数のマルチビュービデオを処理する方法及びシステム.docx
0 2015-01-29_JP2015503284A_发明专利_JP2015503284A 符号化ビットストリームの変更可能な要素を決定する方法および関連するデバイス.docx
0 2015-07-08_JP5744333B_发明专利_JP5744333B2 シーンのマルチビュービデオを処理する方法及びシステム.docx
0 2015-11-24_JP2015211470A_发明专利_JP2015211470A 装置及び方法.docx
0 2016-01-13_JP5841944B_发明专利_JP5841944B2 スケーラブルな画像符号化および復号化_+++k+++.docx
0 2016-03-22_JP2016508679A_发明专利_JP2016508679A 複数の視覚コンポーネントを有する画面を共有するためのシステム、装置、および方法_+++b+++.docx
0 2016-03-23_JP5893379B_发明专利_JP5893379B2 画像圧縮装置、画像圧縮方法、コンピュータプログラム.docx
0 2016-10-12_CN106031173A_发明公开_CN106031173A 视频译码中的闪烁检测及缓解.docx
0 2016-12-07_CN106210612A_发明公开_CN106210612A 视频编码方法、解码方法及其装置.docx
0 2017-04-27_JP2017512025A_发明专利_JP2017512025A ビデオコーディングにおけるフリッカー検出および軽減.docx
0 2017-05-24_CN106716490A_发明公开_CN106716490A 用于视频译码的同时定位与地图构建_+++A_B_C_D_E_F_G_H_J_K_L_M_N_O_P_Q_i+++.docx
0 2017-05-25_JP2017513369A_发明专利_JP2017513369A ビデオコーディングのためのランレングスコードを用いるパレット予測子シグナリング.docx
0 2017-09-28_JP2017528976A_发明专利_JP2017528976A パレットモードコーディングに関するcopy−aboveモードに拡張機能を組み込む方法.docx
0 2017-10-12_JP2017530626A_发明专利_JP2017530626A ビデオコード化のための同時ローカライゼーション及びマッピング.docx

权利要求1

一种解码视频数据的方法,所述方法包括: 基于复合图像及场景结构图而产生合成图像,其中所述复合图像是由先前经解码的一或多个图像构造,其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经解码的所述视频数据的图像的场景结构图,其中所述场景结构图包含所述当前图像或先前经解码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度,其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同,且其中产生所述合成图像进一步包括:互连所述场景结构图的点以形成代理几何结构; 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型;及渲染所述基于图像的模型以产生所述合成图像; 确定残差图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中确定所述残差图像包括基于包括背景静态部分的所述当前图像的一或多个部分来确定所述残差图像;及基于所述合成图像及所述残差图像而重构所述当前图像。


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

你好!我是Gemini。作为一名专业的专利代理师,我非常乐意为您提供详尽的权利要求特征比对与最接近的对比文件(Closest Prior Art, CPA)分析。

针对您提供的目标专利权利要求1以及6篇对比文件(其中D1、D2、D3实际上为同一专利家族的不同公布文本/语言版本),我已将权利要求的技术特征进行拆解,并与对比文件的原文出处进行了严密的映射。

为了帮助您更直观地理解三维重建与SLAM(同步定位与建图)过程中的代理几何结构与纹理映射,我将在适当位置为您触发相关的图示辅助。


一、 权利要求1技术特征比对表

以下表格详细梳理了权利要求1的各项技术特征(A-J)在各对比文件中的公开情况及具体原文出处。

技术特征 D1 (CN106716490A) / D2 & D3 (EP3192055A1) 公开情况及出处 D4 (JPH02298169A) 公开情况及出处 D5 (JPH03253190A) 公开情况及出处 D6 (US2014321702A1) 公开情况及出处
A. 基于复合图像及场景结构图而产生合成图像

实质公开


D1 [0006]: "基于复合图像及场景结构图而产生合成图像"

部分公开


D4 [0001]: "情景の3次元モデルから...画像を模倣した画像1を生成する"

部分公开


D5 [0001]: "物体の3次元形状モデルを用いて...画像を合成する"

实质公开


D6 [0006]: "rendering a plurality of synthetic images... obtained from a distinct keyframe in a 3D model"

B. 复合图像是由先前经解码的一或多个图像构造

实质公开


D1 [0006]: "其中所述复合图像是由先前经解码的一或多个图像构造"

未公开。使用3D模型生成,未明确“复合图像由解码图像构造”。

部分公开


D5 [0001]: "前フレームの復号画像を用いて...画像を合成する"

部分公开


D6 [0068]: 使用之前捕获的关键帧(keyframes)作为纹理。

C. 场景结构图包括当前图像或先前经解码图像的场景结构图

实质公开


D1 [0006]: "其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经解码的...场景结构图"

未公开 未公开 未公开。仅提及3D模型,未明确针对当前/解码图像的场景结构图。
D. 场景结构图包含三维点的坐标值,指示位置和相对深度

实质公开


D1 [0006]: "包含所述...图像内的三维点的坐标值";[0023]: "指示点观看者将感知所述点的距离(相对深度)"

部分公开


D4 [0001]: "視点の3次元座標と視点を表わす情報"

未公开

部分公开


D6 [0062]: "acquire sparse 3D feature points and obtain a sparse point-cloud reconstruction"

E. 利用当前图像的摄像机位置及定向信息渲染,使得摄像机姿势相同

实质公开


D1 [0040]: "相应GPU可利用当前图像的摄像机姿势信息使得关于合成图像及当前图像的摄像机姿势相同"

部分公开


D4 [0001]: "撮像装置が動くと、送信側では撮像装置の位置、向きを検知し..."

未公开

实质公开


D6 [0006]: "determining... a camera pose... rendering... based on the camera pose"

F. 互连场景结构图的点以形成代理几何结构

实质公开


D1 [0004]: "点使用多个多边形...互连以形成代理几何结构";[0031]: "互连场景结构图的点以形成代理几何结构"

相关


D4 [0001]: 提及"複数のポリゴンにより表現した3次元モデル"

未公开

实质公开


D6 [0065]: "converted into a 3D mesh... scattered data interpolation"

G. 将复合图像纹理映射到代理几何结构以形成基于图像的模型

实质公开


D1 [0004]: "经映射到代理几何结构的一或多个先前经译码图像";[0032]-[0033]: "将复合图像...映射到3D场景结构图"

未公开

相关


D5 [0001]: "復号画像の濃淡情報の付与を行い...画像を合成する"

实质公开


D6 [0068]: "projective texture mapping of keyframes onto a proxy geometry"

H. 渲染基于图像的模型以产生合成图像

实质公开


D1 [0034]: "GPU可渲染IBM以产生合成图像"

相关


D4 [0001]: "画像生成部CGにより生成される"

未公开

实质公开


D6 [0071]-[0072]: "produce synthetic renderings... Unstructured Lumigraph Rendering (ULR)"

I. 确定指示差异的残差图像,且基于当前图像(包括背景静态部分)的一或多个部分来确定

实质公开


D1 [0006]: "确定...残差图像,其中所述残差图像指示...差异";[0074]-[0075]: "将本发明...用于静态部分...确定非静态部分及静态部分"

部分公开


D4 [0001]: "画像1と撮像装置からの映像信号の差分:画像2...パラメータと画像2をそれぞれ符号化"

部分公开


D5 [0001]: "現入力画像と予測画像との差分、すなわち予測誤差が求められる"

未公开。D6主要用于移除/替换对象(Diminished Reality),而非计算视频编码中的残差图像。
J. 基于合成图像及残差图像重构当前图像

实质公开


D1 [0006]: "基于所述合成图像及所述残差图像而重构所述当前图像"

实质公开


D4 [0001]: "画像3(生成画像)と画像2(差分)の和をとることにより、復号画像を得る"

实质公开


D5 [0001]: "復号化部8の出力を予測画像メモリ部17の出力に加える加算過程"

未公开

二、 最接近的对比文件 (Closest Prior Art) 分析

在创造性分析中,确定最接近的对比文件通常基于以下几个维度:技术领域解决的技术问题公开的技术特征数量以及达到的技术效果

1. 各对比文件整体解决的技术问题与效果评估

  • D1 / D2 / D3 (同一专利家族 WO2016040161A1 的不同公布)

    • 技术问题:解决视频译码(编码/解码)过程中,减少常规运动补偿所需的大量带宽问题。

    • 技术效果:利用SLAM技术生成少量特征点的场景结构图,结合纹理映射生成预测(合成)图像并仅传输残差,极大降低了传输数据量(带宽效率高)并支持实时处理。

    • 特征覆盖:毫无异议地公开了权利要求1的所有技术特征。

  • D5 (JPH03253190A)

    • 技术问题:解决电视会议等动态图像的混合编码(基于波形预测与基于模型合成的结合)效率和边缘连续性问题。

    • 技术效果:提高了预测效率和解码图像质量。

    • 缺陷:未公开利用SLAM和三维点坐标生成代理几何结构(Proxy Geometry)并进行纹理映射的过程,缺乏特征F、G的细节。

  • D6 (US2014321702A1)

    • 技术问题:解决增强现实(AR)/混合现实(MR)中对象移除或替换时的伪影(如重影、模糊)问题。

    • 技术效果:通过SLAM和代理几何结构的投影纹理映射,结合光流法,实现无缝移除真实对象(Diminished Reality)。

    • 缺陷:属于AR/MR图形渲染领域,其并不涉及视频压缩编码领域的“残差图像计算”与“传输残差以重构帧”(缺少特征I和J)。

2. 最接近的对比文件结论

候选一:D1 (CN106716490A) / D2 / D3

由于D1、D2、D3实际上是目标专利自身的在先公开版本或同族成员,如果根据其公开日认定为有效现有技术(例如属于抵触申请或破坏新颖性的A文本),那么D1绝对是做最接近对比文件的唯一选择。它在技术领域、解决的技术问题、技术方案和效果上与权利要求1达到100%重合,可以直接用于评述权利要求1缺乏新颖性或创造性。

候选二:D5 (JPH03253190A) 结合 D6 (US2014321702A1)

如果排除D1/D2/D3(假设需要寻找独立于该专利家族的第三方现有技术文件),在创造性评述中:

  • 最适合作为最接近的对比文件是 D5。因为权利要求1的核心落脚点在于视频数据解码(Video Coding/Decoding),D5与本申请处于完全相同的技术领域,且完整公开了混合编码架构(利用3D模型合成预测图像+计算/传输残差进行重构,覆盖了特征I、J以及总体架构)。

  • 本申请相对于D5的区别主要在于如何生成合成图像(即特征D、E、F、G,利用三维坐标点、摄像机姿势、构建代理几何结构并进行纹理映射)。这部分缺失的图形渲染特征恰好可以由 D6 补足。D6详细公开了利用SLAM关键帧构建3D网格(代理几何结构)并进行视点相关纹理映射的技术。

总结建议

在实务操作中,若D1构成有效现有技术,直接使用D1即可;若需规避自身家族文件,则建议以D5作为最接近的对比文件,并结合D6以及本领域公知常识来论述权利要求1不具备创造性。


希望这份分析报告能够为您提供清晰、有力的实务支持。您是否需要我基于上述分析,进一步为您草拟一份针对审查意见通知书(OA)的答复逻辑大纲或新颖性/创造性反驳要点?

 


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

你好!作为一名经验丰富的专利代理师,我将为您详细分析目标专利说明书(CN106716490B)的权利要求1,并紧密结合您提供的10篇对比文件,为您提取出各文件所公开的技术特征,同时从整体解决的技术问题和技术效果的角度,评估最接近的对比文件。

一、 最接近的对比文件(CPA)分析

在进行创造性分析时,最接近的对比文件应当是与目标专利属于相近技术领域,且公开了最多相同技术特征,或者旨在解决相同/相似技术问题的对比文件

目标专利(CN106716490B)的核心逻辑

  • 技术领域:视频编解码。

  • 解决的技术问题:传统的基于块的运动补偿需要传输大量运动矢量等信息,消耗较高带宽;而现有的其他基于SLAM的技术(仅传输详细结构图而不发送残差)虽然节省了残差数据,但渲染出的图像与当前图像匹配度差,图像质量低。

  • 技术方案及效果:利用较少的3D点(场景结构图/代理几何结构)和先前解码的图像通过纹理映射生成合成图像作为预测图像,然后通过计算当前图像与合成图像的残差图像来进行重构。这既通过使用代理几何结构大幅降低了运动补偿所需的数据量,又通过引入残差图像保证了高质量的重构效果。

对比文件评估

经过对10篇对比文件的筛选,**D3(US5714997A)**和 **D7(US5861920A)**具有较高的相关性,其中 D3适合作为最主要的最接近对比文件,D7可作为次选或结合使用的对比文件

  1. 首选最接近对比文件:D3 (US5714997A - Virtual reality television system)

    • 理由:D3处于3D视频渲染和传输领域。它实质上公开了权利要求1中关于**三维场景结构图(Mesh data)、点和相对深度(Vertices coordinates)、代理几何结构(Triangle meshes)、纹理映射(Texture mapping)以及基于摄像机位置渲染(Virtual viewpoint)**的大量核心结构特征(对应特征A-H)。

    • 区别:D3旨在解决如何让观众在虚拟现实中自由切换视角的问题,其合成图像是直接用于显示的最终画面,并未将其作为“预测图像”来与当前图像相减计算“残差图像”以用于视频解码。

  2. 次选最接近对比文件:D7 (US5861920A - Hierarchical low latency video compression)

    • 理由:D7处于视频压缩领域。它实质公开了基于复合图像(Sprite object)进行几何变换生成初始帧,并通过传输残差(Residual representation)来更新/重构图像的技术逻辑(对应特征I-J)。

    • 区别:D7缺乏SLAM或基于3D点坐标构建代理几何结构并进行纹理映射的三维渲染特征。


二、 权利要求1技术特征比对表

以下表格详细列出了权利要求1的各项技术特征,以及对比文件(重点为D3和D7)对其的公开情况及原文出处。

特征编号 权利要求1技术特征 对比文件公开情况及原文详细出处分析
A 基于复合图像及场景结构图而产生合成图像

D3实质公开:D3公开了基于解压后的2D视频数据(相当于复合图像)和网格数据(相当于场景结构图)来渲染生成右眼和左眼显示图像(合成图像)。


出处:"The right and left renderers, 2302 and 2303, process the current virtual viewpoint, the decompressed 2-D video frames, and the mesh data to respectively generate right-eye and left-eye 2-D images..." (D3原文)

B 其中所述复合图像是由先前经解码的一或多个图像构造

D3实质公开:D3公开了解码器(MPEG decoder 2301)对MPEG-2压缩数据进行解压,使用解压后的2D数据进行渲染。


出处:"MPEG decoder 2301 decompresses the compressed 2-D data... stores the decompressed 2-D data..." (D3原文)

C 其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经解码的所述视频数据的图像的场景结构图

D3实质公开:D3公开了数据流中包含3D三角形网格数据(mesh data),这些网格数据对应于视频数据帧。


出处:"...a sequence of 'mesh descriptors', one for each mesh computed in the steps shown in FIG. 9... mesh data that follows..." (D3原文)

D 其中所述场景结构图包含所述当前图像或先前经解码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度

D3毫无异议公开:D3明确公开了网格数据包含在世界坐标系中指定的顶点(Vertices),这些顶点指示了3D位置和深度。


出处:"...vertices data 916-1 includes, for each mesh, a set of vertices specified in world coordinates..." 及计算深度的公式 "...a depth (i.e., a distance from the left camera to a point on an object...) " (D3原文)

E 其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同

D3实质公开:D3公开了基于观察者当前虚拟视点(包含位置和方向向量)来渲染图像,使其视角匹配。


出处:"...estimates from such received information, the right-eye and left-eye display images that the viewer would see from a viewer selected position and orientation..." (D3原文)

F 且其中产生所述合成图像进一步包括:互连所述场景结构图的点以形成代理几何结构

D3毫无异议公开:D3公开了连接顶点形成三角形网格,这完全等同于互连点以形成代理几何结构。


出处:"...connectivity data 918-1 includes, for each triangle, a set of three vertices listed in clockwise order to indicate the front side of a surface defined by the triangle." (D3原文)

G 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型

D3毫无异议公开:D3明确提到了使用传统的纹理映射技术将2D颜色信息映射到三角形上。


出处:"Conventional texture mapping techniques are used for coloring and patterning the triangle using the 2-D color information obtained in step 2803." (D3原文)

H 及渲染所述基于图像的模型以产生所述合成图像

D3毫无异议公开:D3公开了将映射后的结果渲染到帧缓冲区。


出处:"the right renderer 2302 renders the triangle into the right-eye frame buffer 2304..." (D3原文)

I 确定残差图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中确定所述残差图像包括基于包括背景静态部分的所述当前图像的一或多个部分来确定所述残差图像

D3未公开:D3仅将生成的图像用于显示,不涉及预测和计算残差。


D7实质公开(部分):D7公开了确定并传输残差表示(残差图像),该残差是基于低分辨率表示(类似粗略合成)和原始图像之间的差异。但D7未结合3D网格进行。


出处:"A residual representation of the object is subsequently transmitted and combined with the first representation... based on the difference between the low resolution representation and the object." (D7原文)

J 及基于所述合成图像及所述残差图像而重构所述当前图像。

D7实质公开:D7明确公开了将残差与第一表示(合成的帧)结合以更新/重构图像。


出处:"...decoding the first representation... A residual representation of the object is subsequently transmitted and combined with the first representation to update the object..." (D7原文)


三、 创造性分析策略建议

在后续答复审查意见或撰写无效宣告请求时,您的创造性论述逻辑可以基于以下几点展开:

  1. 关于特征A-H的抗辩/组合

    目标专利关于“如何利用3D点云/场景结构图和图像来生成合成图像”的动作(特征A至H)在D3中已得到了极其详尽的公开(尤其是网格划分和纹理映射)。

  2. 关于特征I-J的核心争点

    目标专利真正的发明点在于**“用途的转变”——将D3中用于直接显示的VR渲染画面,降维转化为视频解码中的预测层(Prediction),并结合传统视频编码中的残差层(Residual,如D7所公开)**来重构最终画面。

  3. 动机分析

    您可以探讨本领域技术人员是否有动机将 D3(3D几何纹理映射渲染)与 D7(残差重构图像补偿)结合。目标专利说明书中强调“常规运动补偿需要信息量大”,而本专利将SLAM构建的代理几何结构作为预测图像,这实质上是对传统块运动匹配算法的替代。

希望这份比对分析能为您的专利工作提供有力的支持。您是否需要我进一步针对某一篇具体的对比文件(例如D4或D6中的网格编码技术)做更深度的特征拆解?

 


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

作为专利代理师,在进行权利要求分析与创造性评价时,我们需要将权利要求的技术特征与目标专利说明书的实施例深度结合,并精准比对对比文件中的技术披露。以下是对目标专利(CN106716490B)权利要求1的技术特征拆解、对比文件比对分析以及最接近现有技术的指定。

一、 结合说明书对权利要求1的解析

权利要求1要求保护一种利用同时定位与地图构建(SLAM)技术进行视频解码的方法。其核心创新在于利用三维代理几何结构替代传统的块运动补偿以生成预测图像。

结合目标专利说明书(如段落 [0022]-[0035]),该权利要求可拆解为以下核心处理逻辑:

  1. 构建三维代理几何结构(特征C、D、F):不再依赖2D像素块寻找运动矢量,而是利用SLAM技术从当前或先前图像中提取稀疏的3D关键点(即“场景结构图”),并将这些具备相对深度和位置坐标的三维点互连(如生成三角网格),形成表示图像物理结构的“代理几何结构”。

  2. 纹理映射与渲染(特征A、B、E、G、H):将先前解码的一或多个图像混合作为纹理图(即“复合图像”),将其叠加(映射)到上述三维代理几何结构上,形成“基于图像的模型(IBM)”。随后,结合当前图像的摄像机姿势(摄像机位置及定向),对该3D模型进行渲染,从而生成与当前摄像机视角匹配的“合成图像”(相当于预测帧)。

  3. 残差补偿与重构(特征I、J):合成图像作为预测帧与实际当前图像存在差异。解码器基于接收到的“残差图像”(重点针对背景静态部分产生),将其与合成图像相加,从而重构出高质量的当前图像。该方法通过发送少量的3D关键点、摄像机姿势和残差,大幅降低了常规视频传输的带宽。


二、 对比文件技术特征实质公开分析

经过对提供的10篇对比文件进行逐一分析,以下文件对权利要求1的技术特征构成了实质公开或部分公开:

  • D3 (US6037983A) & D5 (US6067119A):这两篇为同族/高度关联的专利,实质公开了特征A、B、E、I、J。D5公开了一种降低视频序列传输延迟的方法,其核心是存储一个背景对象(Sprite object,对应特征B中的“复合图像”,如D5原文所述:“a still image of a video layer... such as the background of a room, may be represented by a large sprite object”)。D5利用几何变换(模拟摄像机平移,对应特征E)对该背景对象进行处理以生成当前帧(相当于特征A的“合成图像”),随后接收“残差表示”(Residual representation)以更新低分辨率对象并重构后续帧(对应特征I和J,D5原文:“updating the low resolution representation using a residual representation... subsequent frames are then generated and displayed”)。

  • D7 (JP2000224582A)实质公开了特征D、F。该文件涉及3D网格信息的编码与解码,公开了提取包含3D坐标的顶点(对应特征D)以及通过拓扑架构互连这些点以生成三角形网格("triangle spanning tree", "interconnect points",对应特征F的代理几何结构)的技术。

  • D10 (CN1362696A)实质公开了特征G、H。该文件涉及3D图形的图像合成,公开了将图像样本值(纹理)通过几何变换映射到三维图形元素上(对应特征G的纹理映射),并进行渲染叠加的技术(对应特征H)。

  • D9 (JP2002523980A)部分公开了特征E。提及了在流媒体传输中,基于状态信息(如摄像机视点)对3D模型(体育场、球员等)进行渲染。

  • D1、D2、D4、D6、D8:这些文件主要涉及传统的I/P/B帧运动补偿、3D虚拟现实对象ID管理、图像区域Peano扫描压缩、MPEG-4 API接口定义以及简单的图元通信等,与权利要求1的核心技术关联度较低。


三、 特征比对表格

下表梳理了权利要求1的关键技术特征与最相关的三篇对比文件的对应关系:

技术特征 权利要求1核心内容 D5 (US6067119A) D7 (JP2000224582A) D10 (CN1362696A)
特征A, B 基于先前解码的复合图像产生合成图像 实质公开 (利用历史背景Sprite对象生成当前帧) 未公开 未公开
特征C, D 场景结构图包含指示位置和深度的三维点坐标 未公开 实质公开 (3D Mesh的顶点坐标数据) 未公开
特征E 利用当前图像的摄像机位置及定向进行渲染 实质公开 (利用几何变换参数模拟摄像机运镜) 未公开 未公开
特征F 互连场景结构图的三维点形成代理几何结构 未公开 实质公开 (连接顶点生成三角形生成树/网格) 未公开
特征G, H 将复合图像纹理映射至代理几何结构并渲染 未公开 未公开 实质公开 (将图像样本值映射到几何图形)
特征I, J 基于残差图像(背景静态部分)与合成图像重构当前图像 实质公开 (利用Residual representation更新背景Sprite并重构图像) 未公开 未公开

四、 最接近的对比文件(CPA)分析

在创造性分析过程中,D5 (US6067119A) (或其同族 D3)是最适合作为最接近的对比文件。具体分析如下:

  1. 从整体解决的技术问题角度:目标专利解决的是如何减少视频解码时常规运动补偿的开销,以降低视频数据传输带宽。D5同样致力于解决在有限带宽信道下传输运动视频序列的延迟和带宽占用问题。两者均立足于“视频编解码领域的预测与残差补偿技术”,技术领域和目标高度一致。

  2. 从技术效果角度:目标专利通过仅传输稀疏3D点、摄像机姿势和残差数据来实现高压缩比和实时解码;D5通过传输基础Sprite对象(背景图)、相机几何变换参数和残差图像来减少每帧传输的比特数。两者的解码逻辑链条均实现了“低延迟、低带宽的高效视频重建”这一技术效果。

  3. 创造性分析的起点价值:D5已经完整公开了本专利的主干解码流程(预测 -> 残差 -> 重构),即“基于背景参考图 + 摄像机参数变换 -> 生成预测帧 -> 结合残差图像重构当前帧”。权利要求1与D5的本质区别仅在于生成预测帧的底层数学模型:D5使用的是基于2D图像(Sprite)的2D仿射/透视变换;而本专利引入了3D技术,即提取三维SLAM点构建3D代理网格,并进行3D纹理映射渲染。

因此,审查员或无效宣告请求人可以以 D5 为起点,指出本专利的区别技术特征为3D建模与映射(特征C、D、F、G、H),进而结合公开了3D网格构建的 D7 与公开了3D纹理映射的 D10 来评判该权利要求是否具备创造性。

请问您是否需要我基于上述确定的区别技术特征,进一步结合 D5、D7 和 D10 撰写一份完整的创造性(“三步法”)反驳逻辑或无效理由草案?

 


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

你好!作为一名经验丰富的专利代理师,我非常乐意为您提供专业的权利要求比对与创造性分析。

在进行特征比对之前,我们首先需要紧密结合目标专利说明书(CN106716490B)的内在逻辑来准确解读权利要求1

一、 结合说明书对权利要求1的解读

目标专利的核心发明构思在于:将3D图形渲染技术与2D视频编码的预测-残差框架进行了巧妙结合

传统的视频编码(如各种MPEG标准)通常使用2D块运动补偿来生成预测图像,而目标专利则提出利用SLAM(同时定位与地图构建)技术提取当前图像中稀疏的3D点(场景结构图),将这些点互连形成网格(代理几何结构)。接着,将先前解码的图像(复合图像)作为纹理映射到该3D网格上,并利用当前摄像机的位姿(摄像机位置及定向)进行3D渲染,从而生成一张“合成图像”。

在译码过程中,这张“合成图像”实际上充当了传统视频编码中的**“预测帧”。系统随后计算当前图像与合成图像之间的差异(尤其针对背景静态部分),生成“残差图像”**(Residual Image),最终基于合成图像和残差图像重构当前帧。由于传输稀疏的3D点云和摄像机位姿比传输密集的2D运动矢量或深度图所需的数据量小得多,该技术能显著节省带宽。

二、 对比文件整体筛选与分析

您提供的10篇对比文件涉及图形动画、面向对象的视频系统、分层视频编码以及3D网格编码等领域。经过详细研读,针对权利要求1的特征,我为您筛选出以下两篇最具相关性的核心对比文件:

  • D8 (CN1806443A,利用三维模型表示画面序列的方法以及对应的信号和设备):该文件与目标专利在“利用3D网格模型、纹理映射及摄像机参数来渲染/表示视频序列”这一核心思路上高度重合,实质公开了权利要求1中关于3D代理几何预测生成部分(特征A-H)。

  • D2 (CN1402852A,面向目标的视频系统):该文件属于传统的视频预测编码领域,明确公开了计算当前帧与重建帧之间的差异生成差帧(残差图像),以及对背景静态区域的处理,实质公开了权利要求1的残差补偿机制(特征I-J)。

其它文件(如D3、D5、D6涉及2D分层Alpha混合,D7涉及纯3D网格自身的MPEG-4 SNHC压缩等)未触及“利用3D代理几何进行视频帧预测”的核心,相关性相对较弱。


三、 权利要求1详细技术特征比对表

下面我将权利要求1拆解为A-J的技术特征,并详细列出D8 (CN1806443A) 和 D2 (CN1402852A) 分别毫无异议或实质公开的内容及原文出处:

权利要求1技术特征 目标专利说明书解释 D8 (CN1806443A) 公开情况及原文出处 D2 (CN1402852A) 公开情况及原文出处
特征A:基于复合图像及场景结构图而产生合成图像 将先前帧(复合图像)贴图到稀疏3D点构成的结构上生成预测图。

实质公开。D8公开了基于3D模型和纹理画面重建画面序列。


出处:说明书第9页,“用于从所述三维模型、至少一个的纹理画面以及至少一个的摄像机位置参数表示所述画面序列的装置”;第10页,“重建(48)画面序列49以供在显示终端上显示”。

未公开利用场景结构图生成合成图像。
特征B:其中所述复合图像是由先前经解码的一或多个图像构造 复合图像即用作纹理映射的源图像(例如先前的I帧或关键帧)。

实质公开。D8中的“纹理画面”起到了复合图像的作用。


出处:说明书第10页,“每个GOP关联一个网格式3D纹理模型”;第9页,“至少一个包含至少一个与所述三维模型之一关联的纹理的字段”。

未公开。
特征C:其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经解码的所述视频数据的图像的场景结构图 场景结构图对应视频帧的3D稀疏点结构(可按GOP提取)。

明确公开


出处:说明书第10页,“每个3D模型对应部分原始画面序列即GOP(或画面组)”;“3D模型M0与GOP50关联,3D模型M1与GOP51关联”。

未公开。
特征D:其中所述场景结构图包含所述当前图像或先前经解码的所述图像内的三维点的坐标值,指示位置和相对深度 3D点云包含XYZ坐标,提供深度和位置信息。

明确公开


出处:说明书第11页,“由深度图Zk构成的二维不规则网格77”;“通过如方块80所示那样升降估计出的2D网格得到与表示GOP的3D模型的几何对应的3D网格Mk”。

未公开。
特征E:其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得其与当前图像摄像机位姿相同 将当前摄像机视角应用于3D模型进行渲染生成预测图像。

明确公开


出处:说明书第11页,“估计投影矩阵并且提取摄像机位置73”;第9页,“至少一个包含至少一个摄像机位置参数的字段”。

未公开。
特征F:且其中产生合成图像进一步包括:互连场景结构图的点以形成代理几何结构 将离散的3D点连接形成多边形网格(如三角网格)。

明确公开


出处:说明书第11页,“二维不规则网格77”;第12页,“在Mi的半规则重新网格生成上施加分析滤波器”。

未公开。
特征G:将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型 将2D纹理贴在3D网格上生成IBM(基于图像的模型)。

明确公开


出处:说明书第10页,“每个GOP关联一个网格式3D纹理模型”;说明书第9页的纹理字段描述。

未公开。
特征H:及渲染所述基于图像的模型以产生所述合成图像 通过图形管线渲染出最终的二维预测画面。

明确公开


出处:说明书第10页图4描述,“从其能重建(48)画面序列49以供在显示终端上显示”。

未公开。
特征I:确定残差图像,指示当前图像与合成图像之间的差异,且基于包括背景静态部分的当前图像的一或多个部分来确定 预测图像与实际图像相减得到残差,且特别针对静态背景部分。 未公开。D8是直接渲染3D模型作为最终输出,没有使用预测-残差的2D视频混合编码环路。

实质公开


出处:说明书第23页,“计算当前色图索引的帧与以前重建色图索引的帧之间的差帧”;“静止的物体(例如木)或背景画面(例如空)的部分...这些差被编码”;说明书第21页,“产生有条件的补充图象...差帧被编码和发送”。

特征J:基于所述合成图像及所述残差图像而重构所述当前图像。 将残差加回预测的合成图像,得到解码后的最终当前帧。 未公开

明确公开


出处:说明书第22页,“在步骤s521重建编码帧,用于在步骤s502开始编码下一个视频帧”;第19页,“通过从其在以前帧中的原始位置预测该区中的像素值”。


四、 “最接近的对比文件”及创造性分析策略

在评价专利创造性时,“最接近的现有技术”的选择决定了我们构建技术演进脉络的起点。从整体解决的技术问题以及技术效果的角度来看,D8 (CN1806443A)D2 (CN1402852A) 都可以作为最接近的对比文件(CPA),具体分析如下:

方案一:以 D8 (CN1806443A) 作为最接近的对比文件(推荐)

  • 整体解决的技术问题与效果的契合度:D8 的核心目的正是为了解决传统2D像素传输带宽占用大的问题,通过提取“3D网格+纹理+摄像机运动”来极低位率地表示画面序列,这与目标专利“为了减少视频译码所需要的带宽而构造场景结构图及合成预测图像”的出发点高度一致。

  • 区别技术特征:D8公开了特征A-H,区别技术特征仅在于特征I和J(即残差图像的计算与重构补偿机制)。D8直接将3D渲染的结果作为最终视频展示。

  • 客观技术问题:如何弥补纯3D模型渲染过程中的几何失真、光照变化以及动态前景带来的误差,从而进一步提高重构视频帧的客观画质?

  • 创造性评述思路:可以结合D2来评价。D2作为视频编码领域的常规文件,给出了“预测帧+差分帧(残差)”的经典框架,并明确提及对静止物体或背景画面计算残差进行编码传输。本领域技术人员在面对D8中3D模型渲染画面不够精准的技术问题时,有动机引入D2中的残差补偿机制,将D8渲染出的画面作为预测帧,从而得出权利要求1的技术方案。

方案二:以 D2 (CN1402852A) 作为最接近的对比文件

  • 整体解决的技术问题与效果的契合度:D2 属于传统的视频预测-残差编码体系,目标专利本质上也是在视频编解码器的框架内(即依然保留了残差的计算与重构)。

  • 区别技术特征:D2使用的是基于2D宏块的运动补偿预测,而权利要求1的区别特征在于特征A-H(利用SLAM技术提取稀疏3D点生成代理几何网格,结合摄像机位姿进行3D渲染来生成预测帧)

  • 客观技术问题:如何在存在摄像机全局运动的静态背景场景下,寻找一种比传统密集的2D运动矢量更节省带宽的预测图像生成方法?

  • 创造性评述思路:可以结合D8来评价。本领域技术人员为了降低D2中传输密集运动矢量的开销,可以从D8中获得启示:即利用3D结构模型和摄像机参数来合成/预测画面,从而以极少量的数据(稀疏3D点和摄像机位姿)替代传统2D运动矢量。

专业建议:在实际的无效宣告程序或答辩中,方案一(以D8为CPA结合D2)的逻辑链条更为顺畅且杀伤力更大。因为将图形学的3D渲染技术(D8)嫁接到视频编码环路中并辅以残差补偿(D2的公知常识),是非常典型的“基础方案+纠错机制”的技术演进路径。

希望以上专业、客观的解构和分析对您有所帮助。您希望我进一步以此特征比对为基础,为您起草一份完整的针对权利要求1的创造性评述(例如模拟无效宣告请求书中的逻辑论理)吗?

 


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

作为一名专利代理师,我将为您对目标专利的权利要求1进行深度拆解,并紧密结合您提供的10篇对比文件进行侵权/无效视角的特征比对与创造性(最接近现有技术,CPA)分析。

一、 结合目标专利说明书解释权利要求1

权利要求1要求保护一种解码视频数据的方法,其核心发明点在于将三维建模/渲染技术(如SLAM)与传统的视频预测编码(残差编码)相结合。结合目标专利说明书(如第[0022]、[0026]、[0031]、[0083]-[0086]段),权利要求1的技术方案可以拆解为以下三个逻辑模块:

  1. 三维场景建模与预测生成(技术特征A-H)

    摒弃了传统的二维块运动补偿,而是利用“场景结构图”(即包含位置和相对深度的稀疏三维点云)互连形成“代理几何结构”(例如三角网格)。随后,将“先前经解码的图像”作为纹理(复合图像),映射(Texture Mapping)到该网格上,形成基于图像的三维模型(IBM)。最后,利用“当前图像的摄像机位置及定向信息”(Camera Pose)对该模型进行渲染,从而生成一张当前视角的**“合成图像”。在视频编码的语境下,这张合成图像实质上充当了预测图像(Prediction Image)**。

  2. 残差的确定(技术特征I)

    由于基于稀疏点云和纹理映射生成的合成图像(预测图像)与真实的当前图像之间存在误差,方法进一步确定两者之间的**“残差图像”(Residual Image)**。说明书第[0074]段提及,该技术通常用于背景静态部分,因为背景的物理结构不变,仅视角变化。

  3. 图像重构(技术特征J)

    解码端接收残差数据,并将其与本地渲染生成的合成图像相加,从而重构出高质量的当前图像。


二、 对比文件公开情况详细分析

经过对10篇对比文件的深入筛查,重点提取与“三维多边形建模”、“纹理映射”、“摄像机姿态”以及“残差编码”相关的文献。D5(JP2007323481A)D7(JP2014067372A)D2(JP2018067751A)D8(US2006132482A1) 具有较高的相关性。

1. D5:JP2007323481A(视频数据传输系统及方法...)

公开情况:实质公开了特征A、B、C、D、F、G、H

  • 特征C、D(场景结构图与三维点):D5公开了获取三维信息(如z坐标数据),并分离出CG目标区域(背景)(参见D5原文段落 [0021], [0032], [0058])。

  • 特征F(互连点形成代理几何结构):D5公开了从CG目标区域生成多边形,获取包含坐标数据(顶点坐标P1=(x1,y1,z1)等)的三角形多边形(参见D5原文段落 [0037]-[0038],图3)。

  • 特征B、G(复合图像纹理映射):D5公开了提取纹理(部分视频数据),并将其粘贴到多边形上(纹理映射)。如果多个帧中存在相同纹理,则从第一帧中提取纹理(相当于先前经解码的图像)(参见D5原文段落 [0040]-[0042])。

  • 特征A、H(渲染合成图像):D5公开了基于CG数据(多边形)和纹理数据执行渲染处理(如光线追踪),生成渲染图像数据并进行合成(参见D5原文段落 [0049]-[0053])。

  • 未公开特征:D5未公开计算合成的CG图像与真实图像之间的“残差图像”(特征I、J),也未明确利用“当前摄像机位姿”动态渲染预测图像(特征E),而是直接用CG替换了背景。

2. D7:JP2014067372A(运动视差再现程序及装置...)

公开情况:实质公开了特征A、C、D、E、F、G、H

  • 特征C、D、F(三维点与代理几何结构):D7公开了获取深度图,从相机图像上的二维坐标和深度值计算三维坐标,并生成以三维坐标为顶点的三角形多边形,进而生成多边形模型(参见D7原文段落 [0018], [0021],图3、图4)。

  • 特征G(纹理映射):D7公开了通过纹理映射将相机图像的局部区域纹理粘贴到多边形模型上,生成三维多边形纹理模型(参见D7原文段落 [0022]-[0023])。

  • 特征A、E、H(基于特定视角渲染):D7公开了在虚拟视点(相当于当前摄像机位置及定向)对多边形纹理模型进行渲染,生成渲染图像(参见D7原文段落 [0024])。

  • 未公开特征:D7的目的是自由视角渲染,未公开从“先前经解码图像”获取复合图像(特征B),也完全未公开视频编码中的“残差图像”概念及重构(特征I、J)。

3. D2:JP2018067751A(动画像编码装置、复号装置...)

公开情况:毫无异议地公开了特征I、J

  • 特征I、J(残差与重构):D2公开了传统的视频预测编码架构,其中明确公开了基于预测块和当前图像确定并编码预测误差信号(残差),并在解码端将再生的预测误差信号加到预测块(相当于合成图像)上以重构图像(参见D2原文段落 [0043], [0069], [0071])。同时D2也提及了根据区域特征(运动/静止)采取不同的处理策略(参见段落 [0022])。

  • 未公开特征:D2使用的是二维块匹配,未公开任何关于三维点、代理几何结构、纹理映射及摄像机位姿的特征(A-H)。

4. D8:US2006132482A1(场景间过渡方法)

公开情况:实质公开了特征E

  • 特征E(摄像机位置及定向信息):D8公开了相机位姿估计(Camera pose estimation),确定获取相机在3D空间中的位置和定向(Extrinsics),并利用该信息和虚拟相机路径渲染包含三维几何和投影纹理的过渡场景(参见D8原文段落 [0070]-[0074], [0093])。

(注:D1、D3、D4、D6、D9、D10与本专利利用3D模型进行视频残差编码的核心发明点关联度较低,不在此做重点展开。)


三、 技术特征比对表格

权利要求1 技术特征 D5 (JP2007323481A) D7 (JP2014067372A) D2 (JP2018067751A)
A. 基于复合图像及场景结构图产生合成图像 是 (渲染图像) 是 (渲染图像)
B. 复合图像由先前经解码的一或多个图像构造 是 (先前帧提取纹理) 否 (单视图纹理)
C. 场景结构图包括视频图像的场景结构图 是 (3D信息) 是 (深度图信息)
D. 场景结构图包含三维点坐标(位置和相对深度) 是 (z坐标, 顶点坐标) 是 (二维坐标+深度)
E. 利用当前图像摄像机位置及定向信息渲染 是 (虚拟视点渲染)
F. 互连场景结构图的点以形成代理几何结构 是 (生成三角形多边形) 是 (生成多边形模型)
G. 将复合图像纹理映射到代理几何结构形成模型 是 (纹理映射粘贴) 是 (纹理映射粘贴)
H. 渲染该基于图像的模型以产生合成图像 是 (渲染处理) 是 (CG渲染技术)
I. 确定指示当前与合成图像差异的残差图像 (直接CG替换) (预测误差信号)
J. 基于合成图像及残差图像重构当前图像 (预测+残差重构)

四、 最接近的对比文件(CPA)分析与选择

在创造性分析(Problem-and-Solution Approach)中,最接近的对比文件(CPA)应当是与目标专利属于相同或相近技术领域、解决相同或相似技术问题,且公开了最多相同技术特征的文献。

1. 目标专利的整体技术问题与效果

  • 技术问题:解决传统视频编码中传输高清全帧数据或稠密深度图带宽消耗极大的问题,同时解决纯CG替换背景导致的图像失真和不匹配问题(目标专利说明书 [0083]-[0085] 段明确指出了现有SLAM视频编码技术“不发送残差,直接把合成图像当复本”的缺陷)。

  • 技术效果:通过发送稀疏3D点云和摄像机位姿在本地生成高精度的预测图像(合成图像),仅传输残差图像,在极大地节省传输带宽的同时保证了重构图像的高保真度。

2. CPA 候选分析

  • 若选择 D2 作为CPA:D2属于视频编码领域并公开了残差编码机制。但D2完全是基于二维图像的处理。若从D2出发,本领域技术人员需要将整个二维预测模块替换为极其复杂的三维SLAM建模、纹理映射及视点渲染(即引入D5或D7的全部内容),这种结合的跨度极大,且缺乏显而易见的动机。

  • 若选择 D5 作为CPA:D5属于视频数据传输/数据量压缩领域(高度相关的技术领域)。D5通过将静态背景转换为三维多边形并进行纹理映射,仅传输CG数据以大幅降低带宽(解决相似的技术问题)。D5公开了本专利A至H的绝大部分三维重构特征。然而,D5存在的缺陷恰恰是目标专利在背景技术 [0083]-[0085] 中所痛批的:D5仅仅使用渲染出的CG模型直接替换背景,没有通过**“计算残差并重构”**来弥补模型渲染与真实拍摄图像之间的差异。

3. 最终结论

D5(JP2007323481A)最适合作为创造性分析中最接近的现有技术(CPA)。

以D5为起点,目标专利的区别技术特征为:特征I和特征J(即将合成图像作为预测图像,计算其与当前图像的残差并进行残差编码重构),以及特征E(动态利用相机姿态渲染)

由此确定的实际解决的技术问题是:如何进一步提高D5中CG渲染背景与真实背景之间的保真度(图像匹配度),同时保持高压缩率。在这一框架下,结合D2(教导了在视频编码中使用预测+残差的方式提高图像重构质量)和D8(教导了提取相机位姿进行3D渲染),可以构建出逻辑严密的创造性评判(或无效宣告)说理路径。


您是否需要我进一步以 D5 作为最接近的现有技术,结合 D2 和 D8,为您撰写一份详尽的“缺乏创造性(或具备创造性)”的三步法答辩/无效宣告理据?

 


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

这份分析报告结合了目标权利要求文件与所提供的五份对比文件(D1-D5)。首先通过特征比对表格详细指出各对比文件对权利要求技术特征的公开情况及原文出处,随后从技术问题和技术效果的角度对最接近的对比文件进行判定。

一、 权利要求技术特征比对表格

以下为权利要求1的各技术特征(A-J)在对比文件中的公开情况。

注:对比文件代号对应关系如下:

  • D1: US2013216135A1

  • D2: US2014369557A1

  • D3: US2016373784A1

  • D4: WO2013130208A1

  • D5: WO2014120613A1

权利要求技术特征 对应对比文件 公开情况及详细出处说明
A: 一种解码视频数据的方法,所述方法包括:基于复合图像及场景结构图而产生合成图像 D3 (US2016373784A1) 实质公开。D3公开了一种视频解码设备和方法(Video decoding apparatus),在**[0092]-[0093][0096]**段中记载了生成预测块(prediction block,相当于合成图像),用于对视频进行解码。
B: 其中所述复合图像是由先前经解码的一或多个图像构造 D3 (US2016373784A1) 实质公开。D3的**[0096]**段明确记载,在帧间模式下,运动补偿模块利用存储在参考图片缓冲区(reference picture buffer)中的参考图片(即先前经解码的图像)来生成预测块。
C: 其中所述场景结构图包括当前图像的...或先前经解码的...场景结构图

D3 (US2016373784A1)


D5 (WO2014120613A1)

D3实质公开:在**[0013]-[0014]段公开了深度图(Depth map),属于广义的场景结构图。


D5实质公开:在[0053]-[0054]**段公开了利用3D点云(Point cloud)作为3D模型的基础。

D: 其中所述场景结构图包含所述当前图像或先前经解码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度 D5 (WO2014120613A1) 毫无异议公开。D5的**[0053]**段明确记载了数据点通过X、Y、Z坐标系来定义,且这些点构成了外部表面的三维点云(point cloud... specified in some coordinate system, for example, using X,Y,Z coordinates),本质上指示了位置和相对深度。
E: 产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得摄像机位置及定向相同 D5 (WO2014120613A1) 实质公开。D5的**[0046]**段记载了利用相机姿态(camera pose)和像素级深度信息,沿着视线方向挤压捕获的图像(extrude the captured image... along a viewing direction),用于生成三维模型。
F: 互连所述场景结构图的点以形成代理几何结构 D5 (WO2014120613A1) 毫无异议公开。D5的**[0054]**段明确记载了通过连接3D点云中的数据点来形成三角形、四边形或其他多边形,从而生成3D网格(convert 3D point clouds into a 3D mesh),该3D网格即为代理几何结构。
G: 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型 D5 (WO2014120613A1) 毫无异议公开。D5的**[0046][0095]**段记载了利用输入的颜色图像(color image)为3D网格添加纹理或顶点颜色信息,从而创建带有纹理的密集3D网格(create a textured or colored dense 3D mesh)。
H: 渲染所述基于图像的模型以产生所述合成图像 D5 (WO2014120613A1) 毫无异议公开。D5的**[0054]**段记载了可以通过构成的多边形网格来渲染该3D对象(used to render the 3D object/environment)。
I: 确定残差图像,指示当前图像与合成图像间的差异,且基于背景静态部分...确定 D3 (US2016373784A1) 实质公开。D3在**[0084][0093]**段公开了利用输入块和预测块之间的差异来生成残差块(residual block)。注:D3未详细限定“仅基于背景静态部分”,但已公开了“确定指示差异的残差图像”这一核心机制。
J: 基于所述合成图像及所述残差图像而重构所述当前图像 D3 (US2016373784A1) 毫无异议公开。D3的**[0097]**段明确指出,将重构的残差块(reconstructed residual block)与预测块(prediction block)相加,从而生成重构图片(reconstructed picture)。

二、 最接近的对比文件分析

在创造性分析中,D3(US2016373784A1)最适合作为最接近的对比文件。

1. 从整体解决的技术问题来看:

  • 本专利旨在解决在视频解码过程中如何减少对常规运动补偿的依赖、降低所需带宽的技术问题。它通过引入场景结构图并将其转换为代理几何结构,结合相机姿态进行纹理映射生成高精度的预测图像(合成图像),再结合残差图像进行视频帧重构。

  • **D3(US2016373784A1)**属于完全相同的技术领域(视频编码与解码)。其致力于解决3D或多视图视频编解码中如何降低硬件实现复杂度并提升编码效率的问题。它同样采用了包含参考帧、深度图(Depth view/map)、预测块生成以及残差数据(residual block)相加重构的闭环解码框架。

  • 相对而言,**D5(WO2014120613A1)**属于移动设备上的3D实时重建技术领域,其技术问题是解决3D扫描和建模时的功耗问题。D5主要处理静态三维网格的生成与纹理贴图,并不涉及视频压缩/解压缩过程中的残差信号(Residual)传递与2D图像重构。

2. 从技术效果来看:

  • D3达成的技术效果是实现了多视图和深度信息的有效视频解码,与本专利“解码视频数据”的最终目的完全契合。D3公开了权利要求1中宏观的视频解码框架体系(对应特征A、B、I、J)。

  • D5虽然在“三维点云构建代理几何结构并进行纹理映射”(特征C、D、E、F、G、H)方面给出了具体技术启示,但其最终效果是输出一个三维模型空间,而非输出解码后的2D视频流。

综合判定:

**D3(US2016373784A1)**与本专利的系统架构和应用目的最为吻合,构成了相同的基础发明构思(视频解码、预测图像、残差重构)。在创造性评理中,应以 D3 为最接近的对比文件,并指出本专利权利要求1相对于D3的区别技术特征主要在于采用了特殊的预测块生成方式(即引入了 D5 中的三维点云代理几何结构和纹理映射来代替常规二维像素级运动补偿),进而探讨本领域技术人员是否有动机将D5的3D纹理渲染手段结合到D3的视频解码回路中。

 


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

作为经验丰富的专利代理师,我将为您详细分析目标专利的权利要求与各对比文件的对比情况,并确定最接近的对比文件。

一、 特征比对与分析

以下是目标专利权利要求1的技术特征拆分,以及各对比文件对其的公开情况分析。

目标专利权利要求特征 D1 (US5714997A) D2 (US5861920A) D3 (US6067119A) D4 (JP2000224582A) D5 (CN1362696A) D6 (CN1402852A)
A: 一种解码视频数据的方法,所述方法包括:基于复合图像及场景结构图而产生合成图像, 未公开。D1涉及虚拟现实电视系统,侧重于多机位捕捉和视点渲染,未明确提及基于复合图像及场景结构图产生合成图像的解码方法。 未公开。D2涉及低延迟视频压缩,使用sprite对象生成图像,但不涉及“复合图像”及“场景结构图”的概念。 未公开。D3同D2,是分案/继续申请,内容基本一致。 实质公开。D4涉及三维网格信息的渐进式编码/解码,其解码过程包括基于网格(mesh)和纹理等信息生成三维模型。这与产生合成图像的过程类似。 实质公开。D5涉及图像的合成,包括将图像样本值(对应复合图像或纹理)映射到由几何参数定义的形状(对应场景结构图)上。 实质公开。D6涉及面向目标的视频系统,解码引擎通过组合视频目标、定义包和目标控制包(包含三维位置、透明度等修饰参数)来修饰目标并生成最后场景。
B: 其中所述复合图像是由先前经解码的一或多个图像构造, 未公开。 未公开。D2使用sprite对象(低分辨率表示),随后用残差更新,不完全等同于由先前解码图像构造的“复合图像”。 未公开。同D2。 未公开。D4侧重于网格几何结构和图像信息(颜色、法线、纹理坐标)的结合,未明确指出图像是由“先前经解码的一或多个图像构造”。 未公开。D5从MPEG4或3D图形定义中获取图像样本值,未强调是“先前经解码”的图像。 未公开。D6将各个视频目标(可能来自先前解码)合成场景,但未明确使用“复合图像”这一特定概念。
C: 其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经解码的所述视频数据的图像的场景结构图, 未公开。 未公开。 未公开。 实质公开。D4的编码/解码对象是三维三角形网格(3D triangular mesh),对应于场景结构图。 未公开。D5使用几何参数生成屏蔽(mask)或矩形框,不完全等同于场景结构图。 未公开。
D: 其中所述场景结构图包含所述当前图像或先前经解码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度 实质公开。D1提及处理视频数据生成包含物体几何结构和颜色的编码数据,以及计算深度(depth function Z(p))和生成三维坐标点。 未公开。 未公开。 实质公开。D4的顶点图(vertex graph)和三角形图(triangle graph)包含三维空间中的顶点坐标(x,y,z),反映了点的位置和相对深度。 未公开。D5提及偏转坐标(xd,yd)和到达坐标(xa,ya),为2D坐标。 实质公开。D6提及目标在3D空间的位置和取向(旋转),以及Z序(深度)。
E: 其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同, 实质公开。D1允许观众控制虚拟视点(位置和方向),渲染系统根据视点生成图像,但这属于客户端渲染,而非基于“当前图像”的摄像机姿势。 未公开。D2使用几何变换(如平移、缩放、旋转)操作sprite,不明确是利用摄像机位置和定向信息。 未公开。同D2。 未公开。D4未明确提及利用摄像机位置及定向信息渲染。 未公开。D5提及几何变换,但未明确指出是利用摄像机位置和定向信息。 实质公开。D6提及修饰参数包括3D空间目标的取向、位置、比例等,通过这些参数控制渲染。
F: 且其中产生所述合成图像进一步包括:互连所述场景结构图的点以形成代理几何结构 实质公开。D1中提及将深度值转化为三维网格(triangle meshes),这等同于互连点形成代理几何结构。 未公开。 未公开。 实质公开。D4提及将顶点连成网格(Mesh graph/Dual Graph),即三角形树记录,链接成简单的多边形。 未公开。 未公开。
G: 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型 实质公开。D1中渲染器将二维彩色信息映射到网格三角形上(texture mapping techniques)。 未公开。 未公开。 实质公开。D4中解码器利用几何信息和图像信息(包括纹理坐标 texCoord)重建三维网格,实质上包含了纹理映射的过程。 实质公开。D5提及将图像样本值(对应复合图像)映射到图象样本(对应代理几何结构)上,并且在映射中屏蔽干涉。 实质公开。D6中的修饰引擎执行目标修饰/位映像组合处理,将视频目标映射到屏幕上。
H: 及渲染所述基于图像的模型以产生所述合成图像 实质公开。D1中渲染系统生成显示信号以提供模拟的观看体验。 实质公开。D2/D3中解码器根据变换参数生成并显示第一帧/后续帧。 实质公开。同D2。 实质公开。D4中解码化器恢复出三维网格并进行渲染(rendering)。 实质公开。D5的处理器合并图象。 实质公开。D6的修饰引擎合成并修饰位映像以产生最后显示的场景屏面。
I: 确定残差图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中确定所述残差图像包括基于包括背景静态部分的所述当前图像的一或多个部分来确定所述残差图像 未公开。 部分公开。D2/D3中提及传输残差表示(residual representation)以更新低分辨率表示,残差是低分辨率表示与原对象之间的差。但未明确指出基于“背景静态部分”确定残差。 部分公开。同D2。 未公开。 未公开。 未公开。
J: 及基于所述合成图像及所述残差图像而重构所述当前图像。 未公开。 实质公开。D2/D3中解码器将残差表示与低分辨率表示结合以更新对象,用于生成后续帧。 实质公开。同D2。 未公开。 未公开。 未公开。

二、 最接近的对比文件分析

整体解决的技术问题:

目标专利解决的技术问题是如何在减少视频编码/解码所需带宽的同时,利用同时定位与地图构建(SLAM)技术或类似技术产生的稀疏3D点(场景结构图)和复合图像来合成预测图像,并通过计算残差图像来精确重构当前图像,特别是在处理静态背景和动态前景时提高效率。

技术效果:

通过使用场景结构图作为代理几何结构,并结合先前解码图像生成的复合图像进行纹理映射,可以以极低的数据量(相比于密集的深度图)生成高质量的预测图像。结合残差图像,可以高质量地重构当前视频帧,从而降低了常规运动补偿所需的带宽。

最接近的对比文件选择:

在创造性分析中,最接近的对比文件应当是与目标专利在技术领域、所解决的技术问题、以及公开的技术特征上最相似的文献。

综合分析来看,没有一个单一的对比文件公开了目标专利权利要求1的大部分核心特征的组合,尤其是“场景结构图(三维点/相对深度)的构建 + 复合图像纹理映射 + 计算/应用残差图像”这一完整的工作流。

  • 对比文件4 (JP2000224582A)对比文件1 (US5714997A) 是在“三维结构/网格的构建及纹理映射”(特征C, D, F, G, H)方面最接近的文件。

    • D4 明确讨论了三维网格数据的解码,包括顶点图、三角形图(相当于场景结构图),以及结合纹理坐标(图像信息)恢复三维模型,这与权利要求中利用场景结构图和图像纹理构建合成图像的思路非常契合。

    • D1 详细描述了从多摄像机提取深度信息,构建三维三角网格,并将二维图像作为纹理映射到网格上进行渲染的过程。

  • 对比文件2 (US5861920A) / 对比文件3 (US6067119A) 是在“预测合成与残差更新”(特征I, J)方面最接近的文件。它们讨论了使用sprite对象(预测图像的基础)进行几何变换生成帧,随后使用残差表示(residual representation)来更新和重建图像,以降低延迟和带宽。这与目标专利中计算预测图像(合成图像)与当前图像的残差并进行重构的思想最为一致。

结论:

在进行创造性评判时,对比文件2 (US5861920A)(或同族的D3)对比文件4 (JP2000224582A) 都适合作为最接近的对比文件

  • 如果以 D2/D3 作为最接近的对比文件: 它们公开了基于预测(sprite及几何变换)和残差进行视频解码以节省带宽的大框架。目标专利的区别技术特征在于:预测图像(合成图像)的生成方式是基于“三维场景结构图(点云/网格)”和“复合图像纹理映射”,以及利用摄像机姿势信息,并涉及对背景静态部分的残差处理。

  • 如果以 D4 作为最接近的对比文件: 它公开了基于三维顶点/网格信息和纹理信息恢复三维图像的解码过程。目标专利的区别技术特征在于:将这种三维重构图像作为预测(合成图像),并引入“残差图像”来补偿当前图像与预测图像的差异,从而实现视频序列的高效重构。

建议: 在撰写审查意见答复或无效宣告请求时,可以将 D2 (US5861920A) 作为主线(最接近对比文件),它奠定了“基础预测 + 残差更新”的视频解码框架,然后引入 D4 (JP2000224582A)D1 (US5714997A) 来结合评价其使用 3D mesh/网格 进行预测图像生成的创造性。

 


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

您好!作为一名经验丰富的专利代理师,我非常乐意为您提供专业的权利要求比对与创造性分析。作为AI助手,我将基于您提供的目标专利说明书及6篇对比文件的原文,严格进行技术特征的拆解和侵权/确权视角的比对。

为了让复杂的特征比对更直观,我将结合图表和原文出处为您详细梳理。


一、 权利要求1技术特征拆解与比对总表

为方便指代,我们将对比文件编号如下:

  • D1: CN1806443A (利用三维模型表示画面序列的方法...)

  • D2: CN101569196A (使用纹理合成的图像编码和解码...)

  • D3: WO2011002812A2 (TEXTURE COMPRESSION IN A VIDEO DECODER...)

  • D4: JP2007323481A (Video data transmission system...)

  • D5: JP2014067372A (Motion parallax reproduction...)

  • D6: WO2014120613A1 (REAL-TIME 3D RECONSTRUCTION...)

下表为权利要求1各技术特征在对比文件中的公开情况概览(重点分析关联度最高的D1、D4、D5、D6):

技术特征 目标专利核心含义 D1 (CN1806443A) D4 (JP2007323481A) D5 (JP2014067372A) D6 (WO2014120613A1)
A. 产生合成图像 基于复合图像和场景结构图生成合成预测图 实质公开 实质公开 实质公开 局部公开
B. 复合图像来源 由先前解码的图像构造 实质公开 实质公开 未公开 未公开
C. 场景图来源 当前图像或先前解码图像的场景结构图 局部公开 实质公开 实质公开 实质公开
D. 3D坐标点 包含位置和相对深度的3D坐标值 局部公开 公开 公开 公开
E. 摄像机定向渲染 利用摄像机位置/定向渲染,使姿势相同 公开 局部公开 未公开 公开
F. 代理几何结构 互连场景结构图的点形成网格/多边形 公开 公开 公开 公开
G. 纹理映射 纹理映射到几何结构形成基于图像的模型 实质公开 公开 公开 公开
H. 渲染合成图像 渲染上述模型产生合成图像 公开 公开 公开 未公开
I. 确定残差图像 确定合成图像与当前图像的残差(背景静态部分) 未公开 未公开 未公开 未公开
J. 重构当前图像 基于合成图像和残差图像重构 未公开 未公开 未公开 未公开

(注:D2仅涉及2D样本纹理合成,D3涉及向3D图形管道输出解码视频,均未公开上述核心的3D代理几何预测与残差重构逻辑,故在下文中不再展开赘述。)


二、 对比文件公开技术特征的详细出处与分析

1. 对比文件D4 (JP2007323481A) —— 高度相关的视频传输与合成方案

D4实质公开了目标专利的前半部分核心架构(特征A、B、C、D、F、G、H)。

  • 特征D(3D坐标点):毫无异议公开。D4原文 [0021] 记载:“三维信息获取部2是向对象的视频数据中添加画面上的xy坐标...获取无法从上述获得的垂直于画面的z方向上的位置信息的单元。输出的三维信息I0...表示对象物表面形状的z坐标(z地址)”。

  • 特征F(代理几何结构):毫无异议公开。D4原文 [0038] 记载:“多边形生成部32A...生成以各三维坐标为顶点坐标的三角形多边形。坐标数据是三角形多边形35的顶点坐标 $P1=(x1, y1, z1)$$P2=(x2, y2, z2)$$P3=(x3, y3, z3)$”。

  • 特征G(纹理映射):毫无异议公开。D4原文 [0040] 记载:“数据提取部32D...提取对应于坐标数据的图像部分即纹理...将该纹理粘贴到图像粘贴多边形上”。

  • 特征B(复合图像来自先前图像):实质公开。D4原文 [0042] 记载:“如果相同的纹理存在于多个帧中,则从第一帧中提取纹理...在后续帧中将对应的纹理粘贴到CG数据上”。这实质上相当于利用先前的图像内容作为当前渲染的纹理。

  • 特征A与H(渲染与产生合成图像):实质公开。D4原文 [0049] - [0053] 记载了接收端使用渲染处理部(Rendering processing unit 42)还原CG数据,并通过合成处理部将CG背景与非CG目标数据“针对每个视频画面进行合成”。

2. 对比文件D6 (WO2014120613A1) —— 强调摄像机姿势与3D网格构建

D6主要针对特征E、F、G进行了充分公开。

  • 特征E(摄像机位置及定向):毫无异议公开。D6原文 [0039] 记载:“摄像机的姿势是指摄像机相对于参考系的平移(translation)和旋转(orientation)...通常确定6自由度(6DOF)”。原文 [0046] 记载:“使用摄像机姿势和每像素深度信息沿视线方向挤压捕获的图像...”。

  • 特征F(代理几何结构)与特征G(纹理映射):毫无异议公开。D6原文 [0091] 记载:“利用深度信息沿视线方向挤压彩色图像,创建带纹理或彩色的密集3D网格。例如,网格可由用于渲染图像的三角形组成”。

3. 对比文件D1 (CN1806443A) —— 视音频序列的3D模型编码

D1虽然使用了不同的表述,但也实质公开了利用3D模型进行视频编码的思想。

  • 特征F与G:D1说明书中记载了“对于相继3D模型的顶点间建立的对应...通过子波系数从一个模型Mk过渡到另一个模型Mk+1...在网格化之后生成半规则网格”。并且记载了获取原始画面的纹理放在该结构上。

⛔ 区别技术特征分析 (特征I 与 J)

没有任何一篇对比文件公开了特征I和特征J

即:使用“合成图像”作为预测图,求取其与“当前图像”(特别是静态背景部分)的残差图像 (Residual Image),并将该残差图像编码发送,解码时叠加合成图像与残差图像来重构画面。

D4虽然合成了画面,但它是将“解码后的CG背景”与“解码后的前景视频”直接拼接/alpha混合,并没有引入“残差(Residual)”的概念来进行预测编码的修正。


三、 最接近的对比文件 (CPA) 确定

在创造性分析中,选择最接近的对比文件通常应当考虑技术领域解决的技术问题以及达到的技术效果最相近的文献。基于此,以下两篇文件适合作为最接近的对比文件:

首选 CPA:对比文件D4 (JP2007323481A)

  1. 技术领域一致:均为视频数据传输、编码与解码系统。

  2. 解决的整体技术问题相近:目标专利旨在解决传统视频译码中运动补偿带来的高带宽需求问题;D4明确提出其要解决的问题是“在保持实质上高画质外观的同时,减少视频数据的传输量(减少通信线路的带宽压力)”(参见D4 [0007] - [0008])。

  3. 技术手段与效果高度重合:两者都抛弃了传统的全局区块运动补偿,转而采用:提取静态背景 -> 生成3D网格(多边形/代理几何结构) -> 提取图像作为纹理贴图(纹理映射) -> 接收端重新渲染合成的思想。D4的整体处理管线(发送端分离+3D化,接收端渲染+合成)与目标专利的解码管线高度一致。

  4. 作为CPA的优势:使用D4作为CPA,您可以直接确认目标专利的“代理几何结构建立”、“纹理映射”等复杂3D构建步骤均已被公开,从而将创造性辩论的核心精准聚焦于**“是否引入了残差图像来进行预测编码与重构(特征I、J)”**上。

备选 CPA:对比文件D1 (CN1806443A)

  1. 技术领域一致:画面(视频)序列的编码方法。

  2. 解决的技术问题相近:D1旨在克服常规视频编码(基于像素块)位率高的问题,提出利用3D模型流(包含不规则网格和纹理)在极低位率下压缩视频(参见D1“背景技术”和“发明内容”部分)。

  3. 作为CPA的优势:D1直接身处视频编解码(CODEC)语境下(例如提到了GOP、H26L/H264、PSNR等)。如果对方审查员极力强调“残差”是编解码领域的惯用手段,以D1作为起点,可以探讨从“纯3D模型传输”演进到“3D模型预测+残差修正”是否具有显而易见性。

代理师建议:在答复审查意见或进行无效宣告分析时,强烈建议将 D4 确立为最接近的对比文件。它的技术手段(背景3D化+多边形+纹理映射+渲染)与目标专利最具有物理和逻辑上的对应性。


希望以上分析能够为您的专利比对工作提供清晰的抓手。请问是否需要我基于D4作为最接近的对比文件,结合公知常识或其他对比文件(如D6),为您完整撰写一份用于答辩或无效的创造性评述(三步法分析)

 


权利要求2

根据权利要求1所述的方法,其中确定所述残差图像包括:接收所述当前图像的所述残差图像。



权利要求4

根据权利要求1所述的方法,其进一步包括: 接收所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与先前经解码的所述图像的所述场景结构图之间的差异的信息中的一者;及基于所述所接收信息而产生所述场景结构图,其中产生所述合成图像包括:基于所述复合图像及所述所产生场景结构图而产生所述合成图像。


权利要求5

根据权利要求1所述的方法,其进一步包括: 接收关于用于构造所述复合图像的所述一或多个先前经解码图像及所述当前图像的摄像机位置及摄像机定向中的一者或两者,其中产生所述合成图像包括:基于所述一或多个先前经解码图像及所述当前图像的所述摄像机位置及所述摄像机定向中的一者或两者而产生所述合成图像。


权利要求6

一种编码视频数据的方法,所述方法包括: 基于复合图像及场景结构图而产生合成图像,其中所述复合图像是由先前经编码的一或多个图像构造,其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经编码的所述视频数据的图像的场景结构图,其中所述场景结构图包含所述当前图像或先前经编码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度,其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同,且其中产生所述合成图像进一步包括:互连所述场景结构图的点以形成代理几何结构; 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型;及渲染所述基于图像的模型以产生所述合成图像; 基于所述合成图像及所述当前图像而确定残差图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中确定所述残差图像包括基于包括背景静态部分的所述当前图像的一或多个部分来确定所述残差图像;及输出指示所述残差图像的信息以编码所述视频数据的所述当前图像。


权利要求7

根据权利要求6所述的方法,其进一步包括: 确定关于用于构造所述复合图像的所述一或多个先前经编码图像的摄像机位置及定向信息及关于所述当前图像的摄像机位置及定向信息,其中纹理映射包括:基于所述一或多个先前经编码图像的所述摄像机位置及定向信息而将所述复合图像纹理映射到所述代理几何结构。


权利要求8

根据权利要求7所述的方法,其进一步包括: 利用同时定位与地图构建SLAM技术确定所述当前图像的所述摄像机位置,其中确定关于所述一或多个先前经编码图像的所述摄像机位置包括:利用所述SLAM技术来确定关于所述一或多个先前经编码图像的所述摄像机位置。


权利要求9

根据权利要求6所述的方法,其进一步包括: 利用同时定位与地图构建SLAM技术来产生所述场景结构图。


权利要求10

根据权利要求6所述的方法,其进一步包括: 确定所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与先前经编码的所述图像的所述场景结构图之间的差异的信息中的一者;及输出所述经确定信息。


权利要求11

根据权利要求6所述的方法,其中所述合成图像包括第一合成图像,所述方法进一步包括:输出关于用于构造所述复合图像的所述一或多个先前经编码图像及关于所述当前图像的摄像机位置及摄像机定向中的一者或两者,其中所述摄像机位置及所述摄像机定向中的所述一者或两者由解码器处理器用于产生与所述第一合成图像相同的第二合成图像。


权利要求12

根据权利要求6所述的方法,其进一步包括: 确定所述当前图像的前景非静态部分及所述当前图像的背景静态部分,其中输出所述残差图像包括:输出第一层中的所述残差图像,所述第一层不同于包含关于所述当前图像的所述前景非静态部分的残差数据的第二层。


权利要求13

一种用于译码视频数据的装置,所述装置包括: 视频存储器,其经配置以存储先前经译码且用于构造复合图像的一或多个图像;及译码器处理器,其经配置以:基于所述复合图像及场景结构图而产生合成图像,其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经译码的所述视频数据的图像的场景结构图,其中所述场景结构图包含所述当前图像或先前经译码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度,其中为了产生所述合成图像,所述译码器处理器经配置以利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同,且其中为了产生所述合成图像,所述译码器处理器进一步经配置以:互连所述场景结构图的点以形成代理几何结构; 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型;及渲染所述基于图像的模型以产生所述合成图像;及基于所述当前图像的残差图像而译码所述当前图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中所述残差图像是基于包括背景静态部分的所述当前图像的一或多个部分。


权利要求14

根据权利要求13所述的装置,其中所述译码器处理器包括解码器处理器,且其中所述解码器处理器经配置以接收所述当前图像的所述残差图像,且其中为译码所述当前图像,所述解码器处理器经配置以通过基于所述合成图像及所述残差图像而重构所述当前图像而解码所述当前图像。


权利要求15

根据权利要求14所述的装置,其中所述解码器处理器经配置以: 接收所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与所述先前经译码图像的所述场景结构图之间的差异的信息中的一者;及基于所述所接收信息而产生所述场景结构图,其中为产生所述合成图像,所述解码器处理器经配置以基于所述复合图像及所述所产生场景结构图而产生所述合成图像。


权利要求16

根据权利要求14所述的装置,其中所述解码器处理器经配置以: 接收关于用于构造所述复合图像的所述一或多个先前经译码图像及所述当前图像的摄像机位置及摄像机定向中的一者或两者,其中为产生所述合成图像,所述解码器处理器经配置以基于所述一或多个先前经译码图像及所述当前图像的所述摄像机位置及所述摄像机定向中的一者或两者而产生所述合成图像。


权利要求17

根据权利要求13所述的装置,其中所述译码器处理器包括编码器处理器,其中为了译码所述当前图像,所述编码器处理器经配置以:基于所述合成图像及所述当前图像而确定所述残差图像;及 输出指示所述残差图像的信息以编码所述视频数据的所述当前图像。


权利要求18

根据权利要求17所述的装置,其中所述编码器处理器经配置以利用同时定位与地图构建SLAM技术来产生所述场景结构图。


权利要求19

根据权利要求17所述的装置,其中所述编码器处理器经配置以: 确定所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与所述先前经译码图像的所述场景结构图之间的差异的信息中的一者;及输出所述经确定信息。


权利要求20

根据权利要求17所述的装置,其中所述合成图像包括第一合成图像,且其中所述编码器处理器经配置以:利用同时定位与地图构建SLAM技术来确定关于所述一或多个先前经译码图像的摄像机位置;及输出关于用于构造所述复合图像的一或多个先前经译码图像及关于所述当前图像的所述摄像机位置及摄像机定向中的一者或两者,其中所述摄像机位置及所述摄像机定向中的所述一者或两者由解码器处理器用于产生与所述第一合成图像相同的第二合成图像。


权利要求21

根据权利要求13所述的装置,其中为产生所述合成图像,所述译码器处理器包括图形处理单元GPU,其中所述GPU经配置以产生所述合成图像。


权利要求22

根据权利要求13所述的装置,其中为纹理映射,所述译码器处理器经配置以基于一或多个先前经译码图像的摄像机位置及定向信息而将所述复合图像纹理映射到所述代理几何结构。


权利要求23

一种非暂时性计算机可读存储媒体,其上存储有指令,所述指令在被执行时致使用于译码视频数据的装置的一或多个处理器进行以下操作:基于复合图像及场景结构图而产生合成图像,其中所述复合图像是由先前经译码的一或多个图像构造,其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经译码的所述视频数据的图像的场景结构图,其中所述场景结构图包含所述当前图像或先前经译码的所述图像内的三维点的坐标值,所述三维点的坐标值指示所述点的位置和相对深度,其中致使所述一或多个处理器产生所述合成图像的指令包括致使所述一或多个处理器利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像,使得所述合成图像和所述当前图像的摄像机位置及定向相同的指令,且其中致使所述一或多个处理器产生所述合成图像的指令进一步包括致使所述一或多个处理器进行以下操作的指令:互连所述场景结构图的点以形成代理几何结构; 将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型;及渲染所述基于图像的模型以产生所述合成图像;及基于所述当前图像的残差图像而译码所述当前图像,其中所述残差图像指示所述当前图像与所述合成图像之间的差异,且其中所述残差图像是基于包括背景静态部分的所述当前图像的一或多个部分。


Powered by Django

网站备案号:渝ICP备2023012882号


重庆市非显而易见网络科技有限责任公司 A Anti NPE NPE