目标专利:2013获得场景中的对象的图像数据方法、系统以及可读介质
专利公开号:CN111295872B
专利权人:皇家KPN公司
无效请求书提交日期:2026年
非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|---|
| 0 | 2014-09-11_US2014254919A_发明申请_US20140254919A1 DEVICE AND METHOD FOR IMAGE PROCESSING_+++D_E_F_S_U_V_W_b_g_r_t+++.docx |
| 0 | 2017-06-22_WO2017103065A_发明申请_WO2017103065A1 GENERATING OUTPUT VIDEO FROM VIDEO STREAMS_+++B_C_D_G_H_I_J_K_L_M_N_e_f+++.docx |
| 0 | 2017-05-04_US2017124717A_发明申请_US20170124717A1 METHOD AND SYSTEM OF BACKGROUND-FOREGROUND SEGMENTATION FOR IMAGE PROCESSING_+++A_B_C_D_E_F_G_I_S_V_W_Z_h_u+++.docx |
| 0 | 2017-01-24_US9552655B_发明授权_US09552655B2 Image processing via color replacement_+++A_B_C_D_E_F_G_H_I_U_V_W_Z_y+++.docx |
| 0 | 2016-10-27_US2016314557A_发明申请_US20160314557A1 METHOD OF AND APPARATUS FOR DISPLAYING AN OUTPUT SURFACE IN DATA PROCESSING SYSTEMS.docx |
| 0 | 2016-08-18_US2016241776A_发明申请_US20160241776A1 DEVICE AND METHOD FOR DETECTING FOCUS OF ELECTRONIC DEVICE_+++A_B_C_D_E_F_G_I_S_U_V_W_X_Y+++.docx |
| 0 | 2016-05-18_CN105590312A_发明公开_CN105590312A 前景图像分割方法和装置_+++B_C_D_E_F_G_H_I_S_U_V_Z_a_w+++.docx |
| 0 | 2016-04-14_US2016104031A_发明申请_US20160104031A1 DEPTH FROM TIME OF FLIGHT CAMERA.docx |
| 0 | 2015-09-24_US2015269739A_发明申请_US20150269739A1 APPARATUS AND METHOD FOR FOREGROUND OBJECT SEGMENTATION_+++B_C_D_E_F_I_S_V_W_Z_a_g_h_u_y+++.docx |
| 0 | 2014-10-29_GB2513303A_发明专利_GB2513303A Method and device for partitioning an image_+++G_H_J_Q_i_m_n_o_p+++.docx |
| 0 | 2014-10-16_US2014307775A_发明申请_US20140307775A1 METHOD AND DEVICE FOR PARTITIONING AN IMAGE_+++G_H_N_P_Q_c_i_j_m_o+++.docx |
| 0 | 2006-09-28_US2006213732A_发明申请_US20060213732A1 Brake rotor with rotational degrees of freedom.docx |
| 0 | 2013-10-29_US8570320B_发明授权_US08570320B2 Using a three-dimensional environment model in gameplay_+++B_C_D_E_F_I_R_S_T_U_W_Z_a_g_m_v+++.docx |
| 0 | 2013-03-19_US8401225B_发明授权_US08401225B2 Moving object segmentation using depth images_+++B_C_D_E_F_G_H_I_M_R_S_T_U_V_W_X_Y_Z_a+++.docx |
| 0 | 2012-08-02_US2012195471A_发明申请_US20120195471A1 Moving Object Segmentation Using Depth Images_+++B_C_D_E_F_G_I_R_S_T_U_W_a+++.docx |
| 0 | 2012-03-08_US2012060077A_发明申请_US20120060077A1 METHOD AND APPARATUS FOR VIDEO SYNTHESIS_+++B_C_F_I_M_a_d_e_g_h_j_k_n_u_v_w_x+++.docx |
| 0 | 2012-03-01_US2012050524A_发明申请_US20120050524A1 APPARATUS AND METHOD FOR GENERATING AN OVERVIEW IMAGE OF A PLURALITY OF IMAGES USING AN ACCURACY INFORMATION_+++C_I_e_m_u_v+++.docx |
| 0 | 2012-01-19_US2012016680A_发明申请_US20120016680A1 AUDIO DECODER AND DECODING METHOD USING EFFICIENT DOWNMIXING.docx |
| 0 | 2011-10-20_US2011255589A_发明申请_US20110255589A1 Methods of compressing data and methods of assessing the same_+++c_g_h_i_m+++.docx |
| 0 | 2011-09-01_US2011211754A_发明申请_US20110211754A1 Tracking body parts by combined color image and depth processing_+++A_B_C_D_E_F_G_I_R_S_T_U_V_Z_h_w_x_y+++.docx |
| 0 | 2010-08-26_US2010214419A_发明申请_US20100214419A1 Video Sharing_+++C_I_M+++.docx |
一种使用距离传感器和图像传感器来获得场景中的对象的图像数据的方法,其中,该距离传感器与该图像传感器具有已知的空间关系;该距离传感器被配置用于捕获该场景的深度信息;该图像传感器被配置用于捕获该场景的可见光信息;该方法包括获得通过该距离传感器获取的该场景的深度图;分析该深度图以识别该场景中的感兴趣区域;其中,该感兴趣区域包含该对象;生成指示该感兴趣区域的选择数据;以及基于该选择数据,选择性地获得该感兴趣区域的图像数据;其中,该图像数据是通过该图像传感器获取的。
作为一名经验丰富的专利代理师,我针对目标专利权利要求1(简称“目标权利要求”)与提供的三份对比文件进行深度闭卷流程式特征比对、创造性架构分析,并输出最终的无效宣告策略及检索建议。
三份对比文件的公开号及基础信息确认如下:
* **D1**:`US20110211754A1` (Tracking body parts by combined color image and depth processing)
* **D2**:`US20120060077A1` (METHOD AND APPARATUS FOR VIDEO SYNTHESIS)
* **D3**:`US08401225B2` (Moving object segmentation using depth images)
---
## 一、 技术特征比对分析
本部分严密结合目标权利要求与对比文件原文语义,判定各技术特征的公开状态。
### 1. 技术特征A:其中,该距离传感器与该图像传感器具有已知的空间关系
* **D1(US20110211754A1)**:**毫无疑问公开**。
* *出处引证*:说明书第`[0039]`段:“The registration typically involves a shift of the coordinates associated with each depth value in the 3D image. The shift includes a static component, based on the distance between the optical axes of subassemblies 44 and 46 and any misalignment between the detectors...”(配图FIG.2中组件44为深度成像,46为彩色相机)。
* *语义比对*:D1明确指出深度传感器与彩色相机的光轴距离及对准误差构成了像素配准的“静态分量(static component)”,这在物理与几何层面直接等同于两传感器之间“具有已知的空间关系”。
* **D2(US20120060077A1)**:**未公开**。D2仅公开利用多个相互独立的用户设备(UE 101a-101c)在不同位置拍摄,不同UE之间并没有已知且固定的相对空间关系。
* **D3(US08401225B2)**:**实质公开**。
* *出处引证*:说明书第`[0032]`段:“In some examples, in addition to the depth camera 302, the mobile environment capture device 300 comprises a color video camera referred to as a red-green-blue (RGB) camera 306.”
* *语义比对*:D3中深度相机302与RGB相机306被集成在同一个移动环境捕获设备300的壳体(housing)内(见第`[0034]`段)。本领域技术人员知悉,集成于同一手持或车载壳体内的双摄像头组件,其内部结构件固定,传感器之间必然具备已知的相对空间关系。
### 2. 技术特征B:该距离传感器被配置用于捕获该场景的深度信息
* **D1(US20110211754A1)**:**毫无疑问公开**。第`[0033]`段和`[0037]`段公开了“depth imaging subassembly 44... captures images of the pattern on the scene... generate a depth map of the body”。
* **D2(US20120060077A1)**:**未公开**。D2的传感模块107主要由位置、磁力计、加速度计构成,未配置捕获深度信息的距离传感器。
* **D3(US08401225B2)**:**毫无疑问公开**。第`[0027]`段公开:“The mobile environment capture device 300 comprises a depth camera 302 which is arranged to capture sequences of depth images of a scene.”
### 3. 技术特征C:该图像传感器被配置用于捕获该场景的可见光信息
* **D1(US20110211754A1)**:**毫无疑问公开**。第`[0037]`段公开:“In addition, a color video camera 46 captures 2D color images of the scene.”(彩色图像即场景的可见光信息)。
* **D2(US20120060077A1)**:**毫无疑问公开**。第`[0038]`段公开:“a camera module 210 to capture images... visual media is captured in the form of an image”。
* **D3(US08401225B2)**:**毫无疑问公开**。第`[0032]`段公开:“the mobile environment capture device 300 comprises a color video camera referred to as a red-green-blue (RGB) camera 306. The RGB camera 306 is arranged to capture sequences of images of the scene at visible light frequencies.”
### 4. 技术特征D:该方法包括获得通过该距离传感器获取的该场景的深度图
* **D1**:**毫无疑问公开**。第`[0038]`段公开:“The depth coordinates computed in this fashion become the pixel values in the 3D depth images output by assembly 22.”
* **D2**:**未公开**。
* **D3**:**毫无疑问公开**。第`[0027]`段公开:“Each depth image 314 (or depth map frame) comprises a two dimensional image in which each image element (i.e. pixel) comprises a depth value...”。
### 5. 技术特征E:分析该深度图以识别该场景中的感兴趣区域;及 技术特征F:其中,该感兴趣区域包含该对象
* **D1**:**毫无疑问公开**。第`[0029]`段及FIG.3公开了Fusion Manager协调的算法,第`[0047]`段明确:“In tracking stage 72, CPU 58 tracks hand 28... The tracking is performed by a depth-dominant object tracker 90...”。对深度图分析以识别出代表“手(hand 28)”的像素区域,该区域即感兴趣区域,手即目标对象。
* **D2**:**未公开**。
* **D3**:**毫无疑问公开**。第`[0038]`段公开:“The depth image segmentation system 334 uses at least a portion of the algorithms of the real-time tracker 316 to detect when objects have moved within the depth image, and segments these objects in the depth image as foreground objects.”(通过ICP算法的离群点分析深度图,识别出的运动前景即感兴趣区域,包含运动对象)。
### 6. 技术特征G:生成指示该感兴趣区域的选择数据
* **D1**:**实质公开**。第`[0052]`段公开,算法的各个组件独立运行,其输出是一种矩阵数据结构,可以是“掩膜(mask)”或“地图(map)”;第`[0082]`段公开:“The tracking engine creates a fusion mask by taking the logical AND of: Depth mask... Color mask... Color motion mask...”。这种融合掩膜(fusion mask)在逻辑上指示了手的准确边界,其物理实质就是指导后续处理的“选择数据”。
* **D2**:**未公开**。
* **D3**:**实质公开**。第`[0038]`段公开:“The output of the depth image segmentation system 334 is a set of labeled image elements 336 for the depth image, indicating which image elements correspond to segmented foreground objects.” 标记后的图像元素(labeled image elements)直接指示了前景运动对象区域,其实质构成了“选择数据”。
### 7. 技术特征H:基于该选择数据,选择性地获得该感兴趣区域的图像数据;及 技术特征I:其中,该图像数据是通过该图像传感器获取的
* **D1**:**未公开**。D1虽然将深度和可见光信息进行了融合,但其硬件架构是**全时、全空间捕获**——即彩色相机46无差别地捕获整幅场景的可见光大图,然后在后端处理时利用深度信息去“滤除(filter out)”非ROI像素(参见第`[0076]`-`[0078]`段:“applies a depth-based filter over the color image”)。这属于“**先全量采集、后数据过滤**”,并非目标权利要求所保护的“基于选择数据,**在前端有选择性地仅获得**感兴趣区域的图像数据”这一主动节约硬件或传输带宽的控制机制。
* **D2**:**未公开**。D2虽然提到了用户界面可选择区域(ROI),但其机制是基于多台UE上传的多路完整媒体流,在云端服务器进行“剪辑合成(splicing)”,并非基于深度传感器动态生成选择数据来控制图像传感器进行选择性获取。
* **D3**:**未公开**。D3的RGB相机306同样是全时并行拍摄全景视频流,后续的高级分割算法(如GrabCut)仅是在后端将分析算力聚焦于离群点周围(第`[0064]`段),硬件数据流的获取依然是全量的。
---
## 二、 特征比对表
---
| 目标权利要求1的技术特征 | D1 (US20110211754A1) | D2 (US20120060077A1) | D3 (US8401225B2) |
| A: 距离传感器与图像传感器具有已知的空间关系 | ✓ 毫无疑问公开<br>([0039] 轴距静态分量) | ✕ 未公开 | ✓ 实质公开<br>([0032],[0034] 同一壳体集成) |
| B: 距离传感器配置用于捕获场景深度信息 | ✓ 毫无疑问公开<br>([0033] 深度图捕获) | ✕ 未公开 | ✓ 毫无疑问公开<br>([0027] 深度相机302) |
| C: 图像传感器配置用于捕获场景可见光信息 | ✓ 毫无疑问公开<br>([0037] 彩色相机46) | ✓ 毫无疑问公开<br>([0038] 相机模块210) | ✓ 毫无疑问公开<br>([0032] RGB相机306) |
| D: 获得通过距离传感器获取的场景深度图 | ✓ 毫无疑问公开<br>([0038] 输出3D深度图) | ✕ 未公开 | ✓ 毫无疑问公开<br>([0027] 深度图帧314) |
| E: 分析深度图以识别场景中的感兴趣区域 | ✓ 毫无疑问公开<br>([0047] 深度主导算法识别手) | ✕ 未公开 | ✓ 毫无疑问公开<br>([0038] ICP离群点识别前景) |
| F: 该感兴趣区域包含该对象 | ✓ 毫无疑问公开<br>([0047] ROI包含手28) | ✕ 未公开 | ✓ 毫无疑问公开<br>([0038] 包含运动前景对象) |
| G: 生成指示感兴趣区域的选择数据 | ✓ 实质公开<br>([0052],[0082] 融合掩膜mask) | ✕ 未公开 | ✓ 实质公开<br>([0038] 标记的图像元素336) |
| H: 基于选择数据,选择性地获得感兴趣区域的图像数据 | ✕ 未公开<br>(后端软件过滤,而非选择性获取) | ✕ 未公开 | ✕ 未公开<br>(后端分割聚焦,而非选择性获取) |
| I: 该图像数据是通过该图像传感器获取的 | ✕ 未公开<br>(承前特征H,未实现ROI选择性获取) | ✕ 未公开 | ✕ 未公开<br>(承前特征H,未实现ROI选择性获取) |
---
## 三、 最接近对比文件(最接近现有技术)分析
本案中,**D1(US20110211754A1)** 与 **D3(US8401225B2)** 均适合作为创造性分析中的“最接近对比文件”(本案存在双主线评述路径)。
### 1. 从整体解决的技术问题角度分析
* **目标专利** 解决的技术问题是如何利用空间互补的硬件(距离传感器+图像传感器),实现高效的对象数据提取,避免冗余数据采集或减轻计算负担。
* **D1** 旨在解决“如何在 uncontrolled 坏境照明下,高准确率、不间断地完成复杂人体部件(如手部)的分割和追踪”,其通过“深度主导”和“颜色主导”的动态双轨融合来互补克服各传感器的硬件缺陷。
* **D3** 旨在解决“如何降低在实时深度图上进行三维对象分割时的高计算复杂度损耗”,其通过复用实时相机追踪(SLAM/ICP算法)过程中的伴生离群点(Outliers)直接作为分割指导。
* **结论**:D1和D3在“多传感器互补”、“对象分割/区域识别”以及“降低数据流计算负担”的研发层面上,与目标专利处于高度相同的技术轨道。
### 2. 从技术效果角度分析
* **D1** 实现了在强光或弱光等极端环境下的稳定识别,其技术效果落脚于“数据清洗与区域提纯”。
* **D3** 实现了“零额外计算开销(little extra computational overhead)”的前景分割,效果直接导向“算力与能耗的节约”。
* 目标权利要求如果将“选择性获得”解释为硬件层面的ROI开窗读取或传输节约,则在“降低功耗/节约开销”的效果上与 **D3** 最贴近;若解释为信息融合的纯算法逻辑,则与 **D1** 最贴近。
**最终主线设定**:由于D1公开了最完整的双传感器已知空间关系配准架构(特征A、B、C、D、E、F、G全覆盖),创造性一弹首选 **D1为第一最接近对比文件**;**D3为并列的第二最接近对比文件**。
---
## 四、 核心缺陷特征及最薄弱技术特征判定
根据上述特征比对,**没有被任何一份对比文件公开的特征是:特征H与特征I的结合体。**
具体而言,三份对比文件全部在“**获得(Obtain/Receive)**”这一动作的执行阶段发生了方向性偏离:
* 现有的三大文献全部表现为:“传感器前端开启全量采集” $\rightarrow$ “获得全量图像数据” $\rightarrow$ “后端算法分析深度图生成Mask” $\rightarrow$ “在内存中过滤可见光图像(D1)”或“在算力上聚焦于离群点区域(D3)”。
* 目标权利要求的构型为:“开启深度采集” $\rightarrow$ “分析深度生成选择数据” $\rightarrow$ **“基于选择数据控制可见光图像传感器,选择性地仅获得该区域的图像数据”**。
### 无效请求中最薄弱的技术特征(突破口):
如果代表无效请求人,本案专利所有权人最坚固的防线(即我们**最薄弱的攻击点**)就是**特征H(基于选择数据,选择性地获得感兴趣区域的图像数据)**。
这是因为无论D1还是D3,其可见光数据在进入数据总线时都是“全幅”的,要说服审查员“后端像素级过滤(Filter Out)”等同于“硬件或接口层面的选择性获得”,存在显著的解释跨度。如果专利局将其解释为前端硬件控流(如相机ROI开窗或选择性曝光读取),此特征具备极强的创造性护城河。
---
## 五、 进一步的对比文件检索策略
为了彻底攻克上述防线(特征H/I),后续的补充检索必须转换思路,摆脱传统的“计算机视觉/人体手势追踪”大领域,跨界向**硬件控制及低功耗多媒体传输领域**进行定向检索。
1. **检索主题词微调与跨界结合**:
* 不要过度检索 `Hand tracking` 或 `Object segmentation`。
* 应当锁定制导词:`Selective readout`(选择性读取)、`ROI windowing`(感兴趣区域开窗)、`Conditional capture`(条件捕获)、`Sensor triggering`(传感器触发控制)、`Gated imaging`(门控成像)。
2. **具体检索策略构筑**:
* **策略一(双向硬件联动路径)**:检索高通、索尼等传感器大厂在智能摄像头领域的专利。寻找“利用低功耗超声波/红外ToF始终在线(Always-on),动态计算ROI,并依据此ROI坐标下发SPI/I2C指令给高像素RGB传感器进行开窗(Windowing)读取”的架构。
* **策略二(通信/车载视觉分块传输路径)**:在MPEG/视频编码或智能车载(MOBILEYE等专利)中,寻找为了节约车载总线带宽或无线传输带宽,先由低分辨率传感器定位目标,再由主图像传感器对指定块(Block/Tile)选择性读取并上传的现有技术。
3. **IPC分类号精确定位**:
* `H04N 23/11`(带有两种或更多种不同类型的图像传感器的相机)
* `H04N 25/40`(利用选择性提取像素信号改变图像纵横比或局部提取图像的固体图像传感器)——**此分类号是攻克特征H的重中之重**。
* `G06V 10/25`(感兴趣区域的测定)。
作为一名经验丰富的专利代理师,我将紧密结合目标专利说明书的逻辑架构,对权利要求1进行深度解析,并与两份对比文件(以下简称 D1 和 D2)的原文进行特征比对,为您梳理出最接近的对比文件、最薄弱的技术特征以及下一步的无效检索策略。
---
## 一、 目标专利权利要求1的法律解释与拆解
目标专利涉及一种**利用双传感器(距离+图像)进行场景中对象选择性图像数据获取**的方法。为了能够精准与对比文件比对,我们将权利要求1拆解为以下 9 个独立的技术特征:
* **特征A**:一种使用距离传感器和图像传感器来获得场景中的对象的图像数据的方法,其中,该距离传感器与该图像传感器具有已知的空间关系;
* **特征B**:该距离传感器被配置用于捕获该场景的深度信息;
* **特征C**:该图像传感器被配置用于捕获该场景的可见光信息;
* **特征D**:该方法包括获得通过该距离传感器获取的该场景的深度图;
* **特征E**:分析该深度图以识别该场景中的感兴趣区域;
* **特征F**:其中,该感兴趣区域包含该对象;
* **特征G**:生成指示该感兴趣区域的选择数据;
* **特征H**:基于该选择数据,选择性地获得该感兴趣区域的图像数据;
* **特征I**:其中,该图像数据是通过该图像传感器获取的。
---
## 二、 对比文件原文出处与特征比对
我们引入两份对比文件进行详细比对:
* **D1**: `US2015269739A` (APPARATUS AND METHOD FOR FOREGROUND OBJECT SEGMENTATION)
* **D2**: `CN105590312A` (前景图像分割方法和装置)
### 1. 对比文件公开性详细分析
* **对于D1 (`US2015269739A`)**:
* **特征A、B、C**:原文 `[0017]`、`[0019]` 及 `[0023]` 明文公开了“sensor(s) 160 may include a depth sensor capable of depth-sensing and providing depth data aligned with color data, e.g., RGB color data.” 并且在 `[0023]` 中提到了由于视差(parallax distortion)对 RGB-depth 进行对齐(aligning process),这实质公开了双传感器且具有**已知的空间关系**(因对齐需基于相对空间外参)。
* **特征D、E、F**:原文 `[0018]` 和 `[0028]` 公开了深度帧生成器生成 depth frame,对象边界提取器通过对深度帧等进行连通域分析(connected component analysis)产生候选团块(candidate blobs),并根据位置信息选择包含前景对象(working foreground object blob)的区域。这属于**毫无异议公开**分析深度图识别包含对象的感兴趣区域。
* **特征G、H、I(实质未公开/不满足“选择性获得”)**:D1 的技术方案是**先获取全图的 RGB 和深度数据**,然后再在算法内部进行像素级的遮罩(motion mask)和颜色模型建模,以进行前景分割(foreground segmentation)。这属于**“获取全部数据后再行算法处理”**,而权利要求1的特征G、H则是**“生成选择数据 -> 基于选择数据选择性地获得感兴趣区域的图像数据”**(偏向于硬件级控制或上游数据流选择性采集)。因此,D1 对 G、H、I 未公开或仅存在争议性的实质公开。
* **对于D2 (`CN105590312A`)**:
* **特征A、B、C、D**:原文 `[0043]` 明文公开了“现有技术中存在能够同时捕捉场景的颜色以及深度信息的摄像装置,例如PrimeSense摄像头、Kinect或其他深度摄像头...利用深度摄像机拍摄目标场景的RGB彩色图像和深度图像”。毫无异议公开了双传感器及获取深度图。
* **特征E、F**:原文 `[0047]` 公开了“基于输入图像的深度信息,对输入图像进行粗略分割以获得初始三色图...对该区域之外的像素...判定该像素属于前景区域/背景区域”,毫无异议公开。
* **特征G、H、I(同样不满足“选择性获得”)**:与 D1 类似,D2 在 `[0043]` 中明确其计算过程是“获取输入图像及其颜色信息和深度信息”,也是**先采集完整的图像,再在后端的粗略分割部件和三色图优化部件中进行处理**。其没有在采集阶段通过选择数据来“选择性地获得感兴趣区域的图像数据”。
### 2. 技术特征比对表
| 目标权利要求1的技术特征 | D1 (US2015269739A) 详细出处及公开情况 | D2 (CN105590312A) 详细出处及公开情况 |
| 特征A (双传感器+已知空间关系) | 实质公开:[0019], [0023] 提到了 depth sensor 配合 RGB 传感器,且进行对齐(aligning process based on pixel alignment)。 | 实质公开:[0043] 提到了 PrimeSense、Kinect 等深度摄像头,能同时捕捉颜色和深度信息。 |
| 特征B (距离传感器捕获深度) | 毫无异议公开:[0019] "depth sensor capable of depth-sensing and providing depth data". | 毫无异议公开:[0043] "深度图像的像素值表示某一时刻该场景中物体到摄像机的距离"。 |
| 特征C (图像传感器捕获可见光) | 毫无异议公开:[0019] "...providing depth data aligned with color data, e.g., RGB color data." | 毫无异议公开:[0043] "利用深度摄像机拍摄目标场景的RGB彩色图像"。 |
| 特征D (获得场景深度图) | 毫无异议公开:[0018] "depth frame generator 120 may be able to generate a full depth frame". | 毫无异议公开:[0042] "步骤S110,获取输入图像及其颜色信息和深度信息"。 |
| 特征E (分析深度图识别感兴趣区域) | 毫无异议公开:[0028] "overlay the motion mask on the depth frame to generate a component map... produce a set of candidate blobs." | 毫无异议公开:[0047] "利用深度信息进行阈值判断...对检测到的人的区域实施先腐蚀再膨胀操作,可以得到未知区域"。 |
| 特征F (感兴趣区域包含对象) | 毫无异议公开:[0028] "select a working foreground object blob, which may contain the foreground object". | 毫无异议公开:[0047] "将检测到的人的区域假定为前景区域...生成初始三色图"。 |
| 特征G (生成感兴趣区域的选择数据) | 实质公开/有争议:[0028] 生成 component map 或候选 blob 可以视为某种选择数据,但仅用于后续分割。 | 实质公开/有争议:[0047] 生成的初始三色图(标记前景/背景/未知),但同样仅为算法内部掩膜。 |
| 特征H (基于选择数据,选择性地获得图像数据) | 未公开:D1 是先获取全图的传感器数据,再在后端利用算法分割([0018]),而非“选择性获得数据”。 | 未公开:D2 也是获取完整的输入图像后进行粗略分割([0042] 步骤S110),不属于选择性采集。 |
| 特征I (图像数据通过图像传感器获取) | 毫无异议公开:[0019] RGB 数据由 sensor(s) 160 中的 color 架构获取。 | 毫无异议公开:[0043] 目标场景的 RGB 彩色图像由摄像装置捕捉。 |
---
## 三、 最接近的对比文件(Closest Prior Art)分析
在创造性分析中,**D1 (`US2015269739A`)** 和 **D2 (`CN105590312A`)** 均有资格作为**最接近的对比文件**。在此我们从技术问题和技术效果两个维度进行深度考量:
### 1. 技术问题维度
* **目标专利** 解决的技术问题是:如何在双传感器系统中,降低数据传输或处理的带宽/功耗,避免全面获取可见光图像带来的计算浪费,通过深度图先圈定范围,再“选择性地获得”该区域的可见光数据。
* **D1 与 D2** 解决的技术问题是:如何利用深度信息提高计算机视觉中**前景图像分割(抠图)**的边缘准确性,避免传统的单目抠图需要建立背景模型或者三色图不准的问题。
### 2. 技术效果维度
* D1 和 D2 的技术效果在于得到了更干净的前景图(边缘平滑、无背景残留)。
* 而目标专利的效果在于**数据采集阶段的按需获取**。
### 3. 结论:谁更适合做最接近的对比文件?
**D2 (`CN105590312A`) 更适合作为主引用对比文件(D1可作为平行独立起点)。**
原因在于:D2 明确给出了基于深度信息划分“未知区域、前景区域、背景区域”的三色图架构,其“初始三色图”的生成逻辑与目标专利的“分析深度图识别感兴趣区域并生成选择数据”在逻辑拓扑上高度契合。
---
## 四、 核心漏洞:最薄弱的技术特征与法律对抗防御
经比对,本案在提出无效请求或进行创造性答辩时,**最薄弱(即最不容易被证明具备创造性,或者说最容易被对比文件攻破)**的技术特征是:
> **特征E + 特征F + 特征G 的组合(即:分析深度图 -> 确定包含对象的感兴趣区域 -> 生成选择数据/初始三色图)。**
### 原因分析:
无论是 D1 的 `[0028]`(通过连通域分析深度图和运动掩膜产生候选 blob 并选择 working blob)还是 D2 的 `[0047]`(利用深度阈值分割出人的区域并生成初始三色图),都已经将“利用深度数据圈定感兴趣对象并生成对应的区域数据(blob/三色图标记)”这一套机制完全公开了。
### 真正构筑创造性壁垒的特征(安全岛):
本案真正最稳固的特征是 **特征H(基于该选择数据,选择性地获得该感兴趣区域的图像数据)**。
* **法律对抗防御点**:代理师应当向审查员/专利局强调,D1 和 D2 的整个机制是 **“全时全面采集(Full Acquisition) + 后期算法裁切(Post-Processing Segmentation)”**。而本权利要求保护的是 **“上游选择性获得(Selective Acquisition)”**——例如,在硬件或底层驱动层面,图像传感器只有在接收到基于深度图生成的“选择数据”后,才去读取或传输感兴趣区域(ROI)的像素数据。这种在“数据采集源头”做减法的技术手段,能带来降低传感器功耗和总线带宽的显著技术效果,这是 D1 和 D2 在图像分割这一纯软件算法层面上绝对**没有给出任何技术启示**的。
---
## 五、 进一步的对比文件检索策略
由于 D1 和 D2 均未能完美破坏**特征H**(选择性地获得图像数据),若要成功无效掉该权利要求1,我们需要调整检索策略,补充“硬件级 ROI 采集”或“多传感器联动低功耗控制”领域的对比文件。
### 1. 检索关键词调整与扩展
* **核心控制机制词**:`感兴趣区域采集`、`选择性读取`、`选择性获取`、`ROI读取`、`窗口读取`、`Selective readout`、`ROI acquisition`、`Windowed readout`。
* **双传感器联动词**:`传感器唤醒`、`深度触发`、`双摄像头低功耗`、`Sensor trigger`、`Depth assisted acquisition`。
### 2. 分类号(IPC/CPC)精准锁定
应当跳出单纯的“图像分割/计算机视觉”(G06T7/00)分类号,向**底层图像采集控制与摄像头硬件系统**分类号进军:
* **H04N23/60**:控制摄像机或摄像机系统的控制装置(例如,基于场景分析的采集控制)。
* **H04N25/40**:固体图像传感器(CMOS/CCD)的提取像素信号的处理(特别是支持 ROI 窗口化抽样读取的传感器控制)。
* **G06V10/25**:感兴趣区域(ROI)的确定或选择。
### 3. 目标检索场景构想
寻找如下场景的现有技术:一种双摄像头模组(如手机或自动驾驶车载系统),ToF(时间飞行法)距离传感器保持常开以低功耗扫描场景,当ToF发现前方有物体靠近(分析深度图识别ROI),生成中断触发信号或坐标数据(选择数据),该数据发送给主 RGB 图像传感器,主传感器据此**仅开启该坐标区域的像素阵列进行曝光读取(光电信号导出)**,从而实现整体系统的省电。这类跨界在“主动感知与低功耗控制”领域的专利,将是彻底击毁特征H的终极武器。
作为一名经验丰富的专利代理师,我将为您对目标权利要求1进行深度解析,并结合对比文件D1和D2的原文进行精准的特征比对与创造性评价,最后为您指出无效请求的最薄弱环节并制定下一步的检索策略。
首先明确本案涉及的对比文件公开号及代称:
* **最接近对比文件 / 对比文件1(D1)**:`US9552655B2` (*Image processing via color replacement*)
* **对比文件2(D2)**:`US20170124717A1` (*METHOD AND SYSTEM OF BACKGROUND-FOREGROUND SEGMENTATION FOR IMAGE PROCESSING*)
---
## 一、 权利要求特征分解与对比文件原文比对表格
以下表格紧密结合目标专利权利要求1的文本架构,将其拆解为A至I共9个技术特征,并与D1、D2的英文原文及详细出处进行逐项横向比对。
| 目标专利权利要求1的技术特征 | 对比文件1 (D1: US9552655B2) 原文比对及出处 | 对比文件2 (D2: US20170124717A1) 原文比对及出处 | 特征比对结论 |
| 技术特征A: 一种使用距离传感器和图像传感器来获得场景中的对象的图像数据的方法,其中,该距离传感器与该图像传感器具有已知的空间关系; | 实质公开。 [0104] "The imaging components comprise an RGB camera and a depth sensor. These are installed vertically in line...[0126] ...as this is positioned just above the depth sensor. To obtain this alignment a calibration mode operation is conducted..." 分析: RGB相机即图像传感器,深度传感器即距离传感器。垂直线性安装且通过校准消除对齐偏差,构成了“已知的空间关系”。 | 毫无疑问公开。 [0003] "...3D or depth sensing cameras (such as a RGBD cameras) that can form a 3D space of a scene." 分析: 明确公开了集成有红外/深度和RGB的多模态相机,二者空间关系已知。 | D1实质公开;<br>D2完全公开。 |
| 技术特征B: 该距离传感器被配置用于捕获该场景的深度信息; | 毫无疑问公开。 [0113] "1. The PC application obtains a dense depth map... up to a range of 3 m... returned by the depth sensor." | 毫无疑问公开。 [0021] "...uses triangulation algorithms to determine 3D space coordinates... to form a depth map or depth image for the scene." | D1、D2均完全公开。 |
| 技术特征C: 该图像传感器被配置用于捕获该场景的可见光信息; | 毫无疑问公开。 [0114] "2. High resolution HD images of the area in front of the mirror are captured in real-time... from the RGB camera." | 毫无疑问公开。 [0023] "...the color channel is used to refine the foreground mask by using the higher quality RGB channel..." | D1、D2均完全公开。 |
| 技术特征D: 该方法包括获得通过该距离传感器获取的该场景的深度图; | 毫无疑问公开。 [0122] "In the tracking process a depth map is received from the depth sensor..." | 毫无疑问公开。 [0028] "...obtain pixel data comprising non-depth data and depth data for at least one image... generate a depth map or the depth image." | D1、D2均完全公开。 |
| 技术特征E: 分析该深度图以识别该场景中的感兴趣区域; | 毫无疑问公开。 [0048]-[0051] "...determining, from the depth map, an area of interest in the input image to which colour replacement processing can be applied..." | 毫无疑问公开。 [0023] "...the depth channel is used to perform 3D analysis of the scene in an image in order to generate a coarse determination of whether areas on the image are part of the foreground..." 以及 [0020] "...region of interest (ROI)..." | D1、D2均完全公开。 |
| 技术特征F: 其中,该感兴趣区域包含该对象; | 毫无疑问公开。 [0108] "...When a user stands in front of the Mirror apparatus, (in the pre-determined garment)..." 以及 [0012] "...the foreground regions in this case are also the areas of interest." 分析: 对象为用户或衣服。 | 毫无疑问公开。 [0028] "...the largest component is classified as foreground and designated the main component... when attempting to use a person or group of people as the foreground, or an image of a certain single object such as car." | D1、D2均完全公开。 |
| 技术特征G: 生成指示该感兴趣区域的选择数据; | 实质公开。 [0030]-[0031] "...generating from the depth map a foreground map indicating areas of the input image which are considered to relate to a foreground area... excluding areas of interest in the binary map which do not occur as foreground areas..." 分析: 这里的“foreground map”在计算机语义中即作为掩膜(Mask)或二值选择数据。 | 实质公开。 [0023] "...in order to generate a coarse determination of whether areas on the image are part of the foreground (foreground mask) or background of the image." 分析: 显式生成了“foreground mask”(前景掩膜),其本质就是指示感兴趣区域的选择数据。 | D1、D2均实质公开。 |
| 技术特征H: 基于该选择数据,选择性地获得该感兴趣区域的图像数据; | 未公开(存在实质差异)。 D1在获得全局RGB图后,利用该数据限制后续的颜色变换处理区域([0116], [0156] "restrict the processing... to a particular area"),而非“选择性地获得(采集/读取)”图像数据。 | 未公开(存在实质差异)。 D2同样是先全图采集高分辨率RGB数据([0023]),再利用Mask在边界进行局部精细化分割算法,不属于前端图像数据的选择性获得。 | D1、D2均未公开。 |
| 技术特征I: 其中,该图像数据是通过该图像传感器获取的。 | 毫无疑问公开。 [0060] "...a video camera for imaging a scene to form an input image;" 结合整个框架,图像数据由RGB相机获取。 | 毫无疑问公开。 [0023] "...by using the higher quality RGB channel..." 图像数据由图像传感器的可见光通道获取。 | D1、D2均完全公开。 |
---
## 二、 最接近对比文件(Closest Prior Art)分析
在创造性分析中,**D1 (US9552655B2)** 和 **D2 (US20170124717A1)** 均具备作为最接近对比文件的资格,属于“双主导缺陷”构架。
### 1. 从整体解决的技术问题角度分析
* **本申请意图解决的问题:** 如何在高分辨率、大数据量的图像采集或处理中,降低图像传感器的数据吞吐量和处理功耗,通过低分辨率的深度图预先识别ROI,从而“选择性”地只获取感兴趣区域的可见光图像数据。
* **D1解决的问题:** 如何在实境试衣(AR)或虚拟化妆场景中,准确且实时地识别出衣服或嘴唇等特定前景区域,并对其进行精准的颜色替换,同时消除背景干扰。
* **D2解决的问题:** 如何克服传统高分辨率图像全局颜色分割计算量巨大、耗时长的缺陷,利用低分辨率的深度信息进行粗分割,再利用高分辨率颜色信息仅在“边界带(border band)”进行精细化微调。
* **评述:** 从**降低高分辨率全局处理计算量**的角度看,**D2与本申请最为接近**;从**多传感器协同及实时硬件渲染系统级架构**看,**D1与本申请最为接近**。
### 2. 从技术效果角度分析
* **D1的效果:** 实现了GPU层面的高效2D复合渲染,帧率大于10 FPS,边缘融合自然。
* **D2的效果:** 通过避免在非边界的内部区域进行高像素级分割,大幅削减了运算开销(Data reduction)。
* **评述:** 本申请的最终效果同样落在“数据精简、提升系统整体效能”上。因此,D1和D2在效果和方案架构上都有强烈的贴合度,**两者均可作为创造性评述的第一步(最接近的对比文件)**。
---
## 三、 区别技术特征与无效请求最薄弱点分析
通过上述特征比对,可以推导本案在专利法意义上的唯一区别技术特征:
> **区别技术特征(特征H的主体动作):** “基于该选择数据,**选择性地获得**该感兴趣区域的图像数据”。
### 1. 区别特征的技术内涵与实质差异
本申请的“选择性地获得”在硬件层面意味着**前端采集/读取控制**——即图像传感器(如CMOS)在开窗(Windowing/ROI读取模式)下工作,只对有物体的像素区域进行电荷读取和数据传输。
而 **D1和D2** 披露的都是**后端算法限域处理**——RGB图像传感器依然“捕获了全场景的可见光信息”,只是在拿到全图后,通过算法掩膜(Stencil/Mask)“选择性地处理”或“选择性地在边界 refinement”。
### 2. 无效请求中最薄弱的技术特征
这也是本案**最薄弱(即最难被无效掉、对专利权人最有利)**的特征。原因如下:
1. **D1/D2的明文反向教导:** D2的段落`[0023]`明确指出,其逻辑是先用低分辨率深度通道生成Mask,再用高分辨率(1920x1080)的RGB全通道去精细化边缘。如果前端RGB传感器只“选择性地获得ROI图像”,那么ROI外部的背景数据直接丢失,D2就无法在边界带(Border band)向外延展像素进行GrabCut或Active Contour计算。因此D2存在反向教导。
2. **公知常识转换障碍:** 审查员或请求人通常会辩称“在软件层面的选择性处理与硬件层面的选择性获得是等价的/属于常用技术手段的简单叠加”。但从电路拓扑和数据流向来看,前者没有解决图像传感器全帧读出的功耗和带宽瓶颈,而本申请解决了。
---
## 四、 步进式对比文件检索策略(Invalidation Search Strategy)
为了成功阻击本申请的创造性,必须针对上述区别特征进行“补点检索”(补足硬件开窗/选择性读取的对比文件)。建议采取以下三步检索策略:
### 第一步:锁定核心技术主题词与IPC/CPC分类号组合
传统的图像分割(G06T7/11)很难检出底层的硬件控制。必须将检索触角伸向**图像传感器控制结构**或**主动视觉系统**。
* **分类号精准锁定:**
* `H04N25/47`(专门用于选择性像素读取、ROI读取、像素截取的图像传感器控制电路)
* `H04N23/611` / `H04N23/617`(基于场景识别、目标追踪来控制相机的系统)
* `G01S17/894`(结合飞行时间ToF与可见光摄像头的系统)
* **关键词矩阵:**
* (CMOS OR "image sensor" OR "pixel array") AND ("ROI readout" OR "selective readout" OR "windowing mode" OR "partial scanning")
* AND ("depth map" OR "range sensor" OR "ToF" OR "structured light")
### 第二步:聚焦“跨层级联合控制”的专利族检索
寻找将“深度/距离传感器”的输出作为硬件反馈直接连入“图像传感器驱动/行选通线(Row driver)”的在先公开文献。
* **检索逻辑:** 寻找这样一种架构:距离传感器以极低的分辨率和功耗持续运行,一旦其硬件DSP检测到物体(Z轴变化),立即计算出对应的X-Y坐标范围,并将该范围作为Windowing指令发送给主可见光CMOS传感器,使其唤醒并仅对该行/列供电读出。
* **重点厂商靶向清查:** 索尼(Sony Semis)、三星电子(Samsung Electronics)、意法半导体(STMicroelectronics)、OmniVision。这些厂商在3D堆叠式图像传感器(Stacked CMOS sensor)领域有大量将逻辑计算层与像素抽样层结合的底层专利,极有可能在2017-2024年间公开过“利用ToF预激活可见光ROI读取”的底层芯片专利。
### 第三步:教科书与公知常识证据库的“技术手段等同”论证
若穷尽检索仍无法找到深度图与可见光CMOS开窗直接联动的专利,需启动公知常识防御:
* 调取 CMOS Image Sensor 的通用技术手册,证明 **“CMOS传感器支持通过选通寄存器输入坐标来选择性输出特定ROI的图像数据”** 属于本领域广泛应用的公知常识(即Windowing功能)。
* 结合**D1/D2**已经实质公开的“利用深度图确定ROI的选择数据(Mask)”,顺理成章地论证:本领域技术人员在面对降低功耗、减少冗余可见光数据传输的技术诉求时,直接将D1/D2计算出的ROI选择数据(软件Mask坐标)作为CMOS硬件开窗的控制参数输入,这属于**将公知常识组合应用以解决常规技术诉求的显而易见的手手段**,从而最终攻克权利要求1的创造性防线。
作为一名经验丰富的专利代理师,在进行权利要求的合规性审查、无效宣告请求分析或侵权比对时,必须严格将权利要求的技术特征与说明书以及对比文件(Prior Art)的原始文本进行逐一对应。
针对您提供的权利要求1以及三份对比文件,我为您进行了深入的文本梳理、特征比对、创造性最接近对比文件的确立以及无效请求的薄弱特征分析,具体报告如下:
---
## 一、 对比文件基本信息及出处定义
为了在后续分析中清晰、准确地指代各对比文件,现将各对比文件的公开号及在本文中的指代符号定义如下:
* **对比文件1(D1)**:`US20100214419A1` (Video Sharing),公开日:2010年8月26日。
* **对比文件2(D2)**:`US20110255589A1` (Methods of compressing data and methods of assessing the same),公开日:2011年10月20日。
* **对比文件3(D3)**:`US20120050524A1` (APPARATUS AND METHOD FOR GENERATING AN OVERVIEW IMAGE OF A PLURALITY OF IMAGES USING AN ACCURACY INFORMATION),公开日:2012年3月1日。
---
## 二、 权利要求1的技术特征拆解
为了进行精确的侵权与创造性比对,将权利要求1拆解为以下9个独立的技术特征:
* **特征A**:一种使用距离传感器和图像传感器来获得场景中的对象的图像数据的方法,其中,该距离传感器与该图像传感器具有已知的空间关系;
* **特征B**:该距离传感器被配置用于捕获该场景的深度信息;
* **特征C**:该图像传感器被配置用于捕获该场景的可见光信息;
* **特征D**:该方法包括获得通过该距离传感器获取的该场景的深度图;
* **特征E**:分析该深度图以识别该场景中的感兴趣区域;
* **特征F**:其中,该感兴趣区域包含该对象;
* **特征G**:生成指示该感兴趣区域的选择数据;
* **特征H**:基于该选择数据,选择性地获得该感兴趣区域的图像数据;
* **特征I**:其中,该图像数据是通过该图像传感器获取的。
---
## 三、 各对比文件技术特征比对及原文出处分析
### 1. 对比文件1(D1: US20100214419A1)分析
D1公开了一种多路视频分享和拼接系统。
* **公开的特征**:D1公开了使用图像传感器(如手机摄像头)捕获可见光信息(视频流),并通过重叠度评估、对象检测与追踪来分析场景。
* **未公开的特征**:D1完全没有引入“距离传感器”以及“深度图(Depth map)”的概念。D1的对象检测(特征E、F)完全是在二维RGB可见光视频流上通过色彩-纹理等无监督分割算法实现的,而非分析深度图。
* **具体原文出处**:
* 特征C、I:段落`[0007]`("mobile video capture devices such as mobile telephones capture video streams of the same event")及段落`[0020]`。
* 特征E、F(二维层面):段落`[0043]`("An object detection and tracking engine 506 may be provided which automatically extracts objects (or potentially just regions) from video sequences.")。
### 2. 对比文件2(D2: US20110255589A1)分析
D2公开了一种基于人类视觉系统(HVS)特性的视频压缩和质量评估方法。
* **公开的特征**:D2提到了根据显著性(Saliency)和可感知性(Perceptibility)创建掩膜(Mask),从而识别场景中人眼关注的“感兴趣区域”(ROI),并针对非显著区域进行模糊、跳过残差或粗量化以实现选择性编码(选择性获得图像数据)。
* **未公开的特征**:D2的显著性掩膜和感兴趣区域的识别,主要是基于可见光信息(颜色、对比度、运动、皮肤色调)来计算的,并未公开通过“距离传感器获取深度图并分析深度图”来识别ROI。尽管其在背景技术段落`[0006]`提到了大飞机使用“激光传感器(laser sensor)精密测量高度以生成3D结构”,但这仅属于对传统技术缺陷的背景描述,且并未将其应用于本申请所述的“距离传感器与图像传感器具有已知空间关系,并通过分析深度图生成选择数据来选择性获得图像数据”的架构中。
* **具体原文出处**:
* 特征E、F、G(基于可见光显著性):段落`[0027]`("Saliency refers to the reality that human observers do not focus on each area of a frame of a video equally... human observers focus only particular areas")以及段落`[0144]`("A saliency map extracts certain features from a video sequence... Areas in a video that are non-salient... can be assigned a lower priority")。
* 特征H:段落`[0165]`("level #1 [most salient] can be left unfiltered... level #N will have the highest blurring effect and will generally take up the least encoding bit-rate")及段落`[0173]`(残差跳过模式)。
### 3. 对比文件3(D3: US20120050524A1)分析
D3公开了一种利用无人机(UAV)搭载传感器和相机生成多幅图像的拼接总览图的装置和方法。
* **实质公开的特征**:D3公开了无人机搭载相机(图像传感器)以及辅助传感器系统(Sensor system,包括IMU、GPS、高度计等)。其中高度计和传感器系统结合可以获取高度/距离信息。更关键的是,D3在段落`[0003]`和`[0006]`明确提到了利用多视图几何法(Structure from motion)或激光传感器(Laser sensor)获取场景的“深度图(depth-maps)”和“3D重构/3D结构”,并显式公开了“基于3D空间位置,计算并确定公共同平面内(如地面 reference plane)的重叠区域特征,排除平面外(如屋顶、汽车、树木等对象)的干扰特征,重新调整图像分配位置”。这与本申请“分析深度图以识别包含对象的感兴趣区域,生成选择数据,选择性获得该区域图像”的构思在三维空间的数据筛选和选择层面上形成了**实质公开**或**高度评述相关性**。
* **具体原文出处**:
* 特征A、B、C:段落`[0011]`("a camera configured to take an image... a sensor system configured to determine a position... to acquire a position information")、段落`[0006]`("A System for Real-time Generation of Geo-referenced Terrain Models... useing laser sensor to precisely measure the elevations. For this, a larger airplane with two camera systems may be used.")。
* 特征D、E、F、G、H:段落`[0003]`("depth-maps... 3D reconstruction of the scene")、段落`[0018]`、`[0063]`("The image processor 620 determines feature points... and to obtain 3-dimensional positions of the common feature points. Further, the image processor 620 determines common feature points located within a predefined maximum distance of relevance to a reference plane based on the 3-dimensional positions... to identify relevant common feature points. Additionally, the image processor 620 processes the new image 602 by assigning the new image to a position... without considering common feature points located beyond the predefined maximum distance to the reference plane.")。
---
## 四、 技术特征比对表
依据上述原文拆解,将权利要求1(简称“权1”)的特征与D1、D2、D3进行横向比对如下表所示:
| 权1技术特征 | D1(US20100214419A1)是否公开及理由/出处 | D2(US20110255589A1)是否公开及理由/出处 | D3(US20120050524A1)是否公开及理由/出处 |
| 特征A:距离/图像传感器,已知空间关系 | 未公开。<br>仅公开多个可见光摄像头(手机)。 | 未公开。<br>未涉及双传感器已知空间关系架构。 | 实质公开。<br>段落[0011]、[0006]公开无人机/飞机搭载相机系统与传感器系统(包含激光传感器),具有明确空间位置关系。 |
| 特征B:距离传感器捕获深度信息 | 未公开。<br>无距离传感器。 | 未公开。<br>[0006]背景技术提及激光测高,非本案架构。 | 毫无疑问公开。<br>段落[0006]明确公开“useing laser sensor to precisely measure the elevations”(利用激光传感器精密测量高度)。 |
| 特征C:图像传感器捕获可见光信息 | 毫无疑问公开。<br>段落[0007]、[0020]:手机摄像头捕获RGB视频流。 | 毫无疑问公开。<br>段落[0022]:捕获并处理图像序列(像素亮度Luma和色度Chroma)。 | 毫无疑问公开。<br>段落[0011]:相机在飞行中拍摄图像("a camera configured to take an image during a flight")。 |
| 特征D:获得距离传感器获取的深度图 | 未公开。<br>无深度数据。 | 未公开。<br>无深度图引入。 | 毫无疑问公开。<br>段落[0003]明确公开利用激光或多视图构建“depth-maps”(深度图)及“3D reconstruction”。 |
| 特征E:分析深度图识别感兴趣区域 | 未公开。<br>[0043]的目标检测基于2D可见光,非深度图。 | 未公开。<br>[0027]、[0144]的显著性ROI基于RGB视觉特征,非深度图。 | 实质公开。<br>段落[0018]、[0063]:图像处理器分析三维空间点云,识别并确定在参考平面内外的特征区域("determine common feature points located within a predefined maximum distance... to identify relevant common feature points")。 |
| 特征F:感兴趣区域包含对象 | 未公开。<br>同上,非基于深度图。 | 未公开。<br>同上。 | 实质公开。<br>段落[0018]、[0063]:ROI区域有选择性地包含或排除特定三维高度的对象(如屋顶、地面、汽车等物)。 |
| 特征G:生成指示ROI的选择数据 | 未公开。<br>同上。 | 隐含公开。<br>[0144]生成显著性掩膜(Mask)作为选择依据,但非基于深度图。 | 实质公开。<br>段落[0018]、[0063]:通过计算三维坐标判定点是否在参考平面内,以此作为后续图像定位处理的筛选依据(选择数据)。 |
| 特征H:基于选择数据选择性获得ROI图像数据 | 未公开。<br>同上。 | 隐含公开。<br>[0165]基于ROI掩膜,对非显著区域进行模糊或残差跳过处理(属于数据的选择性处理/获得)。 | 实质公开。<br>段落[0018]、[0063]:根据上述筛选结果,在重叠区内“有选择性地”仅处理和比对参考平面内的特征,而不考虑超出距离的对象特征("without considering common feature points located beyond...")。 |
| 特征I:图像数据通过图像传感器获取 | 毫无疑问公开。<br>段落[0007]。 | 毫无疑问公开。<br>段落[0022]。 | 毫无疑问公开。<br>段落[0011]。 |
---
## 五、 最接近对比文件的确立与创造性分析
### 1. 最接近对比文件(最接近现有技术)的选择
在创造性分析中,**对比文件3(D3: US20120050524A1)最适合作为最接近的对比文件**。
* **技术领域与解决的技术问题最接近**:
本申请解决的技术问题是:如何利用已知的距离传感器(深度信息)和图像传感器空间关系,高效、准确地识别并选择性获取场景中特定对象的可见光图像数据,以减少无用数据处理或提高空间几何成像精度。
D3同样聚焦于多传感器(相机+位置/激光传感器)联合成像领域,旨在解决低空或复杂场景成像中,由于“非平面表面、不同高度的对象(如汽车、房屋、树木)导致传统2D图像拼接产生几何畸变、距离失真和拼接 disparity(不连续)”的技术问题(参见D3段落`[0004]`、`[0096]`)。这与本申请在如何利用深度/三维空间数据处理可见光图像的背景和技术诉求上完全一致。
* **技术效果最接近**:
D3通过引入深度图/3D点云,选择性地保留或剔除特定高度的对象特征,最终达到了“既能保证图像拼接的流畅性(美观),又能精准保留真实地理几何距离(geo-referencing accuracy)”的技术效果(参见D3段落`[0017]`、`[0103]`)。这与本申请通过深度ROI选择性获得可见光数据以提高图像获取效率和准确性的效果高度契合。
### 2. 区分特征与创造性三步法评述
若以 **D3** 作为最接近的对比文件(主审文献):
* **已被D3公开的特征**:特征C、I(相机获取可见光)毫无疑问公开;特征A、B、D(激光传感器测高、深度图)毫无疑问公开;特征E、F、G、H在三维点云区域计算及特征选择性处理层面上已被**实质公开**。
* **可能的微弱区分特征**:本申请将分析深度图的动作明确定义为“识别场景中的感兴趣区域(ROI)并生成选择数据,以选择性地**获得**(obtain)该感兴趣区域的图像数据”;而D3的表述更偏向于在后端图像处理器中“选择性地**处理**(process/consider)重叠区内参考平面内的特征点”。
* **其他对比文件是否公开此特征**:
**对比文件2(D2)** 已经公开了“基于显著性ROI掩膜(选择数据),在编码端或获取端进行预过滤(预模糊)、残差跳过(Residual skip mode)等选择性获得/处理图像数据”的技术手段(段落`[0045]`、`[0165]`、`[0173]`)。
**创造性结论评述**:
本领域技术人员在D3的基础上,为了进一步减少无效可见光数据的传输带宽或降低图像处理器的运算开销,非常容易想到引入D2中所公开的“基于ROI掩膜进行选择性数据获取/过滤(如残差跳过或选择性粗量化)”的构思,将其前置到图像数据的获取阶段,从而自然得出“分析深度图识别ROI后,生成选择数据,选择性地仅获得该ROI的可见光图像数据”的方案。因此,权利要求1在 D3 + D2 的结合下**不具备创造性**。
---
## 六、 提出无效请求最薄弱的技术特征分析
若您代表请求人对本专利提出无效宣告请求,该权利要求中**最薄弱、最容易被攻破**的技术特征是:
> **特征E(分析该深度图以识别该场景中的感兴趣区域)** 与 **特征H(基于该选择数据,选择性地获得该感兴趣区域的图像数据)** 的结合体。
**原因分析**:
1. **概念的上位化与实质等同**:专利权人可能会辩称,本申请是在“获取端”就利用深度图过滤掉了非ROI的图像,从而节省了硬件层面的读取或传输资源;而现有技术(如D3)是在“处理端”通过算法剔除三维空间参考平面外的点。但从专利法实质等同或显而易见性原则来看,“选择性获得数据”和“获得数据后选择性留下/处理”在计算机视觉和传感器数据流控制领域属于惯用技术手段的置换,且D2明确给出了利用Mask在Codec前置阶段进行预处理(Preconditioning)以“选择性分配比特率/选择性获得核心数据”的启示。
2. **D3的深度图分析极其彻底**:D3的段落`[0018]`和`[0063]`几乎把“如何利用深度/三维空间坐标来划分感兴趣的平面区域,并有意识地忽略(without considering)平面外对象”的过程写成了标准教科书。这意味着“利用深度信息做数据的区域选择性过滤”这一核心发明点在案前已被公知。
---
## 七、 进一步的对比文件检索策略建议
为了在无效宣告请求中做到“一击必杀”(形成完美的毫无争议的完全公开,或者更强的一对一销毁创造性证据链),建议进一步采取以下检索策略:
1. **关键词微调与传感器组合检索**:
* **核心控制芯片/物理架构层检索**:本申请的“选择性获得感兴趣区域的图像数据”在芯片设计(如ISP,图像信号处理器;或者CIS,互补金属氧化物半导体图像传感器)中常被称为 **“ROI Windowing”(感兴趣区域窗口化)** 或 **“Skipping/Binning mode driven by secondary sensor”**。
* 建议检索词组合:`(RGB-D or "depth sensor" or lidar) AND ("ROI windowing" or "selective readout" or "selective capture" or "conditional capture")`。
* 这能帮您直接找出“在硬件/驱动层利用深度传感器的数据,去控制可见光相机的像素矩阵有选择性地只读取/输出特定区域数据”的底层前置技术文献。
2. **聚焦智能驾驶与机器人避障/视觉引导领域(跨领域检索)**:
* 小无人机拼接领域(D3)如果仍有答辩空间,可将检索视线移至**自动驾驶(Autonomous Driving)中的车载相机与激光雷达(LiDAR)融合系统**,或**工业机器人三维视觉引导**领域。
* 在这些领域中,“利用LiDAR获取深度图 -> 分析深度图识别出障碍物或目标对象(ROI) -> 触发高分辨率可见光相机对该ROI进行局部高清抓拍/图像数据获取”是极为常规且发展多年的标准技术(例如:基于深度图触发特定区域的摄像头曝光或数据流截取)。
* 建议检索IPC分类号:`G06V10/25`(识别或定位感兴趣区域)、`G01S17/89`(激光雷达三维成像)、`G06T7/00`(图像分析)。
作为一名经验丰富的专利代理师,我将为您对目标权利要求1进行深度解析,并结合三份对比文件(D1、D2、D3)的原文及出处进行详尽的侵权/无效技术特征比对。
### 一、 目标专利权利要求1的拆解与特征分析
目标专利权利要求1保护的是一种“使用距离传感器和图像传感器来获得场景中的对象的图像数据的方法”。其核心发明点在于:**先利用距离传感器获取低数据量的深度图并分析出感兴趣区域(ROI),再基于该选择数据,选择性地利用图像传感器去获取该感兴趣区域的可见光图像数据**。这种“深度引导可见光选择性采集”的机制,能够大幅降低可见光图像传感器的数据采集和处理开销。
为了进行精确的对比分析,我们将权利要求1拆解为以下9个独立的具体技术特征:
* **技术特征A**:一种使用距离传感器和图像传感器来获得场景中的对象的图像数据的方法,其中,该距离传感器与该图像传感器具有已知的空间关系;
* **技术特征B**:该距离传感器被配置用于捕获该场景的深度信息;
* **技术特征C**:该图像传感器被配置用于捕获该场景的可见光信息;
* **技术特征D**:该方法包括获得通过该距离传感器获取的该场景的深度图;
* **技术特征E**:分析该深度图以识别该场景中的感兴趣区域;
* **技术特征F**:其中,该感兴趣区域包含该对象;
* **技术特征G**:生成指示该感兴趣区域的选择数据;
* **技术特征H**:基于该选择数据,选择性地获得该感兴趣区域的图像数据;
* **技术特征I**:其中,该图像数据是通过该图像传感器获取的。
---
### 二、 对比文件基本信息表
在后续分析中,为了行文简洁且符合专利审查惯例,将使用D1、D2、D3代指各对比文件:
| 代号 | 专利公开号/授权号 | 文件名称 |
| D1 | US20120195471A1 | Moving Object Segmentation Using Depth Images |
| D2 | US08570320B2 | Using a three-dimensional environment model in gameplay |
| D3 | US20140254919A1 | DEVICE AND METHOD FOR IMAGE PROCESSING |
---
### 三、 各对比文件技术特征比对与出处分析
#### 1. D1 (`US20120195471A1`) 的公开情况
D1公开了一种利用移动深度相机从背景中分割出运动对象的技术。
* **实质公开了特征A、B、C**:D1提及了一种移动环境捕获设备300,其包含深度相机302和红绿蓝(RGB)相机306。二者均置于捕获设备300中,天然具有已知的空间关系。
* *原文出处*:`[0032]` "In some examples, in addition to the depth camera 302, the mobile environment capture device 300 comprises a color video camera referred to as a red-green-blue (RGB) camera 306. The RGB camera 306 is arranged to capture sequences of images of the scene at visible light frequencies."
* **毫无异议公开了特征D、E、F**:D1公开了获取场景的深度图,并通过ICP算法的“外点(outliers)”来识别场景中发生变化的区域(感兴趣区域),且该外点对应的就是移动的对象。
* *原文出处*:`[0027]` "...arranged to capture sequences of depth images of a scene. Each depth image 314 (or depth map frame) comprises a two dimensional image in which each image element (i.e. pixel) comprises a depth value...";`[0064]` "...the outlying points provide useful information to these algorithms, as they indicate an area of interest in which a change in the depth image has occurred. This allows these higher-level segmentation algorithms to focus on the region of the outliers..."
* **未公开特征G、H、I的特定时序交互关系**:虽然D1在`[0065]`中提到了结合利用RGB图像来对深度图外点(outliers)的所在区域进行GrabCut或边缘检测等高级分割("analyzing the RGB image at the location of the outliers"),但D1的RGB相机306是“被安排用于捕获场景的可见光图像序列(capture sequences of images)”,其与深度相机是**同步进行全量流式捕获**的。D1并没有公开“基于选择数据,**选择性地获得**图像数据”这一控制层面的技术手段(即可见光传感器本身不全量采集,只针对ROI进行选择性曝光或数据读取)。
#### 2. D2 (`US08570320B2`) 的公开情况
D2公开了在游戏阶段利用3D环境模型和静态深度相机来追踪用户运动的技术。
* **实质公开了特征A、B、C**:D2同样描述了包含深度相机402和RGB相机406的移动环境捕获设备400。
* *原文出处*:`[0037]` "In some examples, in addition to the depth camera 402, the mobile environment capture device 400 comprises a color video camera referred to as an RGB camera 406. The RGB camera 406 is arranged to capture sequences of images of the scene at visible light frequencies."
* **毫无异议公开了特征D、E、F**:D2公开了接收第二序列深度图像,并动态追踪视场(FOV)内的实时3D运动,该运动发生的特定区域被称为“感兴趣区域(region of interest)”,其中包含进行互动的用户(对象)。
* *原文出处*:`[0027]` "A second series of depth images are subsequently received from the mobile depth camera 102 when the camera is static (block 308) and this second series of depth images are used to dynamically track real-time movement in 3D within the field of view (FOV) of the camera, which will represent only a region of the environment... This region of the environment may be referred to as the ‘region of interest’..."
* **未公开特征G、H**:D2将识别出的感兴趣区域运动数据作为游戏的输入变量,其RGB相机也是被动地全量捕获序列图像,并没有涉及根据深度图的分析结果去反向控制图像传感器进行“选择性获得图像数据”的硬件或软件控制机制。
#### 3. D3 (`US20140254919A1`) 的公开情况
D3公开了一种纯粹基于3D图像深度图来提取和追踪前景运动对象(如人体)的方法。
* **毫无异议公开了特征B、D、E、F**:D3明确公开了图像深度图获取器获取连续的3D图像深度图,运动对象分割器通过构建背景模型、确定初始种子点、区域生长来分割运动对象(即识别感兴趣区域并包含该对象)。
* *原文出处*:`[0007]` "...an image depth map acquirer to obtain the depth map of a successive 3D image over a period of time, a moving object segmenter to segment a moving object from the obtained depth map...";`[0008]` "...determine an initial seed point of a foreground object, obtain a foreground object region by performing region growing from the initial seed point..."
* **未公开特征A、C、G、H、I**:D3的系统构架极其特殊,其核心发明点在于**“不结合颜色信息(without combining colors),仅利用连续3D图像的深度图来提取前景运动对象”**。因此,D3没有公开可见光图像传感器,没有公开图像传感器与距离传感器的空间关系,更无法生成选择数据去控制图像传感器进行选择性采集。
* *原文出处*:`[0041]` "...an image processing device and method that may identify, segment, and track a moving object based on the depth map of the 3D image, without combining colors, may be provided."
---
### 四、 特征比对表格(Feature Matrix)
根据上述详尽分析,各对比文件对目标权利要求1技术特征的映射关系如下表所示(“✓”表示完全公开或实质公开,“✗”表示未公开):
| 权利要求1的技术特征拆解 | D1 (US20120195471A1) | D2 (US08570320B2) | D3 (US20140254919A1) |
| 技术特征A (使用双传感器且空间关系已知) | ✓ | ✓ | ✗ |
| 技术特征B (距离传感器捕获深度) | ✓ | ✓ | ✓ |
| 技术特征C (图像传感器捕获可见光) | ✓ | ✓ | ✗ |
| 技术特征D (获得场景深度图) | ✓ | ✓ | ✓ |
| 技术特征E (分析深度图识别感兴趣区域) | ✓ | ✓ | ✓ |
| 技术特征F (感兴趣区域包含该对象) | ✓ | ✓ | ✓ |
| 技术特征G (生成指示感兴趣区域的选择数据) | ✗ | ✗ | ✗ |
| 技术特征H (基于选择数据,选择性地获得该区域图像数据) | ✗ | ✗ | ✗ |
| 技术特征I (图像数据通过图像传感器获取) | ✓ | ✓ | ✗ |
---
### 五、 最接近的对比文件(Closest Prior Art)分析
在创造性(Inventive Step)评判中,选择**D1 (`US20120195471A1`)** 作为唯一或第一最接近的对比文件是最为恰当的。
#### 1. 技术领域与整体解决的技术问题角度
* **目标专利**解决的技术问题是如何利用已知的双传感器空间关系,通过深度信息来优化、引导可见光图像的数据采集,从而降低图像传感器的处理负担或实现特定区域的精准图像获取。
* **D1** 同样聚焦于多传感器融合(深度+RGB)环境下的数据处理。其明确提出了在深度相机的ICP算法检测到“外点”(即感兴趣区域/运动对象)后,**专门去分析RGB图像在该外点对应的特定位置上的信息**("analyzing the RGB image at the location of the outliers"),以此来节约全量计算机视觉算法的计算复杂度(`[0064]`)。这与目标专利在“利用深度图指导可见光图像局部处理/获取”的构思上最为接近。
* 相比之下,**D2** 的侧重点在于将离线生成的3D dense模型和在线静态相机捕获的ROI手势信息融入到游戏交互中;而**D3** 则明确宣称其技术方案是为了排斥可见光颜色信息(without combining colors),完全在深度场解决问题。
#### 2. 技术效果与特征覆盖角度
从特征比对表可以看出,D1公开了除特征G和特征H以外的绝大多数特征。特别是D1已经走到了“将深度图的ROI区域映射到RGB可见光图像空间进行处理”的临界点。因此,以D1为评判创造性的起点(最接近的现有技术),最符合专利审查指南中的“技术领域相同或相近、技术问题和发明构思最接近”的原则。
---
### 六、 未被最接近对比文件公开的特征及最薄弱特征分析
#### 1. 未被公开的特征是否被其他对比文件公开?
通过特征比对矩阵可以清晰地看出,被留出的区别技术特征为:
* **技术特征G**:生成指示该感兴趣区域的选择数据;
* **技术特征H**:基于该选择数据,**选择性地获得**该感兴趣区域的图像数据。
**结论**:这两个核心的控制侧区别特征,**同样没有被D2和D3公开**。
* **原因在于**:无论是D1还是D2,其硬件架构中的RGB相机(图像传感器)都是在传统的视频流模式下工作——即**全时段、全帧率、全画幅地被动捕获可见光序列**,随后在数字信号处理(DSP)或CPU/GPU端对全量图像中的局部像素进行选择性计算。而目标权利要求1所保护的“选择性地获得”,在紧密结合说明书的发明本意下,是指图像传感器**在物理采集阶段或底层数据传输阶段**受选择数据的控制,从而“选择性地”读取或暴露感兴趣区域的数据。这种“按需采集”的反馈控制机制在D1、D2、D3中皆不存在。
#### 2. 若提出无效请求,最薄弱的技术特征是什么?
若作为请求人对目标专利提起无效宣告请求,该专利**最薄弱(即最容易被现有技术攻破)的技术特征**是:**技术特征E + 技术特征I的弱化结合(即“在软件层面只处理可见光图像的ROI区域”)**。
* **危险点分析**:如果专利权人在无效答辩或后续诉讼中,为了扩大保护范围,将特征H中的“选择性地获得该感兴趣区域的图像数据”强行解释为**“在内存中只提取/裁剪可见光视频帧的ROI部分进行后续算法识别”**,那么该特征将瞬间变得极其薄弱。因为D1的`[0065]`明确公开了“在深度图外点(outliers)的**对应位置(location of the outliers)**上,对RGB图像应用高级分割算法(如GrabCut)”。这在实质上就是软件层面的“选择性获得/处理ROI的图像数据”。一旦如此解释,权利要求1将直接被D1宣告无效。
* **专利权人的防护盾**:相反,如果将特征H严格限定为硬件或固件层面的控制(例如:距离传感器发现ROI $\rightarrow$ 发送触发信号 $\rightarrow$ 可见光传感器仅对该窗口开启CMOS像素读出),则该特征非常稳固,现有技术D1~D3均未给出任何技术启示。
---
### 七、 进一步的对比文件检索策略(Search Strategy)
鉴于目前的D1~D3尚未在“硬件/采集层面的深度反馈控制可见光采集”这一核心发明点上形成完美的拼图,为了成功无效该权利要求1,建议启动第二轮精准检索,策略如下:
1. **调整检索核心关键词与语义构思**:
* 不要局限于常规的“Object Segmentation(对象分割)”或“GamePlay(游戏)”等上层应用领域。
* 应锁定**硬件驱动控制、传感器流控、CMOS图像传感器(CIS)窗口读取**等底层技术。
* *核心检索词组*:`(Region of Interest OR ROI OR Windowing) AND (Depth guided OR Depth-assisted OR Range sensor guided) AND (Selective exposure OR Selective readout OR Triggered acquisition) AND (Image sensor OR CMOS)`。
2. **聚焦特定的IPC/CPC分类号检索**:
* **H04N25/40**(专门关联图像传感器选择性像素读取、窗口化读取、改变行/列扫描的技术);
* **H04N23/11**(涉及组合不同光谱相机的硬件系统,如可见光+红外/深度);
* **G06V10/25**(专门针对图像/视频中感兴趣区域ROI的确定和选择性处理)。
3. **锁定特定的目标靶向企业/研究机构**:
* 检索在3D相机、飞行时间(ToF)传感器与RGB融合芯片领域有深厚硬件底蕴的巨头。例如:**索尼(Sony)**(其在CIS底层堆叠芯片中经常设计这类ROI选择性读出架构)、**三星(Samsung)**、**意法半导体(STMicroelectronics)**、以及**微软(Microsoft)**(Kinect硬件演进专利)。
4. **拓展非专利文献(NPL)检索**:
* 在IEEE Xplore、Sensors等期刊中检索“*Energy-efficient 3D-Vision Systems*”或“*Event-based/ROI-driven CMOS Image Sensor architectures*”。在半导体和传感器硬件领域,许多低功耗双模传感器联合采集的架构往往会先在学术会议(如ISSCC、IEDM)上作为学术成果发表,这常常是拦截此类硬件层面控制专利的杀手锏。
作为一名经验丰富的专利代理师,我将紧密结合目标专利说明书的逻辑(从技术架构角度),深入分析上述两份对比文件对目标权利要求1的公开情况,并为您制定无效宣告请求的策略和后续的检索建议。
首先,针对目标权利要求1涉及的**“使用距离传感器和图像传感器获得感兴趣区域(ROI)的图像数据”**这一技术方案,两份对比文件(D1与D2)的物理实质属于**图像/视频编码领域(特别是HEVC标准下的图像分块与切片机制)**。
以下是详细的专利无效分析报告:
---
### 一、 权利要求特征比对表
为了客观展现公开情况,特将权利要求1拆解为A至I共9个技术特征,并与各对比文件原文进行精细比对。
*注:D1指代 `US20140307775A1`,D2指代 `GB2513303A`。*
| 目标权利要求1的技术特征 | 对比文件1 (D1: US20140307775A1) 公开情况及出处 | 对比文件2 (D2: GB2513303A) 公开情况及出处 |
| 前序部分:一种使用距离传感器和图像传感器来获得场景中的对象的图像数据的方法 | 未公开。<br>D1关注的是已存在图像的划分与编码,未提及距离传感器。[0002] "relates to a method and device for partitioning an image." | 未公开。<br>D2同样仅关注图像划分与编码。[2] FIELD OF THE INVENTION: "relates to a method and device for partitioning an image." |
| 特征A:其中,该距离传感器与该图像传感器具有已知的空间关系 | 未公开。 | 未公开。 |
| 特征B:该距离传感器被配置用于捕获该场景的深度信息 | 未公开。 | 未公开。 |
| 特征C:该图像传感器被配置用于捕获该场景的可见光信息 | 未公开(仅涉及通用的数字图像/视频流获取)。 | 未公开。 |
| 特征D:该方法包括获得通过该距离传感器获取的该场景的深度图 | 未公开。 | 未公开。 |
| 特征E:分析该深度图以识别该场景中的感兴趣区域 | 实质公开/部分公开。<br>D1公开了通过视频流分析或用户请求确定感兴趣区域(ROI),但未公开通过“分析深度图”来实现。[0007] "...enabling a remote user to access one or more ROIs which may be predetermined or determined according to the request of the user." | 实质公开/部分公开。<br>D2同D1,公开了ROI的确定,但未公开基于“深度图”分析。[2] BACKGROUND: "...access one or more ROls which may be predetermined or determined according to the request of the user." |
| 特征F:其中,该感兴趣区域包含该对象 | 毫无异议公开。<br>D1公开了ROI包含图像中的特定区域或子部分。[0007] "...overview video sequence with clickable subparts (ROIs)." | 毫无异议公开。<br>D2表述相同。[2] BACKGROUND: "...overview video sequence with clickable subparts (ROI5)." |
| 特征G:生成指示该感兴趣区域的选择数据 | 毫无异议公开。<br>D1公开了客户端选择ROI并向服务器发送请求数据。[0073] "The server 100 may receive from the client 102 a request for a spatial part of the video: the region of interest (ROI)." | 毫无异议公开。<br>D2表述相同。[2] BACKGROUND: "...the client may request data of one or more ROls." / "...receive from the client 102 a request for ... (ROl)." |
| 特征H:基于该选择数据,选择性地获得该感兴趣区域的图像数据 | 毫无异议公开。<br>D1公开了服务器根据请求数据选择并传输对应的ROI编码数据。[0075] "In response to an ROI request the server 100 can select the corresponding sub part of the encoded bit stream to send to the client." | 毫无异议公开。<br>D2表述相同。[2] BACKGROUND: "...receiving in response to the request for the region of interest an independent segment associated with the requested region of interest..." |
| 特征I:其中,该图像数据是通过该图像传感器获取的 | 实质公开。<br>D1/D2公开了图像源自数字相机的原始视频序列获取,等同于图像传感器捕获。[0005] "An original video sequence to be encoded or decoded generally comprises a succession of digital images..." | 实质公开。<br>D2表述相同。[2] BACKGROUND: "An original video sequence to be encoded or decoded generally comprises a succession of digital images..." |
---
### 二、 最接近对比文件的选择与分析
在创造性分析中,选择最接近的对比文件通常需考量**技术领域、解决的技术问题以及核心技术架构的重合度**。
#### 1. 哪个文件适合做最接近的对比文件?
**结论:D1(US20140307775A1)和 D2(GB2513303A)均不适合单独作为本案创造性评述的第一基础(即最接近的对比文件/D1)。**
* **理由**:
* **技术领域与问题不一致**:本申请的权利要求1是一套**数据采集与传感架构方案**(如何通过距离+图像传感器联动,在**硬件采集端**实现ROI的智能选择性获取,以减少数据吞吐量)。而D1和D2属于**图像后处理与信源编码领域**(针对已经捕获完毕的图像序列,在HEVC标准框架下通过切片分块减少视频传输的带宽开销)。
* **核心特征缺失严重**:本申请的灵魂特征是**“距离传感器”**、**“空间关系”**和**“深度图分析”**。D1和D2作为纯粹的2D视频编码专利,其ROI的产生要么是“预先设定(Predetermined)”,要么是“用户交互点击(Clickable subparts)”,完全没有涉及利用深度传感器进行三维空间环境感知来自动识别ROI的硬件级方案。
#### 2. 如果强行以D1或D2为基础,未公开的特征是否被另一个文件公开?
**结论:没有。**
D1与D2实际上是**同一发明人在不同国家申请的同族专利或高度关联的申请**(从文本结构、图1-10的描述以及核心文字可以看出其内容95%以上重合)。D1中未公开的“距离传感器”、“深度信息”、“空间关系”以及“基于深度图识别ROI”等核心硬件关联特征,在D2中**同样完全没有公开**。
---
### 三、 无效请求中最薄弱的技术特征分析
若您需要对目标专利提出无效宣告请求,从现有的D1、D2来看,目标权利要求中**最容易被攻破(最薄弱)的特征**以及**最难被攻破(最稳固)的特征**如下:
1. **最薄弱的特征(已被D1/D2实质性公开):特征G、H、F**
* *分析*:目标专利在拿到ROI的选择数据后,“选择性地获得该感兴趣区域的图像数据”这一**后端逻辑**是非常传统的。D1/D2已经非常透彻地公开了“客户端发出ROI请求 -> 服务器解析参数 -> 仅提取并传输该ROI对应的图像数据块”的完整闭环。如果只看这个行为本身,属于公知常识或被D1/D2完全覆盖。
2. **最稳固的特征(本案的创造性壁垒):特征A、B、D、E**
* *分析*:**“利用距离传感器捕获深度图” $\rightarrow$ “分析深度图来识别ROI”**。这一软硬件结合的判定路径在目前的图像处理与机器视觉中虽然很常见,但在D1/D2这种传统的纯视频编解码阵营中是完全绝缘的。
---
### 四、 进一步的对比文件检索策略
既然D1和D2在“传感器前端”存在天然缺陷,为了成功无效该权利要求,必须调整检索方向。建议采取以下**外合(多份对比文件结合)**的检索策略:
#### 1. 重新设定检索的技术领域(IPC/CPC分类号)
不能再局限于视频编码(H04N19/*),必须转向**计算机视觉、智能相机、机器人感知、多传感器融合**领域:
* **G06V 10/25**(图像或视频模式识别中感兴趣区域ROI的确定)
* **G06T 7/50**(由深度或几何属性深度图恢复三维上下文)
* **H04N 23/45**(包含多种不同类型传感器的摄像机系统,如可见光+红外/深度)
#### 2. 关键词检索逻辑组合
采用**D1/D2(公开了ROI的选择性数据获取) + 新检索文件D3(公开深度图确定ROI)**的结合方式。新文件D3的检索式建议为:
* `("距离传感器" OR "深度相机" OR "飞行时间" OR "ToF" OR "LiDAR" OR "激光雷达")`
`AND`
* `("图像传感器" OR "CMOS" OR "可见光")`
`AND`
* `("空间关系" OR "标定" OR "位置关系" OR "已知位置")`
`AND`
* `("感兴趣区域" OR "ROI" OR "区域识别" OR "目标检测")`
`AND`
* `("深度图" OR "距离信息" OR "三维数据")`
#### 3. 预期的结合无效理由(意图显著性评述)
在寻找到一份公开了“利用ToF深度传感器识别物体并划定ROI区域”的对比文件D3后,无效请求理由应当陈述为:
> “将D3作为最接近的对比文件(D1)。D3公开了利用具有已知空间关系的深度传感器和图像传感器,通过深度图识别出场景中的ROI。而目标专利与其相比,区别特征仅在于‘如何具体地选择性获取并传输该ROI的图像数据’,这一区别特征已被本案的对比文件(原D1/US2014307775A1)在编解码阶段的ROI响应机制中所公开。对于本领域技术人员而言,在面对减少数据传输吞吐量的技术问题时,将原D1的后端ROI选择性获取技术引入到D3的双传感器视觉前端系统中,是显而易见的,因此权利要求1不具备创造性。”
作为一名经验丰富的专利代理师,我将为您对目标专利的权利要求1进行深度解析,并结合两份对比文件(D1和D2)的原文进行严密的侵权/无效技术特征比对与创造性分析。
### 一、 目标专利与对比文件公开号对应关系
为了表述清晰,本分析中使用的代号与对比文件公开号对应如下:
* **目标专利**:权利要求1.docx
* **对比文件D1**:`US2016241776A1` (DEVICE AND METHOD FOR DETECTING FOCUS OF ELECTRONIC DEVICE)
* **对比文件D2**:`WO2017103065A1` (GENERATING OUTPUT VIDEO FROM VIDEO STREAMS)
---
### 二、 权利要求1技术特征拆解与说明书紧密结合解释
基于目标专利的权利要求书,我们将权利要求1拆解为9个独立的技术特征(A至I),并结合说明书的一般技术逻辑进行如下原意解释:
* **特征A(空间关系)**:“距离传感器与图像传感器具有已知的空间关系”
* *专利原意解释*:指两个传感器在硬件层面的相对位置(如距离、角度)是固定的或可通过校准获知的,这是将深度图坐标映射到可见光图像坐标的几何基础。
* **特征B(距离传感器功能)**:“该距离传感器被配置用于捕获该场景的深度信息”
* *专利原意解释*:距离传感器可以是相位差传感器(PDAF)、ToF传感器或结构光传感器,用于获取场景中物体到传感器的物理距离或相位差。
* **特征C(图像传感器功能)**:“该图像传感器被配置用于捕获该场景的可见光信息”
* *专利原意解释*:传统的RGB/彩色像素传感器,用于获取肉眼可见的场景图像(如预览图像或照片数据)。
* **特征D(深度图获取)**:“获得通过该距离传感器获取的该场景的深度图”
* *专利原意解释*:基于距离传感器采集的原始数据(Raw Data),生成包含场景中各区域距离信息的二维矩阵或深度图。
* **特征E(深度图分析)**:“分析该深度图以识别该场景中的感兴趣区域”
* *专利原意解释*:通过算法对深度图中的距离数据进行处理(如聚类、阈值分割),筛选出特定距离范围的区域作为ROI(Region of Interest)。
* **特征F(ROI包含对象)**:“其中,该感兴趣区域包含该对象”
* *专利原意解释*:所识别出来的感兴趣区域在空间结构上恰好包裹或对应于用户想要拍摄/关注的目标物体(如树木、人脸等)。
* **特征G(选择数据生成)**:“生成指示该感兴趣区域的选择数据”
* *专利原意解释*:根据分析出的ROI,生成用于控制后续图像获取或处理的控制指令、坐标参数或掩膜(Mask)数据。
* **特征H(选择性获得)**:“基于该选择数据,选择性地获得该感兴趣区域的图像数据”
* *专利原意解释*:不是无差别地获取全幅图像,而是利用选择数据指导图像传感器或处理芯片,仅读取、传输、或聚焦于该ROI区域对应的可见光图像数据。
* **特征I(图像传感器获取)**:“其中,该图像数据是通过该图像传感器获取的”
* *专利原意解释*:最终获得的ROI图像数据在物理源头上是由上述捕获可见光信息的图像传感器所采集的。
---
### 三、 技术特征比对表格及详细出处分析
以下表格严格依据D1(US2016241776A1)和D2(WO2017103065A1)的英文原文及技术实质,与目标专利的特征A-I进行逐项比对,并给出精确的段落出处:
| 目标专利权利要求1的技术特征 | 对比文件D1 (US2016241776A1) 是否公开及详细出处 | 对比文件D2 (WO2017103065A1) 是否公开及详细出处 |
| 技术特征A:其中,该距离传感器与该图像传感器具有已知的空间关系 | 实质公开。<br>【出处】[0132]: "The image sensor may include at least one of color pixel sensors... and at least one of upper side phase-difference detection sensors...";[0134]-[0136]: 详细描述了二者集成在同一个substrate 611上且有交替排列的物理结构。已知集成在同一芯片上的像素其空间几何关系必然已知。 | 未公开。<br>D2虽然在[0033], [0098]提到接收深度图(depth map),但其深度信息来源于多台独立的移动录制设备或Time-of-flight相机,并未明确限制单个设备内距离传感器与图像传感器具有“已知的空间关系”。 |
| 技术特征B:该距离传感器被配置用于捕获该场景的深度信息 | 毫无异议公开。<br>【出处】[0115]: "...phase-difference detection sensor may acquire phase-difference information according to a relative distance between subjects...",且[0120]明确深度处理模块计算3D位置信息。 | 毫无异议公开。<br>【出处】[0033], [0091]: "...depth information associated with the video stream...";[0098]: "...depth information may be obtained from a depth-sensing array, time-of-flight camera, structured-light sensor..."。 |
| 技术特征C:该图像传感器被配置用于捕获该场景的可见光信息 | 毫无异议公开。<br>【出处】[0115]: "The color pixel sensors may include at least one of red, green, and blue pixels. The color pixel sensor may acquire images of a subject."。 | 毫无异议公开。<br>【出处】[0011]-[0013], [0080]: 明确多个录制设备使用视觉传感器捕获视频流(video streams representing different recordings of a scene)。 |
| 技术特征D:该方法包括获得通过该距离传感器获取的该场景的深度图 | 毫无异议公开。<br>【出处】[0182]: "The depth processing module 410 may arrange raw depth data in two-dimensions by analyzing the data for each area, generate a depth map..."。 | 毫无异议公开。<br>【出处】[0098]: "...depth information... may be represented by a depth map...";[0098]第一句: "...provides stream metadata... namely in the form of depth information to the system."。 |
| 技术特征E:分析该深度图以识别该场景中的感兴趣区域 | 毫无异议公开。<br>【出处】[0182]: "...generate a depth map, and group areas having a similar depth.";[0183]: "The focus processing module 440 may compare depth information of multiple group areas, and correct an area of a closest group as a target location..."。 | 毫无异议公开。<br>【出处】[0013], [0020]: "analyzing the plurality of video streams to identify at least one part... thereby identifying a contributing part...";[0033]: "...analyze the keypoint information... or depth information... to identify the contributing part..."。 |
| 技术特征F:其中,该感兴趣区域包含该对象 | 毫无异议公开。<br>【出处】[0153], [0154]: 明确纠正并移动对焦区域,以包裹“main target subject”(主要目标主体),如[0191]图11A中的目标物体“树(tree)”。 | 毫无异议公开。<br>【出处】[0020], [0082]: 识别出的贡献区域(contributing part)即为场景中被组合录制的目标对象(物体或场景画布的一页)。 |
| 技术特征G:生成指示该感兴趣区域的选择数据 | 毫无异议公开。<br>【出处】[0183]: "...target correction module 743... receives location information on multiple group areas (target location)... perform a focus control with respect to a subject of a detected target location."。生成了目标位置对焦区域坐标。 | 毫无异议公开。<br>【出处】[0014], [0088]: "generating orchestration metadata identifying the contributing part";[0089]: "the identification information 152 may take form of a set of coordinates and/or a mask..."。生成了掩膜或坐标数据。 |
| 技术特征H:基于该选择数据,选择性地获得该感兴趣区域的图像数据 | 实质公开 / 毫无异议公开。<br>【出处】[0188]: "...correct an AF area (configuring corrected focus detection area) to include element areas having a similarity and perform an AF function."。D1是通过调整对焦区域在图像传感器上专门针对该ROI进行AF计算并提取该区域图像。 | 毫无异议公开。<br>【出处】[0015], [0021]: "...enable the stream source to selectively stream the contributing part of the video stream... omitting transmitting one or more non-contributing parts...";[0102]: "selectively record the contributing part... discard non-contributing parts before encoding..."。基于编排元数据选择性地采集或发送ROI图像。 |
| 技术特征I:其中,该图像数据是通过该图像传感器获取的 | 毫无异议公开。<br>【出处】[0143]: "...The image acquisition module 410 may then acquire an image by focusing... on a subject in the reconfigured focus detection area..."。 | 毫无异议公开。<br>【出处】[0029], [0102]: 选择性录制或传输的图像数据,其本质依然是流媒体源头的摄像装置(Camera sensor)所获取的。 |
---
### 四、 最接近对比文件(最接近现有技术)的选择与分析
在创造性分析中,确定“最接近的对比文件”需从**领域相同/相似、解决的技术问题最接近、公开的技术特征最多**三个维度考虑。**本案中,D1和D2均有资格作为最接近的对比文件,但D1更为合适。** 详细分析如下:
#### 1. 为什么D1 (`US2016241776A1`) 最适合作为第一选择的最接近对比文件?
* **技术领域与整体架构完全一致**:D1关注的是单台电子设备(如同目标专利单机使用距离/图像传感器获取场景图像)利用集成的图像像素与相位差(距离)像素进行对焦区域校正的技术。这与目标专利在“多传感器单机交互”上的硬件架构完美契合。
* **解决的技术问题与技术效果极其接近**:
* **目标专利解决的问题**:如何在复杂的背景中自动、精准地识别出目标对象所在的感兴趣区域,并防止背景噪声干扰图像获取。
* **D1解决的问题(出处`[0006],[0124]`)**:在传统AF中,如果目标 subject 未准确位于AF区域内或背景太复杂,会导致对焦失败。D1通过深度图和颜色直方图聚类出ROI,克服背景干扰。
* **技术特征覆盖度最高**:如上表所示,D1公开了除特征A可能存在微弱争议外几乎所有的核心计算逻辑(获取深度图 $\rightarrow$ 分析深度图分组 $\rightarrow$ 确定ROI $\rightarrow$ 对ROI区域进行对焦和图像处理)。由于D1中这两种像素直接集成在同一张基片(`[0134] substrate 611`)上,因此**特征A(已知空间关系)在D1中属于隐含公开或毫无疑问地实质公开**。
#### 2. D2 (`WO2017103065A1`) 作为最接近对比文件的局限性
* **应用场景有偏差**:D2解决的是“多视频流合成全景视频(Stitching)时的带宽节约和服务器减负问题”(参见D2 `[0010], [0021]`)。它从服务器端生成“编排元数据(掩膜/坐标)”反向控制终端去“选择性发送/录制贡献区域”。
* **解决的技术问题不同**:D2侧重于解决**带宽冗余和多机协同的重叠度问题**,而非单机下如何利用深度传感器更精准地在可见光场景里捕捉某个具体的对象。
* **关键特征缺失**:D2缺失了“距离传感器与图像传感器具有已知空间关系”(特征A)这一单机硬件紧凑耦合的限定。
**结论**:在无效宣告程序中,应首选**D1作为最接近的对比文件(第一独立主审路线)**;但在对抗其“选择性获得图像数据(特征H)”的广义解释时,可备选**D2作为补充主审路线**。
---
### 五、 针对无效请求最薄弱的技术特征分析
若要对本目标专利提出无效宣告请求,权利要求1中**最薄弱(即最容易被现有技术攻破)的技术特征**是:**特征E、特征G、特征H的组合逻辑**。
1. **特征E+G+H(深度分析 $\rightarrow$ 产生选择数据 $\rightarrow$ 选择性获得)已被D1和D2完全合围**:
* 目标专利企图通过“用深度图找ROI,再生成数据来选择性拿图像”来申请保护。
* 然而,**D1的`[0182]-[0183]`及`[0188]`**已经把“拿Raw depth数据 $\rightarrow$ 生成Depth map $\rightarrow$ 按深度相似性分组 $\rightarrow$ 矫正并移对焦区域到该 ROI $\rightarrow$ 针对性获取对焦图像”这一套动作完全公开。
* 同时,**D2的`[0089]`和`[0102]`**更是把“通过分析画面/深度 $\rightarrow$ 生成坐标或Mask(选择数据) $\rightarrow$ 动态改变编码器输入以裁切(Crop)图像或选择性读取传感器像素(选择性获得)”这一概念直接工业化公开。
2. **真正可能成为本专利“护城河”的微弱特征(若存在)**:
* 本案权利要求1写得非常宽泛,几乎就是一个标准的“单机ToF/PDAF辅助对焦或局部ROI提取”的通用流程。在D1公开了单机基片集成、D2公开了动态Mask控制选择性流传输的背景下,权利要求1没有任何高门槛的算法限定。
* 因此,**整个权利要求1在D1面前极其薄弱,其所有特征均已被实质公开,创造性极低。**
---
### 六、 进一步的对比文件检索策略
为了在无效宣告中彻底封死该专利所有可能的修改空间(例如专利权人可能会将说明书中的“element e 径向向外层层扩展聚类算法”或“高低像素双通道追踪对抗时延”等细节补入权利要求),建议采取以下针对性的进一步检索策略:
1. **针对特征A(已知空间关系)与具体硬件架构的加固检索**:
* *检索方向*:聚焦于“PDAF(相位差对焦)芯片架构”或“双摄/摄像头+ToF模组标定”。
* *关键词组合*:`(image sensor OR pixel array) WITH (phase difference OR PDAF OR ToF OR depth sensor); (spatial relation* OR calibrat* OR positional relation*)`
* *目的*:彻底固化现有技术中“可见光像素和距离像素在同一片上或同一模组内已知相对坐标”的公知常识证据。
2. **针对说明书潜在修改点(图10、图11的Element扩展算法)的精准拦截检索**:
* *潜在危险点*:目标专利说明书第`[0186]-[0188]`段详细写到了将图像切分为 $M \times N$ 个 element,先找最近的 element e,再看其邻域,符合深度的就“radial shape(径向)”不断向外扩大合并。
* *检索策略*:检索图像分割、计算机视觉中的“种子区域生长法(Region Growing)”或“深度图聚类对焦”。
* *关键词组合*:`(depth map OR depth image) AND (region growing OR seed pixel OR neighbor* element* OR cluster*) AND (focus* OR ROI OR auto focus)`
* *推荐分类号*:`G06T7/11` (图像分割), `H04N23/67` (自动对焦控制)。
3. **针对说明书动态时延补偿(图16、图17的高低像素双规追踪)的拦截检索**:
* *潜在危险点*:说明书第`[0217]-[0218]`段提到高像素追踪有2帧时延,低像素(深度图)追踪无时延但精度低,最后用两者结合去校正ROI。
* *检索策略*:检索多分辨率主体追踪、时延补偿算法。
* *关键词组合*:`(high resolution OR high pixel) AND (low resolution OR low pixel) AND (delay* OR latency OR lag) AND (track* OR segment*) AND (compensation OR fuse OR fusion)`
* *推荐寻找厂家/申请人*:索尼(Sony)、三星(Samsung)、苹果(Apple),这些在2015-2018年间有大量关于ToF/双摄联合追踪追踪的底层专利专利布局。
根据权利要求1所述的方法,其中,选择性地获得该感兴趣区域的图像数据包括经由诸如总线或网络等带宽受限链路选择性地接收该感兴趣区域的图像数据。
根据权利要求1或2所述的方法,其中,选择性地获得该感兴趣区域的图像数据包括配置该图像传感器以选择性地获取在该感兴趣区域内的该场景的可见光信息;和/或从包括在该图像传感器中或连接到该图像传感器的存储器中选择性地读出该感兴趣区域的图像数据。
根据权利要求1或2所述的方法,其中,可经由网络通过流式传输从媒体源访问通过该图像传感器获取的该场景的图像数据;并且选择性地接收该图像数据包括向该媒体源发信号通知该选择数据,以请求选择性地流式传输该感兴趣区域的图像数据。
根据权利要求4所述的方法,其中,可经由该网络通过基于图块的流式传输从该媒体源访问通过该图像传感器获取的该场景的图像数据;并且该选择数据被生成为包括一个或多个图块的标识符;该一个或多个图块包括该感兴趣区域的图像数据;其中,所述选择数据是基于定义可用于流式传输的不同图块之间的空间关系的空间关系描述数据而生成的。
根据权利要求1或2所述的方法,其中,识别该场景中的感兴趣区域包括获得通过该距离传感器在该对象不存在时获取的该场景的第一深度图;获得通过该距离传感器在该对象存在时获取的该场景的第二深度图;基于该第一深度图与该第二深度图的比较来识别该场景中的感兴趣区域。
根据权利要求1或2所述的方法,其中,识别该场景中的感兴趣区域包括将对象检测技术应用于该深度图;和/或基于对象的指示与深度传感器的接近度的深度值来在该深度图中识别该对象。
根据权利要求1或2所述的方法,其中,该深度图是在第一时间实例时通过该距离传感器获取的;选择性地获得的图像数据是在时间上晚于该第一时间实例的第二时间实例时通过该图像传感器获取的;并且生成该选择数据包括补偿该对象在该第一时间实例到该第二时间实例之间相对于该场景的移动。
根据权利要求8所述的方法,其中,所述补偿该对象的移动包括以下各项中的至少一项向该感兴趣区域的轮廓加上裕量;以及通过将运动估计应用于在不同时间实例时获取的至少两个深度图来确定该对象的移动并将所述移动外推到该第二时间实例,来基于对该对象的移动的预测来调整该感兴趣区域的空间位置。
根据权利要求1或2所述的方法,进一步包括将背景去除技术应用于该感兴趣区域的图像数据,以去除该图像数据中在该对象周围的背景。