**对比文件名称**：发明申请_US20150178900A1 DEPTH IMAGE PROCESSING APPARATUS AND METHOD BASED ON CAMERA POSE CONVERSION
**目标专利名称**：用于校正错误深度信息的系统和方法
**本次调用模型名称**：OpenAI GPT-4
| 技术特征描述以及公开性判断结果 | 对比文件原文引用 | 公开性论述 | ||||||||
| **技术特征A：一种用于产生经校正深度图的电子装置，其包括：深度传感器** <br> **判断结果：直接公开** | [0050] “In an embodiment, the depth image obtaining unit 101 may include a camera capable of photographing a plurality of depth images... In addition, the depth camera may employ a depth camera using an infrared sensor (time of flight camera). However, in the present disclosure, the camera for obtaining a depth image is not limited to the above and may include any device capable of obtaining a depth image.” <br> [0051] “The depth camera may be any one of structured light type, Time of Flight (TOF) type, Structure From Motion (SFM) type using two RGB (Red, Green, Blue) cameras, etc.” | 对比文件明确公开了深度图像获取单元（depth image obtaining unit）包含能够拍摄深度图像的相机（camera），并具体列举了TOF相机等深度相机类型。这直接对应于目标专利中的“深度传感器”。其在对比文件整体技术方案中的作用是获取深度图像，与目标专利中用于获取场景深度信息的作用相同。因此，技术特征A被直接公开。 | ||||||||
| **技术特征B：耦合到所述深度传感器的运动传感器，其中所述运动传感器经配置以确定运动信息；** <br> **判断结果：隐含公开** | [0057] “The relative camera pose value may be obtained not only by using the ICP algorithm using depth images but also by using a separate sensor device. The sensor device may be one of, for example, Global Positioning System (GPS), Inertial Measurement Unit (IMU), a magnetometer, a RGB camera, odometer, etc. The relative or absolute camera pose value obtained from a sensor such as GPS, IMU, etc. may be used as an initial value for the ICP algorithm using depth images.” | 对比文件公开了可以通过单独的传感器设备（sensor device）如惯性测量单元（IMU）来获取相对或绝对的相机姿态值（camera pose value）。目标专利说明书第[0041]段将“运动传感器”的实例描述为“加速度计、陀螺仪、惯性运动传感器...”，而IMU通常包含加速度计和陀螺仪，用于测量运动。对比文件中的传感器设备用于获取相机姿态（即运动信息），本领域技术人员可以合理推断，为了获取相机姿态，该传感器设备需要与深度传感器（相机）耦合（例如，集成在同一设备上或物理连接），以测量深度传感器的运动。因此，该特征被隐含公开。 | ||||||||
| **技术特征C：以及 耦合到所述深度传感器和所述运动传感器的处理器，** <br> **判断结果：隐含公开** | [0049] “Referring to FIG. 1, the depth image noise removal apparatus 100 based on a camera pose according to this embodiment may be configured to include a depth image obtaining unit 101, a camera pose converting unit 102, and a depth image filtering unit 103.” <br> [0057] “The relative camera pose value may be obtained ... by using a separate sensor device...” | 对比文件公开了装置包含深度图像获取单元、相机姿态转换单元和深度图像滤波单元。这些功能单元通常由处理器执行实现。同时，对比文件公开了使用传感器设备获取运动信息（相机姿态）。本领域技术人员可以合理推断，需要一个处理器来接收来自深度传感器（深度图像获取单元）和运动传感器（传感器设备）的数据，并执行相机姿态转换和滤波等处理功能。因此，一个耦合到深度传感器和运动传感器的处理器是隐含公开的。 | ||||||||
| **技术特征D：获得第一深度图，其中所述第一深度图包括由所述深度传感器在第一取样操作进行取样的场景的第一部分的第一深度信息；** <br> **判断结果：直接公开** | [0050] “the depth image obtaining unit 101 may photograph a plurality of depth images” <br> [0053] “the camera pose converting unit 102 may convert camera poses of a plurality of depth images transferred from the depth image obtaining unit 101 into a camera pose of a specific depth image. Here, the specific depth image may be any one depth image selected from the plurality of depth images... In the specification, the specific depth image is called a reference depth image.” | 对比文件明确公开了获取多个深度图像（plurality of depth images），并指定其中一个为参考深度图像（reference depth image）。任何一个深度图都包含了深度传感器在某个时刻（取样操作）对场景某一部分进行取样所获得的深度信息。因此，“获得第一深度图”这一特征被直接公开。第一深度图可以是对比文件中的参考深度图或其他深度图像之一。 | ||||||||
| **技术特征E： 获得第二深度图，其中所述第二深度图包括由所述深度传感器在第二取样操作进行取样的所述场景的第二部分的第二深度信息；** <br> **判断结果：直接公开** | [0050] “the depth image obtaining unit 101 may photograph a plurality of depth images” <br> [0072] “obtains n number of depth images including the reference depth image and its back and forth before” | 对比文件明确公开了获取多个深度图像（plurality of depth images），这些图像是在不同时间（不同取样操作）拍摄的。因此，“获得第二深度图”这一特征被直接公开。第二深度图对应于参考深度图像之外的其他深度图像。 | ||||||||
| **技术特征F：基于所述运动信息来获得指示所述深度传感器在所述第一取样操作与所述第二取样操作之间的移位的移位信息；** <br> **判断结果：隐含公开** | [0057] “The relative camera pose value may be obtained not only by using the ICP algorithm using depth images but also by using a separate sensor device. The sensor device may be one of, for example, Global Positioning System (GPS), Inertial Measurement Unit (IMU)... The relative or absolute camera pose value obtained from a sensor such as GPS, IMU, etc. may be used...” <br> [0063] “Tki represents a relative camera pose value between two depth images.” | 对比文件公开了可以通过传感器设备（如IMU）获得相对或绝对的相机姿态值（camera pose value），并且明确Tki表示两个深度图像之间的相对相机姿态值。目标专利说明书第[0042]段将“移位信息”描述为“指示深度传感器...的移位”，并提到可以“用6个自由度(DOF)估计深度传感器的平移和/或旋转”。相机姿态值（包含旋转和平移）正是用于描述相机位置和朝向的变化，即移位信息。因此，基于来自传感器设备的运动信息（相机姿态）来获得指示深度传感器在不同取样间移位的（相对相机姿态）信息，是本领域技术人员可以从对比文件隐含得出的。 | ||||||||
| **技术特征G：基于所述移位信息来变换所述第一深度图以产生经变换深度图；** <br> **判断结果：直接公开** | [0048] “a camera pose converting unit for converting camera poses of the plurality of depth images into a camera pose of a reference depth image” <br> [0055] “the camera pose converting unit 102 may re-project a camera pose of another depth images to the reference depth image (S23).” <br> [0056] “calculates a re-projection matrix to the relative camera pose value so that the plurality of depth images may be re-projected according to the reference depth image.” | 对比文件明确公开了相机姿态转换单元（camera pose converting unit）的功能：将多个深度图像的相机姿态转换为参考深度图像的相机姿态，具体通过计算基于相对相机姿态值（即移位信息）的重新投影矩阵，将其他深度图像重新投影到参考深度图像。这个过程正是基于移位信息（相对相机姿态）对深度图进行变换（重新投影）以产生经变换深度图（姿态对齐后的深度图）。因此，该特征被直接公开。 | ||||||||
| **技术特征H： 通过比较所述第二深度图的一或多个深度与所述经变换深度图的一或多个深度来检测错误深度信息；** <br> **判断结果：隐含公开** | [0061] “The depth image filtering unit 103 may determine a weighted average based on at least one of (a) a difference value of depth values between each pixel of the reference depth image and each pixel of another depth image...” <br> 方程式1和3: `Gσr( | Ipk - Iqi | )` 其中 Ipk 是参考深度图像像素p的深度值，Iqi 是另一深度图像i中像素q的深度值。 <br> [0065] “the depth image filtering unit 103 may calculate a difference value (a) of depth values between each pixel of the reference depth image and each pixel of another depth image. For example, the depth image filtering unit may determine the difference value by comparing the depth value of the pixel 41 with depth values of all pixels in the filtering window 321 of another depth image.” | 对比文件的深度图像滤波单元在计算加权平均时，明确基于参考深度图像像素与另一（经姿态转换后的）深度图像像素之间的深度值差异（difference value of depth values）。为了计算这个差异，必然需要将第二深度图（即“另一深度图像”）的一或多个深度与经变换深度图（即姿态已转换到参考视角的深度图）的一或多个深度进行比较。虽然对比文件的主要目的是去噪（noise removal），但噪声可被视为一种错误深度信息。目标专利说明书第[0049]段将“中断”描述为“深度传感器产生错误深度信息”，并指出噪声可能导致中断。因此，通过比较深度值来识别异常（噪声/错误）的过程是隐含在对比文件的滤波权重计算逻辑中的。 | ||||||
| **技术特征I：以及通过基于所述经变换深度图校正所述第二深度图的所述错误深度信息来产生经校正深度图。** <br> **判断结果：直接公开** | [0048] “a depth image filtering unit for filtering the reference depth image by using a weighted average of each pixel of the reference depth image.” <br> [0058] “The depth image filtering unit 103 may filter the reference depth image by using a weighted average of each pixel of the reference depth image.” <br> [0068] “Holes that are not photographed in the reference depth image may be repaired by averaging the reference depth image and multiple depth images with different camera poses.” | 对比文件明确公开了深度图像滤波单元通过使用参考深度图像每个像素的加权平均值来过滤（filter）参考深度图像。这个过程利用多个（经相机姿态转换后的）深度图像的信息来生成一个改进的（滤波后）深度图像。这直接对应于“通过基于所述经变换深度图校正...错误深度信息来产生经校正深度图”。对比文件特别提到可以修复（repair）参考深度图像中的孔洞（holes），这正是一种校正错误深度信息（目标专利中的“深度传感器中断”）的行为。因此，该特征被直接公开。 | ||||||||
| **技术特征J：，其中所述处理器经配置以用所述经变换深度图的对应深度信息替换所述错误深度信息。** <br> **判断结果：隐含公开** | [0068] “Holes that are not photographed in the reference depth image may be repaired by averaging the reference depth image and multiple depth images with different camera poses. The holes can be caused by occlusion, Moire patterns, texture or a color of an object, etc. ... Therefore, the values for the hole area may be obtained from depth images other than the reference depth image. The values for the hole area may be calculated by using a weighted average in the same manner for areas without hole.” | 对比文件公开了参考深度图像中的孔洞（holes）可以通过对参考深度图像和多个不同相机姿态的深度图像进行平均来修复。孔洞区域的值可以从参考深度图像之外的其他深度图像获得。虽然具体是通过加权平均“计算”出值，但本领域技术人员可以理解，对于孔洞区域（即没有原始深度信息的位置），这个计算出来的值实质上就是用来“替换”缺失的错误/无效信息。因此，“用对应深度信息替换错误深度信息”这一具体校正方式是隐含公开的。 | ||||||||
| **技术特征K：，其中所述处理器经配置以对所述第二深度图的非错误深度信息与所述经变换深度图的对应非错误深度信息求平均。** <br> **判断结果：直接公开** | [0058] “The depth image filtering unit 103 may filter the reference depth image by using a weighted average of each pixel of the reference depth image.” <br> [0073] “n number of depth images converted as if being obtained at a single place are blended by means of the filtering method described above.” <br> [0073] “An averaging algorithm applied in the depth image filtering unit 103 may include not only the aforementioned weighted average but also all the methods for mathematically processing pixel values such as arithmetic mean, geometric mean, etc.” | 对比文件的核心滤波方法就是对参考深度图像的每个像素（包括非错误的区域）计算加权平均值，这个平均值来源于参考深度图像自身和其他（经变换的）深度图像的对应像素。这直接公开了“对非错误深度信息与经变换深度图的对应非错误深度信息求平均”。对比文件明确提到了算术平均（arithmetic mean）作为平均算法的一种。 | ||||||||
| **技术特征L：，其中所述处理器经配置以确定所述第二深度图的所述深度是否比所述经变换深度图的所述深度大阈值量。** <br> **判断结果：隐含公开** | 方程式3: `Gσr( | Ipk - Iqi | ) = exp(-1/2 * ( | Ipk - Iqi | / σr)^2)` <br> [0061] “The depth image filtering unit 103 may determine a weighted average based on at least one of (a) a difference value of depth values between each pixel of the reference depth image and each pixel of another depth image...” | 对比文件在计算加权平均权重时，使用高斯函数`Gσr`来处理参考深度图像与另一深度图像对应像素的深度值差异` | Ipk - Iqi | `。高斯函数的性质是，当差异` | Ipk - Iqi | `越大时，权重越小。参数`σr`控制着权重衰减的速度，可以视作一个隐含的“阈值”。当深度差异远大于`σr`时，权重将变得非常小，意味着该像素点可能被视为异常或错误（在滤波中被赋予低权重）。虽然对比文件没有明确表述“确定是否大阈值量”的判断步骤，但其滤波权重的计算逻辑本质上隐含了基于阈值（`σr`）来评估深度差异大小的过程。因此，该特征被隐含公开。 |
| **技术特征M：，其中所述检测所述错误深度信息是基于所述经变换深度图的至少两个深度与所述第二深度图的至少两个深度之间的空间‑时间平均值。** <br> **判断结果：隐含公开** | [0058] “The depth image filtering unit 103 may successively generate filtering windows with respect to the reference depth image...” <br> [0060] 图3显示了在多个深度图像（时间维度）上生成滤波窗口（空间维度）。 <br> 方程式1: 加权平均的计算在集合C（可能指代多个深度图像，即时间维度）和集合S（滤波窗口内的像素集合，即空间维度）上进行。 | 对比文件的滤波过程是在一个滤波窗口（spatial window，空间邻域）内，对多个深度图像（temporal frames，时间序列）的像素进行加权平均计算（见方程式1和[0073]的“blended”）。这意味着其用于计算最终值（或判断像素质量）的信息，是来自空间和时间维度上多个深度值的综合（平均值）。虽然对比文件没有明确将这个过程称为“检测错误深度信息”，但其去噪（即校正错误）的机制正是基于这种空间-时间信息的融合。因此，“基于空间‑时间平均值检测错误深度信息”这一特征是隐含公开的。 | ||||||||
| **技术特征N：，其中所述处理器经配置以：将深度传感器平面上的一或多个点投射到世界坐标上以产生一或多个世界坐标点；旋转所述一或多个世界坐标点；平移所述一或多个世界坐标点；以及重新投射所述一或多个世界坐标点以产生所述经变换深度图。** <br> **判断结果：隐含公开** | [0056] “calculates a re-projection matrix to the relative camera pose value so that the plurality of depth images may be re-projected according to the reference depth image.” <br> [0051] “Each pixel in the depth image contains a distance value to an object point or a three-dimensional coordinate value of the object point.” | 对比文件公开了通过计算重新投影矩阵将多个深度图像重新投影到参考深度图像。在计算机视觉和3D图形学中，标准的重新投影过程通常涉及以下步骤：1) 利用深度值（距离或3D坐标）和相机内参，将图像平面上的像素点反向投影到3D世界坐标；2) 根据相机之间的相对姿态（旋转和平移）变换这些3D点；3) 将变换后的3D点投影到目标相机平面。对比文件提到深度图像像素包含到物体点的距离值或3D坐标值，这为反向投影提供了基础。虽然对比文件没有逐步列出投影、旋转、平移、重新投影这些子步骤，但本领域技术人员为了实现其公开的“重新投影”功能，必然需要执行这些标准步骤。因此，该组特征被隐含公开。 | ||||||||
| **技术特征O：，其中所述检测所述错误深度信息是基于所述第二深度图中的两个或更多个深度的空间平均值。** <br> **判断结果：隐含公开** | [0058] “The depth image filtering unit 103 may successively generate filtering windows with respect to the reference depth image...” <br> [0060] “A filtering window is generated for a portion of the depth image...” <br> 方程式1: 求和是在滤波窗口S（空间邻域）内的像素q上进行的。 | 对比文件的滤波过程针对参考深度图像的像素，会在一个滤波窗口（空间邻域）内考虑多个像素。虽然其主要目的是计算加权平均值用于滤波，但在这个计算过程中，会涉及到比较或整合窗口内多个深度值（空间信息）。这种基于空间邻域（两个或更多个像素）信息来处理像素值的方法，隐含了可以用于检测异常或错误（例如，通过比较中心像素与周围像素的平均值）。因此，“基于空间平均值检测错误深度信息”这一特征是隐含公开的。 | ||||||||
| **技术特征P：，其中所述错误深度信息包括深度传感器中断。** <br> **判断结果：直接公开** | [0068] “Holes that are not photographed in the reference depth image may be repaired by averaging the reference depth image and multiple depth images with different camera poses. The holes can be caused by occlusion, Moire patterns, texture or a color of an object, etc.” | 对比文件明确提及了深度图像中的“孔洞（holes）”，并解释了其产生原因（遮挡、摩尔纹等）。目标专利说明书第[0024]段将“中断”描述为“深度传感器产生错误深度信息”，并举例“中断可能是完全未能检测到任何内容”，这与对比文件中的“孔洞”（未拍摄到/未检测到深度信息）完全对应。因此，“错误深度信息包括深度传感器中断”这一特征被直接公开。 |
<<<A>>><<<D>>><<<E>>><<<G>>><<<I>>><<<K>>><<<P>>>
<<<b>>><<<c>>><<<f>>><<<h>>><<<j>>><<<l>>><<<m>>><<<n>>><<<o>>>