### 对比文件名称：
2009-12-23_EP1643769B_发明授权_EP1643769B1 Apparatus and method performing audio-video sensor fusion for object localization, tracking and separation
### 目标专利名称：
使用多模匹配方案的对象辨识 CN104246796B
### 本次调用的模型名称：
特征比对与公开性判断模型
| 技术特征描述以及公开性判断结果 | 对比文件原文引用 | 公开性论述 | ||
| 技术特征A：《隐含公开》 | 第[0091]段：`The conditional likelihood p(za(t) | f, θ) that sound sources received by the audio system 200 are present at a frequency f and angular direction θ is obtained by the computer 400 using the MUSIC (MUltiple Signal Classification) algorithm according to an aspect of the invention as set forth in equation (20).`<br>（由音频系统200接收的声音源在频率f和角方向θ处存在的条件似然p(za(t) | f, θ)由计算机400使用本发明的MUSIC（多信号分类）算法根据方程（20）获得。） | 目标专利的技术特征A为“从在场景处记录的音频计算多个声学辨识特征”。对比文件中，计算机400从麦克风阵列接收音频信号（第[0087]段），并利用MUSIC算法计算声音源在特定方向和频率下的条件似然（第[0091]段）。计算音频似然（likelihood）的过程必然涉及从原始音频信号中提取和计算能够表征声源方向、谱特性等的特征参数，这些参数即构成“声学辨识特征”。虽然对比文件未明确使用“声学辨识特征”一词，但基于音频信号计算用于后续融合与识别的特征量，是本领域技术人员能够从对比文件公开的音频处理过程中毫无疑义地推导出的内容。因此，该技术特征被对比文件隐含公开。 |
| 技术特征B：《未公开》 | 无对应内容。 | 目标专利的技术特征B为“将所述声学辨识特征与对应于一或多个对象的预定声学辨识特征进行比较以确定对象的声音源类型”。对比文件虽然计算了音频似然（第[0091]段），并将其与视频似然结合用于识别和跟踪对象（第[0097]段），但并未公开将计算出的声学特征与一个**预定的声学辨识特征数据库**进行比较，以确定该声音源是何种特定类型（如小号、钢琴等）的对象。对比文件的音频处理主要用于声源定位（DOA估计）和存在性判断，而非识别声音源的**类型**。因此，该技术特征未被对比文件公开。 | ||
| 技术特征C：《未公开》 | 无对应内容。 | 目标专利的技术特征C为“基于所述声音源类型选择所述对象中的稳定关键点”。根据目标专利说明书，关键点是图像中的特征点（例如通过SIFT检测），稳定关键点是从这些关键点中筛选出的更可靠的点（参见说明书第[0101]-[0104]段，图6中522）。对比文件主要利用颜色和边缘信息检测和定位对象（第[0095]-[0097]段），并未涉及在图像中检测和选择“关键点”，更没有基于“声音源类型”来指导选择“稳定关键点”。因此，该技术特征未被对比文件公开。 | ||
| 技术特征D：《未公开》 | 无对应内容。 | 目标专利的技术特征D为“基于选定关键点和所述声音源类型识别所述对象”。由于对比文件既未公开技术特征B（基于预定声学特征比较确定声音源类型），也未公开技术特征C（基于声音源类型选择稳定关键点），因此这个基于二者结合来识别对象的步骤也未被公开。 | ||
| 技术特征E：《未公开》 | 无对应内容。 | 目标专利的技术特征E为“基于在所述场景处记录的音频选择对应于一或多个对象的一或多个关键点标志”。根据目标专利说明书，关键点标志是用于匹配的、代表特定对象（如乐器）的预存特征模板（参见说明书第[0091]段，图6中DB 534）。对比文件未提及任何形式的“关键点标志”数据库，也未描述基于音频信息从这样的数据库中选择特定标志的过程。其视觉处理依赖于颜色和形状模型（第[0095]-[0097]段），而非基于关键点匹配。因此，该技术特征未被对比文件公开。 | ||
| 技术特征F：《隐含公开》 | 第[0095]段：`Specifically, an input color image, such as that shown in FIG. 3A, is converted by the computer 400 into two images: a color-transformed and thresheld image and an edge image as shown in FiGs. 3C and FIGs. 3B, respectively.`<br>（具体地，输入彩色图像（例如图3A所示）由计算机400转换为两个图像：如图3C所示的颜色变换和二值化图像以及如图3B所示的边缘图像。）<br>第[0097]段：`For human shape matching according to an aspect of the invention, the computer 400 uses three shape model images (i.e., edge image templates) of the human upper-body in accordance with human poses.`<br>（根据本发明的一个方面，为了进行人体形状匹配，计算机400使用对应于人体姿势的三个上体形状模型图像（即边缘图像模板）。） | 目标专利的技术特征F为“识别所述场景的图像中的多个关键点”。目标专利中的“关键点”指图像中用于特征识别和对象辨识的关注点（说明书第[0102]段）。对比文件中，计算机400对输入图像进行处理，生成边缘图像（第[0095]段）。边缘图像中的边缘像素或轮廓点，在本领域技术人员的常规理解中，可以视为图像中的一种“关键点”或特征点，它们代表了图像的局部显著结构。虽然对比文件未使用“关键点”这一术语，但其通过边缘检测提取图像特征的过程，实质上是在识别图像中的多个结构性关注点，这些点可用于后续的匹配（如与形状模板的Hausdorff距离比较，第[0097]段）。因此，该技术特征被对比文件隐含公开。 | ||
| 技术特征G：《未公开》 | 无对应内容。 | 目标专利的技术特征G为“将所述关键点与所述关键点标志进行比较以识别所述对象”。对比文件将检测到的边缘图像与预存的形状模板（边缘图像模板）进行比较以进行匹配（第[0097]段）。这可以理解为一种广义的“特征比较”。然而，目标专利中的“关键点标志”特指代表特定对象（如乐器）的预存特征模板，用于SIFT等关键点匹配（说明书第[0091]段）。对比文件的形状模板是用于整体轮廓匹配（Hausdorff距离），而非基于局部关键点描述符的匹配。虽然两者都涉及特征比较，但所基于的技术手段和特征粒度不同。对比文件未公开将局部“关键点”与预存的“关键点标志”数据库进行比较以识别特定对象类型的技术方案。因此，该技术特征未被对比文件公开。 | ||
| 技术特征H：《隐含公开》 | 第[0091]段：`The conditional likelihood p(za(t) | f, θ) that sound sources received by the audio system 200 are present at a frequency f and angular direction θ is obtained by the computer 400...`<br>（由音频系统200接收的声音源在频率f和角方向θ处存在的条件似然p(za(t) | f, θ)由计算机400获得...）<br>第[0097]段：`...the computer 400 determines a likelihood function for the images detected through the video system 100 using a Gaussian mixture model of 1 D Gaussian functions centered at the center-of-gravity θi of each detected human i.`<br>（...计算机400使用以每个检测到的人i的重心θi为中心的1D高斯函数的高斯混合模型，为通过视频系统100检测到的图像确定似然函数。） | 目标专利的技术特征H为“基于在所述场景处记录的所述音频选择场景图像的一部分”。目标专利中，基于音频（如DOA）确定关注区域（ROI），以缩小图像搜索范围（说明书第[0064]、[0069]段，图6中514）。对比文件中，计算机400分别计算音频方向似然（基于θ）和视频方向似然（基于θi）（第[0091]、[0097]段）。在融合过程中（第[0097]段及图4C），只有那些音频和视频方向信息相互支持的候选对象才会被最终识别和跟踪。这隐含了音频方向信息被用于评估和筛选图像中不同方向上的候选区域。本领域技术人员可以合理推断，在实现这种融合时，可以利用音频提供的方向估计来初步筛选或加权图像中不同角度的区域，这实质上等同于“基于音频选择场景图像的一部分”（即可能包含声源的那个角度区域）。因此，该技术特征被对比文件隐含公开。 |
| 技术特征I：《未公开》 | 无对应内容。 | 目标专利的技术特征I为“仅从所述图像的所述部分内选择所述关键点”。此特征依赖于技术特征H（基于音频选择图像部分）和技术特征F（识别关键点）。虽然对比文件隐含公开了基于音频信息关注图像特定方向区域（技术特征H），并且进行了边缘检测（技术特征F），但对比文件并未明确记载将边缘检测（关键点识别）的操作限定在由音频信息确定的那个特定图像区域内。其边缘检测和形状匹配似乎是针对整个全景图像进行的（图3A-3C）。因此，该“仅从...部分内选择”的限定技术特征未被公开。 | ||
| 技术特征J：《直接公开》 | 第[0091]段：`The conditional likelihood p(za(t) | f, θ) that sound sources received by the audio system 200 are present at a frequency f and angular direction θ is obtained by the computer 400 using the MUSIC (MUltiple Signal Classification) algorithm...`<br>（由音频系统200接收的声音源在频率f和角方向θ处存在的条件似然p(za(t) | f, θ)由计算机400使用MUSIC（多信号分类）算法获得...） | 目标专利的技术特征J为“其中基于在所述场景处记录的所述音频选择所述图像的一部分包含：从所述音频确定音频到达方向DOA”。对比文件明确公开了使用MUSIC算法基于接收的音频信号计算声音源在角方向θ的条件似然（第[0091]段）。这里的“角方向θ”即为声音的到达方向（DOA）。该技术手段在对比文件中起的作用就是确定声源方向，与目标专利中利用DOA来帮助选择图像部分的作用相同。因此，本领域技术人员能够毫无疑义地从对比文件得出“从音频确定音频到达方向DOA”这一技术方案。该技术特征被对比文件直接公开。 |
| 技术特征K：《隐含公开》 | 第[0097]段：`Accordingly in operation 510, the computer 400 will calculate a video likelihood based on the edge image shown in FIG. 3B and the blob image shown in FIG. 3C, resulting in a combined video likelihood image shown in FIG. 4B as a function of relative degree...`<br>（因此，在操作510中，计算机400将基于图3B所示的边缘图像和图3C所示的斑点图像计算视频似然，得到如图4B所示的作为相对角度函数的组合视频似然图像...）<br>结合第[0091]段音频方向信息。 | 目标专利的技术特征K为“基于所述音频DOA选择所述图像的所述部分”。对比文件分别计算了依赖于方向θ的音频似然（第[0091]段）和依赖于方向θi的视频似然（第[0097]段）。在融合阶段（操作540，图4C），系统结合两者来确定最终的目标。这一融合过程逻辑上意味着：音频DOA信息（体现在音频似然分布中）被用于确认或加权视频图像在相应方向上的内容。本领域技术人员可以合理推断，为了实现有效的传感器融合，系统会利用音频DOA来指导对图像中相应方向区域的关注和选择，否则融合将失去空间一致性基础。因此，尽管对比文件未明确表述“基于音频DOA选择图像部分”这一步骤，但该操作是其公开的音频-视频方向融合方案的必然隐含内容。该技术特征被对比文件隐含公开。 | ||
| 技术特征L：《直接公开》 | 第[0087]段：`The observed audio data is given by an m-dimensional vector (m sensors) in the frequency domain as follows in equation (18). As shown in FIG. 1, the array of microphones includes eight (8) microphones 210 such that m=8 in the shown example.`<br>（观察到的音频数据在频域中由m维向量（m个传感器）给出，如下面的方程（18）所示。如图1所示，麦克风阵列包括八个（8）麦克风210，因此在所示示例中m=8。） | 目标专利的技术特征L为“其中确定所述音频DOA包含：在位于所述场景处的多个麦克风处接收所述音频，借此产生多个麦克风信号”。对比文件明确公开了装置包含麦克风阵列（图1），具有多个麦克风（例如8个），用于接收音频并产生多个通道的信号（第[0087]段）。这正是通过位于场景处的多个麦克风接收音频以产生多个麦克风信号的技术特征。该特征在对比文件中是进行后续DOA估计的基础，作用与目标专利中相同。因此，该技术特征被对比文件直接公开。 | ||
| 技术特征M：《直接公开》 | 第[0091]段：`The conditional likelihood p(za(t) | f, θ) that sound sources received by the audio system 200 are present at a frequency f and angular direction θ is obtained by the computer 400 using the MUSIC (MUltiple Signal Classification) algorithm...`<br>（由音频系统200接收的声音源在频率f和角方向θ处存在的条件似然p(za(t) | f, θ)由计算机400使用MUSIC（多信号分类）算法获得...） | 目标专利的技术特征M为“基于所述麦克风信号确定所述音频DOA”。对比文件第[0091]段明确记载了计算机400使用MUSIC算法，基于从麦克风阵列接收的音频数据（即麦克风信号，见第[0087]段）来计算声音源在角方向θ的似然。计算角方向θ的似然，其核心就是确定声音的到达方向（DOA）。因此，“基于麦克风信号确定音频DOA”这一技术特征已被对比文件直接、明确地公开。 |
| 技术特征N：《未公开》 | 无对应内容。 | 目标专利的技术特征N为“从所述场景的视频记录计算多个局部运动向量”。对比文件处理的是静态图像特征（边缘、颜色）和音频，用于检测和跟踪对象，但全文中没有提及从视频序列中计算“局部运动向量”（LMV）。其跟踪主要基于贝叶斯滤波和状态预测（第[0102]-[0106]段），并未利用视频中的运动信息。因此，该技术特征未被对比文件公开。 | ||
| 技术特征O：《未公开》 | 无对应内容。 | 目标专利的技术特征O为“通过将所述局部运动向量与对应于一或多个对象的预定局部运动向量数据库进行比较且通过将所述关键点与一或多个关键点标志进行比较来识别所述对象”。由于对比文件既未公开技术特征N（计算局部运动向量），也未公开技术特征E/G（使用关键点标志进行比较），因此这个结合了运动向量比较和关键点比较的复合识别步骤也未被公开。 | ||
| 技术特征P：《未公开》 | 无对应内容。 | 目标专利的技术特征P为“其中基于将所述关键点与一或多个关键点标志进行比较来识别所述对象”。此特征与技术特征G实质相同。如前所述，对比文件使用整体形状模板匹配，而非基于局部关键点与预存标志的匹配。因此，该技术特征未被公开。 | ||
| 技术特征Q：《未公开》 | 无对应内容。 | 目标专利的技术特征Q为“其中所述声学辨识特征包含梅尔频率倒谱系数”。对比文件在音频处理部分使用的是基于子空间（如MUSIC）的方法进行DOA估计（第[0091]段），并未提及使用梅尔频率倒谱系数（MFCC）作为声学辨识特征。因此，该特定类型的声学特征未被对比文件公开。 | ||
| 技术特征R：《未公开》 | 无对应内容。 | 目标专利的技术特征R为“确定出现在图像中的一或多个对象的范围信息”。对比文件主要进行对象的平面方向（角度）定位和跟踪，未涉及确定对象的深度或距离（即范围信息）。因此，该技术特征未被对比文件公开。 | ||
| 技术特征S：《未公开》 | 无对应内容。 | 目标专利的技术特征S为“基于所述范围信息分析所述关键点”。由于技术特征R（范围信息）未被公开，因此这个基于范围信息分析关键点的步骤也未被公开。 | ||
| 技术特征T：《未公开》 | 无对应内容。 | 目标专利的技术特征T为“其中确定范围信息是选自由以下各项组成的群组：使用自动聚焦相机确定范围信息，使用多相机图像视差估计确定范围信息，和前述各项的任一组合”。对比文件未公开任何确定对象范围信息的方法，更未提及使用自动聚焦相机或多相机视差估计这些具体手段。因此，该技术特征未被对比文件公开。 |
<<<a>>><<<f>>><<<h>>><<<k>>><<<J>>><<<L>>><<<M>>>