对比文件名称：2006-04-05_EP1643769A_发明公开_EP1643769A1 Apparatus and method performing audio-video sensor fusion for object localization, tracking and separation
目标专利名称：333使用多模匹配方案的对象辨识CN104246796B
模型名称：创造性评估模型
| 技术特征描述以及公开性判断结果 | 对比文件原文引用 | 公开性论述 |
| 技术特征A《隐含公开》 | “an audio likelihood module which determines corresponding audio likelihoods for each of a plurality of sounds received from corresponding different directions, each audio likelihood indicating a likelihood that a sound is an object to be tracked;”[0005] | 对比文件公开了音频似然模块，其确定从不同方向接收的多个声音的对应音频似然，每个音频似然指示该声音是待跟踪对象的可能性。计算音频似然必然需要从音频信号中提取特征（例如，用于确定是否为特定类型对象（如人类）的特征）。因此，本领域技术人员可以毫无疑义地推断，该模块必然执行了“从在场景处记录的音频计算多个声学辨识特征”这一步骤。该特征在对比文件中用于确定声音源（如讲话者）是否为待跟踪对象，与目标专利中用于确定声音源类型（如乐器类型）的作用实质相同，均为基于音频特征进行辨识。 |
| 技术特征B《隐含公开》 | “each audio likelihood indicating a likelihood that a sound is an object to be tracked”[0005]；“the computer 400 calculates the audio likelihood as a function of angle”[0094]；以及描述音频似然计算的段落，例如涉及协方差矩阵、特征值问题、MUSIC算法的段落[0088]-[0094]。 | 对比文件公开了计算音频似然值，该值指示声音是待跟踪对象的可能性。这隐含了将音频信号（或其提取的特征）与某个参照标准进行比较，以确定其属于特定类型（在此为“待跟踪对象”，例如讲话者）的可能性。虽然对比文件未明确记载与“预定声学辨识特征”进行比较，但计算似然值必然涉及与某种模型或特征库的匹配或比较过程。本领域技术人员可以合理推断，为了实现音频似然计算，需要将输入音频特征与对应于一或多个对象（如讲话者）的预定声学特征模型进行比较。其作用与目标专利中“确定对象的声音源类型”相同，都是基于音频进行对象分类/辨识。 |
| 技术特征C《未公开》 | 对比文件描述了视频处理，例如检测边缘、肤色，并与预存的人体形状模型进行比较以确定视频似然[0095]-[0102]。 | 对比文件未公开“基于声音源类型选择对象中的稳定关键点”。对比文件的视频处理部分虽然涉及从图像中检测特征（如边缘），但其选择是基于视觉特征（颜色、形状匹配的Hausdorff距离）以及与预存模型的比较，并未提及基于**音频导出的声音源类型**来指导或选择图像中的关键点。目标专利的核心改进之一正是利用音频信息来缩窄视觉关键点搜索范围（例如，基于乐器类型选择关键点）。对比文件中的音频和视频信息在融合阶段（计算联合似然）才结合，并未教导利用音频辨识出的类型去主动选择或过滤视觉特征（关键点）。因此，该特征未被公开。 |
| 技术特征D《隐含公开》 | “an identification and tracking module which determines correspondences between the audio likelihoods and the video likelihoods, if a correspondence is determined to exist between one of the audio likelihoods and one of the video likelihoods, identifies and tracks a corresponding one of the objects using each determined pair of audio and video likelihoods”[0005]；“the computer 400 is able to distinguish that the target 630 and 640 are human beings who are presently talking by performing operation 530.”[0056] | 对比文件公开了识别与跟踪模块，其确定音频似然和视频似然之间的对应关系，如果存在对应，则使用每对确定的音频和视频似然来识别和跟踪相应对象。这实质上是一个基于音频和视频信息融合来识别对象的完整过程。虽然对比文件未明确记载“基于选定关键点和声音源类型”这一具体内部步骤，但其最终识别对象的结果是基于音频信息（音频似然，隐含声音源类型判断）和视频信息（视频似然，隐含从图像中提取的特征/关键点）的结合。本领域技术人员可以合理推断，该识别过程必然利用了从音频判断出的“声音源类型”（是否为讲话者）和从视频中提取的特征（可视为关键点）来共同完成。因此，该特征被隐含公开。 |
| 技术特征E《隐含公开》 | “for each image in the received video, the video likelihood module compares the image against a pre-selected image profile in order to determine the video likelihood for the image.”[0008]；“three shape model images (i.e., edge image templates) of the human upper-body”[0098] | 对比文件公开了视频似然模块将接收到的视频中的每个图像与预选的图像轮廓（profile）进行比较，以确定该图像的视频似然。所述预选图像轮廓包括颜色和形状，并且具体提到了人体上身的形状模型图像（边缘图像模板）。这些“预选的图像轮廓”或“形状模型图像”在目标专利的语境下，可以理解为预存的“关键点标志”。虽然对比文件未明确使用“基于音频选择”这一限定，但其系统目标就是识别和跟踪发出声音的对象（讲话者），因此，在音频指示存在潜在声源的方向/位置时，系统会自然地在相应方向/区域应用这些预存的模型进行比较。本领域技术人员可以合理推断，在音频-视频融合的框架下，音频信息（如方向）可用于引导或激活对特定预存模型（关键点标志）的搜索。因此，该特征被隐含公开。 |
| 技术特征F《直接公开》 | “the computer 400 visually detects multiple humans in operation 500”[0047]；“an edge image is detected from the photograph”[0049]；“the computer 400 detects a color (i.e., flesh tones) in order to distinguish human beings from non human beings.”[0050] | 对比文件明确公开了从图像中检测多个人的操作，包括检测边缘图像和肤色区域。检测边缘和特定颜色区域的过程，就是识别图像中关注点或特征的过程，这些点或区域在目标专利中即被称为“关键点”。因此，该技术特征被对比文件直接公开。 |
| 技术特征G《直接公开》 | “for each image in the received video, the video likelihood module compares the image against a pre-selected image profile in order to determine the video likelihood for the image.”[0008]；“compares the edge of each image against the shape to identify features indicative of an object to be tracked.”[0010] | 对比文件明确公开了将检测到的图像（或其边缘）与预选的图像轮廓（形状模型）进行比较，以识别指示待跟踪对象的特征。这直接对应于目标专利中的“将关键点与关键点标志进行比较以识别对象”。虽然术语不同，但实质技术手段相同：将图像中提取的特征与预存的特征模板进行比较，以进行识别。 |
| 技术特征H《隐含公开》 | “the audio likelihood module further detects, for each received sound, an audio direction from which a corresponding sound is received, the video likelihood module further detects, for each image, a video direction from which the image is observed, and the identification and tracking module further determines the correspondences based upon a correspondence between the audio directions and the video directions.”[0031]；结合图4A-4C及对应描述[0052]-[0056]。 | 对比文件公开了音频似然模块检测声音的到达方向，视频似然模块检测图像被观察的方向，识别跟踪模块基于音频和视频方向之间的对应关系来确定对应关系。图4C展示了结合音频和视频方向信息后识别出的讲话者位置。虽然未明确表述为“选择场景图像的一部分”，但基于方向对应关系来识别对象，本质上意味着系统将关注点聚焦于来自特定方向（对应图像中的特定区域）的音频和视频信息。本领域技术人员可以合理推断，在实现方向对应和对象定位的过程中，系统必然在逻辑上或实际上“选择”了与音频方向相匹配的图像区域（部分）进行分析。因此，该特征被隐含公开。 |
| 技术特征I《隐含公开》 | 基于特征H的论述。 | 既然对比文件隐含公开了基于音频方向等信息来选择图像的关注区域（特征H），那么在该区域内进行特征检测或选择（如边缘检测、肤色检测）就是顺理成章的步骤。对比文件中描述的视频检测（边缘、颜色）虽然未限定仅在某个区域进行，但在实际处理中，为了提高效率或准确性，结合方向信息将处理集中在相关区域是显而易见的优化手段。因此，本领域技术人员可以合理推断出“仅从图像的所述部分内选择所述关键点”这一特征。 |
| 技术特征J《直接公开》 | “the audio likelihood module further detects, for each received sound, an audio direction from which a corresponding sound is received”[0031]；“The subspace approach used by the computer 400 according to an aspect of the invention is based upon a spatial covariance matrix … assuming that their estimation parameters (i.e. the angles between an array microphone 210 and each speaker are fixed).”[0087] | 对比文件明确公开了音频似然模块检测每个接收声音的音频方向（DOA）。具体实施中，使用子空间方法基于空间协方差矩阵来估计声源到达角度。因此，“从音频确定音频到达方向DOA”这一技术特征被直接公开。 |
| 技术特征K《隐含公开》 | 结合特征H和特征J的论述。 | 对比文件直接公开了确定音频DOA（特征J），并隐含公开了基于音频和视频方向的对应关系来识别对象，这逻辑上包含基于音频DOA信息来关联或聚焦图像中的特定区域（特征H）。因此，“基于音频DOA选择图像的所述部分”这一具体步骤，是本领域技术人员在实现音频-视频方向融合定位时能够合理推导出的具体实施方式。 |
| 技术特征L《直接公开》 | “The audio system 200 includes a microphone array having eight (8) microphones 210.”[0042]；“Each microphone 210 outputs to a respective channel.”[0043] | 对比文件明确公开了使用包含多个麦克风（8个）的麦克风阵列位于场景处接收音频，每个麦克风输出一个通道的信号，从而产生多个麦克风信号。该特征被直接公开。 |
| 技术特征M《直接公开》 | “the audio likelihood module further detects, for each received sound, an audio direction from which a corresponding sound is received”[0031]；以及详细描述基于麦克风阵列信号使用子空间方法（如MUSIC算法）估计DOA的段落[0088]-[0094]。 | 对比文件明确公开了基于麦克风阵列产生的多个麦克风信号，通过音频似然模块（具体采用子空间算法）来确定声音的到达方向（DOA）。因此，“基于所述麦克风信号确定所述音频DOA”被直接公开。 |
| 技术特征N《未公开》 | 对比文件描述了目标的运动模型[0070]-[0077]以及跟踪[0103]-[0107]，但未提及从视频记录中计算“局部运动向量(LMV)”。 | 对比文件虽然涉及对运动目标的跟踪，并使用了动态运动模型，但其视频处理部分侧重于基于颜色和形状模板的静态特征匹配（边缘、肤色）来计算视频似然，并未公开计算图像中局部区域的运动向量（LMV）这一具体特征。目标专利中LMV用于运动模式匹配以辅助识别，而对比文件未提及此技术手段。 |
| 技术特征O《未公开》 | 基于特征N未公开，且对比文件未记载将局部运动向量与数据库进行比较。 | 由于对比文件未公开“计算多个局部运动向量”（特征N），自然也未曾公开“通过将局部运动向量与预定局部运动向量数据库进行比较且通过将关键点与关键点标志进行比较来识别对象”这一结合了运动向量的多模识别方式。目标专利此特征强调了运动信息的利用，对比文件未涉及。 |
| 技术特征P《直接公开》 | 此特征为特征G的另一种表述或部分内容。基于特征G已被直接公开。 | 特征G已明确记载“将所述关键点与所述关键点标志进行比较以识别所述对象”。因此，该限定被直接公开。 |
| 技术特征Q《未公开》 | 对比文件未提及“梅尔频率倒谱系数(MFCC)”。其音频特征提取基于空间协方差矩阵和子空间方法，用于估计方向，而非直接用于声音分类的MFCC特征。 | 目标专利明确限定了声学辨识特征包含MFCC。对比文件虽然使用了音频特征（用于计算音频似然和DOA），但未具体公开或暗示使用MFCC作为特征。MFCC是语音/音频识别中常用的特定特征集，其未被公开。 |
| 技术特征R《未公开》 | 对比文件未提及确定图像中对象的“范围信息”（即深度或距离）。 | 对比文件主要基于方向（角度）进行定位和跟踪，未涉及利用视差、自动聚焦或其他方法来确定对象的深度或范围信息。该特征未被公开。 |
| 技术特征S《未公开》 | 基于特征R未公开。 | 由于未公开“范围信息”，因此“基于所述范围信息分析所述关键点”这一特征也未被公开。 |
| 技术特征T《未公开》 | 对比文件未提及任何确定范围信息的方法，如自动聚焦相机、多相机图像视差估计等。 | 该特征具体列举了确定范围信息的几种方法，对比文件中均未记载。因此，该特征未被公开。 |
<<<a>>><<<b>>><<<d>>><<<e>>><<<f>>><<<g>>><<<h>>><<<i>>><<<j>>><<<k>>><<<l>>><<<m>>><<<p>>>