目标专利:375基于手持式装置中的眼睛俘获的增强现实处理
专利公开号:CN103262097B
专利权人:高通股份有限公司
无效请求书提交日期:2026年
非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|---|
| 0 | 2008-04-10_WO2008040576A_发明申请_WO2008040576A1 FOCUSED AREAS IN AN IMAGE_+++A_B_H_K_N_P_l_o+++.docx |
| 0 | WO2010073616A1_Description_20260320_0222_+++A_N_O_S_U_g_k_l_t+++.docx |
| 0 | WO2009131539A1_Description_20260320_0222_+++C_E_K_f_l+++.docx |
| 0 | 2010-10-14_US2010260426A_发明申请_US20100260426A1 SYSTEMS AND METHODS FOR IMAGE RECOGNITION USING MOBILE DEVICES_+++A_L_M_N_O_S_U_c_g_t+++.docx |
| 0 | 2009-12-31_US2009322671A_发明申请_US20090322671A1 TOUCH SCREEN AUGMENTED REALITY SYSTEM AND METHOD_+++A_B_N_O_P_S_U+++.docx |
| 0 | 2009-07-07_US7556377B_发明授权_US07556377B2 System and method of detecting eye fixations using adaptive thresholds_+++O_b_k+++.docx |
| 0 | 2009-06-11_US2009149468A_发明申请_US20090149468A1 Substituted heterocyclic compounds and methods of use.docx |
| 0 | 2009-01-15_US2009017395A_发明申请_US20090017395A1 TONER, TWO-COMPONENT DEVELOPER, DEVELOPING DEVICE, AND IMAGE FORMING APPARATUS.docx |
| 0 | 2009-01-15_JP2009009899A_发明专利_JP2009009899A Plug-in terminal structure.docx |
| 0 | 2008-07-17_US2008170748A_发明申请_US20080170748A1 CONTROLLING A DOCUMENT BASED ON USER BEHAVIORAL SIGNALS DETECTED FROM A 3D CAPTURED IMAGE STREAM_+++k_l_o+++.docx |
| 0 | 2008-06-04_JP4095789B_发明专利_JP4095789B2 Evaluation method of lithium secondary battery.docx |
| 0 | 2001-12-14_JP2001344617A_发明专利_JP2001344617A Composite reality realizing system_+++A_O_S_U+++.docx |
| 0 | 2007-12-13_JP2007319549A_发明专利_JP2007319549A Body-worn belt, composite body-worn belt, cover member, and connecting member.docx |
| 0 | 2007-09-27_JP2007251257A_发明专利_JP2007251257A Image recognition device, vehicle control device, image recognition method, and vehicle control method_+++A_C_O+++.docx |
| 0 | 2007-07-05_JP2007172378A_发明专利_JP2007172378A Apparatus for specifying object to be gazed at_+++A_B_K_j_l_o_p+++.docx |
| 0 | 2006-02-14_US6997556B_发明授权_US06997556B2 Method for detecting, evaluating, and analyzing look sequences_+++A_B_K_P_l+++.docx |
| 0 | 2005-12-01_WO2005114476A_发明申请_WO2005114476A1 MOBILE IMAGE-BASED INFORMATION RETRIEVAL SYSTEM_+++A_N_c_l_o_s_u+++.docx |
| 0 | 2004-05-27_US2004100567A_发明申请_US20040100567A1 Camera system with eye monitoring_+++A_B_d_g_h_i_k_l_n_o+++.docx |
| 0 | 2003-05-23_JP2003151642A_发明专利_JP2003151642A Evaluation method for lithium secondary battery.docx |
| 0 | 2002-08-20_US6437758B_发明授权_US06437758B1 Method and apparatus for eyetrack—mediated downloading_+++B_D_O_g_k_q+++.docx |
| 0 | 2002-04-16_US6373961B_发明授权_US06373961B1 Eye controllable screen pointer_+++O_j_k_l_p_s_u+++.docx |
一种用于区分对图像中的对象的处理的优先级的方法,其包含:使用装置的第一相机俘获第一图像,所述第一相机相对于所述装置的用户指向外; 使用所述装置的第二相机俘获第二图像,其中所述第二图像包含所述用户的眼睛; 基于所述第一图像中的一个或一个以上对象而产生第一概率图; 基于所述第二图像中的所述用户的所述眼睛而产生第二概率图; 基于所述第一和第二概率图而产生组合概率图; 至少部分基于所述组合概率图而产生与所述第一图像中的所述一个或一个以上对象相关联的增强现实AR信息; 其中基于所述组合概率图而产生所述AR信息包含基于所述组合优先级图而区分所述第一图像中的不同对象的优先级。
你好!作为同行,我很乐意协助你完成这项专利侵权或无效分析的基础工作。以下是对目标专利权利要求1的解读、对比文件D1的特征比对,以及关于最接近现有技术的创造性分析。
权利要求1保护的是一种用于区分对图像中的对象的处理的优先级的方法。结合目标专利说明书(特别是背景技术[0003]段和具体实施方式[0023]、[0057]段),该权利要求的核心发明点及技术逻辑解释如下:
硬件基础与应用场景:该方法主要应用于处理能力和电池电量有限的手持式装置(如智能手机)。装置包含两个朝向相反的相机:第一相机“向外”拍摄用户前方的场景(对象),第二相机“向内”拍摄用户的眼睛。
双概率图机制:
第一概率图:基于第一相机拍到的前方场景,识别出哪里有可能存在对象(Object),对应说明书图4A,对象所在区域概率高。
第二概率图:基于第二相机拍到的用户眼睛(视线/注意力焦点),映射到前方场景中,用户正盯着的区域概率高(对应说明书图4B)。
组合与AR优先级处理:将上述两个概率图融合(如概率相乘,见图5),得出“组合概率图”。最终,系统根据组合概率图的高低来决定增强现实(AR)信息的处理优先级。这解决了移动设备在进行复杂AR处理时算力不足的问题,好钢用在刀刃上,优先渲染或识别用户正盯着的物体。
以下是对权利要求1的各项技术特征与对比文件 D1 (WO2009131539A1) 的详细比对。
| 权利要求1技术特征 | 对比文件 D1 (WO2009131539A1) 公开情况 | D1 详细出处(原文引用)与对比分析 |
| A: 其包含:使用装置的第一相机俘获第一图像,所述第一相机相对于所述装置的用户指向外 | 未公开 |
原文:"In one example, the stereo camera is used to capture the user's face and hand..." (Page 14) 分析:D1使用的是立体相机(Stereo camera)来捕捉用户的脸和手,是为了识别手势,相机是面向用户的,并未公开“相对于用户指向外”的第一相机来捕捉环境图像。 |
| B: 使用所述装置的第二相机俘获第二图像,其中所述第二图像包含所述用户的眼睛 | 未公开 |
原文:D1全文多处提及检测人脸("detecting a face in the image" Page 6),但目的是为了提取皮肤颜色。 分析:D1并没有使用一个专门的第二相机来获取包含“用户眼睛”的图像以用于后续视线/焦点追踪。 |
| C: 基于所述第一图像中的一个或一个以上对象而产生第一概率图 | 部分公开 / 概念相似但实质不同 |
原文:"calculating a first probability map comprising of probabilities that respective pixels in the image corresponds to skin based on colour information..." (Page 6) 分析:D1确实公开了生成“第一概率图”,但其生成依据是“像素的颜色信息(肤色)”,目的是找皮肤,而不是像本专利那样基于“向外场景中的对象”。 |
| D: 基于所述第二图像中的所述用户的所述眼睛而产生第二概率图 | 未公开 |
原文:"calculating a second probability map comprising of probabilities that the respective pixels in the image corresponds to a part of a hand based on depth information..." (Page 6) 分析:D1公开的“第二概率图”是基于相机的**深度信息(depth information)**生成的,用来判断手距相机的距离,完全没有利用“用户的眼睛”。 |
| E: 基于所述第一和第二概率图而产生组合概率图 | 实质公开 |
原文:"calculating a joint probability map by combining the first probability map and the second probability map" (Page 6) 及 "Pij = Mij x Nij" (Page 18) 分析:D1明确公开了将第一概率图和第二概率图进行组合(Hadamard乘积)生成联合(组合)概率图的方法。虽然概率图的输入源不同,但融合算法逻辑被实质公开。 |
| F: 至少部分基于所述组合概率图而产生与所述第一图像中的所述一个或一个以上对象相关联的增强现实AR信息 | 未公开 |
原文:"detecting and tracking hands in the image using an algorithm with a weight output as a detection threshold applied on the joint probability map." (Page 6) 分析:D1利用组合概率图的目的是为了“检测和追踪图像中的手(手势识别)”,并未产生任何关联对象的AR(增强现实)信息。 |
| G: 其中基于所述组合概率图而产生所述AR信息包含基于所述组合优先级图而区分所述第一图像中的不同对象的优先级。 | 未公开 | 分析:由于D1完全没有涉及AR处理,自然也不存在利用组合概率图来为AR处理“区分不同对象的优先级”的步骤。 |
在进行创造性(显而易见性)评判时,最接近的现有技术通常应当是与本发明所属技术领域相同、解决的技术问题相同或最接近、且公开了本发明最多技术特征的文献。
1. 整体解决的技术问题对比:
本专利:解决的是手持设备在处理复杂**增强现实(AR)环境时,算力和功耗受限的问题。其手段是通过追踪用户眼睛(视线)**来分配算力优先级。
对比文件D1:解决的是在复杂背景和光照变化下,如何通过摄像头准确地**检测和追踪用户的手势(Hand Tracking)**的问题。其手段是融合“肤色特征”和“深度特征”来排除干扰。
2. 技术效果对比:
本专利:实现了AR处理的加速和资源的优化配置。
对比文件D1:提高了手势识别的鲁棒性(Robustness)和准确率。
结论:D1 不适合作为最接近的对比文件。
虽然D1在字面上碰巧公开了“生成第一概率图”、“生成第二概率图”以及“生成组合概率图”这种纯数学/算法层面的抽象步骤架构(特征E),但其应用领域(手势追踪 vs AR渲染)、硬件架构(单向立体相机 vs 内外双向相机)以及核心输入数据(肤色与深度 vs 外部对象与内部人眼)均存在根本性差异。
如果强行将D1作为最接近的对比文件,审查员或无效宣告请求人将面临极大的“事后诸葛亮(Hindsight)”嫌疑。因为本领域技术人员在面对“如何优化手持设备AR处理优先级”这一技术问题时,根本没有动机去参考一篇关于“利用肤色和深度识别手势”的文献,更没有动机将其硬件改造成内外双摄,并将“肤色/深度”替换为“对象/人眼”。
关于未公开特征的检索建议:
针对D1未能公开的核心特征(即特征A、B、D、F、G:通过内外双摄结合视线追踪来分配AR渲染优先级),在本提示词提供的材料中没有其他对比文件。在实际的无效或FTO检索中,建议后续重点检索以下领域的文献:
眼动追踪与注视点渲染技术(Foveated Rendering / Gaze tracking),常见于VR/AR头显技术(如Tobii或Oculus的早期专利)。
移动设备的前后双摄协同处理技术(Front and rear camera simultaneous capture)。
如果你手头还有D2、D3等其他对比文件,我们可以继续将本专利未被D1公开的特征与新文件进行映射比对。需要我进行下一步操作吗?
根据权利要求1所述的方法,其中所述概率图包含多个瓦片,且至少部分基于所述第二图像中的所述用户的所述眼睛而给予所述概率图的一个或一个以上瓦片比其它瓦片高的优先级。
根据权利要求1所述的方法, 其中所述第一概率图界定所述第一图像中的具有比所述第一图像中的其它区域高的包含感兴趣的对象的概率的一个或一个以上区域;且其中所述第二概率图界定基于所述用户眼睛相对于所述第一图像中的其它区域具有更高的用户兴趣的概率的一个或一个以上区域。
根据权利要求3所述的方法,其进一步包括产生所述第一或第二图像中的至少一者的镜像版本,使得所述第一和第二图像从共同角度对准,其中所述第一和第二概率图中的至少一者是基于所述镜像版本而产生。
根据权利要求1所述的方法,其中使所述第一和第二图像时间同步。
根据权利要求1所述的方法,其进一步包括针对第一图像序列和第二图像序列的每个图像来重复所述方法,其中所述第一图像序列与所述第二图像序列时间同步。
根据权利要求1所述的方法,其进一步包括针对第一图像序列中的每第N图像以及第二图像序列中的每第N图像来重复所述方法,其中所述第一图像序列与所述第二图像序列时间同步,且其中N表示大于或等于2的整数。
根据权利要求1所述的方法,其中通过包含所述第一相机、所述第二相机和显示器的手持式装置来执行所述方法。
根据权利要求1所述的方法,其中实时地执行所述方法。
根据权利要求1所述的方法,其进一步包括:使用所述第一相机俘获第一图像序列, 使用所述第二相机俘获第二图像序列,其中所述第二图像序列包含所述用户的所述眼睛; 基于所述第二图像序列中的所述用户的所述眼睛而产生多个概率图; 至少部分基于所述多个概率图而产生所述AR信息;以及显示所述AR信息与所述第一图像序列。
根据权利要求1所述的方法,其进一步包括通过以优先级区分的次序处理AR信息而基于所述不同对象的优先级区分来执行对所述不同对象的对象识别。
根据权利要求1所述的方法,其进一步包括显示所述增强现实AR信息与所述第一图像。
一种用于区分对图像中的对象的处理的优先级的装置,所述装置包括:第一相机,其经定向以在所述第一相机相对于所述装置的用户指向外时俘获第一图像; 第二相机,其经定向以在所述第一相机相对于所述用户指向外时俘获包含所述用户的眼睛的第二图像; 增强现实AR单元,其: 基于所述第一图像中的一个或一个以上对象而产生第一概率图; 基于所述第二图像中的所述用户的所述眼睛而产生第二概率图; 基于所述第一和第二概率图而产生组合概率图;以及至少部分基于所述组合概率图而产生与所述第一图像中的所述一个或一个以上对象相关联的增强现实AR信息,其中在基于所述组合概率图而产生所述AR信息时,增强现实AR单元基于所述组合概率图而区分所述第一图像中的不同对象的优先级。
根据权利要求13所述的装置,其中所述概率图包含多个瓦片,且至少部分基于所述第二图像中的所述用户的所述眼睛而给予所述概率图的一个或一个以上瓦片比其它瓦片高的优先级。
根据权利要求13所述的装置, 其中所述第一概率图界定所述第一图像中的具有比所述第一图像中的其它区域高的包含感兴趣的对象的概率的一个或一个以上区域;且其中所述第二概率图界定基于所述用户眼睛相对于所述第一图像中的其它区域具有更高的用户兴趣的概率的一个或一个以上区域。
根据权利要求15所述的装置,其中所述AR单元产生所述第一或第二图像中的至少一者的镜像版本,使得所述第一和第二图像从共同角度对准,其中所述第一和第二概率图中的至少一者是基于所述镜像版本而产生。
根据权利要求13所述的装置,其中所述第一和第二图像被时间同步。
根据权利要求13所述的装置,其中所述AR单元针对第一图像序列的每个图像来重复所述AR信息的产生,其中所述第一图像序列与第二图像序列时间同步。
根据权利要求13所述的装置,其中所述AR单元针对第一图像序列的每第N图像来重复所述AR信息的产生,其中所述第一图像序列与第二图像序列时间同步,且其中N表示大于或等于2的整数。
根据权利要求13所述的装置,其中产生所述AR信息实时地发生。
根据权利要求13所述的装置,其中: 所述第一相机俘获第一图像序列, 所述第二相机俘获第二图像序列,其中所述第二图像序列包含所述用户的所述眼睛; 所述AR单元基于所述第二图像序列中的所述用户的所述眼睛而产生多个概率图,且至少部分基于所述多个概率图而产生所述AR信息;且显示器显示所述AR信息与所述第一图像序列。
根据权利要求13所述的装置,其中所述AR单元包括集成电路和微处理器中的至少一者。
根据权利要求13所述的装置,且其通过以优先级区分的次序处理所述AR信息而基于所述不同对象的优先级区分来执行对所述不同对象的对象识别。
根据权利要求13所述的装置,其进一步包括显示所述AR信息与所述第一图像的显示器。
一种用于区分对图像中的对象的处理的优先级的装置,其包括:用于用装置俘获第一图像的装置; 用于用所述装置俘获第二图像的装置,其中所述第二图像包含用户的眼睛,且其中所述第一和第二图像被同时俘获; 用于基于所述第一图像中的一个或一个以上对象而产生第一概率图的装置; 用于基于所述第二图像中的所述用户的所述眼睛而产生第二概率图的装置; 用于基于所述第一和第二概率图而产生组合概率图的装置;以及用于至少部分基于所述组合概率图而产生与所述第一图像中的所述一个或一个以上对象相关联的增强现实AR信息的装置; 其中所述用于产生所述增强现实信息的装置包含用于基于所述组合概率图而区分所述第一图像中的不同对象的优先级的装置。
根据权利要求25所述的装置,其中所述概率图包含多个瓦片,且至少部分基于所述第二图像中的所述用户的所述眼睛而给予所述概率图的一个或一个以上瓦片比其它瓦片高的优先级。
根据权利要求25所述的装置, 其中所述第一概率图界定所述第一图像中的具有比所述第一图像中的其它区域高的包含感兴趣的对象的概率的一个或一个以上区域;且其中所述第二概率图界定基于所述用户眼睛相对于所述第一图像中的其它区域具有更高的用户兴趣的概率的一个或一个以上区域。
根据权利要求27所述的装置,其进一步包括用于产生所述第一或第二图像中的至少一者的镜像版本以使得所述第一和第二图像从共同角度对准的装置,其中所述第一和第二概率图中的至少一者是基于所述镜像版本而产生。
根据权利要求25所述的装置,其中所述第一和第二图像被时间同步。
根据权利要求25所述的装置,其中针对第一图像序列和第二图像序列的每个图像来重复产生所述AR信息,其中所述第一图像序列与所述第二图像序列时间同步。
根据权利要求25所述的装置,其中针对第一图像序列中的每第N图像以及第二图像序列中的每第N图像来重复产生所述AR信息,其中所述第一图像序列与所述第二图像序列时间同步,且其中N表示大于或等于2的整数。
根据权利要求25所述的装置,其中所述装置是包含第一相机、第二相机和显示器的手持式装置。
根据权利要求25所述的装置,其中产生所述AR信息实时地发生。
根据权利要求25所述的装置,其进一步包括:用于俘获第一图像序列的装置, 用于俘获第二图像序列的装置,其中所述第二图像序列包含所述用户的所述眼睛; 用于基于所述第二图像序列中的所述用户的所述眼睛而产生多个概率图的装置; 用于至少部分基于所述多个概率图而产生所述AR信息的装置;以及用于显示所述AR信息与所述第一图像序列的装置。
根据权利要求25所述的装置,其进一步包括用于显示所述AR信息与所述第一图像的装置。
根据权利要求25所述的装置,其进一步包括用于通过以优先级区分的次序处理所述AR信息而基于所述不同对象的优先级区分来执行对所述不同对象的对象识别的装置。
一种用于区分对图像中的对象的处理的优先级的设备,所述设备经配置以:在从装置的第一相机接收第一图像后,所述第一相机即刻相对于所述装置的用户指向外;以及在使用所述装置的第二相机接收第二图像后,其中所述第二图像包含所述用户的眼睛,即刻基于所述第一图像中的一个或一个以上对象而产生第一概率图; 基于所述第二图像中的所述用户的所述眼睛而产生第二概率图; 基于所述第一和第二概率图而产生组合概率图;以及基于所述组合概率图而产生与所述第一图像中的所述一个或一个以上对象相关联的增强现实AR信息,其中在基于所述组合概率图而产生所述AR信息时,基于所述组合概率图而区分所述第一图像中的不同对象的优先级。
根据权利要求37所述的设备,其中所述设备包括通信地耦合到所述第一相机、所述第二相机和显示器的处理器。
根据权利要求37所述的设备,其中所述设备包括手持式装置的AR单元。
根据权利要求37所述的设备,其进一步包括用于输出所述AR信息的显示器。
根据权利要求37所述的设备,其进一步经配置以通过以优先级区分的次序处理所述AR信息而基于所述不同对象的优先级区分来执行对所述不同对象的对象识别。