**对比文件名称**：2012-06-28_US2012166374A_发明申请_US20120166374A1 ARCHITECTURE, SYSTEM AND METHOD FOR ARTIFICIAL NEURAL NETWORK IMPLEMENTATION
**目标专利名称**：345在多维范围上对包括可分离子系统的系统的评估CN105580031B
**本次调用模型名称**：专利创造性评估模型
## 特征比对表格
| 技术特征描述以及公开性判断结果 | 对比文件原文引用 | 公开性论述 |
| **技术特征A**：《隐含公开》 | [0069] 实施例涉及可扩展ANN的架构、系统和方法，旨在提供具有可变并行度的定制可扩展网络。该可变并行度是通过估计可扩展网络所需的网络性能和/或硬件资源利用率来选择的，特别是在给定可用于实现可扩展网络的硬件资源容量的情况下。 <br> [0070] 实施例可以实现输入模式通过定制网络的前馈计算以提供网络输出。实施例还可以使用网络输出和通过可扩展网络传播的目标来计算误差梯度。 <br> [0092] 实施例涉及用于配置和实现可扩展ANN的架构、系统和方法。该架构、系统和方法旨在提供具有可变并行度的定制可扩展网络。 | **隐含公开论述**：目标专利的特征A涉及“通过确定所述神经网络的第一群互连神经元的输入与第二群互连神经元的输出之间的单向依赖性来将所述神经网络串行化成所述第一群互连神经元和所述第二群互连神经元”。根据目标专利说明书[0051]-[0052]、图5A-5B及[0061]-[0063]的描述，串行化的本质是识别具有单向依赖性的子系统（层），例如，第一隐藏子系统（层）的输出影响第二隐藏子系统（层），但反之则不成立。对比文件虽然主要关注“并行化”（parallelization），但其描述的神经网络架构（例如[0075]及图1）明确包含输入层、隐藏层和输出层，这些层之间天然存在前向计算的数据流，即“输入层”的输出（即输入模式）影响“隐藏层”，隐藏层的输出影响“输出层”，这种层与层之间的关系构成了单向依赖性。对比文件[0102]提到“层和前后向并行性（即，流水线）”，也隐含了层间存在顺序依赖关系。本领域技术人员在阅读对比文件时，能够毫无疑义地理解，为了构建和描述一个多层感知机（MLP）网络，必须首先在概念上或结构上定义具有单向数据依赖关系的各层（即串行化），这是实现任何层间计算（无论是并行还是串行）的前提。因此，对比文件隐含公开了将神经网络基于层间单向依赖性进行串行化的技术特征。 |
| **技术特征B**：《未公开》 | [0075] 图1显示了一个包含编号为1至N的神经元105的MLP-BP网络100的示例图，这些神经元结构化为编号为0至M的多个并行层110。层110包括输入层110（层0）、隐藏层110（层1至M-1）和输出层110（层M）。<br> [0102] 不同级别的ANN计算硬件并行性包括：训练会话并行性、训练示例并行性、层和前后向并行性（即，流水线）、节点（神经元）级并行性、权重（突触）并行性和位并行性。 | **公开性论述**：目标专利的特征B限定了“所述单向依赖性是基于所述第一群互连神经元的输入不同于所述第二群互连神经元的输出来确定的”。根据目标专利说明书[0051]-[0052]及图5A-5B，其强调的是通过分析“输入”和“输出”本身是否不同来确定依赖性，这是一种具体的功能性判断标准。对比文件虽然公开了层（如输入层、隐藏层、输出层）的存在以及层间的单向数据流，但并未描述如何“确定”这种单向依赖性。对比文件[0075]及[0102]仅描述了网络的分层结构，这是一种预设的、静态的拓扑结构，并未揭示通过比较不同群的“输入”和“输出”来动态或分析性地确定依赖关系的具体方法。因此，对比文件既未直接公开也未隐含公开技术特征B。 |
| **技术特征C**：《未公开》 | [0125] 在步骤630，ITER选择模块1025基于可用硬件资源和期望的网络拓扑1005选择用于实现可扩展网络700的并行度。ITER选择模块1025还基于资源利用率估算和网络性能估算进行选择，这些估算分别由资源估算模块1020和性能估算模块1015计算。<br> [0143] 在步骤940，资源估算模块1020计算硬件资源估算，表示实现期望网络拓扑所需的硬件资源的度量。该估算针对多个并行度中的每一个进行计算。资源估算可以通过例如使用期望网络拓扑确定网络权重的数量来计算。然后，对于集合中的每个并行度，计算实现所确定数量的网络权重所需的硬件资源的度量（即，资源估算）。 | **公开性论述**：目标专利的特征C涉及“基于所述第一群互连神经元的第一输入参数是否影响所述第一群互连神经元来修剪所述第一输入参数”。根据目标专利说明书[0063]-[0064]、图6C-6D及[0071]框706，修剪是指移除特定子系统（如并行化群集或串行化层）不使用的参数，因为该参数不影响该子系统的输出。这是一种基于参数与子系统功能关联性的动态优化。对比文件公开了选择并行度（ITER）以匹配可用硬件资源（[0125], [0143]），这本质上是在设计阶段对硬件实现规模的裁剪（例如，减少物理实现的突触数量），而非在参数扫掠过程中针对特定子系统逻辑功能对“输入参数”进行修剪。对比文件的“选择”或“裁剪”是基于硬件约束和性能估算，而非基于“输入参数是否影响子系统输出”这一功能性判断准则。因此，对比文件未公开技术特征C。 |
| **技术特征D**：《未公开》 | （同技术特征C引用） | **公开性论述**：技术特征D与特征C同理，针对第二群互连神经元（如第二层）的输入参数进行修剪。对比文件同样没有公开基于参数是否影响特定层（或神经元群）来修剪该层输入参数的方法。其资源优化发生在硬件架构层面，而非针对具体输入参数的逻辑影响分析。因此，对比文件未公开技术特征D。 |
| **技术特征E**：《隐含公开》 | [0065] 通常，在可配置硬件设备上实现MLP-BP的效率可以从以下方面评估：<br>1) 性能：例如，以每秒处理的连接更新数（CUPS）和收敛速度来衡量。<br>2) 资源利用率：以使用的硬件资源及其占总可用硬件资源的比例来衡量。<br> [0066] 每个实现通常需要在这两个因素之间进行权衡。高性能通常需要高度的并行性，这可能需要大量资源。串行实现需要更少的资源但严重影响性能（例如，可能导致更高的错误阈值）。<br> [0125] ITER选择模块1025还基于资源利用率估算和网络性能估算进行选择，这些估算分别由资源估算模块1020和性能估算模块1015计算。 | **隐含公开论述**：目标专利的特征E限定“所述串行化和/或所述修剪至少部分地取决于存储器存储要求、存储器访问时间和/或计算时间”。根据目标专利说明书[0070]框708、框710及[0085]方程（15），优化函数O(N)考虑了计算时间(Te)、存储器访问时间(Ta)和存储器存储量(S)，以决定是否缓存子系统输出，这间接影响了串行化/修剪后系统的执行策略。对比文件[0065]-[0066]明确指出了在实现ANN时需要权衡“性能”（与计算时间相关）和“资源利用率”（包括存储器等硬件资源）。[0125]进一步说明选择并行度（ITER）时基于“资源利用率估算和网络性能估算”。本领域技术人员可以理解，资源利用率估算必然涉及对存储器存储（如块RAM数量）和计算能力（影响计算时间）的考量，而性能估算也与计算时间直接相关。因此，对比文件隐含公开了在设计和配置神经网络实现（包括其并行化程度，这可以类比为目标专利中通过串行化/并行化定义子系统后的配置决策）时，需要考虑存储器存储要求、访问时间和计算时间这些因素。虽然对比文件未明确使用“串行化”和“修剪”这两个词，但其核心的并行度选择决策所依赖的权衡因素，与目标专利中优化串行化/修剪后子系统执行策略所考虑的因素实质相同。 |
| **技术特征F**：《部分隐含公开》 | [0075] 图1显示了一个包含编号为1至N的神经元105的MLP-BP网络100的示例图，这些神经元结构化为编号为0至M的多个并行层110。层110包括输入层110（层0）、隐藏层110（层1至M-1）和输出层110（层M）。<br> [0125] ITER选择模块1025基于可用硬件资源和期望的网络拓扑1005选择用于实现可扩展网络700的并行度。 | **公开性论述**：目标专利的特征F限定“进一步包括基于以下各项来定义所述第一群互连神经元和所述第二群互连神经元：所述神经网络的连通性和/或监视所述参数扫掠的活跃性水平”。根据目标专利说明书[0051]-[0052]、[0061]及[0071]框702，定义子系统（群）的基础可以是网络连通性（寻找单向依赖）。此外，说明书[0071]提到“可以通过监视扫掠的活跃性水平来定义子系统”，即当输入导致输出相似（退化）时进行合并优化。对比文件[0075]公开了基于网络拓扑（这隐含了神经元的连接关系，即“连通性”）来定义层（即神经元群）。然而，对比文件完全没有提及“监视参数扫掠的活跃性水平”来定义神经元群的方法。因此，对比文件仅部分公开（基于连通性）了特征F的前半部分，但完全未公开后半部分。作为一个整体技术特征，对比文件未公开技术特征F。 |
| **技术特征G**：《未公开》 | 无相关引用。 | **公开性论述**：目标专利的特征G限定“进一步包括：对于所述扫掠的每一步骤，存储所述第一群互连神经元的输出和所述第二群互连神经元的所述输出”。根据目标专利说明书[0071]及[0079]，在参数扫掠的每一步之后存储每个子系统的输出，目的是便于后续根据组合网络输出上定义的函数进行分析。对比文件全文描述的是神经网络的训练过程（前向传播、误差计算、反向传播更新权重），并未涉及对多个不同参数组合进行系统性的“扫掠”（sweep），更没有提及在这样一个参数扫掠过程中存储每一层或每一群神经元的输出。因此，对比文件未公开技术特征G。 |
| **技术特征H**：《隐含公开》 | [0075] 当实现BP算法时，每个神经元105包含两个关键的算术函数，用于执行前向和后向计算。前馈计算步骤使用与每个神经元105相关的内部权重（未显示）来计算神经元105的输出。误差BP计算步骤将网络100的整体输出125与目标（未显示）进行比较，计算误差梯度，并通过调整神经元105的权重来纠正误差，从而将误差传播通过层110。<br> [0293]-[0302] 在标准基准问题上测试了示例实施例...每个网络被训练一定数量的周期，然后用整个数据集测试一次...使用ANNs解决这些应用通常需要合理的网络收敛程度或至少最低水平的网络性能。 | **隐含公开论述**：目标专利的特征H限定“进一步包括评估所述神经网络的输出以确定期望的参数值集”。根据目标专利说明书[0006]、[0098]-[0100]及[0079]，其背景是神经网络的开发过程，需要通过测试不同的参数组合（如权重、延迟等）来评估神经网络，以改进设计。这本质上是一个通过评估网络输出来寻找或确定一组能产生期望性能的参数的过程。对比文件[0075]描述了神经网络训练的核心过程：计算网络输出，将其与目标（期望输出）比较，计算误差，并调整权重（参数）。训练的目的就是找到一组能最小化误差（即产生期望输出）的权重参数集。[0293]-[0302]进一步描述了在基准问题上测试网络以评估其性能（收敛）。因此，对比文件隐含公开了通过评估神经网络输出（与目标比较）来确定（训练得到）期望的参数值（权重）集这一技术特征。虽然目标专利侧重于更广泛的“参数扫掠”（包括非权重参数），而对比文件明确针对权重训练，但“评估输出以确定期望参数”的核心思想是相同的。本领域技术人员能够从对比文件的训练过程中合理推断出这一特征。 |
<<<e>>><<<h>>>