目标专利:4115使用长期参考、深度学习和负载均衡的视频吞吐量改进
专利公开号:CN115702562B
专利权人:高通股份有限公司
无效请求书提交日期:2027年
非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|
一种用于在设备处进行视频处理的方法,包括:接收包括视频帧的集合的比特流;将所述视频帧的集合批处理为单独的视频帧的批次;所述批处理包括至少部分地基于与所述视频帧的集合相关联的参考场景的改变;将所述视频帧的集合批处理为视频帧的第一子集和视频帧的第二子集;其中;所述视频帧的第一子集包括在所述参考场景的改变之后的第一数量的视频帧;并且所述第二子集包括在所述第一数量的视频帧之后并且在所述参考场景的下一改变之前的第二数量的视频帧;使用所述设备的视频处理单元对所述视频帧的第一子集进行解码;至少部分地基于所述参考场景的改变来选择针对神经处理单元的操作模式的训练模式;其中;在所述训练模式期间训练与所述神经处理单元相关联的学习模型是至少部分地基于经解码的视频帧的第一子集中的至少一个经解码的视频帧的;至少部分地基于与所述视频帧的第一子集中的一个或多个帧;所述视频帧的第二子集;或两者相关联的所述批处理和头部信息来选择针对所述设备的所述神经处理单元的所述操作模式的生成模式;以及至少部分地基于所述经解码的视频帧的第一子集中的至少一个经解码的视频帧和所述学习模型的所述训练;使用所述设备的所述神经处理单元在所述生成模式期间生成所述视频帧的第二子集中的至少一个视频帧。
根据权利要求1所述的方法,还包括:识别所述视频帧的集合的长期参考帧;其中;至少部分地基于识别所述长期参考帧来将所述视频帧的集合批处理为所述视频帧的第一子集和所述视频帧的第二子集。
根据权利要求1所述的方法,其中:使用所述神经处理单元生成所述视频帧的第二子集中的所述至少一个视频帧包括:至少部分地基于所述视频帧的集合的长期参考帧来生成所述视频帧的第二子集的第一帧。
根据权利要求1所述的方法,还包括:至少部分地基于与所述视频帧的第一子集和所述视频帧的第二子集相关联的时间信息;来同步所述视频帧的第一子集;所述视频帧的第二子集;或所述视频帧的第一子集和所述视频帧的第二子集两者。
根据权利要求4所述的方法,还包括:至少部分地基于所述同步来输出所述至少一个视频帧。
根据权利要求1所述的方法,其中:解码所述视频帧的第一子集并生成所述视频帧的第二子集的所述至少一个视频帧包括:在第一持续时间内解码所述视频帧的第一子集;以及在第二持续时间内生成所述视频帧的第二子集中的所述至少一个视频帧;所述第一持续时间在时间上至少部分地与所述第二持续时间重叠。
根据权利要求1所述的方法,还包括:识别所述参考场景的改变。
根据权利要求7所述的方法,还包括:至少部分地基于帧计数满足阈值来选择针对所述神经处理单元的所述生成模式;所述帧计数包括在识别出的所述参考场景的改变之后的帧的数量。
根据权利要求1所述的方法,还包括:至少部分地基于由所述设备的所述视频处理单元解码的所述视频帧的第一子集来训练与所述神经处理单元相关联的所述学习模型。
根据权利要求1所述的方法,还包括:估计与所述视频帧的集合相关联的运动向量信息;以及至少部分地基于所述运动向量信息和与所述神经处理单元相关联的学习模型来识别所述参考场景的改变。
根据权利要求10所述的方法,其中:估计所述视频帧的集合的所述运动向量信息包括:确定在与所述视频帧的集合的第一视频帧相关联的第一运动向量信息和与所述视频帧的集合的第二视频帧相关联的第二运动向量信息之间的差;其中;至少部分地基于确定出的差来识别所述参考场景的改变。
根据权利要求1所述的方法,其中:由所述设备的解码器执行对所述视频帧的集合的批处理。
根据权利要求1所述的方法,还包括:至少部分地基于准确度阈值来识别所述视频帧的集合的长期参考帧;所述长期参考帧包括所述视频帧的集合的帧内帧。
根据权利要求13所述的方法,其中:所述长期参考帧是由所述设备的编码器识别的。