天眼查App显示，新紫光集团有限公司公开了一种数据推理方法、系统、设备和存储介质，旨在通过优化Transformer模型的分布式计算过程，减少推理时间和网络带宽需求。该方法由主节点生成查询向量、键向量和值向量，并将键值对缓存于本地。主节点通过网络向多个从节点广播查询向量，各从节点基于本地缓存进行注意力计算，生成初始注意力向量并反馈给主节点。主节点聚合这些向量后，利用Transformer模型进行推理，最终得到输出词元。此方法显著提高了数据处理效率，适用于大规模分布式计算场景。专利申请号为CN202411323453.8，发明人为陈杰、张楚文和阚宏伟，公布日期为2025年1月10日。
风险警告：本文根据网络内容由AI生成，内容仅供参考，不应作为专业建议或决策依据。用户应自行判断和验证信息的准确性和可靠性，本站不承担可能产生的任何风险和责任。内容如有问题，可联系本站删除。
