腾讯公司申请模型优化方法专利，可以高效地优化得到用于执行目标业务的目标模型

博融之坚 2023-12-28 1.35 W阅读

金融界2023年12月12日消息，据国家知识产权局公告，腾讯科技（深圳）有限公司申请一项名为“模型优化方法、装置、计算机设备及计算机存储介质“，公开号CN117217225A，申请日期为2023年1月。

专利摘要显示，本申请公开了一种模型优化方法、装置、计算机设备及计算机存储介质，方法包括：获取预训练模型及训练数据，训练数据包括训练文本中各文本词的词向量及训练文本的参考预测结果；确定预训练模型中目标网络层的辅助训练参数，将辅助训练参数添加至目标网络层得到新增参数后的预训练模型，目标网络层为自注意力层和/或全连接层；调用新增参数后的预训练模型，根据多个词向量及辅助训练参数，生成多个词向量中每个词向量对应的目标词向量；基于生成的多个目标词向量执行目标业务，得到训练文本对应的模型预测结果；向着减小模型预测结果与参考预测结果之间的差异的方向对辅助训练参数进行优化处理，可以高效地优化得到用于执行目标业务的目标模型。