重庆赛力斯申请基于自适应特征聚合的多模态目标跟踪方法、装置及介质专利，提升模型性能和鲁棒性

博融之坚 2024-01-02 3.19 W阅读

金融界2023年12月16日消息，据国家知识产权局公告，重庆赛力斯新能源汽车设计院有限公司申请一项名为“基于自适应特征聚合的多模态目标跟踪方法、装置及介质“，公开号CN117237415A，申请日期为2023年9月。

专利摘要显示，本申请提供一种基于自适应特征聚合的多模态目标跟踪方法、装置及介质。该方法包括：将包含多模态信息的图像数据作为多模态图像输入到预定的三元网络中；利用三元网络对多模态图像进行特征提取，得到多模态的共有特征以及每个模态的特有特征，并输出多个特征张量；基于多级残差注意力交互机制和余弦嵌入损失监督，对特征张量进行交互；通过模态自增强与跨模态互增强策略进行特征融合，形成统一的特征图；利用预设的自适应特征聚合模型，对前景信息和背景信息进行选择性融合，得到融合后的特征图；根据统一的特征图、融合后的特征图以及每个模态的可靠性权重进行多模态目标跟踪，生成多模态目标跟踪结果。本申请提升了模型性能和鲁棒性。