时间：2024-04-24 来源：国家知识产权局专利检索与分析系统

公开(公告)号: CN109271486B

标题: 一种相似性保留跨模态哈希检索方法

法律状态/事件: 授权

当前申请(专利权)人: 九江学院

应用领域分类: 文本数据库查询

申请日: 2018-09-19

公开(公告)日: 2021-11-26

摘要: 一种相似性保留跨模态哈希检索方法，该方法包括以下步骤：（1）基于相似性保留策略的目标函数构建；（2）目标函数的求解；（3）生成查询样本和检索样本集中的样本二进制哈希编码；（4）计算查询样本到检索样本集中各个样本的汉明距离；（5）使用跨模态检索器完成对查询样本的检索。本发明方法在进行哈希学习时不仅可以充分保留模态间样本的相似性，还可以充分保留模态内样本的相似性，从而使学习得到的汉明空间具有更强的鉴别能力，更有利于完成跨模态检索。

第一权利要求: 1.一种相似性保留跨模态哈希检索方法，假设n个对象在图像模态和文本模态的特征分别为和其中，d1和d2分别表示图像模态和文本模态特征向量的维度，和分别表示第i个对象在图像模态和文本模态的特征；同时假设图像模态和文本模态的特征向量都是经过零中心化预处理的，即满足假设由n个对象的类别标记构成的标记矩阵为L＝[l1,l2,…,ln]∈{0,1}m×n，其中，li(i＝1,2,…,n)表示第i个对象的类别标记信息，m为类别数量；假设跨模态相似性矩阵为S，其元素Sij表示图像模态中第i个样本与文本模态中第j个样本的相似性；如果图像模态中第i个样本与文本模态中第j个样本是相似的，则Sij＝1，否则Sij＝0；其特征在于，包括以下步骤：

(1)基于相似性保留策略的目标函数构建：使用基于模态间相似性保留策略和模态内相似性保留策略设计的目标函数得到n个对象图像模态和文本模态特征数据在汉明空间中的二进制哈希编码U和V，分别对应于图像模态和文本模态的哈希投影矩阵P1和P2，以及两个系数矩阵W1和W2；

(2)目标函数的求解：鉴于目标函数的非凸性质，通过交替求解的方式得到目标函数的解U、V、P1、P2、W1和W2，即交替地求解如下四个子问题：固定U、V、W1和W2，求解P1和P2；固定U、V、P1和P2，求解W1和W2；固定V、P1、P2、W1和W2，求解U；固定U、P1、P2、W1和W2，求解V；

(3)生成查询样本和检索样本集中的样本二进制哈希编码：基于求解得到的图像模态和文本模态的哈希投影矩阵P1和P2，为查询样本和检索样本集中的样本生成二进制哈希编码；

(4)计算查询样本到检索样本集中各个样本的汉明距离：基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；

(5)使用跨模态检索器完成对查询样本的检索：使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。

IPC分类号: G06F16/33

附件：CN109271486B