时间：2024-04-24 来源：国家知识产权局专利检索与分析系统

公开(公告)号: CN109657112B

标题: 一种基于锚点图的跨模态哈希学习方法

法律状态/事件: 授权

当前申请(专利权)人: 九江学院

应用领域分类: 字符和模式识别|基于元数据的其他数据库检索

申请日: 2018-11-29

公开(公告)日: 2022-07-08

摘要: 一种基于锚点图的跨模态哈希学习方法，特征是该方法包括以下步骤：（1）使用基于锚点图技术设计的目标函数得到个对象在图像模态和文本模态的二进制哈希编码和，以及图像模态和文本模态的投影矩阵和；（2）鉴于目标函数的非凸性质，通过交替更新的方式求解目标函数中的未知变量、、和；（3）基于求解得到的图像模态和文本模态的投影矩阵和，为查询样本和检索样本集中的样本生成二进制哈希编码；（4）基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；（5）使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。该方法能够基于锚点图技术快速得到真实相似度矩阵的近似矩阵。

第一权利要求: 1.一种基于锚点图的跨模态哈希学习方法，建立n个对象在图像模态和文本模态的特征分别为和其中，和分别表示第i个对象在图像模态和文本模态的特征向量，i＝1,2,…,n，d1和d2分别表示图像模态和文本模态特征向量的维数；同时假设图像模态和文本模态的特征向量都是经过零中心化预处理的，即满足假设和分别为图像模态和文本模态样本的邻接矩阵；矩阵A(1)中的元素和矩阵A(2)中的元素分别表示图像模态和文本模态中第i个样本与第j个样本之间的相似度；假设S∈{0,1}n×n为两个模态中样本之间的语义相关性矩阵，其中，Sij表示图像模态中第i个样本与文本模态中第j个样本的语义相关性；如果图像模态中第i个样本与文本模态中第j个样本是语义相关的，则Sij＝1，否则Sij＝0；特征在于，该方法包括以下步骤：

(1)使用基于锚点图技术设计的目标函数得到n个对象在图像模态和文本模态的二进制哈希编码B1和B2，以及图像模态和文本模态的投影矩阵P1和P2；

(2)鉴于目标函数的非凸性质，通过交替更新的方式求解目标函数中的未知变量B1、B2、P1和P2，即交替地求解如下三个子问题：固定B1和B2，求解P1和P2；固定B2、P1和P2，求解B1；固定B1、P1和P2，求解B2；

(3)基于求解得到的图像模态和文本模态的投影矩阵P1和P2，为查询样本和检索样本集中的样本生成二进制哈希编码；

(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；

(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索；

所述步骤(1)中的基于锚点图技术设计的目标函数形式如下：

其中，α、β、γ和λ为非负的平衡因子，k为二进制哈希编码的长度，1n×1表示元素全部为1的列向量，L(1)、L(2)和L均为拉普拉斯矩阵，tr(·)表示矩阵的迹，||·||F表示矩阵的Frobenius范数，(·)T表示矩阵的转置，sign(·)为符号函数；

所述步骤(2)中的通过交替更新的方式求解目标函数中的未知变量B1、B2、P1和P2，具体为，交替地求解如下三个子问题：

(1)固定B1和B2，求解P1和P2；当固定二进制哈希编码B1和B2后，公式(1)所示的目标函数简化为关于投影矩阵P1和P2的子问题，即：

(2)固定B2、P1和P2，求解B1；当固定二进制哈希编码B2，以及投影矩阵P1和P2后，公式(1)所示的目标函数简化为关于二进制哈希编码B1的子问题，即：

(3)固定B1、P1和P2，求解B2；当固定二进制哈希编码B1，以及投影矩阵P1和P2后，公式(1)所示的目标函数简化为关于二进制哈希编码B2的子问题，即：

所述步骤(3)中的基于求解得到的图像模态和文本模态的投影矩阵P1和P2，为查询样本和检索样本集中的样本生成二进制哈希编码，具体为，假设图像模态的一个查询样本的特征向量为文本模态的一个查询样本的特征向量为图像模态检索样本集中样本的特征为文本模态检索样本集中样本的特征为其中，表示检索样本集中样本的数量；查询样本和检索样本集中样本的二进制哈希编码分别为：和其中，

IPC分类号: G06F16/907 | G06K9/62

附件：CN109657112B