学院新闻 当前位置:首页>>学院新闻

我校在多模态检索领域研究成果被人工智能顶级会议NeurIPS2024接收
发布时间:2024-09-27 浏览次数:0

9月26日,由中国计算机学会(CCF)和中国人工智能学会(CAAI)共同推荐的A类国际学术会议——Neural Information Processing Systems(NeurIPS)2024接收结果公布。我校职业技术学院靳慧龙教授指导的计算机与网络空间安全学院学生张迎雪的成果“An End-To-End Graph Attention Network Hash for Cross-Modal Retrieval”被接收,职业技术学院张双博士和中国传媒大学石磊副研究员为共同通讯作者。NeurIPS 2024投稿数15671,录用率为25.8%。该会议将于2024年12月9日-12月15日在加拿大温哥华举办。

成果概述:跨模态哈希检索广泛应用于社交媒体搜索领域。目前,跨模态哈希检索仍存在特征表示和语义关联不全面等限制性问题。对此,该成果提出了一种用于跨模态检索的端到端的图注意力网络哈希(EGATH)方法。成果结合了CLIP模型与Transformer架构,以提升对不同模态间语义一致性的理解与泛化能力。采用图注意网络作为分类器获取预测标签,进一步增强跨模态的特征表示。同时使用优化策略和损失函数来构造哈希码,以保持哈希码的语义信息和紧凑性。该方法不仅可以捕获图像和文本之间的直接语义关联,还可以在不同模态之间匹配语义内容,显著提升了跨模态哈希检索在实际中的应用性。

这是我校在人工智能领域三大国际顶级会议发表成果的首次突破。