ACM MM 2021 | MEGA:基于高效图对齐机制的多模态关系抽取
©作者 | 郑昌萌
单位 | 香港理工大学
来源 | 社媒派SMP
引言
▲ 图1. 在Twitter中的多模态关系抽取案例
论文标题:
Multimodal Relation Extraction with Efficient Graph Alignment
论文作者:
郑昌萌(香港理工大学)、冯焌豪(华南理工大学)、傅泽(华南理工大学)、蔡毅(华南理工大学)、李青(香港理工大学)、王涛(伦敦国王学院)
收录会议:
ACM MM 2021
论文链接:
https://dl.acm.org/doi/pdf/10.1145/3474085.3476968
代码链接:
https://github.com/thecharm/Mega
基于高效图对齐的多模态关系抽取
2.1 MEGA框架
▲ 图2. MEGA模型的整体框架
具体来说,我们采用 Elmo 作为依赖树提取工具,用于获取输入文本的依存树,然后将文本中的每个单词通过依存关系连接并获得其相关的依存三元组。如图 3 所示,输入句子通过依存解析以获得单词之间的关系(例如,amod,cop)。蓝色的词表示依存关系。箭头的结尾表示这个词既是从属词也是修饰词。紫色用来表示哪个词是依赖关系的根节点。由于每个单词直接由文本中的另一个单词连接,因此文本的图表示生成为 ,它由单词之间的几个关系对组成。
我们通过场景图生成模型从输入图像中获得 个对象和它们之间的视觉关系。由于两个对象之间的每个关系都是单向的,类似于依赖树,因此每个对象节点也指向它的依存关系。因此,我们可以获得输入图像的图表示 。 由图像中检测到的几个对象关系对组成。
2.4 多模态特征对齐
2.4.1 图结构对齐
图结构对齐的步骤可以总结为以下两步:(1)通过分解节点标识符的相似性矩阵获取节点表示 (2)通过有效的数据结构,利用贪婪算法匹配两个图之间节点的embedding 表示来完成对齐。
其中, 表示对于每一个节点 u,我们会计算一个基于 k 跳(k hop)的 D 维向量。D 为两个图 G1,G2 的最大度数(degree)。完成结构图对齐的计算后,我们将两个图(文本与视觉)进行结合,合并后的图相似性权重矩阵表示为 。
2.4.2 图语义对齐
▲ 图5. 多模态图语义对齐示意
与结构相似性不同,我们还考虑引入文本和视觉对象在语义上的相似性,其流程示意图如图 5 所示。我们利用 guided attention 机制计算文本词与视觉对象之间的相关性:
其中 为文本特征表示, 为视觉特征表示, 为文本与视觉特征纬度,为了计算方便,我们通过线性变换将二者的纬度统一。最终基于图语义对齐的相似性矩阵为 。
2.4.3 多模态特征融合
本文旨在通过同时考虑文本与视觉在语义和结构图上的对齐,寻找与文本实体关系最相关的视觉关系,因此,我们将语义与结构相似性特征矩阵融合,用以决定最相关的视觉节点,并导出基于多模态对齐后的视觉表示 :
2.5 实体表示拼接与关系预测
为了充分利用对齐后的视觉信息,我们将图片中的所有对齐后的视觉对象特征进行集成,并且与已知实体的语义表示(预先利用预训练 BERT 导出实体 embedding)进行拼接,最终用于预测关系类型。在这里,我们简单的采用 softmax 和 MLP 进行关系类型的预测。
实验
▲ 表1. MNRE数据集与SemEval-2010数据集的对比结果
3.1 实验结果
我们将 MEGA 模型分别与卷积神经网络模型 Glove+CNN,远程监督关系抽取模型 PCNN,基于预训练语言模型 BERT 的 SOTA 模型 MTB 分别进行了对比。为了体现模型各模块的性能,我们与分别去除了图对齐机制的 BERT+SG 模型以及仅仅去除结构对齐的 BERT+SG+Att 模型也进行了实验对比,结果如表 2 所示:
▲ 表2. MEGA模型与其他关系抽取模型的对比结果
▲ 表3. MEGA模型在数据集不同类别上与MTB模型的对比结果
3.2 案例分析
为了更直观的体现 MEGA 模型在多模态关系抽取任务上的有效性,我们提供了案例分析,其结果如图 6 所示:
▲ 图6. MEGA模型与基于纯文本的MTB模型以及没有采用图对齐机制的BERT+SG模型的案例对比分析
总结
独家定制论文锦鲤卡套
限量 200 份
能否抢到全凭手速
扫码回复「卡套」
立即免费参与领取
👇👇👇
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧