However, those models can only take into consideration the target but not aspect information which is proved to be crucial for aspect-level classification.
作者这里提到了两个概念:target 和 aspect。我们可以认为 target 是包含在句子中出现的词,而 "Aspect"指的是预先定义的较高级别的属性或类别,用来描述目标的特定方面或属性。它提供了一个更抽象的方式来描述目标,而不是单纯指代目标本身。
举例,在一篇关于手机评论的文章中,句子可以是:“这款手机的摄像头非常好”。其中,"手机"可能会被认为是目标,而"摄像头"可能是描述目标的一个方面或属性。我们想要分析的情感或观点可能是关于摄像头的,而不是整个手机。
基于以上,提出了两种模型:
Attention-based LSTM (AT-LSTM)
Attention-based LSTM with Aspect Embedding (ATAE-LSTM)
Aspect Embedding
对于 ABSA 问题,aspect 信息对于最终的情感判别是非常重要的。因此作者对每个 aspect 都学习一个相应的 aspect embedding 来表示
AT-LSTM
那么如何把aspect embedding结合进模型里呢?这里使用的是注意力机制,如下图所示
在理解上图前,先回顾一下传统注意力机制,也就是 key-value-query 模型,简单来说就可以理解为是一种加权和,具体可以参考理解 Attention 机制原理及模型[4]。
这里可以认为key=H, value=H, query=aspect embedding,整个 attention 的过程可以用数学表示为:
ATAE-LSTM
为了进一步利用 aspect embedding 的信息,类似于上一节中 TC-LSTM 中的思想,即将 aspect embedding 与 word embedding 共同组合成模型的输入。模型的其他部分与 AT-LSTM 相同。
注意力结果可视化
试验分析
论文使用的数据集是 SemEval 2014 Task 4[5]。