在这篇论文里面作者主要是介绍了三种基于LSTM的模型(论文原文),来解决 ABSA 任务:
- LSTM
- Target-Dependent LSTM
- Target-Connection LSTM
LSTM
直接使用 NLP 中的万金油模型 LSTM,在该模型中,目标词(target words) 是被忽略的,也就是说跟普通的对文本情感分析的做法没有区别,最终得到的也是这个句子的全局情感,最后的效果一般般。
具体做法就是对句子中的 token 进行 embedding 处理作为模型的输入,经过一次一次的计算隐层和输入之后得到一个句子表示 ,接着对这个向量进行 softmax 计算概率, 其中 C 是情感类别种类。
TD-LSTM
为了解决 LSTM 忽略目标词的问题,提出了 Target-Dependent LSTM (TD-LSTM) 模型,如下图所示。
用两个LSTM来建模目标单词的左右上下文信息。其中一个LSTM从左往右,另一个从右往左,以获取完整的上下文信息。得到两个LSTM的隐藏状态后,将它们拼接(concatenate)在一起,以生成目标词的句子情感表示。
TC-LSTM
Target-Connection LSTM (TC-LSTM) 在 上一节TD-LSTM 的基础上进一步加强了 target-word 与句子中每个 token 的关联