Attention-based LSTM for Aspect-level Sentiment Classification(EMNLP2016)(AT-LSTM和ATAE-LSTM模型)

论文原文,指出先前论文的不足之处:

However, those models can only take into consideration the target but not aspect information which is proved to be crucial for aspect-level classification.

作者这里提到了两个概念:target 和 aspect。我们可以认为 target 是包含在句子中出现的词,而 "Aspect"指的是预先定义的较高级别的属性或类别,用来描述目标的特定方面或属性。它提供了一个更抽象的方式来描述目标,而不是单纯指代目标本身。
举例,在一篇关于手机评论的文章中,句子可以是:“这款手机的摄像头非常好”。其中,"手机"可能会被认为是目标,而"摄像头"可能是描述目标的一个方面或属性。我们想要分析的情感或观点可能是关于摄像头的,而不是整个手机。

基于以上,提出了两种模型:
Attention-based LSTM (AT-LSTM)
Attention-based LSTM with Aspect Embedding (ATAE-LSTM)

Aspect Embedding

对于 ABSA 问题,aspect 信息对于最终的情感判别是非常重要的。因此作者对每个 aspect 都学习一个相应的 aspect embedding 来表示

AT-LSTM

那么如何把aspect embedding结合进模型里呢?这里使用的是注意力机制,如下图所示


在理解上图前,先回顾一下传统注意力机制,也就是 key-value-query 模型,简单来说就可以理解为是一种加权和,具体可以参考理解 Attention 机制原理及模型[4]。
这里可以认为key=H, value=H, query=aspect embedding,整个 attention 的过程可以用数学表示为:

ATAE-LSTM

为了进一步利用 aspect embedding 的信息,类似于上一节中 TC-LSTM 中的思想,即将 aspect embedding 与 word embedding 共同组合成模型的输入。模型的其他部分与 AT-LSTM 相同。

注意力结果可视化

试验分析

论文使用的数据集是 SemEval 2014 Task 4[5]。

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇