序列计算中，传统的RNN在预测下一个符号（token）的时候，会对以往的历史信息有很强的依赖，使得难以充分地并行化，也无法很好地加深网络的层级结构。而对于传统的基于CNN的神经机器翻译模型，两个任意输入与输出位置的信号关联所需要的运算数量与它们的位置距离成正比，Facebook提出的CNNl NMT为线性增长。这两种常见的结构使得学习较远位置的依赖…
Google的Transformer模型 编码器，解码器 传统的注意力机制及Multi-head attention 基于位置的单词编码，及词向量，输出层 可视化multi-head attention Transformer与RNN和CNN神经翻译模型的对比 Google模型的训练细节 优化器选择 正则化 label smoothing 实战演示…
TextRNN & FastText & TextCNN-03-模型总览，后 训练要点 RNN训练 得出来的y（m）（预测标签）是每一个分类的概率，比如是一个五分类，化成5个格子，每一个格子是概率，5个格子加起来是1 损失 有多任务怎么计算loss，通过一个线性的一个变换来将所有的这些loss累加到一起。 大M就是代表我们有多少任务…
算法模型总览 Recurrent Neural Network-for Specific-Task Text Classification based Multi-Task Learning Three Sharing Models for RNN Training Experiment RNN结构 RNN可以处理变长的句子，不论前面的句子多长，输…
论文摘要 摘要 Abstruct 介绍背景及提出TextRNN模型 Introduction 介绍神经网络在近年的文本分类任务中的广泛使用 Model 介绍循环网络在文本分类上面的应用 The Architecture 基于多任务的共享权重的循环神经网络的构建 Details of learning 实验参数设置：超参调整，权重初始化 Traini…
《Recurrent Neural Network for Text Classification with Multi Task Learning》论文学习 研究背景 情感分类 基于机器学习的情感分类： 基于深度学习的情感分类 前馈神经网络 自编码器 卷积神经网络 循环神经网络 循环神经网络的组合结构：比如双向的LSTM 情感分类应用场景 数据集…
Recurrent Neural Network for Text Classification with Multi Task Learning循环神经网络用于多任务学习的文本分类 作者：Pengfei Liu 单位：复旦大学 发表会议及时间：UCAI2016年 前期知识准备 词向量训练 了解词向量的训练方法，文字的特征转行为向量的特征，输入到模…
深度学习在自然语言处理中的应用 自然语言处理是教会机器如何去处理或者读懂人类语言的系统，主要应用领域： 对话系统-聊天机器人（小冰） 情感分析-对一段文本进行情感识别（我们一会要做的） 图文映射-CNN和RNN的融合 机器翻译-将一种语言翻译成另一种语言 语音识别 词向量模型 计算机可只认识数字！ 例子：把上面一个词一个词的做成一个16*D的矩阵 …
之前的内容是RNN网络架构，递归神经网络，从它的优势上来说，它会把我前一阶段的一个值给它考虑进来。 但是他有一个缺点，就是比如我早饭吃什么，午饭吃什么，和晚上做什么，这些是不相关的，所以就不需要之前的结果。 因此RNN进化成LSTM 差别是：只多了一个控制参数C 决定什么样的信息会被保留什么样的会被遗忘 如图就是控制参数C，不是一成不变的，是始终更…
1-RNN网络架构 2-LSTM网络架构 3-案例：使用LSTM进行情感分类 4-情感数据集处理 5-基于word2vec的LSTM模型