Google的Transformer模型 编码器，解码器 传统的注意力机制及Multi-head attention 基于位置的单词编码，及词向量，输出层 可视化multi-head attention Transformer与RNN和CNN神经翻译模型的对比 Google模型的训练细节 优化器选择 正则化 label smoothing 实战演示…
TextRNN & FastText & TextCNN-03-模型总览，后 训练要点 RNN训练 得出来的y（m）（预测标签）是每一个分类的概率，比如是一个五分类，化成5个格子，每一个格子是概率，5个格子加起来是1 损失 有多任务怎么计算loss，通过一个线性的一个变换来将所有的这些loss累加到一起。 大M就是代表我们有多少任务…
论文摘要 摘要 Abstruct 介绍背景及提出TextRNN模型 Introduction 介绍神经网络在近年的文本分类任务中的广泛使用 Model 介绍循环网络在文本分类上面的应用 The Architecture 基于多任务的共享权重的循环神经网络的构建 Details of learning 实验参数设置：超参调整，权重初始化 Traini…
Recurrent Neural Network for Text Classification with Multi Task Learning循环神经网络用于多任务学习的文本分类 作者：Pengfei Liu 单位：复旦大学 发表会议及时间：UCAI2016年 前期知识准备 词向量训练 了解词向量的训练方法，文字的特征转行为向量的特征，输入到模…
深度学习在自然语言处理中的应用 自然语言处理是教会机器如何去处理或者读懂人类语言的系统，主要应用领域： 对话系统-聊天机器人（小冰） 情感分析-对一段文本进行情感识别（我们一会要做的） 图文映射-CNN和RNN的融合 机器翻译-将一种语言翻译成另一种语言 语音识别 词向量模型 计算机可只认识数字！ 例子：把上面一个词一个词的做成一个16*D的矩阵 …