来自Google的Transformer模型

2023-9-24 1:56

|

101

|

0

|

机器翻译,自然语言处理

130 字

|

1 分钟内

Google的Transformer模型

编码器，解码器
传统的注意力机制及Multi-head attention
基于位置的单词编码，及词向量，输出层
可视化multi-head attention
Transformer与RNN和CNN神经翻译模型的对比

Google模型的训练细节
优化器选择
正则化
label smoothing

实战演示
介绍encoder，decoder类及model类介绍如何训练模型
运用OpenNMT开源工具来实战演示

RNN 可视化注意力机制词向量

暂无评论

发送评论编辑评论

Markdown

|´・ω・)ノ

ヾ(≧∇≦*)ゝ

(☆ω☆)

（╯‵□′）╯︵┴─┴

￣﹃￣

(/ω＼)

∠( ᐛ 」∠)＿

(๑•̀ㅁ•́ฅ)

→_→

୧(๑•̀⌄•́๑)૭

٩(ˊᗜˋ*)و

(ノ°ο°)ノ

(´இ皿இ｀)

⌇●﹏●⌇

(ฅ´ω`ฅ)

(╯°A°)╯︵○○○

φ(￣∇￣o)

ヾ(´･･｀｡)ノ"

( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃

(ó﹏ò｡)

Σ(っ °Д °;)っ

( ,,´･ω･)ﾉ"(´っω･｀｡)

╮(╯▽╰)╭

o(*////▽////*)q

＞﹏＜

( ๑´•ω•) "(ㆆᴗㆆ)

颜文字

Emoji

小恐龙

花!