Python教程网
--左手Python,右手AI!

深度学习入门笔记7 ——循环神经网络(RNN)学习笔记

循环神经网络(RNN)学习笔记

本系列将分为 8 篇 。本次为第 7 篇 ,简单的介绍下循环神经网络 。

1.引言

在传统的神经网络模型中 ,是从输入层到隐含层再到输出层 ,层与层之间是全连接的 ,每层之间的节点是无连接的 。但是这种普通的神经网络对于很多问题却无能无力 。例如 ,你要预测句子的下一个单词是什么 ,一般需要用到前面的单词 ,因为一个句子中前后单词并不是独立的 。于是乎 ,我们就名正言顺的引出了这篇文章的 RNN 。

2.什么是RNN

RNN(Recurrent Neural Networks)翻译为循环神经网路 ,与传统神经网络模型对比 ,RNN 一个序列当前的输出与前面的输出也有关 。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中 。重点的讲就是 ,隐藏层之间的节点之间是有连接的 ,并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出 。 

例如上图 ,中间A表示隐含层 ,能够看出来从左到右的序列中 ,隐含层输入不仅包括输入层还有上一个序列的隐含层输出 。

3.RNN 能干些啥

理论上 ,RNN 能够对任何长度的序列数据进行处理 。但是在实践中 ,为了降低复杂性往往假设当前的状态只与前面的几个状态相关 ,下图便是一个典型的RNN :

坦白讲 ,小詹对 RNN 只知道基础概念 ,用的很少很少 。因为个人感觉 RNN 更多的应用到 NLP 即自然语言处理中 ,如如词向量表达 、语句合法性检查 、词性标注 。与之相对的 ,在计算机视觉领域 ,可能 CNN 及其变种使用的更为频繁 ,但是 RNN 也并非无用武之地 。

RNN 可以应用的领域大致有 :

  1. 语言模型与文本生成(Language Modeling and Generating Text)
  2. 机器翻译(Machine Translation)
  3. 语音识别(Speech Recognition)
  4. 图像描述生成 (Generating Image Descriptions)

4.LSTM网络

和 CNN 一样 ,基础的 RNN 网络也存在很多改进和拓展 ,相信大家听到比较多的是 LSTM(Long Short Term Memory)。

它与一般的 RNN 结构本质上并没有什么不同 ,只是使用了不同的函数去去计算隐藏层的状态 。在 LSTM 中 ,i 结构被称为 cells ,可以把 cells 看作是黑盒用以保存当前输入 xt 之前的保存的状态 ht−1 ,这些 cells 更加一定的条件决定哪些 cell 抑制哪些 cell 兴奋 。它们结合前面的状态 、当前的记忆与当前的输入 。已经证明 ,该网络结构在对长序列依赖问题中非常有效 。 

最后 ,如果觉得这个系列不错 ,记得扫码关注噢 !

赞(10)
未经允许不得转载:Python教程网 » 深度学习入门笔记7 ——循环神经网络(RNN)学习笔记
分享到: 更多 (0)

评论 33

  1. #1

    深度学习入门笔记——循环神经网络(RNN)学习笔记
    tvmgfymzp http://www.g001dy3ji89d5vx310h9f6876tjzng5ys.org/
    atvmgfymzp
    [url=http://www.g001dy3ji89d5vx310h9f6876tjzng5ys.org/]utvmgfymzp[/url]

    匿名4个月前 (09-28)回复
  2. #2
  3. #3

    Grain Metal Detector

    匿名3个月前 (10-10)回复
  4. #4

    Featured

    匿名3个月前 (10-11)回复
  5. #5

    7ml glass vial

    匿名3个月前 (10-13)回复
  6. #6

    Curved Treadmill

    匿名3个月前 (10-14)回复
  7. #7

    Disposable Mask Coles

    匿名3个月前 (10-16)回复
  8. #8
  9. #9

    Carbon Steel Belts Oven

    匿名3个月前 (10-18)回复
  10. #10
  11. #11
  12. #12

    100w Co2 Laser Engraving/cutter

    匿名3个月前 (10-19)回复
  13. #13

    Hot Rolled Steel Tubes Price

    匿名3个月前 (10-22)回复
  14. #14

    License Frame Price

    匿名3个月前 (10-22)回复
  15. #15

    File Tray Price

    匿名3个月前 (10-23)回复
  16. #16

    Mini Electric Grinder Factory

    匿名3个月前 (10-23)回复
  17. #17
  18. #18
  19. #19

    44083-61000 Hydraulic Gear Pump

    匿名3个月前 (11-01)回复
  20. #20

    Nylon PA6 Rod Supplier

    匿名2个月前 (11-11)回复
  21. #21

    Indoor Toy Price

    匿名2个月前 (11-12)回复
  22. #22
  23. #23

    在线赌场游戏

    匿名2个月前 (11-12)回复
  24. #24

    Bain Non Rebreathing Circuit

    匿名2个月前 (11-17)回复
  25. #25

    Colorful Plastic Shell Skate

    匿名2个月前 (11-18)回复
  26. #26

    Egg Tray Machine India

    匿名2个月前 (11-23)回复
  27. #27

    Generator Power Station

    匿名2个月前 (11-27)回复
  28. #28

    Stump Crushing Machine

    匿名2个月前 (11-30)回复
  29. #29
  30. #30

    Electrical Distribution Box

    匿名2个月前 (12-04)回复
  31. #31

    Air Conditioner Contactor

    匿名2个月前 (12-04)回复
  32. #32

    Approved Mini Kid Kayak

    匿名1个月前 (12-05)回复
  33. #33

    Outside Table And Chairs

    匿名1个月前 (12-08)回复