Python教程网
--左手Python,右手AI!

深度学习入门笔记6——卷积神经网络(CNN)学习笔记

卷积神经网络(CNN)学习笔记

本系列将分为 8 篇 。本次为第 6 篇 ,介绍在计算机视觉中使用广泛并且十分基础的卷积神经网络 。

1.从感受野说起

不知道大家是否听说过感受野这个名词 ,是在 60 年代 Hubel 等人通过对猫视觉皮层细胞进行研究提出来的一个概念 。到80年代,Fukushima 在感受野概念的基础之上提出了神经认知机的概念,可以看作是卷积神经网络的第一个实现网络,神经认知机将一个视觉模式分解成许多子模式(特征),然后进入分层递阶式相连的特征平面进行处理,它试图将视觉系统模型化,使其能够在即使物体有位移或轻微变形的时候,也能完成识别。

2.CNN 基本知识

我们已经知道神经网络结构是怎样的了 ,见下图 :

卷积神经网络与普通神经网络的区别在于 ,卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器 。在卷积神经网络的卷积层中 ,一个神经元只与部分邻层神经元连接 。

卷积神经网络所必须要理解的操作有卷积和池化 ,两个必须了解的概念有局部连接和权值共享 ,下边将一一道来 。

3.卷积

卷积层是卷积神经网络中的核心 ,从命名也能够看出来 。主要有两个关键的操作 ,即局部关联和窗口滑动 。将每一个卷积核在输入窗口依次滑动 ,进行卷积计算得到卷积结果 。例如下图 :

当然 ,上述图片中的卷积计算和数学中学的略有不同 ,理论来说卷积计算需要将卷积核旋转 180 度再进行滑动计算 ,但在这省略了旋转操作这一步骤(这一段可以跳过 ,避免数学基础不强的朋友弄混) 。

上述图片基本上介绍了卷积计算的方式 ,还需要介绍的有几个概念 以在计算机视觉领域为例 ,包括概念 :输入图片大小 ,卷积核大小(就是感受野大小),卷积核滑动步长 ,填充值 。

3.1 输入图片尺寸大小 ,记作 ni * ni *n维 ,ni 为图片大小 ,n维表示图片通道信息 ,例如 RGB 三通道图片中为 3 。

3.2 卷积核大小 ,记作 nf * nf * n维 ,也可以理解成感受野大小 ,即一个神经元连接的输入神经元个数或者说范围 。例如上图中为 2*2 ,即一个输出神经元通过卷积连接的输入神经元大小是 2*2 ,也就是局部连接的概念 !值得注意的是卷积核的维度必须和输入图片维度一致 

3.3 滑动步长 stride ,记作s 。代表的是卷积核在输入上单次滑动的幅度 ,例如上图即为 stride=1 ,表示一次卷积后水平或垂直移动一个位置 。

3.4 填充值 padding ,以下图为例子,比如有这么一个5*5的图片(一个格子一个像素),我们滑动窗口取2*2,步长取2,那么我们发现还剩下1个像素没法滑完,那怎么办呢?

我们可以在原先的矩阵加了一层填充值 ,使得变成 6*6 的矩阵 ,那么窗口就可以刚好把所有像素遍历完 ,这就是填充值 padding 的作用 。

值得一提的是 padding取值有两种 ,一个是 SAME ,一个是 VALID ,Same padding 时 ,卷积前后图片尺寸不变 ,padding = 0时即为 Valid padding 。

3.5 输出大小 ,如果我们用s表示stride长度,p表示padding长度,如果原始图片尺寸为n x n,filter尺寸为f x f,则卷积后的图片尺寸为:

其中 ,⌊⋯⌋表示向下取整。

然后就是多通道图片的卷积操作和多个卷积核的卷积操作 。

对于多通道图片的卷积操作 ,例如 RGB 三通道图片 ,只需要用同样三通道卷积核进行卷积操作然后累加得到卷积结果即可 。

至于多个卷积核的卷积操作 ,则可以理解成一个卷积核提取了图片的一种特征 ,多个卷积核分别对图片提取特征并得到多通道的输出结果 。

最后 ,关于卷积操作 。分享一张经典的动态图 ,很生动的描述了卷积层的操作过程 。

上述提到局部连接和参数共享两个概念 ,这两个也正是卷积神经网络区别于相比标准神经网络的关键 ,CNN 的优势之一就是参数数目要少得多 。参数数目少的原因有两个 :

  • 参数共享 :一个特征检测器(例如垂直边缘检测)对图片某块区域有用 ,同时也可能作用在图片其它区域 。
  • 局部连接 :因为滤波器算子尺寸限制 ,每一层的每个输出只与输入部分区域内有关 。

4.池化

池化层 Pooling layers 在 CNN 中能够减小数据大小 ,提高运算速度的 ,使用较多的池化方法有 max pooling 和 average pooling 两种 。max pooling是最常用的做法 。即取区域内的最大值 。同理 average pooling 即计算区域内的平均值作为特征 。计算示意图分别如下所示 :

max pooling

average pooling

最后 ,如果觉得这个系列不错 ,记得扫码关注噢 !

往期推荐:

基于 tensorflow 框架的手写数字识别 

基于 tensorflow 框架的线性回归拟合

赞(7)
未经允许不得转载:Python教程网 » 深度学习入门笔记6——卷积神经网络(CNN)学习笔记
分享到: 更多 (0)

评论 84

  1. #1

    深度学习入门笔记——卷积神经网络(CNN)学习笔记
    akiesebtmn
    kiesebtmn http://www.g79xl8cwrb9897ebxoe530s4e778i5d3s.org/
    [url=http://www.g79xl8cwrb9897ebxoe530s4e778i5d3s.org/]ukiesebtmn[/url]

    匿名4个月前 (09-28)回复
  2. #2
  3. #3

    Grain Metal Detector

    匿名3个月前 (10-10)回复
  4. #4
  5. #5

    Curved Treadmill

    匿名3个月前 (10-14)回复
  6. #6

    Tsinghua University

    匿名3个月前 (10-14)回复
  7. #7

    Chemical Skid

    匿名3个月前 (10-14)回复
  8. #8
  9. #9

    China Conservatory of Music

    匿名3个月前 (10-16)回复
  10. #10
  11. #11

    lift gas spring for industry

    匿名3个月前 (10-19)回复
  12. #12

    Church Podium

    匿名3个月前 (10-20)回复
  13. #13

    Lock Nuts

    匿名3个月前 (10-20)回复
  14. #14

    Machine Trailer

    匿名3个月前 (10-20)回复
  15. #15

    Metal Shelf

    匿名3个月前 (10-22)回复
  16. #16

    File Tray Price

    匿名3个月前 (10-23)回复
  17. #17
  18. #18

    Anti-Smog Muzzle Mask Kn95

    匿名3个月前 (10-29)回复
  19. #19

    HIV AIDS History What is HIV HIV Information HIV Infection and AIDS HIV Education. saleviabuy.com viagra over
    the counter

    匿名3个月前 (10-30)回复
  20. #20

    Dry Air Blower

    匿名3个月前 (10-31)回复
  21. #21

    44083-61000 Hydraulic Gear Pump

    匿名3个月前 (11-01)回复
  22. #22

    Hand Glove

    匿名2个月前 (11-04)回复
  23. #23

    I knew I had the gene mutation but my drs did not think it was relevant.

    https://genqpviag.com what is the generic name for viagra

    匿名2个月前 (11-05)回复
  24. #24

    NOF : Naval Ordnance Facility… https://llviabest.com best
    place to purchase viagra online

    匿名2个月前 (11-05)回复
  25. #25

    Homemade Poison Ivy Cure. https://siviagmen.com viagra online prescription free

    匿名2个月前 (11-06)回复
  26. #26

    Molding Casting Flask Supplier

    匿名2个月前 (11-10)回复
  27. #27

    Plastic Mould Parts

    匿名2个月前 (11-10)回复
  28. #28

    Nylon PA6 Rod

    匿名2个月前 (11-11)回复
  29. #29

    Indoor Toy Price

    匿名2个月前 (11-12)回复
  30. #30

    viagra online, mastercard viagra india street value for viagra

    匿名2个月前 (11-16)回复
  31. #31

    canadian viagra https://paradiseviagira.com viagra pills in ilkeston

    匿名2个月前 (11-16)回复
  32. #32

    Hotel Bath Gel Price

    匿名2个月前 (11-17)回复
  33. #33

    Bain Non Rebreathing Circuit

    匿名2个月前 (11-17)回复
  34. #34

    viagra interaction with amlodipine buybuyviamen.com trusted viagra sites

    匿名2个月前 (11-17)回复
  35. #35

    viagra facmed how to enhance viagra effects viagra condom

    匿名2个月前 (11-18)回复
  36. #36

    psych viagra falls pineapple https://purevigra.com do not take viagra with what

    匿名2个月前 (11-19)回复
  37. #37

    C Shaped Steel Presser

    匿名2个月前 (11-20)回复
  38. #38

    viagra soft tabs overnight delivery viagra super active online viagra shop canada over the counter

    匿名2个月前 (11-20)回复
  39. #39

    Best price for generic sildenafil https://miraclevigra.com sildenafil 100mg prescription

    匿名2个月前 (11-20)回复
  40. #40

    Viagra tablet online order lightvigra.com viagra generic europe

    匿名2个月前 (11-21)回复
  41. #41

    Women viagra online no prescription hopeviagrin.com buy
    viagra 200mg

    匿名2个月前 (11-21)回复
  42. #42

    Cost of 100mg sildenafil https://mygoviagar.com sildenafil
    50mg tablets coupon

    匿名2个月前 (11-21)回复
  43. #43
  44. #44
  45. #45

    viagra side effects on teenagers buy viagra dublin viagra online no prescription overnight delivery

    匿名2个月前 (11-25)回复
  46. #46

    viagra dall’europa free samples viagra cialis find viagra for women

    匿名2个月前 (11-25)回复
  47. #47

    Permalloy Covers

    匿名2个月前 (11-26)回复
  48. #48

    buy generic 100mg viagra online generic viagra on line generic viagra uk

    匿名2个月前 (11-26)回复
  49. #49

    Generator Power Station

    匿名2个月前 (11-27)回复
  50. #50

    sildenafil 100mg canada pharmacy sildenafil 100mg for sale viagra generic 20 mg

    匿名2个月前 (11-27)回复
  51. #51

    effects of 100mg of viagra viagra generico roma viagra içerik

    匿名2个月前 (11-27)回复
  52. #52

    Lens Prism Price

    匿名2个月前 (11-29)回复
  53. #53

    cheap research paper writers academic argumentative essay essay about website

    匿名2个月前 (11-29)回复
  54. #54

    guide to write an essay best dissertation writing services it cover letter

    匿名2个月前 (11-29)回复
  55. #55
  56. #56

    Dissertation writing tips https://dissertationhelpvfh.com/ dissertation abstracts online

    匿名2个月前 (12-01)回复
  57. #57

    Buy college essay https://buyessayhelpbtg.com buy essays online

    匿名2个月前 (12-01)回复
  58. #58

    viagra for sale paypal payment where can i purchase viagra with paypal? online brand viagra

    匿名2个月前 (12-02)回复
  59. #59

    Fast essay writing service https://essaywritingservicesjy.com/ essaywriting service

    匿名2个月前 (12-02)回复
  60. #60

    essay 99 website writes essay for you write my literature review

    匿名2个月前 (12-03)回复
  61. #61

    writing a essay conclusion organization of a research paper writing paper online

    匿名2个月前 (12-03)回复
  62. #62

    write an opinion essay descriptive writing essays ancient egypt homework help

    匿名2个月前 (12-03)回复
  63. #63

    nyu college application essay writing a thesis writing the body of an essay

    匿名2个月前 (12-03)回复
  64. #64

    Air Conditioner Contactor

    匿名2个月前 (12-04)回复
  65. #65

    cialis eu cheap cialis cialis replacement

    匿名1个月前 (12-09)回复
  66. #66

    cialis inr cialis as generic cialisis online

    匿名1个月前 (12-09)回复
  67. #67

    Viagra https://vipmenciall.com pharmacy online

    匿名1个月前 (12-11)回复
  68. #68

    cheap cialis with dapoxetine cialis online uk cialis generic

    匿名1个月前 (12-12)回复
  69. #69

    cialis lilly rezeptfrei cialis canada purchase cialis 200 mg no prescription

    匿名1个月前 (12-13)回复
  70. #70

    Is viagra over the counter https://atviagrmenrx.com/
    best place to buy viagra online

    匿名1个月前 (12-13)回复
  71. #71

    How long does it take viagra to work https://viagstorerx.com otc viagra

    匿名1个月前 (12-13)回复
  72. #72

    viagra overnight shipping overnight pharmacy 4 u viagra buy viagra online usa

    匿名1个月前 (12-13)回复
  73. #73

    buy prescription only viagra viagra, cilias, levitra viagra usa

    匿名1个月前 (12-14)回复
  74. #74

    canadian generic viagra red viagra onlen where can i buy viagra in sydney

    匿名1个月前 (12-14)回复
  75. #75

    food viagra generic viagra canadian pharmacy most reliable viagra

    匿名1个月前 (12-14)回复
  76. #76

    where to buy viagra in toronto buy viagra in melbourne brand name viagra

    匿名1个月前 (12-18)回复
  77. #77

    Cialis Efectos Mujeres LiseMirl where to buy cialis cackVial Cialis Homeopathie

    匿名1个月前 (12-19)回复
  78. #78

    Good info. Lucky me I found your site by accident (stumbleupon).
    I’ve book marked it for later!

    Feel free to surf to my page: sex videos

    匿名1个月前 (12-19)回复
  79. #79

    Great beat ! I wish to apprentice while you amend your website,
    how could i subscribe for a blog website? The account helped me a acceptable deal.
    I have been tiny bit acquainted of this your broadcast offered vibrant transparent concept

    My blog porn videos (waygetmoretwtnow.blogspot.com.ridder.co)

    匿名4周前 (12-22)回复
  80. #80

    Thanks , I have recently been searching for information about this
    subject for ages and yours is the greatest I’ve found out till now.
    However, what concerning the conclusion? Are you sure about the
    source?

    Feel free to surf to my webpage; xxx videos – dadlovefuckboy.com

    匿名4周前 (12-22)回复
  81. #81

    best drugstore setting powder discount pharmacy best drugstore concealer

    匿名1周前 (01-09)回复
  82. #82

    the peoples pharmacy treatment for erectile dysfunction best canadian online pharmacy

    匿名1周前 (01-10)回复
  83. #83

    cheap erectile dysfunction pills online pharmacies near me canadian drug pharmacy

    匿名6天前回复
  84. #84

    uk pharmacy 24 hr pharmacy indian pharmacy online

    匿名6天前回复