第五章主要介绍的计算机视觉相关内容,做个笔记。

5.1 Intro to convnets

问题

  • 什么是卷积神经网络?
  • 卷积神经网络和传统神经网络相比有什么区别?
  • 卷积神经网络中的“卷积”是什么含义?
  • 卷积神经网络具有哪些性质使它特别适合图像处理?
  • 卷积神经网络的参数主要有哪些?

笔记

  • 什么是卷积神经网络(Convolutional Neural Network, CNN)?

    卷积神经网络的样子可以参考 CS231n 的 slide。简单来说,对于一个 32×32×3 的图片,全连接神经网络共有 32×32×3=3072 个权重 + 1个偏置共 3073 个参数,最后输出结果维数为 1×1×1;而对于一个 n×5×5×3 的卷积神经网络,对于其中任意一个 5×5×3 的 filter,共有 5×5×3=75 个权重 + 1 个偏置共 76 个参数,该 filter 在原始图片上滑动产生输出,最终每个 filter 输出结果为 28×28×1,整个卷积神经网络的输出为 n×28×28×1。

  • CNN 和传统神经网络相比有什么区别?

    传统神经网络的输入是整个图片,网络与图片中的每个点均相连,权重为图片所有点的个数(因此也叫Dense Network),图片中的所有信息都对最后的输出有贡献;CNN 虽然输入的也是整个图片,但每个输出只和 filter 同样大小的图片有关(例如上面的例子是每个输出只和 5×5×3=75 个点有关,这也即著名的感受野,英文为 Receptive Field),由于单个输入尺寸较小,而且滑动时 CNN 中 filter 的权重参数不变,因此与全连接神经网络相比,CNN 的权重参数要少很多。

  • 卷积神经网络中的“卷积”是什么含义?

    卷积是一种数学上的运算,在线性系统的响应计算中有明确的物理意义,可以参考知乎这个回答。在 CNN 中,filter 滑动进行计算生成信号和卷积运算类似。

  • 卷积神经网络具有哪些性质使它特别适合图像处理?
    主要有以下两点:

    • CNN 学习的特征具有空间不变性。在某一图片某一区域学得的特征,在其他图片其他区域均可以应用。
    • CNN 可以学习一定层级的特征。底层 layer 主要学习基本特征,上层 layer 主要学习抽象特征。
  • 卷积神经网络的参数主要有哪些?
    主要包括 patch size,depth,padding 和 stride。

留言