CV 经典论文
CV 经典论文汇总。
ILSVRC
ILSVRC是图像识别领域的知名比赛,可以参考这篇论文。从2010年开始 ILSVRC 每年举办一届,一直到2017年最后一届,目前已经交给Kaggle。
2012. AlexNet
问题
- AlexNet 的任务?
任务是做图像分类。具体地说,是将 ImageNet 的一个子集,共包含约120万张训练集图片,5万张验证集图片和15万张测试集图片,共有1000类。AlexNet 的输入是图片,输出是图片类别,属于经典的 Classification 问题。
- AlexNet 的网络结构?
AlexNet 包含5个卷积层,3个池化层,2个标准化层和3个全连接层,共13层,其中权重层(卷积层和全连接层)共8层。具体结构可以参考 Stanford CS231n 的 slide。
- AlexNet 共有多少参数?
总共约有6000万个参数。具体计算可以参考Stackoverflow 的问题。特别需要注意卷积层参数的计算方法。最终全连接层约有5700万参数,卷积层约有300万参数。
- AlexNet 的激活函数是什么?为什么不选择传统的 Sigmoid?
ReLU(Rectified Linear Unit)。ReLU 与 Sigmoid 相比有如下优势1
- 不容易饱和(反向传播计算梯度时)。
- 计算效率高。
- 训练时收敛速度快。
- AlexNet 如何防止过拟合?
主要用了两种方法:(1)Data Augmentation.(2)Dropout2.
- AlexNet 的优化求解算法是什么?与传统 SGD 相比有何优势?
算法是带有 weight decay 的 SGD + Momentum。与传统 SGD 相比有如下优势:
- 传统 SGD 优化时会沿梯度较陡方向振荡,梯度较缓方向优化较慢。
- 传统 SGD 无法摆脱局部最优及鞍点。
- 传统 SGD 由于随机样本带来的噪声,易出现振荡。