前一篇文章，使用 AlexNet 实现图片分类 | PyTorch 深度学习实战

本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started

本篇文章内容来自于学习 9年后重读深度学习奠基作之一：AlexNet【下】【论文精读】】的心得。

ImageNet Classification with Deep Convolutional Neural Networks

https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

关于 AlexNet 工作原理的博客： https://readmedium.com/alexnet-explained-a-step-by-step-guide-93870b45126b

视频学习感悟

• 没有必要学习前人的太多东西，因为很多东西是错误的，学习它们反而限制了自己的思路¹
• 工程能力很强才能验证自己的猜想，验证自己的猜想才能创新；光有猜想而没有能力验证等于空谈
• 只要你的东西足够新，即使有很多说法是错误的，别人也会相信，关键是能 work，方法就是好过现在的，至于为什么可以慢慢等待时间，这个和牛顿莱布尼茨使用微积分，而微积分的严谨要一百多年后由柯西补充是一样的
• 不要害怕学术工作，学术工作需要你：学习数学²，掌握编程，并且要勤奋。

视频学习知识经验

• 经过了 2012 ~ 2021 年的探索，人们最终发现，主要的贡献在于大规模的数据集和算力本身，一些技巧证明不是大模型可训练的关键因素。
• 正则化手段去处理过拟合，不是最关键的，最关键的是网络的架构设计，网络的架构好，就会让模型更容易训练
• 首先要说自己实现了什么东西，比如在哪些地方超过了其它的模型和方法。然后，再说自己是怎么做的。
• 论文前面的内容要高屋建瓴，细节放在第 3、4 章去写。
• 论文的核心观点是：用 CNN 来做图像分类，然后经验是如何将 CNN 做的特别大。
  • 使用多 GPU，论文仲使用的显卡是 GTX 580 3GB, 两张。所以，该显卡在当时也不是很先进，而且要将模型切开，放在两张卡，所以，该论文的研发还是工作量很大 ³
  • 使用一些技术来降低过拟合
  • 结果好只是一些方面，一些工程上的劳动也可能做出好结果，但是这意味着没有算法上的创新，学术主要看算法的创新
  • 使用 RGB 做成向量，进入模型，被称为 RAW 模式 ⁴ 。还有一种模式，是把图片提取特征，常见算法是 SIFT。一些研究方向，https://github.com/christiansafka/img2vec， https://scikit-image.org/docs/stable/auto_examples/features_detection/plot_sift.html
• 这个项目 Alex 对比了 ILSVRC-2010 和 ILSVRC-2012 两个数据集的成绩。
• 论文中，重点强调了使用 ReLU 作为激活函数，Hinton 在一次访谈中 ⁵ ，坦陈挑选到 ReLU 花了十年的时间
• 论文中的参考文章并不多，这个文章的写作团队很牛，作为一个创新的团队，没有必要研究前人的很多东西，因为前人的很多东西也是错误的，研究了很多以后自己反而被限制，那么灵感来源于哪里？灵感来源于对周围世界的观察和一些更为成熟的行业，比如人工智能领域内的很多发明来自于更成熟的通信行业⁶