OpenMMLab学习笔记（一）

day01 计算机视觉与OpenMMLab开源算法体系

1. 基本知识

计算机视觉的基础任务：分类、分类和定位、物体检测、分割（语义分割、实例分割），其中实例分割统一种类索引不同

注意语义分割和实例分割的区别

计算机视觉的应用：

• 无人驾驶中的感知

• 动漫特效

• 航拍

• 虚拟主播（小冰等）

• 视频理解与视频剪辑（找出跳水运动员的精彩瞬间）

计算机视觉的发展

• 早期萌芽（物体检测算法、三维视觉理论）
  • 统计机器学习与模式识别（人脸识别，利用小波特征结合级联分类器）
  • 传统的视觉特征：局部二值模式（Local Binary Pattern）、尺度不变特征转换（Scale Invariant Feature Transform）

​ 、梯度方向直方图（Histogram of Oriented Gradients）

• 深度学习时代
  • 李飞飞创立的ImageNet数据库具有重要意义
  • 涌现出AlexNet、Fast R-CNN和深度对抗网络等模型
• 现有流行方向
  • 文字生成图片
  • 神经渲染三维重建CityNeRF

2. OpenMMLab总体框架概览

OpenMMLab包含目标检测、实例分割和全景分割等模块，拥有众多的模型库：

3. OpenMMLab2.0

2.0在之前的基础上增加了很多算法框架和优化了相应的基础库：

4. 机器学习基础

机器学习主要包括：监督学习、无监督学习和强化学习

机器学习中的分类问题：垃圾分类

机器学习的基本流程：

神经网络：

训练结果的评价指标：

过拟合的解决方案：早停

5. 卷积神经网络

卷积的过程：

激活层和激活函数

池化层和全连接层：

输出层：

6. pytorch相关

自动求导demo：

torch重要的函数都在nn.functional中：

7. 小结

第一课算是通识课程，对各方面都做了概述，从计算机视觉的定义等基本概念到OpenMMLab再到Pytorch相关内容都认真的进行了讲解。这一课，我们对计算机视觉有了初步的认识，然后对OpenMMLab框架进行了讲解，OpenMMLab包含的众多算法框架和易于使用的接口能够极大缩短开发时间。对于OpenMMLab2.0，算法框架又进一步获得了完善和框架的整体性能也大幅提升，最后我们学习了机器学习和卷积神经网络的基本知识，了解了卷积、池化和全连接等基本概念，最后结合pytorch讲述了算法的训练和推理过程中的相关知识。