今天复习了Transformer,ViT,
学了SwinTransformer,
还有观看了B站视频理解沐神系列串讲视频上（24.2.26未看完,明天接着看）
这里面更多论文见：https://github.com/mli/paper-reading/
B站视频理解沐神系列串讲视频下（明天接着看）
上面这张图中的知识蒸馏，可以回头看一下
上面这个github网址
论文：
Video Transformers: A Survey
博客：
TimeSformer视频理解框架：视频理解中的Transformer
TimeSformer：抛弃CNN的Transformer视频理解框架
Transformers in Vision: A Survey
transformer综述汇总与变形分析
复旦大学邱锡鹏教授团队：Transformer最新综述
TimeSformer 解析：视频理解中的transformer
CVPR2021| TimeSformer-视频理解的时空注意模型
重磅开源！首个基于Transformer的视频理解网络来啦！
https://cloud.tencent.com/developer/article/1807487
https://blog.csdn.net/m0_59596990/article/details/122120545
论文：
Is Space-Time Attention All You Need for Video Understanding?
A Survey of Transformers
github
TimeSformer
https://github.com/facebookresearch/TimeSformer
知乎
https://zhuanlan.zhihu.com/p/452354607
https://zhuanlan.zhihu.com/p/459946348
