2019-12 PyTorch: An Imperative Style, High-Performance Deep Learning Library
设计迎合4大趋势：
1. array-based (Tensor)
2. GPU加速
3. 自动求导 (Auto Differentiation)
4. 拥抱Python生态
4大设计原则：
1. 使用算法和数据开发者熟悉的Python做编程接口，接入Python生态；
2. 面向researcher；接口尽量简单，把复杂性隐藏起来；
3. 性能别做的太差；为了易用性，牺牲10%性能是可以的，牺牲太多不行；
4. 简单而不完善的设计：目的是把有限的人力，投入到跟上AI发展的快节奏，快速支持新feature上；
一切皆Python程序
易于扩展：
新模型更容易原生支持：(GAN网络例子)
方便在中间随时print中间变量(Tensor)的值，方便设断点debug；
兼容Python生态，易于扩展
torch.from_numpy()和Tensor.numpy()，其返回值和原值，是share同一片内存的，改一个的值另一个的值也会改动；
新增Module，只需要继承自Module类，写forward()；
新增operator，如果其操作由PyTorch的operator组成，则直接写forward即可；如果包含PyTorch不支持的操作，需要使用torch.compile并写forward和backward；Python Custom Operators — PyTorch Tutorials 2.3.0+cu121 documentation
新增Dataset，只需实现__getitem__和__len__； 其余的事交给DataLoader(shuffle, batch, 多进程, pin memory)
自动求导(AD)
采用reverse-mode automatic differentiation; <<Automatic differentiation in pytorch>>
forward之后，backward之前，如果中间环节的Tensor值被人为改写了（这些值在backward计算中会被用到），怎么办？答：Tensor使用版本号；
性能
Python的GIL锁：任何时刻，都只能有1个线程在执行；
核心代码使用C++，C++多线程并行执行，绕开了Python的GIL问题；
控制流和数据流，严格分开；控制流：if-else、循环等；数据流：op的实际执行；op在CPU侧只是launch kernel，kernel入队到CUDA stream里顺序执行，CPU侧和GPU侧是异步的；
痛点：cudaFree是同步操作，CPU侧会block住，等待所有stream里的kernels执行完，才释放显存；解决方案：自己维护显存池，reserved memory，少调用cudaFree；
one-pool-per-stream，没看懂；
Python的multiprocessing用的是磁盘来做进程通信，低效；PyTorch使用了torch.multiprocessing，用的是shared memory做进程通信；
Tensor的内存释放，使用引用计数，python侧和C++侧，都统计；
异步&overlap:
首轮迭代，cudaMalloc和cudaFree导致GPU使用率低下；第二轮开始，显存池发挥作用，cudaMalloc和cudaFree没有了，GPU使用率变高；
