学习目标：

论文

学习时间：

2024.6.8-2024.6.14

学习产出：

一、Consistency Models

扩散模型依赖于迭代采样过程导致生成缓慢，由此提出一致性模型，其可以直接将噪声映射至数据从而生成高质量样别。

根据给定的ODE，可以将数据平滑的转换为噪声，简单来说就是从原始图像到某个加噪图像，每一个步骤加的噪声都是特定的，一旦轨迹确定了，则对应的加噪图像也会被确定，反之亦然。与Diffusion Model的随机采样不同，Consistency Model 要求训练出来的模型对于一个采样路径上的每个点都保持 consistency，即预测结果保持一致。
假设存在函数f，对于图像去噪的每个点，f都能输出一个相同的值：



对于轨迹起点X0 = ϵ，有

轨迹中的任意一点带入先验分布可得到
从而完成了一步采样。因此可以使用神经网络拟合函数f：

其中 和为可微函数，且 ，
上述内容在训练时必须满足是在ODE轨迹上，训练过程如下：

采用过程如下：

为了提升图像采样质量，可以使用多步采样。

实验结果如下：

二、实习

目前项目已经完成不同格式流到rtsp流的转换，并往旷视的Ai盒子推流，这两天把保存数据的完成就可以完成初步的demo。