DiT


又回顾了一下DiT运作的方式发现其中有的地方我还不太熟,熟悉之后再大概记录一下

依旧还是像以前的博客一样,左边写被处理的东西,右边括号内写处理方式

训练

img(vae encode)
latent representation(加噪+time t)
带噪latent representation+time(patchify+linear/conv)
tokens(噪音预测)
预测的噪音(计算Loss)
Loss(反向传播更新参数)

推理

prompt(clip)
text condition

random noise latent (patchify+linear/conv+positional embedding+timestep embedding)
tokens with conditions(DiT)
predicted noise (sampler update)
denoised latent(repeat)
latent z_0 (VAE decode)
generated image

大概明确了一下潜空间里具体做了哪些和把图像转换为token的具体实现patchify/conv


文章作者: Austin
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Austin !
评论
  目录