مدل‌‌های انتشاری

مدل‌های انتشاری (به انگلیسی: Diffusion Models) در یادگیری ماشینی، دسته‌ای از مدل‌های متغیر پنهان (به انگلیسی: Latent Variable Models) هستند. این مدل‌ها نوعی زنجیره مارکوف هستند که با استفاده از استنباط بیزی تغییراتی آموزش داده می‌شوند.^[۱] هدف مدل‌های انتشاری، یادگیری ساختار پنهان یک مجموعه داده با مدل‌سازی روشی است که در آن نقاط داده در فضای پنهان (به انگلیسی: latent space) منتشر می‌شوند. در بینایی ماشین، این یعنی یک شبکه عصبی آموزش داده می‌شود تا با یادگیری معکوس فرایند انتشاری، با شروع از نویز گاوسی به تصاویر اصلی برسد.^[۲][۳]

تاریخچه

مدل‌های انتشاری در سال ۲۰۱۵ با ایده‌گرفتن از ترمودینامیک غیرتعادلی معرفی شدند.

ایده

مدل‌های انتشاری خانواده‌ای از مدل‌های مولد احتمالی هستند که به تدریج داده‌ها را با اضافه‌کردن نویز تخریب می‌کنند، سپس یادمی‌گیرند که این فرایند را برای تولید نمونه معکوس کنند. یک مدل انتشاری از دو زنجیره مارکوف استفاده می‌کند: یک زنجیره مستقیم که داده‌ها را به‌تدریج به نویز تبدیل می‌کند و یک زنجیره معکوس که نویز را به داده تبدیل می‌کند. اولی معمولاً با هدف تبدیل هر توزیع داده‌ای به یک توزیع پیشین ساده (مثلاً گاوسی استاندارد) به صورت دستی طراحی می‌شود، در حالی که زنجیره مارکوف دوم با یادگیری هسته‌های انتقال توسط شبکه‌های عصبی عمیق، اولی را معکوس می‌کند.^[۴]

جزئیات

فرایند انتشار مستقیم

با داشتن یک نقطه داده نمونه‌برداری‌شده از یک توزیع داده واقعی ${\textstyle \mathbf {x} _{0}\sim q(\mathbf {x} )}$، فرایند انتشار مستقیم (به انگلیسی: forward diffusion process) را این‌گونه تعریف می‌کنیم که در آن مقدار کمی نویز گاوسی را در ${\displaystyle T}$ گام به نمونه ورودی اضافه می‌کنیم تا نمونه‌های نویزدار ${\textstyle \mathbf {x} _{1},\dots ,\mathbf {x} _{T}}$ تولید شود. اندازه گام‌ها توسط یک برنامه واریانس ${\textstyle \{\beta _{t}\in (0,1)\}_{t=1}^{T}}$ کنترل می‌شود.

${\displaystyle q(\mathbf {x} _{t}\vert \mathbf {x} _{t-1})={\mathcal {N}}(\mathbf {x} _{t};{\sqrt {1-\beta _{t}}}\mathbf {x} _{t-1},\beta _{t}\mathbf {I} )\quad q(\mathbf {x} _{1:T}\vert \mathbf {x} _{0})=\prod _{t=1}^{T}q(\mathbf {x} _{t}\vert \mathbf {x} _{t-1})}$

نمونه داده به تدریج ویژگی‌های قابل مشاهده خود را با بزرگتر شدن گام ${\displaystyle t}$ از دست می‌دهد. درنهایت وقتی ${\displaystyle T\to \infty }$، ${\displaystyle \mathbf {x} _{T}}$ معادل یک توزیع گاوسی همسان‌گرد خواهد شد.

یک ویژگی خوب فرایند فوق این است که می‌توانیم ${\displaystyle \mathbf {x} _{t}}$ را در هر گام دلخواه ${\displaystyle t}$ به صورت فرم بسته زیر با فرض ${\displaystyle \alpha _{t}=1-\beta _{t}}$ و ${\displaystyle {\bar {\alpha }}_{t}=\prod _{i=1}^{t}\alpha _{i}}$ محاسبه کنیم:^[۵]

${\displaystyle {\begin{aligned}\mathbf {x} _{t}&={\sqrt {\alpha _{t}}}\mathbf {x} _{t-1}+{\sqrt {1-\alpha _{t}}}{\boldsymbol {\epsilon }}_{t-1}&{\boldsymbol {\epsilon }}_{t-1},{\boldsymbol {\epsilon }}_{t-2},\dots \sim {\mathcal {N}}(\mathbf {0} ,\mathbf {I} )\\&={\sqrt {\alpha _{t}\alpha _{t-1}}}\mathbf {x} _{t-2}+{\sqrt {1-\alpha _{t}\alpha _{t-1}}}{\bar {\boldsymbol {\epsilon }}}_{t-2}&{\bar {\boldsymbol {\epsilon }}}_{t-2}{\text{ merges two Gaussians}}\\&=\dots \\&={\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}\\q(\mathbf {x} _{t}\vert \mathbf {x} _{0})&={\mathcal {N}}(\mathbf {x} _{t};{\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0},(1-{\bar {\alpha }}_{t})\mathbf {I} )\end{aligned}}}$

توجه کنید که وقتی دو توزیع نرمال با واریانس‌های مختلف، ${\textstyle {\mathcal {N}}(\mathbf {0} ,\sigma _{1}^{2}\mathbf {I} )}$ و ${\textstyle {\mathcal {N}}(\mathbf {0} ,\sigma _{2}^{2}\mathbf {I} )}$ ادغام می‌کنیم، توزیع جدید ${\displaystyle {\mathcal {N}}(\mathbf {0} ,(\sigma _{1}^{2}+\sigma _{2}^{2})\mathbf {I} )}$ خواهد بود. در رابطه بالا انحراف معیار برابر خواهد بود با: $${\displaystyle {\sqrt {(1-\alpha _{t})+\alpha _{t}(1-\alpha _{t-1})}}={\sqrt {1-\alpha _{t}\alpha _{t-1}}}}$$

فرایند انتشار معکوس

اگر بتوانیم فرایند بالا را معکوس کنیم و از ${\displaystyle q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})}$ نمونه‌برداری کنیم، می‌توانیم نمونه واقعی را از ورودی نویز گاوسی ${\displaystyle \mathbf {x} _{T}\sim {\mathcal {N}}(\mathbf {0} ,\mathbf {I} )}$ دوباره ایجاد کنیم. توجه کنید که اگر ${\displaystyle \beta _{t}}$ به اندازه کافی کوچک باشد، ${\displaystyle q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})}$ نیز گوسی خواهد بود. متأسفانه، ما نمی‌توانیم ${\displaystyle q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})}$ را به راحتی تخمین بزنیم زیرا برای این کار باید از کل مجموعه‌داده استفاده کنیم، بنابراین باید مدلِ ${\displaystyle p_{\theta }}$ را برای تقریب این احتمالات شرطی به منظور اجرای فرایند انتشار معکوس یاد بگیریم.

${\displaystyle p_{\theta }(\mathbf {x} _{0:T})=p(\mathbf {x} _{T})\prod _{t=1}^{T}p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})\quad p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})={\mathcal {N}}(\mathbf {x} _{t-1};{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t),{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t))}$

احتمال شرطی معکوس زمانی قابل حل است که روی ${\displaystyle \mathbf {x} _{0}}$ شرط شود:

${\displaystyle q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t},\mathbf {x} _{0})={\mathcal {N}}(\mathbf {x} _{t-1};\color {blue}{\tilde {\boldsymbol {\mu }}}(\mathbf {x} _{t},\mathbf {x} _{0}),\color {red}{{\tilde {\beta }}_{t}}\mathbf {I} )}$

با اعمال قاعده بیز داریم:

${\displaystyle {\begin{aligned}q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t},\mathbf {x} _{0})&=q(\mathbf {x} _{t}\vert \mathbf {x} _{t-1},\mathbf {x} _{0}){\frac {q(\mathbf {x} _{t-1}\vert \mathbf {x} _{0})}{q(\mathbf {x} _{t}\vert \mathbf {x} _{0})}}\\&\propto \exp {\Big (}-{\frac {1}{2}}{\big (}{\frac {(\mathbf {x} _{t}-{\sqrt {\alpha _{t}}}\mathbf {x} _{t-1})^{2}}{\beta _{t}}}+{\frac {(\mathbf {x} _{t-1}-{\sqrt {{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t-1}}}-{\frac {(\mathbf {x} _{t}-{\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t}}}{\big )}{\Big )}\\&=\exp {\Big (}-{\frac {1}{2}}{\big (}{\frac {\mathbf {x} _{t}^{2}-2{\sqrt {\alpha _{t}}}\mathbf {x} _{t}\color {blue}{\mathbf {x} _{t-1}}\color {black}{+\alpha _{t}}\color {red}{\mathbf {x} _{t-1}^{2}}}{\beta _{t}}}+{\frac {\color {red}{\mathbf {x} _{t-1}^{2}}\color {black}{-2{\sqrt {{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0}}\color {blue}{\mathbf {x} _{t-1}}\color {black}{+{\bar {\alpha }}_{t-1}\mathbf {x} _{0}^{2}}}{1-{\bar {\alpha }}_{t-1}}}-{\frac {(\mathbf {x} _{t}-{\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t}}}{\big )}{\Big )}\\&=\exp {\Big (}-{\frac {1}{2}}{\big (}\color {red}{({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})}\mathbf {x} _{t-1}^{2}-\color {blue}{({\frac {2{\sqrt {\alpha _{t}}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {2{\sqrt {{\bar {\alpha }}_{t-1}}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})}\mathbf {x} _{t-1}\color {black}{+C(\mathbf {x} _{t},\mathbf {x} _{0}){\big )}{\Big )}}\end{aligned}}}$

با توجه به تابع چگالی توزیع گاوسی، میانگین و واریانس را می‌توان به صورت زیر به‌دست‌آورد:

${\displaystyle {\begin{aligned}{\tilde {\beta }}_{t}&=1/({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})=1/({\frac {\alpha _{t}-{\bar {\alpha }}_{t}+\beta _{t}}{\beta _{t}(1-{\bar {\alpha }}_{t-1})}})=\color {green}{{\frac {1-{\bar {\alpha }}_{t-1}}{1-{\bar {\alpha }}_{t}}}\cdot \beta _{t}}\\{\tilde {\boldsymbol {\mu }}}_{t}(\mathbf {x} _{t},\mathbf {x} _{0})&=({\frac {\sqrt {\alpha _{t}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {\sqrt {{\bar {\alpha }}_{t-1}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})/({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})\\&=({\frac {\sqrt {\alpha _{t}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {\sqrt {{\bar {\alpha }}_{t-1}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})\color {green}{{\frac {1-{\bar {\alpha }}_{t-1}}{1-{\bar {\alpha }}_{t}}}\cdot \beta _{t}}\\&={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{t}+{\frac {{\sqrt {{\bar {\alpha }}_{t-1}}}\beta _{t}}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{0}\\\end{aligned}}}$

می‌دانیم که ${\displaystyle \mathbf {x} _{0}={\frac {1}{\sqrt {{\bar {\alpha }}_{t}}}}(\mathbf {x} _{t}-{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t})}$ و با جایگذاری در عبارات بالا خواهیم داشت:

${\displaystyle {\begin{aligned}{\tilde {\boldsymbol {\mu }}}_{t}&={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{t}+{\frac {{\sqrt {{\bar {\alpha }}_{t-1}}}\beta _{t}}{1-{\bar {\alpha }}_{t}}}{\frac {1}{\sqrt {{\bar {\alpha }}_{t}}}}(\mathbf {x} _{t}-{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t})\\&=\color {black}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )}}\end{aligned}}}$

تابع هزینه برای آموزش فرایند انتشاری

برای تقریب توزیع احتمال شرطی در فرایند انتشار معکوس ${\displaystyle p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})={\mathcal {N}}(\mathbf {x} _{t-1};{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t),{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t))}$ نیاز به یادگیری یک شبکه عصبی داریم. درواقع می‌خواهیم ${\displaystyle {\boldsymbol {\mu }}_{\theta }}$ را آموزش دهیم که ${\displaystyle {\tilde {\boldsymbol {\mu }}}_{t}={\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )}}$ را پیش‌بینی کند. از آن‌جایی که ${\displaystyle \mathbf {x} _{t}}$ به‌عنوان ورودی مدل هنگام آموزش داده می‌شود، می‌توانیم با تغییر عبارت نویز گاوسی ${\displaystyle {\boldsymbol {\epsilon }}_{t}}$ را از ورودی در گام ${\displaystyle t}$ پیش‌بینی کنیم:

${\displaystyle {\begin{aligned}{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t)&=\color {black}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t){\Big )}}\\\ \rightarrow \mathbf {x} _{t-1}&={\mathcal {N}}(\mathbf {x} _{t-1};{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t){\Big )},{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t))\end{aligned}}}$

پس تابع هزینه برای کمینه کردن اختلاف از ${\displaystyle {\tilde {\boldsymbol {\mu }}}}$ به صورت زیر خواهد بود:

${\displaystyle {\begin{aligned}L_{t}&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {1}{2\|{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t)\|_{2}^{2}}}\|\color {blue}{{\tilde {\boldsymbol {\mu }}}_{t}(\mathbf {x} _{t},\mathbf {x} _{0})}-\color {green}{{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t)}\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {1}{2\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|\color {blue}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )}}-\color {green}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\boldsymbol {\epsilon }}}_{\theta }(\mathbf {x} _{t},t){\Big )}}\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {(1-\alpha _{t})^{2}}{2\alpha _{t}(1-{\bar {\alpha }}_{t})\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t)\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {(1-\alpha _{t})^{2}}{2\alpha _{t}(1-{\bar {\alpha }}_{t})\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }({\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t},t)\|^{2}{\Big ]}\end{aligned}}}$

در مقاله^[۱] نشان داده شده‌است که آموزش مدل انتشاری با تابع هزینه زیر بهتر انجام می‌شود:

${\displaystyle {\begin{aligned}L_{t}^{\text{simple}}&=\mathbb {E} _{t\sim [1,T],\mathbf {x} _{0},{\boldsymbol {\epsilon }}_{t}}{\Big [}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t)\|^{2}{\Big ]}\\&=\mathbb {E} _{t\sim [1,T],\mathbf {x} _{0},{\boldsymbol {\epsilon }}_{t}}{\Big [}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }({\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t},t)\|^{2}{\Big ]}\end{aligned}}}$

و تابع هزینه نهایی به صورت ${\displaystyle L_{\text{simple}}=L_{t}^{\text{simple}}+C}$ خواهد بود (${\displaystyle C}$ یک مقدار ثابت مستقل از ${\displaystyle \theta }$ است).

محدودیت‌ها

فرایند نمونه‌گیری از DDPM با دنبال‌کردن زنجیره مارکوف فرایند انتشار معکوس بسیار کند است، زیرا تعداد گام‌ها ${\displaystyle T}$ می‌تواند تا یک یا چند هزار مرحله باشد. در^[۶] گفته شده «به عنوان مثال، نمونه‌گیری ۵۰ هزار عکس با اندازه ۳۲ × ۳۲ از یک DDPM حدود ۲۰ ساعت طول می‌کشد، اما انجام این کار با یک GAN روی یک پردازنده گرافیکی Nvidia 2080 Ti کمتر از یک دقیقه زمان می‌برد.»

کاربرد

بینایی ماشین

مدل‌هایی انتشاری برای تولید^[۶][۷][۸]، بخش‌بندی^[۹][۱۰]، فراتفکیک‌پذیری^[۱۱]، تغییر^{[۱۲][۱۳][۱۴][۱۵]} و تعمیر^[۱۲][۱۶] (به انگلیسی: inpainting) تصاویر به کار می‌روند. همچنین در تولید ویدئو^[۱۷]، تشخیص ناهنجاری^[۱۸]، تحلیل تصاویر پزشکی^[۱۹] و بینایی سه‌بعدی^[۲۰] کاربرد دارد.

پردازش زبان‌های طبیعی

مدل‌های انتشاری همچنین برای تولید و ترجمه متن^[۲۱][۲۲] استفاده می‌شوند.

جستارهای وابسته

• زنجیره مارکوف
• استنباط بیزی تغییراتی
• خودرمزگذار متغیر

منابع

1. Ho, Jonathan; Jain, Ajay; Abbeel, Pieter (19 June 2020). "Denoising Diffusion Probabilistic Models". Advances in Neural Information Processing Systems. arXiv:2006.11239.
2. Song, Yang; Ermon, Stefano (2020). "Improved Techniques for Training Score-Based Generative Models". Advances in Neural Information Processing Systems. arXiv:2006.09011.
3. Gu, Shuyang; Chen, Dong; Bao, Jianmin; Wen, Fang; Zhang, Bo; Chen, Dongdong; Yuan, Lu; Guo, Baining (2021). "Vector Quantized Diffusion Model for Text-to-Image Synthesis". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. arXiv:2111.14822.
4. Yang, Ling; Zhang, Zhilong (2022). "Diffusion models: A comprehensive survey of methods and applications". arXiv.
5. Weng, Lilian (Jul 2021). "What are diffusion models?". lilianweng.github.io.
6. Song, Jiaming; Meng, Chenlin; Ermon, Stefano (2020). "Denoising diffusion implicit models". arxiv. arXiv:2010.02502.
7. Nichol, Alexander Quinn; Dhariwal, Prafulla (2021). "Improved denoising diffusion probabilistic models". International Conference on Machine Learning Systems.
8. Prafulla, Dhariwal; Nichol, Alexander (2021). "Diffusion models beat gans on image synthesisDiffusion models beat gans on image synthesis". Advances in Neural Information Processing Systems.
9. Amit, Tomer; Nachmani, Eliya (2021). "Segdiff: Image segmentation with diffusion probabilistic models". arXiv.
10. Wang, Weilun; Bao, Jianmin (2022). "Semantic image synthesis via diffusion models". arXiv.
11. Saharia, Chitwan; Ho, Jonathan (2022). "Image super-resolution via iterative refinement". IEEE Transactions on Pattern Analysis and Machine Intelligence.
12. Batzolis, Georgios; Stanczuk, Jan (2021). "Conditional image generation with score-based diffusion models". arXiv. arXiv:2111.13606.
13. Kawar, Bahjat; Elad, Michael (2022). "Denoising Diffusion Restoration Models". ICLR Workshop on Deep Generative Models for Highly Structured Data.
14. Kim, Gwanghyun; Kwon, Taesung (2022). "DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
15. Avrahami, Omri; Lischinski, Dani (2021). "Improved denoising diffusion probabilistic models". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
16. Lugmayr, Andreas; Danelljan, Martin (2022). "Repaint: Inpainting using denoising diffusion probabilistic models". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
17. He, Yingqing; Yang, Tianyu (2022). "Latent Video Diffusion Models for High-Fidelity Video Generation with Arbitrary Lengths". arXiv.
18. Wolleb, Julia; Bieder, Florentin (2022). "Diffusion Models for Medical Anomaly Detection". arXiv. arXiv:2203.04306.
19. Dar, Salman UH; Öztürk, Şaban (2022). "Adaptive diffusion priors for accelerated mri reconstruction". arXiv. arXiv:2207.05876.
20. Saadatnejad, Saeed; Rasekh, Ali; Mofayezi, Mohammadreza; Medghalchi, Yasamin; Rajabzadeh, Sara; Mordan, Taylor; Alahi, Alexandre (2022). "A generic diffusion-based approach for 3D human pose prediction in the wild". arXiv. arXiv:2210.05669.
21. Nachmani, Eliya; Dovrat, Shaked (2021). "Zero-Shot Translation using Diffusion Models". arXiv.
22. Lovelace, Justin; Kishore, Varsha (2022). "Latent Diffusion for Language Generation". arXiv.