تابع فعال‌سازی Swish

تابع swish برای مقادیر مختلف بتا

تابع Swish به شکل زیر تعریف می‌شود:

^[۱] ${\displaystyle \operatorname {swish} (x)=x\operatorname {sigmoid} (\beta x)={\frac {x}{1+e^{-\beta x}}}.}$

که ${\displaystyle \beta }$ می‌تواند ثابت، یا پارامتر قابل یادگیری باشد. اگر ${\displaystyle \beta =1}$ باشد، تابع swish تبدیل به تابع سیگموئید خطی یا SiLU می‌شود.

• در حالت ${\displaystyle \beta \to +\infty }$ تابع به ReLU یا ${\displaystyle max(x,0)}$ تبدیل می‌شود.
• در حالت ${\displaystyle \beta \to 0}$ تابع حاصل خطی و برابر با ${\displaystyle {\frac {x}{2}}}$
• در حالت ${\displaystyle \beta \to -\infty }$ تابع به ${\displaystyle min(x,0)}$ تبدیل می‌شود.

مشتق

نسبت به ${\displaystyle x}$

مشتق تابع swish نسبت به ${\displaystyle x}$ بدین شکل قابل محاسبه است:

مشتق تابع swish به ازای مقادیر مختلف β

${\displaystyle {\begin{aligned}f^{'}(x)&=\sigma (\beta x)+\beta x\cdot \sigma (\beta x)(1-\sigma (\beta x))\\&=\sigma (\beta x)+\beta x\cdot \sigma (\beta x)-\beta x\cdot \sigma (\beta x)^{2}\\&=\beta x\cdot \sigma (\beta x)+\sigma (\beta x)(1-\beta x\cdot \sigma (\beta x))\\&=\beta f(x)+\sigma (\beta x)(1-\beta f(x))\end{aligned}}}$

نسبت به ${\displaystyle \beta }$

مشتق تابع swish نسبت به ${\displaystyle \beta }$ بدین شکل قابل محاسبه است: ${\displaystyle {\begin{aligned}{\frac {\partial f(x)}{\partial \beta }}=x^{2}\sigma (\beta x)(1-\sigma (\beta x))\end{aligned}}}$

کاربردها

در سال 2017 دانشمندان در Google توانستند با جایگزینی تابع swish به جای ReLU و Sigmoid، نتایج بهتری برای دیتاست ایمیج‌نت بدست آورند. همچنین عملکرد این تابع در سایر مدل‌ها و دیتاست‌های مشهور برابر یا بهتر از دیگر توابع فعال‌سازی رایح بوده است. البته باید توجه داشت که تابع swish نسبت به ReLU از لحاظ محاسبات چه در محاسبه تابع و چه در محاسبه مشتق بسیار پیچیده‌تر است.^[۲]

منابع

1. Ramachandran, Prajit; Zoph, Barret; Le, Quoc V. (2017-10-27). "Searching for Activation Functions". arXiv:1710.05941v2 [cs.NE].
2. Serengil, Sefik Ilkin (2018-08-21). "Swish as Neural Networks Activation Function". Machine Learning, Math. Archived from the original on 2020-06-18. Retrieved 2020-06-18.