Радіальна базисна функція

Радіальна базисна функція (РБФ) — дійснозначна функція, чиє значення залежить від відстані до початку системи координат, тобто ${\displaystyle \phi ({\bf {{x})=\phi (\|{\bf {{x}\|)}}}}}$, або від відстані до деякої іншої точки ${\displaystyle {\bf {c}}}$, яка називається центром, тоді ${\displaystyle \phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)}$. Функція ${\displaystyle \phi }$, що задовольняє умові ${\displaystyle \phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)}$, є радіальною функцією^[en]. Нормою зазвичай є евклідова відстань, хоча можлива будь-яка функція відстані.

Суми радіальних базисних функцій зазвичай використовують для апроксимації заданих функцій^[en]. Процес апроксимації можна розглядати як просту нейронну мережу. Саме в такому контексті вони й виникли у роботі Девіда Брумхеда^[en] та Девіда Луї у 1988 році^[1][2], що походить з дослідження Майкла Пауелла^[en] 1977 року.^[3][4][5] РБФ також використовуються як ядро^[en] в методі опорних векторів.^[6]

Типи

Часто використовувані типи радіальних базисних функцій (підставляємо ${\textstyle r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|}$):

• Гаусова:$${\displaystyle \phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2}}}$$
• Мультиквадратична:$${\displaystyle \phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2}}}}$$
• Зворотна квадратична:$${\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2}}}}$$
• Зворотна мультиквадратична:$${\displaystyle \phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2}}}}}$$
• Поліноміальний сплайн:$${\displaystyle {\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}}$$
• Тонкий пластинчатий сплайн^[en]
  (спеціальний полігармонічний сплайн):$${\displaystyle \phi \left(r\right)=r^{2}\ln \left(r\right)}$$
• Лінійна:$${\displaystyle \phi (r)=r\,}$$
• Кубічна:$${\displaystyle \phi (r)=r^{3}\,}$$
• Функція Вендленда^[7]:$${\displaystyle \phi (r)={\begin{cases}\left(1-{\frac {r}{R}}\right)^{4}\left(4{\frac {r}{R}}+1\right),&{\frac {r}{R}}<1\\0,&{\frac {r}{R}}\geqslant 1\end{cases}}}$$
• Функція Ву^[8]:$${\displaystyle \phi (r)={\begin{cases}\left(1-{\frac {r}{R}}\right)^{4}\left(4+16{\frac {r}{R}}+12\left({\frac {r}{R}}\right)^{2}+3\left({\frac {r}{R}}\right)^{3}\right),&{\frac {r}{R}}<1\\0,&{\frac {r}{R}}\geqslant 1\end{cases}}}$$

Апроксимація

Радіальні базисні функції зазвичай використовуються для побудови апроксимації функцій^[en] у вигляді $${\displaystyle y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right),}$$ де функція, яка апроксимується ${\displaystyle y\left(\mathbf {x} \right)}$ представлена у вигляді суми ${\displaystyle N}$ радіальних базисних функцій, кожна з яких береться з різним центром ${\displaystyle \mathbf {x} _{i}}$, і множиться на відповідну вагу ${\displaystyle w_{i}}$. Ваги ${\displaystyle w_{i}}$ можна оцінити за допомогою матричних методів лінійних найменших квадратів, бо функція, яка апроксимується є лінійною відносно вагів ${\displaystyle w_{i}}$.

Такі методи апроксимації зокрема використовуються^{[джерело?]} в часових рядах, при управлінні нелінійними системами додаючи достатньо просту хаотичну поведінку та при 3D реконструкції у комп'ютерній графіці.

Мережа РБФ

Дві ненормалізовані Гаусові радіальні базисні функції одного вхідного виміру. Базисна функція відцентрована відносно ${\textstyle x_{1}=0.75}$ та ${\textstyle x_{2}=3.25}$.

Суму $${\displaystyle y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right),}$$можна інтерпретувати як доволі просту одношарову штучну мережу, яка називається мережею радіальних базисних функцій в якій РБФ відіграють роль функцій активації мережі. Можна показати, що будь-яку неперервну функція на відрізку можна інтерполювати з довільною точністю, як суму такого вигляду, якщо використати достатньо велике число ${\displaystyle N}$ РБФ.

Апроксимація ${\textstyle y\left(\mathbf {x} \right)}$ є диференційовною відносно ваг ${\displaystyle w_{i}}$. Тому ваги можуть бути навчені за допомогою стандартних ітераційних методів для нейронних мереж.

Використання радіальних базових функцій таким способом дає розумний інтерполяційний підхід, за умови, що тренувальна множина вибрана таким чином, що вона охоплює весь діапазон систематично (ідеально мати рівновіддалені точки). Проте, без поліноміального доданку, ортогонального радіальним базисним функціям, оцінки за межами тренувальної множини, як правило, погано виконуються.

Примітки

1. Radial Basis Function networks [Архівовано 2014-04-23 у Wayback Machine.]
2. Broomhead, David H.; Lowe, David (1988). Multivariable Functional Interpolation and Adaptive Networks (PDF). Complex Systems. 2: 321—355. Архів оригіналу (PDF) за 14 липня 2014.
3. Michael J. D. Powell^[en] (1977). Restart procedures for the conjugate gradient method (PDF). Mathematical Programming. Springer. 12 (1): 241—254. doi:10.1007/bf01593790.
4. Sahin, Ferat (1997). A Radial Basis Function Approach to a Color Image Classification Problem in a Real Time Industrial Application (PDF) (M.Sc.). Virginia Tech. с. 26. Архів оригіналу (PDF) за 26 жовтня 2015. Процитовано 10 липня 2018. Radial basis functions were first introduced by Powell to solve the real multivariate interpolation problem.
5. Broomhead та Lowe, 1988, с. 347: «We would like to thank Professor M.J.D. Powell at the Department of Applied Mathematics and Theoretical Physics at Cambridge University for providing the initial stimulus for this work.»
6. VanderPlas, Jake (6 травня 2015). Introduction to Support Vector Machines. [O'Reilly]. Архів оригіналу за 5 вересня 2015. Процитовано 14 травня 2015.
7. Wendland H., Piecewise polynomial, positive definite and compactly supported radial functions of minimal degree, Advances in Comp. Mathematics, 4, 1995.
8. Wu Z., Multivariate compactly supported positive definite radial functions, Advances in Computational Mathematics, 4(3), 1996.

Подальше читання

• Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations, Cambridge University Press, ISBN 978-0-521-63338-3.
• Hardy, R.L. (1971). Multiquadric equations of topography and other irregular surfaces. Journal of Geophysical Research. 76 (8): 1905—1915. Bibcode:1971JGR....76.1905H. doi:10.1029/jb076i008p01905.
• Hardy, R.L. (1990). Theory and applications of the multiquadric-biharmonic method, 20 years of Discovery, 1968 1988. Comp. math Applic. 19 (8/9): 163—208. doi:10.1016/0898-1221(90)90272-l.
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007), Section 3.7.1. Radial Basis Function Interpolation, Numerical Recipes: The Art of Scientific Computing (вид. 3rd), New York: Cambridge University Press, ISBN 978-0-521-88068-8
• Sirayanone, S., 1988, Comparative studies of kriging, multiquadric-biharmonic, and other methods for solving mineral resource problems, PhD. Dissertation, Dept. of Earth Sciences, Iowa State University, Ames, Iowa.
• Sirayanone, S.; Hardy, R.L. (1995). The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and Other Applications. Journal of Applied Sciences and Computations. 1: 437—475.

Див. також

• Мережа радіальних базисних функцій
• Метод опорних векторів
• Машинне навчання