Xarxa de Hopfield

Una xarxa de Hopfield és una forma de xarxa neuronal artificial recurrent inventada per John Hopfield. Les xarxes de Hopfield s'usen com a sistemes de memòria associativa (RNA) amb unitats binàries. Estan dissenyades per convergir a un mínim local, però la convergència a un dels patrons emmagatzemats no està garantida.

Estructura

Xarxa Hopfield amb quatre nodes.

Les unitats de les xarxes Hopfield són binàries, és a dir, només tenen dos valors possibles per als seus estats i el valor es determina si les unitats superen o no un determinat llindar. Els valors possibles poden ser 1 o -1, o bé 1 o 0. Així, les dues definicions possibles per a la unitat i d'activació, ${\displaystyle a_{i}}$, són les següents:

(1) ${\displaystyle a_{i}\leftarrow \left\{{\begin{matrix}1&{\mbox{si }}\sum _{j}{w_{ij}s_{j}}>\theta _{i},\\-1&{\mbox{en cas contrari.}}\end{matrix}}\right.}$

(2) ${\displaystyle a_{i}\leftarrow \left\{{\begin{matrix}1&{\mbox{si }}\sum _{j}{w_{ij}s_{j}}>\theta _{i},\\0&{\mbox{en cas contrari.}}\end{matrix}}\right.}$

On:

• ${\displaystyle w_{ij}}$ és la força del pes de la connexió de la unitat j a la unitat i (pes de connexió).
• ${\displaystyle s_{j}}$ és l'estat de la unitat j.
• ${\displaystyle \theta _{i}}$ és el llindar de la unitat i.

Les connexions en una xarxa de Hopfield solen tenir les següents restriccions:

• ${\displaystyle w_{ii}=0,\forall i}$ (cap unitat té relació amb ella mateixa)
• ${\displaystyle w_{ij}=w_{ji},\forall i,j}$ (connexions simètriques)

Representació gràfica de la funció d'activació d'una xarxa Hopfield.

Normalment es requereix que els pesos siguin simètrics perquè la funció d'energia disminueixi de forma monòtona mentre segueix les regles d'activació, ja que si s'utilitzen pesos no simètrics la xarxa podria mostrar un comportament diari o caòtic. No obstant això, Hopfield considerar que aquest comportament caòtic es limita a zones relativament petites de l'espai de fases, no influint en la capacitat de la xarxa per a actuar com a contingut direccionable en el sistema de memòria associativa.

Les xarxes Hopfield tenen un valor escalar associat a cada estat de la xarxa, conegut com a energia (E) de la xarxa, on:

${\displaystyle E=-{\frac {1}{2}}\sum _{i,j}{w_{ij}{s_{i}}{s_{j}}}+\sum _{i}{\theta _{i}\ s_{i}}}$

Aquest valor s'anomena energia, perquè la definició assegura que si les unitats són triades a l'atzar per actualitzar els seus valors d'activació la xarxa convergirà a estats que són mínims locals de la funció d'energia (que es considera una funció de Lyapunov). Així, si un estat és un mínim local en la funció d'energia serà un estat estable de la xarxa. Cal tenir en compte que aquesta funció d'energia pertany a una classe general de models en física, anomenats Models d'Ising, els quals al seu torn són un cas particular de les xarxes de Markov, on la mesura de probabilitat associada, anomenada mesura de Gibbs, té la propietat de Markov.

Execució

A cada pas es tria un node a l'atzar. El comportament del node és llavors determinista: es mou a un estat per a minimitzar l'energia d'ell mateix i dels nodes circumdants. (A diferència de la màquina de Boltzmann la regla d'actualització és estocàstica.)

Entrenament

L'entrenament d'una xarxa de Hopfield consisteix en reduir l'energia dels estats que la xarxa ha de "recordar". Això converteix a la xarxa en un sistema de memòria direccionable, és a dir, la xarxa "recordarà" un estat si se li dona només part d'aquest estat. Això la fa útil per recuperar una entrada distorsiones usant un estat de la xarxa obtingut durant l'entrenament i que és més similar a l'estat obtingut amb l'entrada actual. Això s'anomena memòria associativa, ja que recupera la memòria basant-se en la similitud. Per exemple, si entrenem una xarxa Hopfield amb cinc unitats perquè l'estat (1, 0, 1, 0, 1) sigui un mínim d'energia, i li donem a la xarxa l'estat (1, 0, 0, 0, 1) aquesta convergiran a (1, 0, 1, 0, 1). Així, la xarxa estarà adequadament capacitada quan l'energia dels estats que la xarxa ha de recordar són mínims locals.

Bibliografia

• «Neural networks and physical systems with emergent collective computational abilities» (en anglès). Proceedings of the National Academy of Sciences of the USA, 8, 4-1982, pàg. 2554-2558.
• Rojas, Raul. «Capítol 13: The Hopfield model». A: Springer. Neural Networks - A Systematic Introduction (en anglès), 1996, p. 335-370. ISBN 978-3540605058. 

Enllaços externs

• scholarpedia.org-Hopfield network - Article on Hopfield Networks by John Hopfield (en anglès)