Regressió lineal

Exemple gràfic d'una regressió lineal amb una variable dependent i una variable independent.

En estadística la regressió lineal o ajust lineal és un mètode estadístic que modelitza la relació entre una variable dependent Y, les variables independents X _i i un terme aleatori ε, per trobar una funció lineal que s'ajusti al màxim a la distribució de punts generada per una variable de dues dimensions.^[1] Aquest model es pot expressar com:

${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon }$

on ${\displaystyle \beta _{0}}$ és la intersecció amb l'eix d'ordenades o terme "constant", les ${\displaystyle \beta _{i}}$ (i> 0) són els paràmetres respectius a cada variable independent, i ${\displaystyle p}$ és el nombre de paràmetres independents que cal tenir en compte en la regressió. La regressió lineal pot ser comparada amb la regressió no lineal.

Història

La primera forma de regressions lineals documentada va ser el mètode dels mínims quadrats, el qual va ser publicat per Legendre a 1805,^[2] i per Carl Friedrich Gauss a 1809.^[3] El terme "mínims quadrats" prové de la descripció donada per Legendre "moindre carrés". No obstant això Gauss va assegurar que coneixia aquest mètode des de 1795.

Tant Legendre com Gauss van aplicar el mètode per determinar, a partir d'observacions astronòmiques, les òrbites de cossos al voltant del sol.^[4] A 1821, Gauss va publicar un treball on desenvolupava de manera més profunda el mètode dels mínims quadrats,^[5] i on s'incloïa una versió del teorema de Gauss-Markov.

Etimologia

El terme regressió es va utilitzar per primera vegada en l'estudi de variables antropomètriques: en comparar l'estatura de pares i fills, va resultar que els fills els pares dels quals tenien una alçada molt superior al valor mitjà tendien a igualar-se a aquest, mentre que aquells els pares dels quals eren molt baixos tendien a reduir la seva diferència respecte a l'estatura mitjana, és a dir, "tornaven" a la mitjana.^[6] La constatació empírica d'aquesta propietat es va veure reforçada més tard amb la justificació teòrica d'aquest fenomen.

El terme lineal s'utilitza per a distingir de la resta de tècniques de regressió, que utilitzen models basats en qualsevol classe de funció matemàtica. Els models lineals són una explicació simplificada de la realitat, molt més àgil i amb un suport teòric per part de la matemàtica i l'estadística molt més extens.

El model de regressió lineal

El model lineal relaciona la variable dependent Y amb K variables explicatives ${\displaystyle x_{k}}$ (k = 1, ... K), o qualsevol transformació d'aquestes, que generen un hiperplà de paràmetres ${\displaystyle \beta _{k}}$ desconeguts:

(2)${\displaystyle Y=\sum \beta _{k}X_{k}+\varepsilon }$

on ${\displaystyle \varepsilon }$ és la pertorbació aleatòria que recull tots aquells factors de la realitat no controlables o observables i que per tant s'associen amb l'atzar, i és la que confereix al model el seu caràcter estocàstic. En el cas més senzill de dues variables explicatives, l'hiperplà és una recta:

(3)${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\varepsilon }$

El problema de la regressió consisteix a escollir uns valors determinats per als paràmetres desconeguts ${\displaystyle \beta _{k}}$, de manera que l'equació quedi completament especificada. Per a això es necessita un conjunt d'observacions. En una observació qualsevol i-èsima (i = 1, ... I) es registra el comportament simultani de la variable dependent i les variables explicatives (les pertorbacions aleatòries se suposen no observables).

(4)${\displaystyle Y_{i}=\sum \beta _{k}X_{ki}+\varepsilon _{i}}$

Els valors escollits com estimador és dels paràmetres, ${\displaystyle {\hat {\beta _{k}}}}$, són els coeficients de regressió, sense que es pugui garantir que coincideixen amb paràmetres reals del procés generador. Per tant, en

(5)${\displaystyle Y_{i}=\sum {\hat {\beta _{k}}}X_{ki}+{\hat {\varepsilon _{i}}}}$

Els valors ${\displaystyle {\hat {\varepsilon _{i}}}}$ són per la seva banda estimacions de la pertorbació aleatòria o errors.

Supòsits del model de regressió lineal

Per poder crear un model de regressió lineal, cal que es compleixi amb els següents supòsits:^[7]

1. La relació entre les variables és lineal.
2. Els errors són independents.
3. Els errors tenen variància constant.
4. Els errors tenen una esperança matemàtica igual a zero.
5. L'error total és la suma de tots els errors.

Regressió lineal simple

Parlem de regressió lineal simple quan només es fa servir una variable independent, pel que només cal ajustar amb dos paràmetres. Són de la forma:^[8]

(6)${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+\varepsilon _{i}}$

on ${\displaystyle \varepsilon _{i}}$ és l'error associat a la mesura del valor ${\displaystyle X_{i}}$ i segueixen els supòsits de manera que ${\displaystyle \varepsilon _{i}\sim N(0,\sigma ^{2})}$ (mitjana zero, variància constant i igual a un ${\displaystyle \sigma }$ i ${\displaystyle \varepsilon _{i}\perp \varepsilon _{j}}$ amb ${\displaystyle i\neq j}$).

Anàlisi

Donat el model de regressió simple, si es calcula l'esperança (valor esperat) del valor I , s'obté:^[9]

(7)${\displaystyle E(y_{i})={\hat {y_{i}}}=E(\beta _{0})+E(\beta _{1}x_{i})+E(\varepsilon _{i})}$

(8)${\displaystyle ={\hat {\beta _{0}}}+{\hat {\beta _{1}}}x_{i}}$

Calculant ${\displaystyle {\hat {\beta _{0}}}}$ i ${\displaystyle {\hat {\beta _{1}}}}$. Per això es busquen aquests paràmetres que minimitzin ${\displaystyle \sum (y_{i}-{\hat {y_{i}}})^{2}=\sum {\hat {\varepsilon }}_{i}^{2}}$

Derivant respecte a ${\displaystyle {\hat {\beta }}_{0}}$ i ${\displaystyle {\hat {\beta }}_{1}}$ i igualant a zero, s'obté:^[9]

(9)${\displaystyle {\frac {\partial \sum (y_{i}-{\hat {y_{i}}})^{2}}{\partial {\hat {\beta }}_{0}}}=0}$

(10)${\displaystyle {\frac {\partial \sum (y_{i}-{\hat {y_{i}}})^{2}}{\partial {\hat {\beta }}_{1}}}=0}$

Obtenint dues equacions anomenades equacions normals que generen la següent solució per a tots dos paràmetres:^[8]

(11)${\displaystyle {\hat {\beta _{1}}}={\frac {\sum x\sum y-n\sum xy}{\left(\sum x\right)^{2}-n\sum x^{2}}}={\frac {\sum (x-{\bar {x}})(y-{\bar {y}})}{\sum (x-{\bar {x}})^{2}}}}$

(12)${\displaystyle {\hat {\beta _{0}}}={\frac {\sum y-{\hat {\beta }}_{1}\sum x}{n}}={\bar {y}}-{\hat {\beta _{1}}}{\bar {x}}}$

La interpretació del paràmetre ${\displaystyle {\hat {\beta }}_{1}}$, anomenat el pendent de la recta de regressió, és que un increment en ${\displaystyle X_{i}}$ d'una unitat, ${\displaystyle Y_{i}}$ s'incrementarà en ${\displaystyle {\hat {\beta }}_{1}}$unitats.

Rectes de regressió

Les rectes de regressió són les rectes que millor s'ajusten al núvol de punts (o també anomenat diagrama de dispersió) generat per una distribució bivariant. Matemàticament, són possibles dues rectes de màxim ajust:^[10]

• La recta de regressió de Y sobre X :

(14)${\displaystyle y={\bar {y}}+{\frac {\sigma _{xy}}{\sigma _{x}^{2}}}(x-{\bar {x}})}$

• La recta de regressió de X sobre Y:

(15)${\displaystyle x={\bar {x}}+{\frac {\sigma _{xy}}{\sigma _{y}^{2}}}(y-{\bar {y}})}$

El coeficient de correlació (r) de les rectes determinarà la mesura de la relació lineal. Si r és proper o igual a 1, la relació lineal positiva serà bona, si r és proper o igual a 0, es tractarà d'una absència de relació lineal, si r és proper o igual a -1, la relació lineal és negativa o inversa, és a dir quan un valor x creix, el valor y decreix. Les dues rectes de regressió s'intersequen en un punt anomenat centre de gravetat de la distribució.

Regressió lineal múltiple

Maneja diverses variables independents. Compta amb diversos paràmetres. S'expressen de la forma:^[11]

(13)${\displaystyle Y_{i}=\beta _{0}+\sum \beta _{i}X_{ip}+\varepsilon _{i}}$

on ${\displaystyle \varepsilon _{i}}$ és l'error associat a la mesura ${\displaystyle i}$ del valor ${\displaystyle X_{ip}}$ i segueixen els supòsits de manera que ${\displaystyle \varepsilon _{i}\sim N(0,\sigma ^{2})}$ (mitjana zero, variància constant i igual a un ${\displaystyle \sigma }$ i ${\displaystyle \varepsilon _{i}\perp \varepsilon _{j}}$ amb ${\displaystyle i\neq j}$).

Aplicacions de la regressió lineal

La regressió lineal té molts usos pràctics. La majoria de les aplicacions es troben en el camp de la predicció o per explicar la variació de la variable de resposta.

Si l'objectiu és la predicció, la previsió o la reducció d'errors, es pot utilitzar per ajustar un model predictiu a un conjunt de dades observades de valors de la resposta i variables explicatives. Després de desenvolupar aquest model, si es recullen valors addicionals de les variables explicatives sense un valor de resposta acompanyat, el model ajustat es pot utilitzar per fer una predicció de la resposta.

Si l'objectiu és explicar la variació de la variable de resposta que es pot atribuir a la variació de les variables explicatives, l'anàlisi de regressió lineal es pot aplicar per quantificar la força de la relació entre la resposta i les variables explicatives, i en particular per determinar si algunes És possible que les variables explicatives no tinguin cap relació lineal amb la resposta, o per identificar quins subconjunts de variables explicatives poden contenir informació redundant sobre la resposta.

Línies de tendència

Una línia de tendència representa una tendència en una sèrie de dades obtingudes a través d'un llarg període. Aquest tipus de línies pot dir-nos si un conjunt de dades en particular (com per exemple, el PIB, el preu del petroli o el valor de les accions) han augmentat o decrementat en un determinat període.^[12] Es pot dibuixar una línia de tendència a primera vista fàcilment a partir d'un grup de punts, però la seva posició i pendent es calcula de manera més precisa utilitzant tècniques estadístiques com les regressions lineals. Les línies de tendència són generalment línies rectes, encara que algunes variacions utilitzen polinomis de major grau depenent de la curvatura desitjada en la línia.

Medicina

En medicina, les primeres proves relacionant la mortalitat amb el fumar tabac^[13] van venir d'estudis que utilitzaven la regressió lineal. Els investigadors inclouen una gran quantitat de variables en la seva anàlisi de regressió en un esforç per eliminar factors que puguin produir correlacions espúries.

En el cas del tabaquisme, els investigadors van incloure l'estat socioeconòmic per assegurar que els efectes de mortalitat per tabaquisme no siguin un efecte de la seva educació o posició econòmica. No obstant, és impossible incloure totes les variables possibles en un estudi de regressió.^[14][15] En l'exemple del tabaquisme, un hipotètic gen podria augmentar la mortalitat i augmentar la propensió a adquirir malalties relacionades amb el consum de tabac. Per aquesta raó, en l'actualitat les proves controlades aleatòries són considerades molt més fiables que les anàlisis de regressió.

Referències

1. Zaiats, Vladimir. Probabilitat i estadística: exercicis I Materials. Univ. Autònoma de Barcelona, 2001, p. 64. ISBN 8449022592. 
2. AM Legendre. Nouvelles méthodes pour la détermination des orbitas des cometes (1805). "Sur la Méthode des moindre Quarré" apareix com un apèndix.
3. Carl Friedrich Gauss. Theoria motus corporum Coelestium in Sectionibus Conicis Solem Ambientum (1809)
4. Yanfei Wang, Anatoly G. Yagola, Changchun Yang. Computational Methods for Applied Inverse Problems (en anglès). Walter de Gruyter, 2012, p. 182. ISBN 3110259052. 
5. CF Gauss. Theoria combinationis observationum erroribus minimis obnoxiae . (1821/1823)
6. [http ://www.curvefit.com/linear_regression.htm Introduction to linear regression] Curvefit.com (en anglès)
7. " Anàlisi de regressió lineal ", Universitat Complutense de Madrid
8. "Fórmules", Probabilitat i Estadística. Cs. Bàsiques. U.D.B. Matemàtica. Universitat Tecnològica Nacional, Facultat Regional Buenos Aires, Editorial CEIT-FRBA. (Codi BM2BT2)
9. Model de regressió lineal simple. Arxivat 2009-06-02 a Wayback Machine. EinsteinNet.
10. Apunt sobre Rectes de regressió. Ministeri d'Educació i Ciència. Govern d'Espanya.
11. Tècniques de regressió: Regressió Lineal Múltiple. Arxivat 2010-01-27 a Wayback Machine. Pertegas Díaz, S., Pita Fernández, S. Unitat d'Epidemiologia Clínica i Bioestadística. Complex Hospitalari de La Corunya (Espanya)
12. Utilització de les línies de tendència Arxivat 2008-07-25 a Wayback Machine., Paritech (en anglès)
13. Doll R, Peto r, Wheatley K, Gray R et al. Mortality in relation to smoking: 40 years 'observations on male British doctors. BMJ 1994; 309:901-911 (8 d'octubre]
14. "Environmental Tobacco Smoke and Adult Asthma " Division of Pulmonary and Critical Care Medicine, Division of Occupational and Environmental Medicine, Department of Medicine, Institute for Health Policy Studies; and Department of Epidemiology and Biostatistics, Universitat de Califòrnia, San Francisco, Califòrnia, (en anglès)
15. Efecte del tabaquisme, els símptomes respiratoris i l'asma sobre la espirometria d'adults de la Ciutat de Mèxic, Justí Regalado-Pineda; Alejandro Gómez-Gómez; Javier Ramírez-Acosta, Juan Carlos Vázquez-García

Bibliografia

• Devore, Jay L.; Probabilitat i Estadística per Enginyeria i Ciències . International Thomson Editores. Mèxic. ISBN 9706864571.
• Walpole, Ronald E.; Raymond H.; Myers, Sharon L.; Probabilitat i Estadística per a Enginyers . Pretice-Hall Hispanoamericana, S.A. Mèxic. ISBN 9701702646.
• Canavos, George C.; Probabilitat i Estadística. Aplicacions i Mètodes. McGraw-Hill. Mèxic. ISBN 9684518560.

Vegeu també

• Homoscedasticitat
• Econometria
• Regressió segmentada
• Mètode dels mínims quadrats

Enllaços externs

• Arquimedex.com Arxivat 2009-03-14 a Wayback Machine. Càlcul de regressions i ajustos de corbes en línia (castellà)
• Càlcul de regressions lineals en línia. (anglès)
• Ajust de corbes i superfícies en línia. (anglès)
• Eines de regressió lineal en línia a xuru.org Arxivat 2008-02-20 a Wayback Machine.. (anglès)