Índice de diversidad

Un índice de diversidad es una medida cuantitativa que refleja cuántos tipos diferentes (por ejemplo, especies) hay en un conjunto de datos (por ejemplo, una comunidad). Índices más sofisticados que tienen en cuenta el parentesco filogenético entre los tipos.^[1]​ Los índices de diversidad son representaciones estadísticas de distintos aspectos de la biodiversidad (por ejemplo, la riqueza, la uniformidad y la dominancia), que son simplificaciones útiles para comparar distintas comunidades o lugares.

Número efectivo de especies o números Hill

Cuando se utilizan índices de diversidad en ecología, los tipos de interés suelen ser especies, pero también pueden ser otras categorías, como géneros, familias, tipos funcionales o haplotipos. Las entidades de interés suelen ser organismos individuales (por ejemplo, plantas o animales), y la medida de abundancia puede ser, por ejemplo, el número de individuos, la biomasa o la cobertura. En demografía, las entidades de interés pueden ser personas, y los tipos de interés diversos grupos demográficos. En ciencias de la información, las entidades pueden ser caracteres y los tipos las distintas letras del alfabeto. Los índices de diversidad más utilizados son simples transformaciones del número efectivo de tipos (también conocido como "diversidad verdadera"), pero cada índice de diversidad también puede interpretarse por sí mismo como una medida correspondiente a algún fenómeno real (pero diferente para cada índice de diversidad).^[2]​^[3]​^[4]​^[5]​

Muchos índices sólo tienen en cuenta la diversidad categórica entre sujetos o entidades. Sin embargo, estos índices no tienen en cuenta la variación total (diversidad) que puede haber entre sujetos o entidades, que sólo se produce cuando se calculan tanto la diversidad categórica como la cualitativa.

La diversidad verdadera, o el número efectivo de tipos, se refiere al número de tipos igualmente abundantes necesarios para que la abundancia proporcional media de los tipos sea igual a la observada en el conjunto de datos de interés (donde puede que no todos los tipos sean igualmente abundantes). La diversidad real en un conjunto de datos se calcula tomando primero la media generalizada ponderada M_q−1 de las abundancias proporcionales de los tipos en el conjunto de datos, y luego tomando el recíproco de esto. La ecuación es:^[4]​^[5]​

${\displaystyle {}^{q}\!D={1 \over M_{q-1}}={1 \over {\sqrt[{q-1}]{\sum _{i=1}^{R}p_{i}p_{i}^{q-1}}}}=\left({\sum _{i=1}^{R}p_{i}^{q}}\right)^{1/(1-q)}}$

El denominador M_q−1 es igual a la abundancia proporcional media de los tipos del conjunto de datos calculada con la media generalizada ponderada con exponente q − 1. En la ecuación, R es la riqueza (el número total de tipos en el conjunto de datos), y la abundancia proporcional del tipo i es p_i. Las propias abundancias proporcionales se utilizan como pesos nominales. Los números ${\displaystyle ^{q}D}$ se denominan números de Hill de orden q o número efectivo de especies.^[6]​

Cuando q = 1, la ecuación anterior es indefinida. Sin embargo, el límite matemático como q las aproximaciones 1 están bien definidas y la diversidad correspondiente se calcula con la siguiente ecuación:

${\displaystyle {}^{1}\!D={1 \over {\prod _{i=1}^{R}p_{i}^{p_{i}}}}=\exp \left(-\sum _{i=1}^{R}p_{i}\ln(p_{i})\right)}$

que es la exponencial de la entropía de Shannon calculada con logaritmos naturales (véase más arriba). En otros ámbitos, esta estadística también se conoce como perplejidad.

La ecuación general de la diversidad suele escribirse de la forma:^[2]​^[3]​

${\displaystyle {}^{q}\!D=\left({\sum _{i=1}^{R}p_{i}^{q}}\right)^{1/(1-q)}}$

y el término entre paréntesis se denomina suma básica. Algunos índices de diversidad populares corresponden a la suma básica calculada con distintos valores de q.^[3]​

Sensibilidad del valor de diversidad a las especies raras frente a las abundantes

El valor de q suele denominarse orden de la diversidad. Define la sensibilidad de la diversidad real a las especies raras frente a las abundantes modificando la forma de calcular la media ponderada de las abundancias proporcionales de las especies. Con algunos valores del parámetro q, el valor de la media generalizada M_q−1 asume tipos familiares de medias ponderadas como casos especiales. En particular,

• q = 0 corresponde a la media armónica ponderada,
• q = 1 a la media geométrica ponderada, y
• q = 2 a la media aritmética ponderada.
• Como q se aproxima a infinito, la media generalizada ponderada con exponente q − 1 se acerca al máximo valor p_i que es la abundancia proporcional de la especie más abundante en el conjunto de datos.

En general, aumentar el valor de q aumenta el peso efectivo dado a las especies más abundantes. Esto lleva a obtener un M_q−1 y una menor diversidad real (^qD) con el aumento de q.

Cuando q = 1, la media geométrica ponderada de los p_i y cada especie se pondera exactamente por su abundancia proporcional (en la media geométrica ponderada, los pesos son los exponentes). Cuando q > 1, el peso dado a las especies abundantes es exagerado, y cuando q < 1, el peso que se da a las especies raras. En q = 0, las ponderaciones de las especies anulan exactamente las abundancias proporcionales de las especies, de modo que la media ponderada de las p_i valores igual a 1 / R incluso cuando no todas las especies son igualmente abundantes. En q = 0, el número efectivo de especies, ⁰D, es igual al número real de especies R. En el contexto de la diversidad, q suele limitarse a valores no negativos. Esto se debe a que los valores negativos de q daría a las especies raras tanto más peso que a las abundantes que ^qD superaría R.^[4]​^[5]​

Riqueza

La riqueza R simplemente cuantifica cuántos tipos diferentes contiene el conjunto de datos de interés. Por ejemplo, la riqueza de especies (normalmente S) es simplemente el número de especies, por ejemplo, en un lugar determinado. La riqueza es una medida sencilla, por lo que ha sido un índice de diversidad muy utilizado en ecología, donde a menudo no se dispone de datos sobre abundancia.^[7]​ Si la diversidad real se calcula con q = 0, el número efectivo de tipos (⁰D) es igual al número real de tipos, lo que es idéntico a la riqueza (R).^[3]​^[5]​

Índice de Shannon

El índice de Shannon ha sido un índice de diversidad popular en la literatura ecológica, donde también se conoce como índice de diversidad de Shannon, índice de Shannon-Wiener e índice (erróneamente) de Shannon-Weaver.^[8]​ La medida fue propuesta originalmente por Claude Shannon en 1948 para cuantificar la entropía (de ahí la entropía de Shannon, relacionada con el contenido de información de Shannon) en cadenas de texto.^[9]​ La idea es que cuantas más letras haya, y cuanto más cercanas sean sus abundancias proporcionales en la cadena de interés, más difícil será predecir correctamente qué letra será la siguiente en la cadena. La entropía de Shannon cuantifica la incertidumbre (entropía o grado de sorpresa) asociada a esta predicción. Se suele calcular de la siguiente manera:

${\displaystyle H'=-\sum _{i=1}^{R}p_{i}\ln p_{i}}$

Donde p_i es la proporción de caracteres pertenecientes al tipo i de letra en la cadena de interés. En ecología, p_i suele ser la proporción de individuos pertenecientes a la especie i en el conjunto de datos de interés. A continuación, la entropía de Shannon cuantifica la incertidumbre a la hora de predecir la identidad de especie de un individuo tomado al azar del conjunto de datos.

Aunque la ecuación se escribe aquí con logaritmos naturales, la base del logaritmo utilizado al calcular la entropía de Shannon puede elegirse libremente. El propio Shannon habló de las bases logarítmicas 2, 10 y e, y éstas se han convertido desde entonces en las bases más populares en las aplicaciones que utilizan la entropía de Shannon. Cada base logarítmica corresponde a una unidad de medida diferente, que se ha denominado dígitos binarios (bits), dígitos decimales (decits) y dígitos naturales (nats) para las bases 2, 10 y e, respectivamente. Para comparar valores de entropía de Shannon calculados originalmente con bases logarítmicas diferentes es necesario convertirlos a la misma base logarítmica: cambio de la base a a la base b se obtiene multiplicando por log_ba.^[9]​

El índice de Shannon (H') está relacionada con la media geométrica ponderada de las abundancias proporcionales de los tipos. En concreto, es igual al logaritmo de la diversidad verdadera calculada con q = 1:^[4]​

${\displaystyle H'=-\sum _{i=1}^{R}p_{i}\ln p_{i}=-\sum _{i=1}^{R}\ln p_{i}^{p_{i}}}$

También se puede escribir

${\displaystyle H'=-(\ln p_{1}^{p_{1}}+\ln p_{2}^{p_{2}}+\ln p_{3}^{p_{3}}+\cdots +\ln p_{R}^{p_{R}})}$

que es igual a

${\displaystyle H'=-\ln p_{1}^{p_{1}}p_{2}^{p_{2}}p_{3}^{p_{3}}\cdots p_{R}^{p_{R}}=\ln \left({1 \over p_{1}^{p_{1}}p_{2}^{p_{2}}p_{3}^{p_{3}}\cdots p_{R}^{p_{R}}}\right)=\ln \left({1 \over {\prod _{i=1}^{R}p_{i}^{p_{i}}}}\right)}$

Dado que la suma de los valores p_i es igual a 1 por definición, el denominador es igual a la media geométrica ponderada de los valores p_i, con el valor p_i que se utilizan como pesos (exponentes en la ecuación). Por lo tanto, el término entre paréntesis equivale a la diversidad real, ¹D y H' es igual a ln(¹D).^[2]​^[4]​^[5]​

Cuando todos los tipos del conjunto de datos de interés son igual de comunes, todos los valores p_i iguales 1 / R, por lo que el índice de Shannon toma el valor ln(R). Cuanto más desiguales sean las abundancias de los tipos, mayor será la media geométrica ponderada de los valores p_i y menor será la entropía de Shannon correspondiente. Si prácticamente toda la abundancia se concentra en un tipo, y los demás tipos son muy raros (aunque haya muchos de ellos), la entropía de Shannon se aproxima a cero. Cuando sólo hay un tipo en el conjunto de datos, la entropía de Shannon es exactamente igual a cero (no hay incertidumbre a la hora de predecir el tipo de la siguiente entidad elegida al azar).

En el aprendizaje automático, el índice de Shannon también se denomina Aprendizaje del árbol de Ganancia de información.

Entropía de Rényi

La entropía de Rényi es una generalización de la entropía de Shannon a otros valores de q que 1. Se puede expresar:

${\displaystyle {}^{q}H={\frac {1}{1-q}}\;\ln \left(\sum _{i=1}^{R}p_{i}^{q}\right)}$

que es igual a

${\displaystyle {}^{q}H=\ln \left({1 \over {\sqrt[{q-1}]{\sum _{i=1}^{R}p_{i}p_{i}^{q-1}}}}\right)=\ln({}^{q}\!D)}$

Esto significa que si se toma el logaritmo de la diversidad verdadera en función de cualquier valor de q da la entropía de Rényi correspondiente al mismo valor de q.

Índice de Simpson

El índice de Simpson fue introducido en 1949 por Edward H. Simpson para medir el grado de concentración cuando los individuos se clasifican en tipos.^[10]​ El mismo índice fue redescubierto por Orris C. Herfindahl en 1950.^[11]​ La raíz cuadrada del índice ya había sido introducida en 1945 por el economista Albert O. Hirschman.^[12]​ Como resultado, la misma medida suele conocerse como índice de Simpson en ecología, y como índice de Herfindahl o índice de Herfindahl-Hirschman (IHH) en economía.

La medida equivale a la probabilidad de que dos entidades tomadas al azar del conjunto de datos de interés representen el mismo tipo:^[10]​

${\displaystyle \lambda =\sum _{i=1}^{R}p_{i}^{2},}$

Donde R es la riqueza (el número total de tipos en el conjunto de datos). Esta ecuación también es igual a la media aritmética ponderada de las abundancias proporcionales p_i de los tipos de interés, utilizando como pesos las propias abundancias proporcionales.^[2]​ Por definición, las abundancias proporcionales están limitadas a valores entre cero y uno, pero se trata de una media aritmética ponderada, por lo que λ ≥ 1/R, que se alcanza cuando todos los tipos abundan por igual.

Comparando la ecuación utilizada para calcular λ con las ecuaciones utilizadas para calcular la diversidad verdadera, se puede ver que 1/λ es igual a ²D, es decir, diversidad real calculada con q = 2. Por tanto, el índice de Simpson original es igual a la suma básica correspondiente.^[3]​

La interpretación de λ como la probabilidad de que dos entidades tomadas al azar del conjunto de datos de interés representen el mismo tipo supone que la primera entidad se sustituye al conjunto de datos antes de tomar la segunda entidad. Si el conjunto de datos es muy grande, el muestreo sin sustitución da aproximadamente el mismo resultado, pero en conjuntos de datos pequeños, la diferencia puede ser sustancial. Si el conjunto de datos es pequeño y se asume el muestreo sin sustitución, la probabilidad de obtener el mismo tipo con ambas extracciones aleatorias es:

${\displaystyle \ell ={\frac {\sum _{i=1}^{R}n_{i}(n_{i}-1)}{N(N-1)}}}$

Donde n_i es el número de entidades pertenecientes al tipo i y N es el número total de entidades del conjunto de datos.^[10]​ Esta forma del índice de Simpson también se conoce como índice de Hunter-Gaston en microbiología.^[13]​

Dado que la abundancia media proporcional de los tipos aumenta con la disminución del número de tipos y el aumento de la abundancia del tipo más abundante, λ obtiene valores pequeños en conjuntos de datos de alta diversidad y valores grandes en conjuntos de datos de baja diversidad. Este es un comportamiento contraintuitivo para un índice de diversidad, por lo que a menudo se han utilizado en su lugar transformaciones de λ que aumentan con el incremento de la diversidad. Los más populares de estos índices han sido el índice de Simpson inverso (1/λ) y el índice de Gini-Simpson (1 - λ).^[2]​ ^[3]​Ambos también se han llamado índice de Simpson en la literatura ecológica, por lo que hay que tener cuidado para evitar comparar accidentalmente los diferentes índices como si fueran el mismo.

Índice de Simpson inverso

El índice de Simpson inverso es igual a:

${\displaystyle {\frac {1}{\lambda }}={1 \over \sum _{i=1}^{R}p_{i}^{2}}={}^{2}D}$

Esto equivale simplemente a la diversidad verdadera de orden 2, es decir, al número efectivo de tipos que se obtiene cuando se utiliza la media aritmética ponderada para cuantificar la abundancia media proporcional de los tipos en el conjunto de datos de interés.

El índice también se utiliza como medida del número efectivo de partidos.

Índice de Gini-Simpson

El índice de Gini-Simpson también se denomina impureza de Gini o índice de diversidad de Gini^[14]​ en el campo del aprendizaje automático. El índice de Simpson original λ es igual a la probabilidad de que dos entidades tomadas al azar del conjunto de datos de interés (con reemplazo) representen el mismo tipo. Su transformación 1 - λ, por tanto, equivale a la probabilidad de que las dos entidades representen tipos diferentes. Esta medida también se conoce en ecología como probabilidad de encuentro interespecífico (PIE)^[15]​ e índice de Gini-Simpson^[3]​ y puede expresarse como una transformación de la diversidad verdadera de orden 2:

${\displaystyle 1-\lambda =1-\sum _{i=1}^{R}p_{i}^{2}=1-{\frac {1}{{}^{2}D}}}$

El índice Gibbs-Martin de sociología, psicología y estudios de gestión^[16]​, también conocido como índice Blau, es la misma medida que el índice Gini-Simpson.

Esta cantidad también se conoce como heterocigosidad en genética de poblaciones.

Índice Berger-Parker

El índice Berger-Parker^[17]​ es igual al máximo del valor p_i en el conjunto de datos, es decir, la abundancia proporcional del tipo más abundante. Esto corresponde a la media generalizada ponderada de los valores p_i cuando q se aproxima a infinito, y por lo tanto es igual a la inversa de la verdadera diversidad de orden infinito (1/^∞D).

Véase también

• Diversidad alfa
• Diversidad beta
• Diversidad cultural
• Diversidad gamma
• Índice de entropía generalizada
• Coeficiente de Gini
• Abundancia relativa
• Riqueza de especies
• Medida de la biodiversidad
• Homogeneidad de las especies

Referencias

1. Tucker, Caroline M.; Cadotte, Marc W.; Carvalho, Silvia B.; Davies, T. Jonathan; Ferrier, Simon; Fritz, Susanne A.; Grenyer, Rich; Helmus, Matthew R.; Jin, Lanna S. (2017). «A guide to phylogenetic metrics for conservation, community ecology and macroecology: A guide to phylogenetic metrics for ecology». Biological Reviews: 698-715. PMID 26785932. doi:10.1111/brv.12252. 
2. Hill, M. O. (1973). «Diversity and evenness: a unifying notation and its consequences». Ecology: 427-432. doi:10.2307/1934352. 
3. Jost, L (2006). «Entropy and diversity». Oikos: 363-375. doi:10.1111/j.2006.0030-1299.14714.x. 
4. Tuomisto, H (2010). «A diversity of beta diversities: straightening up a concept gone awry. Part 1. Defining beta diversity as a function of alpha and gamma diversity». Ecography: 2-22. doi:10.1111/j.1600-0587.2009.05880.x. 
5. Tuomisto, H (2010). «A consistent terminology for quantifying species diversity? Yes, it does exist». Oecologia: 853-860. PMID 20978798. doi:10.1007/s00442-010-1812-0. 
6. Chao, Anne; Chiu, Chun-Huo; Jost, Lou (2016). «Phylogenetic Diversity Measures and Their Decomposition: A Framework Based on Hill Numbers». Biodiversity Conservation and Phylogenetic Systematics, Topics in Biodiversity and Conservation, Springer International Publishing. doi:10.1007/978-3-319-22461-9_8. 
7. Morris, E. Kathryn; Caruso, Tancredi; Buscot, François; Fischer, Markus; Hancock, Christine; Maier, Tanja S.; Meiners, Torsten; Müller, Caroline; Obermaier, Elisabeth; Prati, Daniel; Socher, Stephanie A.; Sonnemann, Ilja; Wäschke, Nicole; Wubet, Tesfaye; Wurst, Susanne (2014). «Choosing and using diversity indices: insights for ecological applications from the German Biodiversity Exploratories». Ecology and Evolution. PMID 25478144. doi:10.1002/ece3.1155. 
8. Spellerberg, Ian F., and Peter J. Fedor. (2003) A tribute to Claude Shannon (28 de mayo de 2023). «Global Ecology and Biogeography». Wikipedia (en inglés): 177-179.  |fechaacceso= requiere |url= (ayuda)
9. «A Mathematical Theory of Communication». Wikipedia (en inglés). 9 de diciembre de 2023.  |fechaacceso= requiere |url= (ayuda)
10. Simpson, E. H. (1949-04). «Measurement of Diversity». Nature (en inglés) 163 (4148): 688-688. ISSN 1476-4687. doi:10.1038/163688a0. Consultado el 21 de diciembre de 2023. 
11. Herfindahl, O. C. (1950). «Concentration in the U.S. Steel Industry.». Unpublished doctoral dissertation, Columbia University. 
12. Hirschman, A. O. (1945). National power and the structure of foreign trade. Berkeley. 
13. Hunter, PR; Gaston, MA (1988). «Numerical index of the discriminatory ability of typing systems: an application of Simpson's index of diversity». J. Clin Microbiol. PMID 3069867. doi:10.1128/JCM.26.11.2465-2466.1988. 
14. «Growing Decision Trees - MATLAB & Simulink». www.mathworks.com. Consultado el 22 de diciembre de 2023. 
15. Hurlbert, S.H. (1971). «The nonconcept of species diversity: A critique and alternative parameters». Ecology: 577-586. PMID 28973811. doi:10.2307/1934145. 
16. TEN. Urbanization and the New Spatial Division of Labor. University of California Press. 31 de diciembre de 1988. pp. 203-216. Consultado el 22 de diciembre de 2023. 
17. Berger, Wolfgang H.; Parker, Frances L. (1970). «Diversity of Planktonic Foraminifera in Deep-Sea Sediments». Science: 1345-1347. PMID 17731043. doi:10.1126/science.168.3937.1345. 

Lectura adicional

• Colinvaux, Paul A. (1973). Introduction to Ecology
• Cover, Thomas M.; Thomas, Joy A. (1991). Elements of Information Theory
• Chao, A.; Shen, T-J. (2003). "Nonparametric estimation of Shannon's index of diversity when there are unseen species in sample

Enlaces externos

• Simpson's Diversity index
• Diversity indices Archivado el 19 de diciembre de 2005 en Wayback Machine. ofrece algunos ejemplos de estimaciones del índice de Simpson para ecosistemas reales.