Felicidad y bebidas refrescantes (crítica de un informe de encuesta)

Como sabrán, se acaba de publicar el así llamado Informe Coca-Cola de la felicidad (pdf), prologado por Eduardo Punset, afamado divulgador científico, que participó en la presentación del informe. El informe está basado en una encuesta a 3.000 residentes en España y versa sobre el sentimiento de felicidad y lo que éste significa. Yo no tengo nada en contra de que las empresas financien este tipo de informes, muy al contrario, incluso aunque lo utilicen, en gran medida, como instrumento de publicidad. Me es igual. Lo que cuenta es que haya algo aprovechable, que ilumine, aunque sea muy poquito, nuestro entendimiento de la sociedad en la que vivimos. Alguna luz sí que arroja este informe, más que nada confirmando cosas que sabíamos (los emparejados son más felices que los desemparejados, los de clase alta más que los de clase baja, el dinero contribuye a la sensación de felicidad, lo primero para la felicidad es la salud...).

Sin embargo, incluso a informes de este tipo, debemos pedirles un cierto rigor. Mis problemas con el tratamiento de la encuesta que hace el informe son diversos. Señalo aquí sólo algunos.

1. Buena parte del informe se basa en comparar las características y las opiniones de los que clasifican como "muy felices" (un 18,8% de la muestra, aproximadamente 564 personas) con los que clasifican como "poco felices" (un 5,7% de la muestra, 171 personas). Es decir, se olvidan de lo que ocurre, nada menos, con tres cuartas partes de los encuestados, que también están clasificados según su nivel de felicidad. No es sólo que gran parte de las comparaciones entre esos dos grupos no sean estadísticamente significativas (dado el reducido tamaño de las submuestras), sino que, me da la impresión, si hubiéramos incluido las situaciones intermedias, el panorama de las diferencias no sería tan nítido como pretenden mostrar los autores.

2. Al mostrar la posible influencia del sexo, la edad, la situación de pareja, el número de miembros del hogar, el status socioeconómico o el nivel de ingresos en el nivel de felicidad, en vez de contarnos, por ejemplo, qué porcentaje de los más jóvenes y de los más viejos se siente feliz, se empeñan en ofrecernos la distribución por edades de los "muy felices" y de los "poco felices". Con ello, la comparación es más difícil y menos "intuitiva". Tanto es así que, en alguna ocasión, los redactores del informe se lían y llegan a conclusiones equivocadas. Como ésta (mis negritas):

La percepción de felicidad varía con la edad. Como curiosidad, entre los jóvenes de 26 a 35 años se aprecia la mayor diferencia entre el porcentaje de muy felices y poco felices. Además, la etapa de madurez es clave: entre las personas de 36 a 55 años el porcentaje de gente que se considera poco feliz es mayor que el de gente muy feliz.

Para decirlo, se basan en este gráfico:

Este gráfico no nos dice cuántos jóvenes se sienten muy felices o cuántos de 36 a 55 se sienten así, ni si entre estos últimos abundan más los "poco felices" que los muy felices. Lo que refleja es la distribución por edades de los "muy felices" y los "poco felices", que no es lo mismo. Con los datos que se ofrecen en el informe no podemos saber qué porcentaje de "muy felices" hay en cada grupo de edad, pero sí podemos saber si los "muy felices" son más que los "poco felices". Como sabemos, aproximadamente, el número de individuos de cada grupo en la muestra, podemos calcular el tamaño de cada grupo en cada segmento de edad. Vean el cuadro siguiente.

	Muy felices	Poco felices	Muy felices	Poco felices	Ratio
18-25	18,2	14,5	103	25	4,14
26-35	26,0	19,8	147	34	4,33
36-45	22,8	29,1	129	50	2,58
46-55	16,6	21,5	94	37	2,55
56 ó más	16,3	15,1	92	26	3,56
N	564	171	564	171	3,30

En las columnas 2 y 3 tenemos la distribución por edades de esos dos grupos. Como sé cuántos individuos hay en cada grupo, puedo calcular el tamaño de los cruces felicidad/edad (columnas 4 y 5). Puedo, entonces, comprobar si en cada nivel de edad son muchos más los "muy felices" o los "poco felices". En todos los grupos son más los "muy felices", también entre los de 36 a 55. O sea, los autores del informe se han liado con los porcentajes.

3. La cuestión de las diferencias estadísticamente significativas no es pejiguería de científico, sino un criterio de mínima prudencia a la hora de hacer afirmaciones. A ese criterio hay que añadir el de la sustantividad de las diferencias, un terreno menos claro, pero no menos importante. Un ejemplo, entre muchísimos del informe. Con este gráfico:



Se permiten hace estas afirmaciones:

Mujeres y hombres coinciden en la misma medida a la hora de valorar la salud. Sin embargo, en el amor y el dinero cambian las percepciones: ellas dan más valor al amor, especialmente a la familia y a los hijos, mientras que los varones conceden más importancia a la economía y a los aspectos relacionados con los estudios y el trabajo.

Pues no. Lo más seguro es que no sean estadísticamente significativas las diferencias de los porcentajes de hombres y mujeres que mencionan el amor y el dinero, pero, y si lo fueran, ¿qué? ¿De verdad podríamos decir que hay alguna diferencia sustantiva en cómo perciben hombres y mujeres la felicidad en esta pregunta? Más adelante (página 34) insisten, indebidamente, en esta diferencia.

Sin ánimo de exhaustividad, vean también la página 50, en la que, con diferencias mínimas, seguro que no significativas, argumentan cosas como que entre los "poco felices" hay más obesos o personas con sobrepeso que entre los "muy felices". O la página 56, sobre la relación con los compañeros de trabajo. O la 67, en la que supuestamente muestran que los "no felices" son más aficionados al bricolaje que los "muy felices".

4. Tampoco es pejiguería el insistir en el problema de las posibles correlaciones espurias, es decir, de asociaciones entre dos variables entre las que se predica una relación de causalidad que, en realidad, no existe. Un ejemplo. Sus datos:

Sus conclusiones:

Permitirse un capricho ocasional ... es importante para la percepción de la felicidad y la satisfacción personal. Así suelen opinar los encuestados: el 77,2% dice que afortunadamente se lo puede permitir de vez en cuando, frente a un 21,4% que no tiene esa suerte. Las diferencias al introducir el factor felicidad son significativas: nada menos que el 87,1% de los que se tienen por felices puede ceder a la tentación ocasionalmente; sin embargo, sólo el 47,1% de los poco felices hace lo mismo.

No digo que sea mentira la primera afirmación. Digo que lo importante no es la relación felicidad-caprichos, sino otras variables que pueden influir en ambas cosas, como puede ser los ingresos, el nivel socioeconómico, la edad, el estar o no en el paro, cosas así. Todo ello influye en la situación económica del individuo y, por tanto, en sus comportamientos de gasto y ahorro, de los cuales es un solo ejemplo el "permitirse caprichos". Por supuesto, más arriba nos han contado que todas esas variables influyen en la sensación de felicidad.

En la misma línea:

Ser feliz ayuda a tener una visión menos negra DEL FUTURO ECONÓMICO: sólo el 5% de los que se dicen muy felices cree que el próximo año empeorará su situación económica.

Puede que lo primero sea cierto en parte, pero apuesto a que lo más importante es que entre los muy felices hay, por ejemplo, un porcentaje mucho menor de parados que entre los no felices.

5. Otra cosa que me pone bastante nervioso en los análisis de encuesta es la indefinición de algunas categorías. Al analizar la relación entre situación de pareja y felicidad, hay algunos términos poco claros. Según su relación de pareja y estado civil, clasifican a los encuestados en: casados, solteros sin pareja estable, divorciados o separados, viudos y "otros". Puedo imaginarme qué significa "solteros sin pareja estable": solteros/as sin novio/a. Pero, ¿"otros"? Si fuera un porcentaje marginal, no me importaría mucho lo que incluye, pero son un 28% de los "muy felices" y la misma proporción de los "no felices". En realidad, sólo pueden ser "solteros con pareja estable", bien sin vivir juntos ("novios"), bien viviendo juntos ("unión de hecho"). En realidad, su "ratio de felicidad", tal y como la hemos medido más arriba quizá sea algo inferior a la de los casados (3,3 frente a 5,0). ¿No merece la pena resaltarlo?

En esta misma línea de no definir claramente las categorías, me plantean bastantes problemas los datos de relación de los "muy felices" y los "no felices" con sus parejas. En ningún sitio dejan claro si los datos se refieren al total de ambos grupos o sólo a los que tienen pareja. ¿Qué trabajo les habría costado?

6. Otro ejemplo de falta de cuidado (o de intento de confundir al lector) es el uso de gráficos truncados o con escalas poco claras. En general, los gráficos de este informe no pecan de esto, pero alguno raro sí que hay, que haría las delicias de Josu. Éste:



Como se ve en los números, las diferencias entre "muy felices" y "poco felices" no son tan grandes, pero las barras las muestran como mayores. Que la barra de cada pregunta siga su propia escala (truncada, probablemente) hace que el valor de este gráfico se aproxime a cero.

7. Que no se incluya el cuestionario o la redacción de las preguntas analizadas también puede ser problemático. Por ejemplo, no me creo en absoluto el dato siguiente, pero no tengo modo de saber por qué está mal, pues no cuento con la redacción de la pregunta:

Casi la mitad de los encuestados, el 47,2%, se manifiesta creyente de alguna religión.

Es cierto que la muestra sólo incluye a la población entre 18 y 65 años, y que los muy mayores son también los más creyentes, pero ¿ustedes creen de verdad que más de la mitad de los españoles en esas edades no son creyentes? Según el CIS, una encuesta tras otra, se consideran católicos alrededor del 78% de los españoles (y creyentes de otra religión cerca del 2%). Fijándonos en los católicos, en el último barómetro del CIS (enero 2008), lo sería el 62% de los de 18-24 años, el 66% de los de 25-34, el 75% de los de 35-44, el 78,5% de los de 45-54, el 85% de los de 55-64 y el 93% de los de 65 o más. Es decir, en ningún caso puede bajar el porcentaje de creyentes hasta el 47,2%. ¿Se refieren a practicantes? ¿A qué se refieren? ¿Por qué no son claros?

Por cierto, entre los supuestos creyentes la ratio de felicidad es superior a la de los supuestos no creyentes, aunque los autores del informe se empeñen en embarullarlo con datos basados en submuestras pequeñísimas (p. 78) y usando palabras como "extremismo" para referirse a quienes dicen seguir totalmente los preceptos de su religión o dicen no seguirlos (p. 80).


En fin, no quiero que piensen, con todas estas críticas, que el informe no tiene su utilidad, que sí la tiene, pero es menor que la que podría tener si el rigor hubiera sido el adecuado.