En el capítulo 11 de “Mala Ciencia” de Ben Goldacre, titulado “¿Es malvada la medicina convencional?” , se habla de las triquiñuelas para conseguir que un artículo científico diga lo que al investigador le conviene que diga, los sesgos por incompetencia o mala fe para conseguir un determinado resultado. ¿Sorprendidos? Yo no.
En Ciencia hay que ser lo más rigurosos y precisos posible, escépticos hasta la médula y exigentes. No nos queda otro remedio para avanzar en el conocimiento de lo que nos rodea. Para eso se inventó el método científico y por ello nos apoyamos en materias como la Estadística y la Medicina Basada en la Evidencia.
La Estadística es un coñazo de asignatura. Ya está, ya lo he soltado. Pero es una asignatura muy necesaria para poder leer un artículo científico con espíritu crítico, interpretar los datos que nos aporta, ver la rigurosidad y veracidad de esos datos y darlos por válidos o no. Así, basándonos en ella podemos entender que, por ejemplo, para estudiar el efecto de un nuevo fármaco en el organismo tenemos que plantearnos dos posibilidades: la hipótesis nula, que no exista diferencia entre tomar ese fármaco y no tomar nada o tomar otro fármaco y la hipótesis alternativa, que verdaderamente haya diferencias. Los ensayos clínicos que se hagan irán dirigidos a tirar por tierra la hipótesis nula y demostrar que sí hay diferencias entre tomar ese fármaco y no tomar nada o tomar otro.
Otro detalle a tener en cuenta al apoyarnos en la Estadística es la prueba de contraste de hipótesis, en la que comprobaremos si los resultados obtenidos que apuntan a que hay diferencias son reales. Para eso tenemos el grado de significación estadística o valor de p, de modo que cuanto más pequeño sea el valor de p menos posibilidades hay de que los resultados hayan sido por puro azar y más en contra se va de la hipótesis nula. Si dicha probabilidad es menor de o.o5 (valor que se ha tomado por consenso), la hipótesis nula se rechaza y se acepta la alternativa, que efectivamente hay diferencias, y se dice que el resultado es estadísticamente significativo. Este párrafo puede resultar un ladrillo indigesto, repasadlo las veces que sea necesario y preguntad, preguntad y preguntad 
¿Cómo podemos manipular o falsear todo lo contado hasta ahora para que vaya a nuestro favor en un ensayo clínico?
Se me ocurren algunos ejemplos sencillos tras leer la bibliografía que cito al final del artículo y seguramente vosotros tengáis otros:
1. Preferir comparar el fármaco con el placebo antes que con otro fármaco ya existente y bastante bueno, por cierto, consiguiendo reforzar la hipótesis alternativa, que sí hay diferencias. Claro, las gráficas salen más bonitas y llamativas al haber más diferencias entre el fármaco y tomar algo inefectivo que si comparamos el nuevo fármaco con el existente.
2. En todo ensayo hay personas que abandonan el tratamiento o se salen de éste por efectos secundarios, principalmente. Obviar cuidadosamente estos abandonos y centrarse en quienes llegan al final del experimento es una bonita manera de maquillar resultados con hipótesis alternativa “positiva”.
3. Si al realizar el ensayo vemos que no salen los datos que queremos, las diferencias que buscamos…pues mira, ve probando a comparar diferentes aspectos, a lo mejor no hay diferencias en el control de la tensión arterial, pero sí le baja el colesterol “una mijita” y oye, hay que fijarse en eso y darle bombo y platillo, nuestro fármaco consigue bajar el colesterol un poquito más que el que más se prescribe actualmente.
En el siguiente capítulo os hablo de la relevancia clínica de los artículos.
Bibliografía empleada:
Cobo, Erik, et al. Bioestadística para no estadísticos. Elsevier Masson 2007.
Goldacre, Ben. Mala Ciencia. Paidós 2011.
Significación estadística, relevancia y escitalopram. El rincón de Sísifo.
Significancia estadística y relevancia clínica. Fisterra.
Muy interesante artículo
En el tema de los fármacos (el cual desconozco) la verdad que está fatal el hecho de que se traten de buscar valores significativos tan pequeñas y venderlas como verdaderas proezas.
Sin embargo creo que hay artículos donde resaltar esos “pequeños resultados” tampoco está de más. Es lo malo de que generalmente se tienda a publicar solo resultados “buenos” o “esperados”, que confirmen nuestras hipótesis de investigación. ¿Y los resultados malos? Esos que hemos pasado meses probando y, bueno, pues no son buenos.. ¿Que hacemos con ellos? Al fin y al cabo creo que también aportan al conocimiento (quizás para que en el futuro se sepa que por ahí no debes tirar).
Por cierto, me anoto el de Bioestadística para no estadísticos, que tiene buena pinta
Saludos,
Alejandro
Eso es lo malo, que no todo el mundo pone los malos resultados, o los maquilla; no es lo mismo decir que sólo el 33% de los pacientes notó una leve mejoría de los síntomas que afirmar rotundamente que “uno de cada tres pacientes afirma haber notado mejoría tras la toma de nuestro fármaco”.
El libro de bioestadística es apañado, aunque hay capítulos que pueden ser algo mareantes por referirse en el ejemplo a algo que has leído tres páginas atrás, con lo que estás pasando páginas hacia adelante y atrás sin parar
Qué interesante
Gracias
A mí me gusta también, porque, como bien has señalado, no se trata sólo de mirar el valor de p, sino de analizar los perdidos y los criterios de exclusión. Esperamos las futuras entregas
Muchas gracias. Quise programar el siguiente artículo para mañana lunes, pero me despisté con las fechas y ha salido hoy, 1 de Mayo. Espero que os guste también
El punto 2 es el famoso ITT (Intention To Treat) vs OT ( On Treatment)
Otra trampa es redefinir la realidad. Por ejemplo el farmaco X produce menos sangrados que Y. Definimos sangrados sólo cuando una persona necesite la transfusión de más de 2 bolsas de sangre. (o sea que si lo pillas a tiempo y no llega a necesitar tantas transfusiones, es que no ha sangrado.)
Buen ejemplo, sí señor
Las maneras de maquillar datos son ideales (confieso haberlas usado, tanto en clínica como en básica). Pero como tú dices, sólo mejoran los datos, no mienten descaradamente. El problema es cuando alguien que debería ser científico se lee el material promocional (tantísimos facultativos me he encontrado que prefieren el folletito que la colección de papers), o cuando alguien que debería proveer evidencia científica, provée ensayos del tres al cuarto con sesgos por todas partes…. (industria para-farmacéutica y medicinasl alternativas, al ataque!)
Por cierto, el punto dos, yo los conocía como N - ITT versus N - PP (per protocol)
Si, Per Protocol También es utilizado.
Roi, totalmente de acuerdo con tu comentario: No hay nada peor que la argumentación pesudocientífica y las para-medicinas: pulseras holo-magnéticas, etc.