La Edad de Oro de la Estadística: El nacimiento de la tentación del data dredging
Al comienzo del siglo XX, la revolución estadística cambió la forma en que los humanos entendían el mundo. Sir Ronald Fisher, padre de la estadística moderna, introdujo el concepto de pruebas significativas y valores p en 1925. Su idea era simple: si la probabilidad de que un resultado ocurra por casualidad es muy baja (normalmente por debajo de 0.05), entonces se considera significativo estadísticamente. Sin embargo, Fisher mismo advirtió que estas pruebas solo eran válidas si la hipótesis se establecía antes de recopilar los datos. Lamentablemente, esta advertencia a menudo se ignoraba.
En la década de 1950 y 1960, las computadoras comenzaron a usarse en el análisis de datos. Con la capacidad de probar miles de relaciones en un instante, los investigadores quedaron atrapados en "p-hacking" — repetir pruebas hasta encontrar un valor p significativo. El estadístico John Tukey en 1962 llamó a este fenómeno "data snooping" y advirtió que aumentaba drásticamente el riesgo de falsos positivos.
Escándalo más grande: De la psicología a la medicina
Uno de los casos más famosos ocurrió en la psicología social. En 2011, el investigador Daryl Bem publicó un estudio que afirmaba que los humanos podían predecir el futuro — una forma de psiquis. El estudio utilizó nueve experimentos con diversos tests estadísticos. Al revisarlo, se descubrió que solo unos pocos tests mostraron efectos significativos, mientras que el resto falló. Este es un ejemplo clásico de data dredging: reportar solo los resultados que respaldan la hipótesis, ocultando los demás.
En el campo de la medicina, ocurrió un trágico escándalo. En 2004, un estudio sobre medicamentos antidepresivos para adolescentes reveló que las empresas farmacéuticas solo publicaban estudios que mostraban efectos positivos, mientras que los estudios que mostraban ausencia de efecto o efectos peligrosos se ocultaban. Como consecuencia, miles de adolescentes recibieron medicamentos ineficaces y peligrosos. Este escándalo llevó a reformas en el registro de ensayos clínicos.
¿Cómo funciona el data dredging? Mecanismos de fraude
El proceso del data dredging normalmente implica los siguientes pasos:
- Recopilar datos sin una hipótesis específica: Los investigadores toman conjuntos de datos grandes ya existentes, como datos censales o registros hospitalarios.
- Probar muchas correlaciones: Prueban miles de pares de variables — por ejemplo, ¿la cantidad de paraguas vendidos está correlacionada con la tasa de delincuencia? (Puede haber una correlación, pero no necesariamente una relación causal).
- Seleccionar los significativos: Solo se reportan las correlaciones que producen un valor p por debajo de 0.05, mientras que las demás se ignoran.
- Ajustar el análisis: A veces cambian la forma en que se recopilan o analizan los datos — por ejemplo, eliminando outliers, cambiando la definición de variables o combinando grupos — para que los resultados sean significativos.
Como resultado, uno de cada 20 test mostrará significancia por casualidad. Si se realizan 20 test, seguramente aparecerá un resultado falso. Pero los investigadores deshonestos pueden realizar 100 o incluso 1.000 test.
Figuras controvertidas: Salvadores o estafadores?
Entre las figuras que han denunciado el data dredging se encuentra John Ioannidis, un médico y estadístico. En 2005, publicó un artículo famoso titulado "Why Most Published Research Findings Are False" (¿Por qué la mayoría de los hallazgos de investigación publicados son falsos?). Demostró que en el campo de la medicina, más del 80% de los estudios que afirmaban hallazgos significativos no podían replicarse.
Por otro lado, también hay figuras acusadas de practicar el data dredging. Por ejemplo, Brian Wansink, profesor en la Universidad de Cornell, publicó muchos estudios sobre psicología de la alimentación. En 2018, una investigación descubrió que solía reportar resultados inconsistentes y realizar análisis inapropiados. Como consecuencia, tuvo que retirar más de 15 artículos.
Legado vergonzoso: Crisis de replicabilidad
Ahora, el mundo de la ciencia lucha con una crisis de replicabilidad. En 2015, el Proyecto de Reproducibilidad en psicología descubrió que solo el 39% de los 100 estudios principales pudieron reproducirse con éxito. En el campo de la oncología, la tasa de replicación es aún más baja, alrededor del 11%.
Esta crisis se debe en gran parte al data dredging. Cuando los investigadores usan esta práctica, generan hallazgos que parecen extraordinarios pero en realidad son falsos. Cuando otros investigadores intentan repetir estos estudios, fracasan. Esto desperdicia recursos importantes y confunde la política pública.
Camino hacia la recuperación: Transparencia y preregistración
Para abordar este problema, se han introducido varias medidas. Primero, la preregistración de estudios: los investigadores deben registrar sus hipótesis y métodos de análisis antes de recopilar los datos. Esto evita que cambien el análisis después de ver los datos. Segundo, el uso de análisis ciegos: los analistas no saben cuál es el grupo de tratamiento y el control hasta que el análisis finaliza. Tercero, fomentar el reporte de todos los tests, no solo los significativos.
Ahora, muchos periódicos científicos aplican esta política. Por ejemplo, las revistas Nature y PLOS ONE exigen a los investigadores especificar claramente si sus análisis son exploratorios o confirmatorios. Esto ayuda a diferenciar entre hallazgos reales y resultados de p-hacking.
Conclusión: Lecciones para las generaciones venideras
El data dredging no es solo una práctica científica incorrecta; es una violación ética que ha dañado la confianza del público en la ciencia. La historia nos enseña que la verdad no puede forjarse según el capricho. Cada vez que vemos un estudio que afirma hallazgos sorprendentes, debemos preguntarnos: ¿es esto el resultado de un análisis cuidadoso o simplemente un hábil data dredging?
Como lectores y usuarios de la ciencia, debemos ser inteligentes. No creer fácilmente en títulos sensacionalistas. Exigir transparencia, replicabilidad y honestidad. Solo así podemos asegurarnos de que el conocimiento que construimos sea sólido, no frágil como un castillo de arena.
---
Este artículo fue escrito basado en fuentes históricas y estadísticas válidas. Referencias principales: Ioannidis (2005), Simmons et al. (2011) y el informe del Proyecto de Reproducibilidad.
---
Referencia: Data dredging — Wikipedia
Extracción de datos ciega: La oscura historia del p-hacking que engaña a la ciencia. Detrás de las investigaciones, hay una práctica prohibida conocida como data dredging — revisar datos sin una hipótesis clara hasta encontrar correlaciones falsas. Esta práctica no solo es vergonzosa, sino que también ha generado miles de estudios falsos. Este artículo explora sus orígenes, figuras controvertidas y su impacto negativo en el mundo científico.. La Edad de Oro de la Estadística: El nacimiento de la tentación del data dredging
Al comienzo del siglo XX, la revolución estadística cambió la forma en que los humanos entendían el mundo. Sir Ronald Fisher, padre de la estadística moderna, introdujo el concepto de pruebas significativas y valores p en 1925. Su idea era simple: si la probabilidad de que un resultado ocurra por casualidad es muy baja normalmente por debajo de 0.05 , entonces se considera significativo estadísticamente. Sin embargo, Fisher mismo advirtió que estas pruebas solo eran válidas si la hipótesis se establecía antes de recopilar los datos. Lamentablemente, esta advertencia a menudo se ignoraba.
En la década de 1950 y 1960, las computadoras comenzaron a usarse en el análisis de datos. Con la capacidad de probar miles de relaciones en un instante, los investigadores quedaron atrapados en "p-hacking" — repetir pruebas hasta encontrar un valor p significativo. El estadístico John Tukey en 1962 llamó a este fenómeno "data snooping" y advirtió que aumentaba drásticamente el riesgo de falsos positivos.
Escándalo más grande: De la psicología a la medicina
Uno de los casos más famosos ocurrió en la psicología social. En 2011, el investigador Daryl Bem publicó un estudio que afirmaba que los humanos podían predecir el futuro — una forma de psiquis. El estudio utilizó nueve experimentos con diversos tests estadísticos. Al revisarlo, se descubrió que solo unos pocos tests mostraron efectos significativos, mientras que el resto falló. Este es un ejemplo clásico de data dredging: reportar solo los resultados que respaldan la hipótesis, ocultando los demás.
En el campo de la medicina, ocurrió un trágico escándalo. En 2004, un estudio sobre medicamentos antidepresivos para adolescentes reveló que las empresas farmacéuticas solo publicaban estudios que mostraban efectos positivos, mientras que los estudios que mostraban ausencia de efecto o efectos peligrosos se ocultaban. Como consecuencia, miles de adolescentes recibieron medicamentos ineficaces y peligrosos. Este escándalo llevó a reformas en el registro de ensayos clínicos.
¿Cómo funciona el data dredging? Mecanismos de fraude
El proceso del data dredging normalmente implica los siguientes pasos:
1. Recopilar datos sin una hipótesis específica : Los investigadores toman conjuntos de datos grandes ya existentes, como datos censales o registros hospitalarios.
2. Probar muchas correlaciones : Prueban miles de pares de variables — por ejemplo, ¿la cantidad de paraguas vendidos está correlacionada con la tasa de delincuencia? Puede haber una correlación, pero no necesariamente una relación causal .
3. Seleccionar los significativos : Solo se reportan las correlaciones que producen un valor p por debajo de 0.05, mientras que las demás se ignoran.
4. Ajustar el análisis : A veces cambian la forma en que se recopilan o analizan los datos — por ejemplo, eliminando outliers, cambiando la definición de variables o combinando grupos — para que los resultados sean significativos.
Como resultado, uno de cada 20 test mostrará significancia por casualidad. Si se realizan 20 test, seguramente aparecerá un resultado falso. Pero los investigadores deshonestos pueden realizar 100 o incluso 1.000 test.
Figuras controvertidas: Salvadores o estafadores?
Entre las figuras que han denunciado el data dredging se encuentra John Ioannidis, un médico y estadístico. En 2005, publicó un artículo famoso titulado "Why Most Published Research Findings Are False" ¿Por qué la mayoría de los hallazgos de investigación publicados son falsos? . Demostró que en el campo de la medicina, más del 80% de los estudios que afirmaban hallazgos significativos no podían replicarse.
Por otro lado, también hay figuras acusadas de practicar el data dredging. Por ejemplo, Brian Wansink, profesor en la Universidad de Cornell, publicó muchos estudios sobre psicología de la alimentación. En 2018, una investigación descubrió que solía reportar resultados inconsistentes y realizar análisis inapropiados. Como consecuencia, tuvo que retirar más de 15 artículos.
Legado vergonzoso: Crisis de replicabilidad
Ahora, el mundo de la ciencia lucha con una crisis de replicabilidad. En 2015, el Proyecto de Reproducibilidad en psicología descubrió que solo el 39% de los 100 estudios principales pudieron reproducirse con éxito. En el campo de la oncología, la tasa de replicación es aún más baja, alrededor del 11%.
Esta crisis se debe en gran parte al data dredging. Cuando los investigadores usan esta práctica, generan hallazgos que parecen extraordinarios pero en realidad son falsos. Cuando otros investigadores intentan repetir estos estudios, fracasan. Esto desperdicia recursos importantes y confunde la política pública.
Camino hacia la recuperación: Transparencia y preregistración
Para abordar este problema, se han introducido varias medidas. Primero, la preregistración de estudios: los investigadores deben registrar sus hipótesis y métodos de análisis antes de recopilar los datos. Esto evita que cambien el análisis después de ver los datos. Segundo, el uso de análisis ciegos: los analistas no saben cuál es el grupo de tratamiento y el control hasta que el análisis finaliza. Tercero, fomentar el reporte de todos los tests, no solo los significativos.
Ahora, muchos periódicos científicos aplican esta política. Por ejemplo, las revistas Nature y PLOS ONE exigen a los investigadores especificar claramente si sus análisis son exploratorios o confirmatorios. Esto ayuda a diferenciar entre hallazgos reales y resultados de p-hacking.
Conclusión: Lecciones para las generaciones venideras
El data dredging no es solo una práctica científica incorrecta; es una violación ética que ha dañado la confianza del público en la ciencia. La historia nos enseña que la verdad no puede forjarse según el capricho. Cada vez que vemos un estudio que afirma hallazgos sorprendentes, debemos preguntarnos: ¿es esto el resultado de un análisis cuidadoso o simplemente un hábil data dredging?
Como lectores y usuarios de la ciencia, debemos ser inteligentes. No creer fácilmente en títulos sensacionalistas. Exigir transparencia, replicabilidad y honestidad. Solo así podemos asegurarnos de que el conocimiento que construimos sea sólido, no frágil como un castillo de arena.
---
Este artículo fue escrito basado en fuentes históricas y estadísticas válidas. Referencias principales: Ioannidis 2005 , Simmons et al. 2011 y el informe del Proyecto de Reproducibilidad.
---
Referencia: Data dredging — Wikipedia https://en.wikipedia.org/wiki/Data dredging
