Replicación de resultados empíricos en Economía

Question

Estaba leyendo sobre la crisis de replicabilidad en Psicología y Medicina. Muchos experimentos de psicología, por ejemplo, se llevaban a cabo con estudiantes universitarios, con tamaños de muestra demasiado bajos, que afirmaban tener resultados estadísticamente significativos. Y no había ningún intento de rehacer esos experimentos con tamaños de muestra más grandes por parte de investigadores independientes. Muchos de esos resultados fueron generalmente aceptados como verdaderos por la comunidad psicológica sin un escrutinio adecuado. Sólo en la última década, más o menos, los psicólogos han empezado a intentar seriamente replicar muchos de esos estudios con tamaños de muestra mayores, obteniendo resultados significativos en la misma dirección sólo en un tercio de los estudios, y de ahí la crisis.

En un intento similar de replicación de los resultados de la economía experimental publicado en la revista AER se registró una tasa de replicación de dos tercios, el doble de la de la psicología.

Pero lo que quiero decir es que la mayoría de los estudios empíricos en economía no son experimentales, sino cuasi-experimentales. Los datos suelen estar disponibles públicamente en los registros gubernamentales, etc. En estos estudios, no tiene sentido "rehacer el experimento con una muestra más grande". ¿Qué significaría la replicación en este tipo de estudios? ¿Significaría responder a una pregunta similar con datos diferentes y obtener el mismo resultado? Incluso si la técnica no es la misma (por ejemplo, si el primer estudio fue una regresión discontinua con datos suecos para ver los efectos del tamaño de la clase en las puntuaciones, ¿puede el segundo estudio ser un Diff-in-diff con datos brasileños para responder a la misma pregunta?)

Y dado que el tamaño de las muestras en estos estudios cuasi-experimentales (incluso sin replicación) suele ser bastante grande, ¿podemos decir que en general la replicación no es un problema en Economía? Sobre todo si los datos son públicos. ¿O mi comprensión de la replicación en los estudios cuasi-experimentales es errónea?

Answer 1

En este tipo de estudios, no tiene sentido "rehacer el experimento con un tamaño de muestra mayor".

Esto no es cierto.

1. Más observaciones siempre es mejor. Si se realiza una investigación no experimental o cuasi experimental (por ejemplo, sobre la relación entre la deuda y el crecimiento) y, debido a las limitaciones de los datos, sólo se pueden incluir 30 países occidentales con 10 años de datos, es muy importante comprobar si las relaciones encontradas se mantendrán cuando se disponga de más datos sobre más países.

2. Los científicos pueden incurrir en algunas malas prácticas para ser publicados, como el p-hacking. Por lo tanto, incluso si no tienes más datos, vale la pena rehacer el trabajo de otra persona para ver si todos los pasos tienen sentido o si hay algo fuera de lugar.

   Por ejemplo, un autor puede afirmar que un control fue excluido debido a la alta colinealidad con otro control, las pruebas auxiliares, por desgracia, a menudo no se informan dentro de los documentos, por lo que la única manera de comprobar es replicar realmente el estudio, y usted podría encontrar que no había colinealidad y la inclusión de ese control hizo que el resultado principal fuera insignificante, etc. Hay tantas cosas turbias que la gente puede hacer cuando se trata de la metodología que estar obligado a compartir su código y tener a otras personas literalmente siguiendo sus pasos es la única manera de asegurarse de que no hay esqueletos en el armario.

3. La réplica, en términos generales, es algo más que volver a dar los pasos que otros han dado. Incluso en física, cuando se replica un experimento, es posible que no se haga al 100% exactamente de la misma manera si se cree que el trabajo que se replica tiene algún problema. Por ejemplo, si crees que los resultados podrían estar sesgados debido a la presencia de aire y el otro experimento sólo consiguió sacar el 94% del aire de la cámara de pruebas, pero tú tienes un equipo mejor y puedes sacar el 99%, no recrearás a propósito las condiciones del 94%, sino que intentarás eliminar todo el aire posible.

   Del mismo modo, la replicación puede ser más amplia que la simple repetición de los pasos. ¿Los autores utilizaron errores agrupados pero sólo tenían 10 agrupaciones? Bien, entonces es probable que sus errores agrupados estén mal estimados, hagamos la réplica con los errores de los grupos y veamos si la inferencia cambia. ¿Los autores utilizaron Diff-in-diff, pero descubrimos que no comprobaron el supuesto de la tendencia común, y descubrimos que se violó la tendencia común? Bien, volvamos a hacer lo que hicieron, pero utilizando un control sintético en lugar de DiD.

Como puede ver, hay muchas razones para la replicación incluso en la investigación cuasi-experimental/observacional.