6 votos

Hay una reproducibilidad de la crisis en la Economía?

Soy una estudiante universitaria, estudiante de economía, y llegó a través de este artículo de John Ionnadis sobre "El Poder de Sesgo en la Economía de la Investigación". los resultados son bastante sombrías.

https://academic.oup.com/ej/article/127/605/F236/5069452

Algunos ejemplos que me he encontrado que me preocupan. Desde mi estudio de la econometría, esto realmente no me sorprende. No creo que he visto un papel, por ejemplo, con la prueba y los datos de entrenamiento, y un avanzado estudiante que hizo la investigación para un académico durante el verano me dijo que él básicamente metido con los parámetros hasta que conseguí el resultado que quería. De hecho, esta licenciatura será ir a una muy prestigiosa universidad para su Doctorado el próximo año.

En la historia económica, que fue la primera área leemos en la literatura en el primer año, la justificación de los supuestos de MCO siempre estaba diciendo: "esto debe ser plausible', por ejemplo, en un famoso artículo sobre los colonos de la mortalidad como un instrumento para la calidad institucional. Este tipo de afirmación es difícil de justificar (por ejemplo, los colonos, la mortalidad fue probablemente influenciada por la prevalencia de enfermedades como la malaria, y que conoce las implicaciones más amplias de eso).

Hay un caso fuerte que Ionnadis que está mal?

2voto

Matthias Benkard Puntos 11264

En general, hay una reproducibilidad de la crisis en la mayoría de los campos de la ciencia como la economía. Primero la economía está haciendo bastante bien en comparación con otras ciencias sociales, por ejemplo, este estudio muestra que el 54% de los estudios que los autores trataron de replicar en la psicología no puede ser replicado, pero este estudio para la economía de la muestra sólo el 40% no se pudo replicar. Dicho esto el 40% es mucho.

Así que yo diría que sí hay es una reproducibilidad de la crisis en la economía (aunque tenga en cuenta lo que es y no es la reproducibilidad de la crisis es cierta basado en la opinión).

Sin embargo, creo que los ejemplos que diste no son las principales razones de esta crisis.

El primer ejemplo de que los estudiantes universitarios es básicamente ejemplo de consciente $p$-hacking. Esto sin duda se produce pero por lo general es realizado por personas que no son realmente buenos en la investigación, para empezar y están bajo una presión extrema para mostrar algunos resultados, por lo que recurren a esta "trampa" en una manera similar malos estudiantes recurren a la trampa durante el examen. Yo no diría que en buena universidades de la gran mayoría de los investigadores conscientemente $p$-hack. Sin embargo, nota que en la finalidad de separar consciente $p$-hacking de sub-consciente $p$-hacking que pueden ocurrir debido a la subconsciente sesgos que cualquiera de nosotros tiene que también puede ocurrir cuando usted está simplemente demasiado invertido en algún tema, de manera que incluso sin darse cuenta de convertirse en poco menos riguroso a la hora de crear su modelo. Inconsciente $p$-hacking es mucho mayor problema, ya que se cuela en ti sin siquiera darse cuenta de que estás haciendo algo mal.

En el segundo ejemplo, yo no podría decir incluso que es un ejemplo de lo que algunos incompetentes análisis estadístico necesario. En el caso de IV que siempre al final se basan sólo en la lógica de la historia con base en los cuales se justifica el criterio de exclusión y validez del instrumento. Estadísticamente, se puede medir la fuerza del instrumento usando $F$-estadísticas de la primera etapa, y de la relevancia del instrumento a partir de la observación de la salida y algunos auxiliares de estadísticas de allí, pero no hay ninguna prueba estadística para la fecha que le permitirá comprobar si el instrumento es realmente exógenos y sólo afecta a la variable dependiente a través de la endógena de la variable independiente. Además, a veces usted no puede encontrar cualquier instrumento perfecto o especificación del modelo, etc. así que usted acaba de hacer lo mejor y como siempre que se hacen explícitos en los resultados de la investigación que los resultados se basan en una simplificación excesiva o posiblemente suposición incorrecta, los resultados podrían ser todavía útil. En ese caso, incluso si los resultados salen a no ser reproducibles yo personalmente no lo consideraría un problema.

Lo que está realmente en el corazón de la reproducibilidad de la crisis en realidad es precisamente lo que Ionnadis encuentra, que es la mayoría de los estudios son de poca potencia. Sin embargo, esto no es debido a algún intento consciente para hacerlo, sino porque el poder de la mayoría de las pruebas estadísticas depende del número de observaciones y en su economía, a menudo muy caros y difíciles de conseguir más datos.

El siguiente problema es el sesgo de publicación. Incluso si te las arreglas para conseguir sólido de potencia ($\geq80$%) como este video de veritasium muestra, utilizando el 5% de significación y con la necesidad de energía del 80%, y suponiendo que de 1000 relaciones sólo el 10% son correctos, incluso si lo hace todo por completo el libro sin ningún tipo de sesgo (desde la perspectiva del científico) o jugar con los datos, si existe un sesgo de publicación hacia resultados positivos, usted encontrará que casi la tercera parte de la publicada estudios no ser reproducibles en todos (por lo que ahora el 60% de la reproducibilidad de que el estudio sobre los experimentos en econ de repente no se ve tan mal). Este problema no es fácil de resolver, porque si hemos de mover a digamos un 3/6/9 sigma como en la Física, a continuación, sólo se debe a la falta absoluta de datos casi ningún resultado en ciencias sociales nunca iba a ser significativa. Además, todas las revistas de atención sobre el número de lectores (ya que generalmente se correlaciona con conseguir más citas y por tanto, mayor ranking de la revista), por lo que tienen un fuerte incentivo para publicar la novela de investigación interesante en lugar de repeticiones.

Así que para resumir. Sí, hay una reproducibilidad problema en la economía (y la mayoría de las ramas de la ciencia). Sin embargo, no es necesario debido a la p-hacking o la incompetencia. Asegúrese de que puede jugar un papel importante, especialmente en el peor, de las instituciones, pero en general el problema es de baja potencia, el sesgo de publicación y en el subconsciente de los sesgos. Esta es la razón por la que el problema es difícil de resolver. De baja potencia es debido a las limitaciones de los datos, es difícil hacer mucho acerca de que si la recogida de datos es costoso. El sesgo de publicación, puede ser abordado, pero cada diario quiere publicar `sexi' nuevos hallazgos, por lo que es muy difícil encontrar los incentivos adecuados para hacerlo (aunque las cosas están mejorando), y, finalmente, su muy difícil lidiar con potencial subconsciente sesgos - usted puede conseguir mucho convencido acerca de la verdad de alguna modelo/declaración de que usted inconscientemente p-hack por que digamos tratar de hacer demasiadas diferentes representaciones de la misma cosa, y centrarse sólo en el mejor de los resultados - este es probablemente el problema más duro para conseguir todo ya que se requiere de gran cantidad de auto-conciencia y la disciplina.

Finanhelp.com

FinanHelp es una comunidad para personas con conocimientos de economía y finanzas, o quiere aprender. Puedes hacer tus propias preguntas o resolver las de los demás.

Powered by:

X