La relación entre la econometría y el aprendizaje automático

Question

A mi entender, la utilidad de la econometría frente al aprendizaje automático suele ser la investigación de la causalidad.

Si no me equivoco, cuando dejamos de lado la economía experimental, la norma de oro para demostrar la causalidad es utilizar las Variables Intrumentales. Pero en la práctica se ha demostrado que a menudo no es posible encontrar una IV relevante, y los autores acaban tomando la mejor "IV" que pueden encontrar.

Problema: Esta variable tiene una alta probabilidad de no ser exógena, pero no podemos comprobarlo cuando el IV depende de variables como la felicidad, por ejemplo. Como no tenemos forma de verificar esas dependencias, la ciencia se detiene aquí.

¿Entonces me equivoco al decir que en la mayoría de los casos la econometría no puede establecer científicamente la causalidad? En ese caso, ¿por qué utilizar la econometría tradicional en lugar de las modernas técnicas de aprendizaje automático?

Answer 1

I.) 2 Los principios de la econometría pueden ser potencialmente útiles en comparación con el aprendizaje automático. (véase Hal R Varian 2014 Paper : https://pubs.aeaweb.org/doi/pdf/10.1257/jep.28.2.3 )

A.) Como sugieres la búsqueda de la causalidad es una ventaja pero a diferencia de lo que piensas, aunque la causalidad a veces pueda ser difícil de medir sigue siendo muy útil y funcional.

Pero en primer lugar, cuando sugieres que la variable instrumental es la única herramienta disponible que funciona para la mayoría de los casos y permite la inferencia causal, creo que hay algunas técnicas más que todavía podrían ser aplicables para medir la causalidad en respuesta a un tratamiento, una manipulación o una intervención y seguir siendo relevantes (a diferencia del experimento natural como tú precisas debido a su restringida aplicabilidad directa a la mayoría de los casos) en la mayoría de las situaciones como:

experimentos explícitos discontinuidad de la regresión diferencia en las diferencias estimación estructural

Por ejemplo, se puede investigar la causalidad con estas técnicas o con las variables instrumentales, ya que, aunque estas técnicas están sujetas a problemas de sesgo y correlación (sobre todo desde que existen los big data, ya que el tamaño cada vez mayor de los conjuntos de datos limita la utilidad de los métodos de variables instrumentales, dependiendo de la fuerza del instrumento y del nivel de confusión), siguen dando una pista para investigar la causalidad. Así, por ejemplo, permite detectar la contrafactualidad condicional (una cláusula "si" que es contraria a los hechos) y comprobar la existencia de un posible sesgo de selección.

Qué es un contrafactual condicional:

Si está lloviendo, entonces está dentro. : Lluvia = Variable Indicativa

Si lloviera, estaría dentro. : Lluvia = Variable condicional contrafactual

Por lo tanto, cuanto mejor sea el modelo predictivo que se tenga para el contrafactual, mejor se podrá estimar el efecto causal. Así, aunque un modelo predictivo no permita necesariamente concluir nada sobre la causalidad por sí mismo, tales modelos pueden ayudar a estimar el impacto causal de una intervención cuando ésta se produce. Porque puede poner de relieve un conjunto de contrafactuales condicionales que podrían utilizarse como posibles variables causales para realizar la prueba, con el fin de determinar finalmente la causalidad en un conjunto de datos dado para tomar una buena decisión (limpiar de problemas de confusión). Si no es así, al menos le da algunas pistas para llevar a cabo una investigación más profunda para entender el problema: ¿hay algo mal en la teoría? ¿hay algo mal en mi modelo econométrico? ¿hay algo mal en mis datos?

Para saber más sobre los pros y los contras de las diferentes técnicas de inferencia causal en econometría:

https://www.jstor.org/stable/pdf/44234997.pdf?refreqid=excelsior%3A18bacfd86299dcf19e7f1f13d9c52022

B.) Excepto la causalidad, la incertidumbre del modelo es otra ventaja de la Econometría en comparación con el ML.

Los fundamentos probabilísticos de la econometría son un punto fuerte, ya que permiten interpretar la mayoría de los modelos y sus parámetros (evitando el fenómeno de la caja negra) y dan una cuantificación de la incertidumbre (con intervalos de confianza). El objetivo suele ser demostrar que la estimación de algún parámetro interesante no es muy sensible a la especificación exacta utilizada: cómo varía un parámetro estimado a medida que se utilizan diferentes modelos. En esta época de "grandes datos", parece extraño centrarse en la incertidumbre del muestreo, que tiende a ser pequeña con grandes conjuntos de datos, mientras se ignora completamente la incertidumbre del modelo, que puede ser bastante grande. Una forma de abordar esta cuestión es examinar explícitamente cómo varían las estimaciones de los parámetros con respecto a la elección de las variables de control y los instrumentos.

II). Por el contrario, las técnicas de aprendizaje automático también podrían ser útiles para el análisis de datos en las ciencias sociales.

A.) Selección de parámetros, los métodos de validación de modelos en ML pueden mejorar los modelos econométricos tradicionales

Los investigadores del aprendizaje automático han desarrollado formas de tratar grandes conjuntos de datos y los economistas interesados en tratar esos datos harían bien en invertir en el aprendizaje de esas técnicas. Por ejemplo, los métodos de minería web podrían descubrir nuevas variables explicativas útiles. La validación cruzada debería identificar un efecto no lineal o un efecto cruzado olvidado. La validación de modelos debería detectar cuándo un modelo está mal especificado y, por tanto, permitir una mejor especificación de un modelo econométrico y, en general, reducir el sesgo y el error de las variables omitidas. Como ejemplo, la literatura reciente en finanzas se centra en los modelos Garch (modelos tradicionales de series temporales) mejorados con redes neuronales para predecir mejor la volatilidad y los precios de los activos.

Para más información sobre la utilidad del ML en la econometría, consulte este artículo de Arthur Charpentier: https://arxiv.org/pdf/1708.06992.pdf

B.) La modelización causal comenzó a ser una preocupación y un campo de investigación en el ML. Lo que significa que, a largo plazo, el ML podría superar sus propios defectos (como centrarse exclusivamente en el ajuste) y superar a la econometría.

Algunos informáticos teóricos, como Pearl (2009a, b) han realizado importantes contribuciones a la modelización causal en informática (por extensión, al aprendizaje automático):

(véase: Causal Inference in Statistics: A Primer Wiley, 2016 Judea Pearl et Al)

Pearl define los contrafactuales directamente en términos de un "modelo de ecuaciones estructurales", un conjunto de ecuaciones en las que se asigna a cada variable un valor que es una función explícita de otras variables del sistema. Con este modelo, la frase "Y sería y si X fuera x" (formalmente, X = x > Y = y ) se define como la aserción: Si sustituimos la ecuación que determina actualmente X por una constante X = x, y resolvemos el conjunto de ecuaciones para la variable Y, la solución obtenida será Y = y. Se ha demostrado que esta definición es compatible con los axiomas de la semántica del mundo posible y constituye la base de la inferencia causal en las ciencias naturales y sociales, ya que cada ecuación estructural en esos dominios corresponde a un mecanismo causal conocido que puede ser razonado con sentido por los investigadores.

Sin embargo, parece que estos avances teóricos aún no se han incorporado a la práctica del aprendizaje automático. Salvo en algún trabajo de investigación reciente:

http://www.nasonline.org/programs/sackler-colloquia/documents/athey.pdf

Como conclusión, en mi opinión y tal y como están las cosas ahora, la econometría como aportación más valiosa en las ciencias sociales que lo que podría aportar el machine learning. Así que sigue siendo adecuado utilizar la econometría para realizar el análisis de datos en lugar de las técnicas de ML.

Answer 2

Mi opinión coincide con la introducción de su pregunta. A saber, a) la econometría se ocupa principalmente de la causalidad b) El aprendizaje automático se ocupa sobre todo del ajuste

Pero en lo que respecta a la parte restante, nuestros puntos de vista difieren. He aquí la razón:

a) El IV (y otras técnicas cuasi-experimentales) no son la única forma de comprobar la causalidad. Las alternativas son i) los experimentos ii) las estimaciones estructurales. En ambos casos se aplica la maquinaria econométrica, aunque en la mayoría de los casos se utiliza un MCO simple en el primer caso y cosas bayesianas/GMM/Máxima Verosimilitud en el segundo. En comparación con los experimentos, probablemente esté menos claro cómo ayudan las estimaciones estructurales y aquí llego al segundo punto;

b) Como en cualquier ciencia, los economistas construyen modelos matemáticos de cómo funcionan las cosas. El problema es que hay muchos modelos para muchos contextos. ¿Cómo definir cuál es el adecuado en determinadas circunstancias? Aquí es donde los econometristas ayudan, porque la econometría ayuda a discriminar entre los modelos que funcionan y los que no. Hay diferentes formas de demostrarlo: con los (ahora tan populares) cuasi-experimentos, se muestra que el vínculo (esperemos que causal) existe o no y su magnitud = $\beta_i$ . Ahora bien, ¿qué pasa si tus datos no encajan en los zapatos del enfoque y hacer un experimento es imposible? Puedes optar por la estimación estructural: "Supongamos que el modelo XYZ -por ejemplo, la función de producción Cobb-Douglas- funciona. Si esto es cierto, ¿cuáles serían los parámetros estimados?". Así que tomas tus datos no experimentales y los metes a la fuerza en el modelo que tienes y estimas los parámetros. ¿Cómo ayuda esto a establecer la "verdad"? Observas los parámetros y tratas de entender lo razonables que son. Por ejemplo, si investigas los parámetros de la producción Cobb-Douglas ( $Y = AK^\alpha L^{1-\alpha}$ s.t. $\alpha < 1$ ) pero sus coeficientes para las regresiones log-log son $\beta = [13, 0.8, 1.5]$ (los números son absolutamente ficticios) entonces tienes una razón para concluir que el modelo no se ajusta al contexto (tal vez la industria) que estás estudiando porque tienes $\beta_2 = (1 - \alpha) = 1.5 > 0$ . Una tontería, ¿verdad? Tal vez, porque puedes culpar a los datos, al hecho de observar los resultados de equilibrio y al sesgo de las variables omitidas. Pero te hace piense en en ambas direcciones: ¿hay algo malo en la teoría? ¿hay algo malo en mi modelo econométrico?

Los profesionales de la macroeconomía y la inteligencia artificial suelen seguir este enfoque (aunque sus herramientas difieren), ya que la capacidad de experimentar sobre el terreno es limitada. Por otra parte, cuando se hacer seguir las prescripciones de la literatura cuasi-experimental, sólo ha investigado un pequeño subconjunto de problemas, que son cruciales para nuestra comprensión del funcionamiento de las economías. Este es, en mi opinión, el punto principal de los estudios de Deaton crítica con respecto al enfoque cuasi-experimental de la inferencia causal. Convierte a los investigadores en personas que buscan un problema que se adapte a la herramienta y se preocupan por el contexto en la medida en que la aleatorización es creíble, sin necesidad de profundizar en el campo de verdad. Pueden publicar estudios sobre economía laboral, sacar conclusiones sobre economía política, analizar datos deportivos y evaluar políticas de desarrollo en países pobres, todo al mismo tiempo, y no se preocupan por los mecanismos subyacentes. A los cuasi-experimentalistas no les importa el modelo econométrico mientras la aleatorización funcione. Puede que la verdadera relación sea lineal, o puede que no. Pero cuando los instrumentos son fuertes y se utilizan las palabras correctas en la sección de estrategia de identificación, no importa para la publicación? Probablemente esto no sea tan malo en sí, pero a Deaton le preocupa que el enfoque diga poco sobre qué modelos funcionan y cuáles son los valores de la fundamental parámetros (Compruebe el respuesta de Imbens sin embargo. Ambas cosas son buenas lecturas).

¿Por qué los parámetros ¿Importante? Permítanme hacer una analogía con la física (donde mis conocimientos están limitados por mis clases de secundaria). En física se miden las cosas, se hacen experimentos y se obtienen los coeficientes. Bien, ahora queremos hacer una predicción sobre la velocidad de caída de la piedra en un nuevo lugar. El enfoque natural es utilizar las estimaciones de los parámetros obtenidos previamente para predecir la velocidad a la que cae una piedra desde una determinada distancia en un nuevo el medio ambiente. Si sabe en qué se diferencia el nuevo entorno del otro (definido por el modelo ) puedes utilizar los coeficientes que has obtenido, introducirlos en un modelo y obtener una predicción creíble.

En economía, los valores que se obtienen de los cuasi-experimentos no sirven para hacer lo mismo. Piensa en un programa de desarrollo que el Banco Mundial inició en Europa del Este y que quiere aplicar en Sudáfrica. Supongamos que tienes una inferencia creíble con una estrategia RDD súper elegante. Bien, tienes tu super-significativo $\beta_i$ . Sin embargo, está claro que el impacto del programa de desarrollo en Europa del Este no será el mismo que en Sudáfrica porque el contexto (el entorno) es diferente. Por ello, el uso de la $\beta_i$ directamente no funcionará. ¿Pero no podemos ajustar de alguna manera los valores y hacer una predicción razonable? Bueno, ya que no sabemos lo que en la Tierra el $\beta_i$ realmente es y en qué se diferencian dos modelos, no sabemos qué tipo de transformación a la $\beta$ necesitamos aplicar. Así que sabemos algo para Europa del Este pero no podemos usar los números para otros lugares. Es una pena, ¿verdad? Porque has hecho un buen trabajo, pero no puedes generalizar sus resultados. La econometría estructural puede ser explícita en cuanto a lo que significan los coeficientes -en términos del modelo- y cómo utilizar los valores cuando los transfieres a otro entorno. El precio que hay que pagar son las suposiciones más estrictas sobre la relación entre las variables y la estructura que uno, como modelizador, impone al término de error.

c) En mi opinión, el aprendizaje automático es una herramienta valiosa para recopilar datos que antes no estaban disponibles y probar cosas que antes no podíamos probar. Un buen ejemplo es el actual flujo de documentos sobre las protestas y la economía política. Con Internet se accede a mucha información no estructurada. La capacidad de extraerla mediante técnicas de aprendizaje automático permite, por ejemplo, evaluar los sentimientos del electorado y cómo afecta a los futuros resultados políticos. Así que, en cierto sentido, el ML es una buena herramienta para ahorrar tiempo a la hora de crear conjuntos de datos para estudiar problemas novedosos o abordar el sesgo de las variables omitidas (ya que ahora se pueden cuantificar cosas que antes no se medían y formaban parte de un término de error).

Answer 3

Así que tienes razón. Es extremadamente difícil demostrar la causalidad en economía. Utilizar una variable instrumental es una buena manera de hacerlo. Creo que puedes estar un poco confundido sobre la diferencia entre "machine learning" y Econometría.

El aprendizaje automático funciona de dos maneras:

1) Tienes un conjunto de datos masivo con las respuestas correctas ya introducidas. Divides el conjunto de datos en 2 en un conjunto de prueba y otro de entrenamiento, y luego ejecutas programas para crear una función que identifique las respuestas ya correctas dada una variedad de variables dentro del conjunto de entrenamiento. A continuación, se puede utilizar el conjunto de prueba que no se ha visto para ver la precisión de la función que tiene el ordenador. Un buen ejemplo de esto son los ordenadores que averiguan qué número dibujado a mano representa qué número real porque se pueden introducir conjuntos de datos preexistentes.

2) No tienes datos sino una función de aptitud (una función que define la corrección). Creas tus propios datos haciendo que el ordenador establezca aleatoriamente la función que convierte los datos en la salida y luego pones las muchas funciones aleatorias en una situación. Una vez terminada la simulación, se ve qué funciones han funcionado mejor y se modifican todas las funciones para que sean más parecidas. A lo largo de miles o millones de iteraciones, las funciones se van "afinando" poco a poco para que den la respuesta correcta ante las situaciones repetidas. Un buen ejemplo de esto serían los coches que se conducen solos. Algunos investigadores han cargado literalmente los ordenadores en grand theft auto para que puedan practicar.

Ambos casos tienen aplicaciones muy limitadas a la economía. En el primer caso, habría que disponer de conjuntos de datos sobre miles de economías a lo largo de miles de años, todos ellos con datos diferentes. Ciertamente, tenemos muchos datos económicos, pero si lo pensamos bien, sólo tenemos 195 países en los que fijarnos y sólo hay una economía mundial. También tenemos sólo unos 100 años de buenos datos económicos. Además, las relaciones entre las variables parecen cambiar. La sabiduría convencional solía ser que el bajo desempleo conducía a la inflación, lo que ya no parece ser el caso en la economía estadounidense.

Con la segunda práctica de aprendizaje automático no hay forma de simular toda la economía mundial con la suficiente precisión como para probar cómo afectarían las diferentes políticas a la economía mundial debido a que no hay suficiente potencia informática.

La econometría utiliza instrumentos porque permite un experimento natural. Obviamente, no se pueden hacer experimentos en la economía para ver qué pasa (por ejemplo, qué pasaría si bajáramos el salario mínimo a 0 o quitáramos todos los impuestos) porque habría impactos reales en la gente, así que no es ético. En cambio, lo que hacen los economistas es buscar lugares en los que hay una diferencia arbitraria entre dos economías. Un buen ejemplo es cuando un estado sube el salario mínimo y otro no. Ahora se pueden comparar las economías de los dos estados para ver si el estado con un salario mínimo alto de repente tiene inflación mientras que el estado con un salario mínimo bajo no la tiene. Esto sería una variable instrumental. Esto permite a los economistas observar experimentos naturales y obtener resultados causales a partir de ellos.

El problema con las variables instrumentales es que nunca se puede estar 100% seguro de que las variables instrumentales no están relacionadas con la variable dependiente. En el ejemplo del salario mínimo, es posible que el estado que lo subió tenga sindicatos fuertes, lo que tiene cierto impacto en la inflación, cuando el mismo efecto no sería cierto en el primer estado. El trabajo de los economistas consiste en hacer todo lo posible para eliminar estos sesgos, pero en realidad es imposible ser 100% preciso.

Así que para responder a tu pregunta "¿Por qué utilizar la econometría en lugar del aprendizaje automático?" la respuesta es que el aprendizaje automático no puede utilizarse en la mayoría de las aplicaciones económicas. Es una tecnología enorme pero no es una panceta y aún así puede equivocarse. Hay una gran video que explica qué es y cómo funciona el aprendizaje automático y que te recomiendo que veas para entender el tema en profundidad.

Answer 4

He aquí una respuesta básica para quien no esté interesado en leer las respuestas largas:

1) El ML se centra en la predicción y no en la causalidad (como hace la métrica) 2) El ML es potente para la selección de parámetros y la validación de modelos 3) Muchos algoritmos de ML son increíblemente similares a los enfoques métricos básicos. Por ejemplo, las regresiones de cresta y LASO son pequeñas extensiones de OLS.